ilastollinen päättely 5.. Johdanto Estimointi, Joukkoestimointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Otos, Parametri, Peittotodennäköisyys, Piste estimointi, Väliestimaatti, Väliestimaattori, Väliestimointi 5.2. uottamusvälien konstruointi. lajin virhe, Estimointi, Hylkäysalue, Hylkäysvirhe, Hypoteesi, Hyväksymisalue, Joukkoestimointi, Kertymäfunktion saranointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Nollahypoteesi, Otos, Parametri, Peittotodennäköisyys, Piste estimointi, Saranasuure, Saranointi, esti, estin taso, estisuure, Vaihtoehtoinen hypoteesi, Väliestimaatti, Väliestimaattori, Väliestimointi 5.3. uottamusvälien vertailu. lajin virhe, Estimointi, Harhattomuus, Hylkäysalue, Hylkäysvirhe, Hypoteesi, Hyväksymisalue, Joukkoestimointi, Kertymäfunktion saranointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, uottamusvälin pituus, Nollahypoteesi, Optimaalisuus, Otos, Parametri, Peittotodennäköisyys, Piste estimointi, Saranasuure, Saranointi, arkkuus, esti, estin taso, estisuure, Vaihtoehtoinen hypoteesi, Väliestimaatti, Väliestimaattori, Väliestimointi KK @ Ilkka Mellin (2007) /5
KK @ Ilkka Mellin (2007) 2/5
5.. Johdanto uottamusvälit Olkoon f( x; ) satunnaismuuttujan X pistetodennäköisyys tai tiheysfunktio, joka riippuu tuntemattomasta parametrista. Olkoon X, X 2,, X n satunnaisotos satunnaismuuttujan X jakaumasta. ällöin havainnot X, X 2,, X n ovat riippumattomia, identtisesti jakautuneita satunnaismuuttujia, joilla on sama pistetodennäköisyys tai tiheysfunktio f(x;): Olkoon X, X, K, X 2 n X f( x; ), i =,2, K, n i X = (X, X 2,, X n ) satunnaismuuttujien X, X 2,, X n muodostama n vektori. Olkoot satunnaismuuttujien X, X 2,, X n havaitut arvot Merkitään tätä: x, x 2,, x n X = x, X 2 = x 2,, X n = x n Satunnaismuuttujien X, X 2,, X n havaitut arvot x, x 2,, x n määräävät havaintopisteen Väliestimointi x = (x, x 2,, x n ) uvussa 3 tarkasteltiin todennäköisyysjakauman parametrin piste estimointia. ällöin päättelyn kohteena oli yksi parametrin arvo. ässä luvussa tarkastellaan parametrin joukkoestimointia. Joukkoestimoinnissa päättelyn kohteena ovat muotoa " C " olevat väitteet, joissa C on jokin parametriavaruuden Θ osajoukko: Joukko C Θ C = C( x) määrätään havaintopisteen x= ( x, x2, K, x n ) avulla. Jos on reaaliarvoinen parametri, joukko C on tavallisesti jokin reaaliakselin väli, jolloin puhumme väliestimoinnista. KK @ Ilkka Mellin (2007) 3/5
Olkoon x= (,,, ) x x2 K x n havaintopiste. Funktiot ( x ) ja ( x ) muodostavat reaaliarvoisen parametrin väliestimaatin jos [ ( x), ( x)] ( x) ( x) kaikille havaintopisteille x. Jos olemme havainneet havaintopisteen X = x, niin voimme tehdä väliestimaatin [ ( x), ( x)] perusteella parametrin arvosta johtopäätöksen Satunnaista väliä ( x) ( x) [ ( X), ( X)] kutsutaan parametrin väliestimaattoriksi. Huomaa, että satunnaismuuttujien ( X ) ja ( X ) muodostama pari [ ( X), ( X )] viittaa parametrin väliestimaattoriin, kun taas merkintä [ ( x), ( x )] viittaa väliestimaattorin [ ( X), ( X)] havaittuun tai realisoituneeseen arvoon. avallisesti ( x) ja ( x) ovat äärellisiä, mutta joskus joko ( x) tai ( x ) saattaa olla äärettön. Jos ( x) = niin väliestimaattiin liittyvä väite on muotoa Jos taas " ( x)" ( x) = + niin väliestimaattiin liittyvä väite on muotoa " ( x) " ällöin puhumme yksipuolisista väliestimaateista. Edellä väliestimaatti määriteltiin suljettuna välinä [ ( X), ( X)] mutta väliestimaatti saattaa olla myös avoin väli tai puoliavoin väli tai ( ( X), ( X)) [ ( X), ( X)) ( ( X), ( X)] KK @ Ilkka Mellin (2007) 4/5
uottamustaso ja luottamusväli Olkoon [ ( X), ( X)] parametrin väliestimaattori. ällöin Pr ( [ ( X ), ( X )]) = Pr( [ ( X ), ( X )] ) on todennäköisyys, että väli [ ( X), ( X)] peittää parametrin todellisen arvon. Kutsumme tätä todennäköisyyttä tavallisesti peittotodennäköisyydeksi. uottamusväliin [ ( X), ( X )] liittyvä luottamustaso α on peittotodennäköisyyden infimum: inf Pr ( [ ( X), ( X)]) = α uottamustaso ilmoitetaan usein prosentteina, jolloin puhumme 00 ( α) %:n luottamusvälistä parametrille. Koska parametrin todellinen arvo on tuntematon, myös peittotodennäköisyys Pr ( [ ( X ), ( X )]) on tuntematon ja voimme taata vain sen, että peittotodennäköisyys ei ylitä luottamustasoa. osin monissa tilanteissa peittotodennäköisyys ei riipu parametrista, jolloin peittotodennäköisyys yhtyy luottamustasoon. 5.2. uottamusvälien konstruointi Seuraavassa esitetään kolme luottamusvälien konstruointimenetelmää. Kaikki menetelmät perustavat olennaisesti jonkin testisuureen kääntämiseen. estisuureen kääntäminen uottamusjoukkojen ja testien välillä on seuraava yhteys: ause: Olkoon A( 0 ) sellaisen tasoa α olevan testin hyväksymisalue, jonka nollahypoteesi on muotoa H : = jossa 0 on mielivaltainen parametriavaruuden Θ alkio. Olkoon x havaintopiste ja määritellään joukko C( x) = { x A( )} ällöin satunnaisjoukko C(X) on parametrin luottamusjoukko luottamustasolla α. Kääntäen, olkoon C(X) on parametrin luottamusjoukko luottamustasolla α. ällöin joukko A( ) = { x C( x)} on sellaisen tasoa α olevan testin hyväksymisalue, jonka nollahypoteesi on muotoa H : = KK @ Ilkka Mellin (2007) 5/5
odistus: Olkoon testauksen kohteena oleva nollahypoteesi muotoa (i) (ii) H : = odistetaan lauseen ensimmäinen osa: Koska A( 0 ) on tasoa α olevan testin hyväksymisalue, niin ja siten Pr ( X A( )) α Pr ( X A( )) α Koska 0 on mielivaltainen parametriavaruuden Θ alkio, voimme korvata 0 :n merkinnällä. Siten joukon C(X) peittotodennäköisyys toteuttaa epäyhtälön Pr ( C( X)) = Pr ( X A( )) α joten C(X) on parametrin luottamusjoukko luottamustasolla α. odistetaan lauseen toinen osa:. lajin virheen eli hylkäysvirheen todennäköisyys testille, jonka hyväksymisalue on A( ) = { x C( x)} toteuttaa epäyhtälön Pr ( X A( )) = Pr ( C( X)) α 0 0 joten testin taso on α. Saranasuure Satunnaismuuttuja Q( X; ) = Q( X, X, K, X n ; ) 2 sanotaan saranasuureeksi, jos sen jakauma ei riipu mistään parametreista. ämä tarkoitetaan sitä, että jos X F( x; ) niin satunnaismuuttujalla Q(X;) on sama jakauma kaikille. Funktio Q(X;) riippuu tavallisesti sekä parametrista että otoksesta X jonkin otostunnusluvun kautta. Sen sijaan todennäköisyys Pr { Q( X; ) A} ei saa riippua parametrista olipa A mikä tahansa (mitallinen) joukko. Jos haluamme konstruoida parametrille luottamusjoukon saranasuureen avulla, meidän on löydettävä sarana Q(x;) ja konstruoitava sellainen joukko A, että parametriavaruuden Θ osajoukko { Q( x; ) A} KK @ Ilkka Mellin (2007) 6/5
kelpaa parametrin joukkoestimaatiksi. Kertymäfunktion saranointi Edellisessä kappaleessa nähtiin, että saranasuureen Q löytäminen johtaa muotoa C( x) = { a Q( x, ) b} olevaan luottamusjoukkoon. Jos funktio Q(x;) on jokaiselle havaintopisteelle x parametrin monotoninen funktio, niin luottamusjoukko C(x) on aina väli. Esimerkiksi paikka ja skaalamuunnokset johtavat monotonisiin saranasuureisiin ja siten luottamisväleihin. ause: Jatkuvan kertymäfunktion saranointi Olkoon tunnusluku, jolla on jatkuva kertymäfunktio F (t;). Olkoot α ja α 2 kiinteitä reaalilukuja ja olkoon α + α 2 = α, jossa 0 < α <. Määritellään funktiot (t) ja (t) seuraavalla tavalla: (i) (ii) odistus: Jos F (t;) on jokaiselle t parametrin arvojen vähenevä funktio, niin valitaan funktiot (t) ja (t) niin, että ja F ( t; ( t)) = α F ( t; ( t)) = α 2 Jos F (t;) on jokaiselle t parametrin arvojen kasvava funktio, niin valitaan funktiot (t) ja (t) niin, että ja F ( t; ( t)) = α F ( t; ( t)) = α ällöin satunnaisväli [ ( ), ( )] on parametrin luottamusväli luottamustasolla α. (i) 2 Oletetaan, että olemme konstruoineet tasoa α olevan hyväksymisalueen { t α F ( t; ) α } 0 2 Koska F (t;) on jokaiselle t parametrin arvojen vähenevä funktio ja niin siten α 2 > α (t) < (t) ja (t) ja (t) ovat yksikäsitteisiä. KK @ Ilkka Mellin (2007) 7/5
(ii) Koska lisäksi F (; t ) < α > () t F (; t ) > α < () t niin siten avallisesti valitaan 2 { α F ( t; ) α } = { ( ) ( )} 0 2 Kohta (ii) todistetaan vastaavalla tavalla kuin kohta (i). α = α 2 = α/2 jolloin luottamusväliä sanotaan symmetriseksi. ämä valinta ei kuitenkaan ole välttämättä optimaalinen; ks. kohtaa 5.3. Jos haluamme yksipuolisen luottamusvälin, valitsemme tilanteesta riippuen joko tai α = 0 α 2 = 0 ause: Diskreetin kertymäfunktion saranointi Olkoon diskreetti tunnusluku, jonka kertymäfunktio on F (t;). Olkoot α ja α 2 kiinteitä reaalilukuja ja olkoon α + α 2 = α, jossa 0 < α <. Määritellään funktiot (t) ja (t) seuraavalla tavalla: (i) (ii) Jos F (t;) on jokaiselle t parametrin arvojen vähenevä funktio, niin valitaan funktiot (t) ja (t) niin, että ja Pr( t ( t)) = α Pr( t ( t)) = α 2 Jos F (t;) on jokaiselle t parametrin arvojen kasvava funktio, niin valitaan funktiot (t) ja (t) niin, että ja ällöin satunnaisväli Pr( t ( t)) = α Pr( t ( t)) = α [ ( ), ( )] on parametrin luottamusväli luottamustasolla α. 2 KK @ Ilkka Mellin (2007) 8/5
odistus: (i) (ii) odetaan ensin, että satunnaismuuttuja F (;) on stokastisesti suurempi kuin jatkuvaa tasaista jakaumaa niform(0,) noudattava satunnaismuuttuja X. Stokastinen suuremmuus: Siten Olkoon X F X ja Y F Y. Satunnaismuuttuja X on stokastisesti suurempi tai yhtä suuri kuin satunnaismuuttuja Y, jos F () t F () t X kaikille t. ällöin Y Pr( X > t) Pr( Y > t) kaikille t. Jos siis X on stokastisesti suurempi kuin Y, niin satunnaismuuttujalla on taipumus saada suurempia arvoja kuin satunnaismuuttuja Y. Pr( F ( ; ) x) x Sama ominaisuus on funktiolla F ( ; ) = Pr( t ) joten joukko { F ( ; ) α ja F ( ; ) α } 2 on parametrin luottamusjoukko luottamustasolla α. Koska F (;) on jokaiselle t parametrin arvojen vähenevä funktio, niin F ( ; ) on jokaiselle t parametrin arvojen ei vähenevä funktio. Siten ja > ( t) F (; t ) < α/2 < ( t) F (; t ) < α/2 { F ( ; ) α ja F ( ; ) α } = { ( ) ( )} 2 Kohta (ii) todistetaan vastaavalla tavalla kuin kohta (i). 5.3. uottamusvälien vertailu Peittotodennäköisyys ja luottamusjoukon koko Oletetaan, että luottamusvälin peittotodennäköisyys kiinnitetään. Miten valitaan lyhyin niistä luottamusväleistä, joilla on sama peittotodennäköisyys? KK @ Ilkka Mellin (2007) 9/5
ause: odistus: Olkoon tiheysfunktio f(x) unimodaalinen ja olkoon x funktion f(x) moodi. Oletetaan, että väli [a,b] toteuttaa seuraavat ehdot: b (i) f ( x ) dx = α a (ii) f( a) = f( b) > 0 (iii) a x b ällöin väli [a,b] on lyhyin niistä väleistä, jotka toteuttavat ehdon (i). Olkoon [a,b ] reaaliakselin suljettu väli, joka toteuttaa ehdon Näytämme, että b a < b a b a f ( x) dx = α arkastelemme vain tapausta a a. apaus a > a todistetaan vastaavalla tavalla. Jaetaan todistus kahteen osaan sen mukaan onko b a vai b > a. Olkoon b a. ällöin ja siten a b a x b a f( x) dx f( b )( b a ) x b x f( x) f( b ) joten tapaus b a on todistettu. Olkoon b > a. ällöin sillä, jos niin tällöin f( a)( b a ) b a x f( b ) f( a) a a < b < b b b b a b a mikä on vastoin oletusta. b < f( x) dx b a < b a ja f ( a) > 0 a = α (ii),(iii) ja unimodaalisuus f( x) f( a), kun a x b KK @ Ilkka Mellin (2007) 0/5
Siten f ( x) dx = f ( x) dx + f ( x) dx f ( x) dx b b a b a a a b a b = ( α ) + f ( x) dx f ( x) dx a b ja siten väite on todistettu, jos hakasulkulauseke [ ] on negatiivinen. Koska funktio f(x) on unimodaalinen ja a a < b < b niin kohdasta (ii) seuraa, että ja Siten a f ( x ) dx f ( a )( a a ) a b f ( x ) dx f ( b )( b b ) b a b f( x) dx f( x) dx f( a)( a a ) f( b)( b b ) a b = f( a)[( a a ) ( b b )] f( a) = f( b) = f( a)[( b a ) ( b a)] mikä on negatiivinen, jos b a < b a ja f(a) > 0 Siten myös tapaus b a on todistettu. uottamusvälien optimaalisuus ja testit Koska luottamusvälien ja testien välillä on kääntäen yksikäsitteinen vastaavuus (ks. kappale 5.2), on luontevaa, että luottamusvälin optimaalisuuden käsite määritellään sellaisella tavalla, että se heijastelee jollakin tavalla vastaavan testin optimaalisuutta. uottamusvälin optimaalisuutta ei kuitenkaan kannata liittää suoraan testin kokoon, vaan todennäköisyyteen sille, että väärä parametrin arvo tulee peitetyksi. odennäköisyys sille, että väärä parametrin arvo tulee peitetyksi mittaa epäsuorasti luottamusjoukon kokoa. Koska pieni joukko peittää pienemmän osan parametrin mahdollisista arvoista kuin suuri joukko, niin todennäköisyys sille, että joukko peittää vääriä parametrin arvoja pitäisi olla pienelle joukolle pienemmän kuin suurelle joukolle. Alla esitetään yhtälö, joka liittää toisiinsa luottamusjoukon koon ja todennäköisyyden peittää väärä parametrin arvo. arkastellaan yleistä tilannetta, jossa otoksen X = (X, X 2,, X n ) KK @ Ilkka Mellin (2007) /5
yhteisjakauman pistetodennäköisyys tai tiheysfunktio on f(x;). Olkoon A() sellaisen tasoa α olevan testin hyväksymisalue, jonka nollahypoteesi on muotoa H : = Konstruoidaan parametrille luottamusjoukko C(X) luottamustasolla α kääntämällä hyväksymisalue A(). uottamusjoukkoon C(X) liittyvä todennäköisyys sille, että oikea parametrin arvo tulee peitetyksi eli peittotodennäköisyys on parametrin funktio. Pr ( C( X )) odennäköisyys sille, että väärä parametrin arvo tulee peitetyksi on parametrin arvojen ja funktio, jonka määrittelee todennäköisyys peittää parametrin arvo, kun oikea parametrin arvo on. ämän todennäköisyyden antaa kaavat Pr ( C( X)),, jos C( X) = [ ( X), ( X)] Pr ( C( X)), <, jos C( X) = [ ( X), + ] Pr ( C( X)), >, jos C( X) = [, ( X)] uottamusjoukkoa, joka minimoi todennäköisyyden peittää väärä parametrin arvo niiden luottamusjoukkojen luokassa, joiden luottamustaso on α, kutsutaan tasaisesti kaikkein tarkimmaksi. ause: Olkoon odistus: X f ( x; ) jossa on reaaliarvoinen parametri. arkastellaan tasaisesti voimakkainta tasoa α olevaa testiä nollahypoteesille H : = vaihtoehtoista hypoteesia > 0 < 0 H: (H : ) vastaan. Olkoon A ( 0 ) testin hyväksymisalue ja olkoon C (x) hyväksymisalue A ( 0 ) kääntämällä muodostettu parametrin luottamusjoukko luottamustasolla α. Jos C on jokin toinen parametrin luottamusjoukko luottamustasolla α, niin kaikille < ( > ). Pr ( C ( X)) Pr ( C( X)) Olkoon <. Olkoon C parametrin luottamusjoukko luottamustasolla α. arkastellaan tasoa α olevaa testiä nollahypoteesille H 0 : = KK @ Ilkka Mellin (2007) 2/5
joka on muodostettu kääntämällä C ja olkoon A( ) testin hyväksymisalue. Koska A ( ) on hyväksymisalue tasaisesti voimakkaimmalle testille nollahypoteesille H 0 : = vaihtoehtoista hypoteesia H: > vastaan ja koska >, niin Pr ( C ( X)) = Pr ( X A ( )) Käännetään luottamusjoukko C hyväksymisalueeksi A Pr ( X A( )) A on tasaisesti voimakkaimman testin hyväksymisalue = Pr ( C( X)) Käännetään hyväksymisalue A luottamusjoukoksi C Koska molemmat hyväksymisalueen todennäköisyydet tässä epäyhtälöketjussa ovat testin voimakkuus niin näemme, että tasaisesti voimakkain testi minimoi hyväksymisalueen todennäköisyyden. Siten olemme näyttäneet, että tapauksessa < todennäköisyys sille, että väärä parametrin arvo tulee peitetyksi minimoituu, jos luottamusjoukko konstruoidaan kääntämällä tasaisesti voimakkain testi nollahypoteesille H 0 : = vaihtoehtoista hypoteesia vastaan. H: > apaus > todistetaan vastaavalla tavalla. Harhattomuus on havaittu keskeiseksi vaatimukseksi testeille (ks. lukua 4). Koska testien ja luottamusjoukkojen välillä on vastaavuus, harhattomuuden käsite on syytä liittää myös luottamusjoukkoihin. Kutsumme luottamusjoukkoa C(x) luottamustasolla α harhattomaksi, jos Pr ( C ( X)) α kaikille. Jos luottamusjoukko on harhaton, todennäköisyys, että väärä parametrin arvo tulee peitetyksi on korkeintaan yhtä suuri kuin pienin mahdollinen todennäköisyys sille, että oikea parametrin arvo tulee peitetyksi. Harhaton luottamusjoukko voidaan konstruoida kääntämällä harhaton testi. Olkoon siis A( 0 ) on harhattoman tasoa α olevan testin hyväksymisalue, kun testattavana on nollahypoteesi H : = KK @ Ilkka Mellin (2007) 3/5
vaihtoehtoista hypoteesia H: 0 vastaan. Konstruoidaan parametrille luottamusjoukko C(x) luottamustasolla α kääntämällä hyväksymisalue A( 0 ). ällöin luottamusjoukko C(x) on harhaton. Prattin teoreema: odistus: Olkoon reaaliarvoisen satunnaismuuttujan X pistetodennäköisyys tai tiheysfunktio f ( x ; ), jossa on reaaliarvoinen parametri. Olkoon C( x) = [ ( x), ( x)] parametrin luottamusväli luottamustasolla α. Jos (x) ja (x) ovat molemmat muuttujan x kasvavia (väheneviä) funktioita, niin kaikille. E ( ( X) ( X)) = Pr ( C( X)) d odistamme Prattin teoreeman vain siinä tapauksessa, että luottamusvälin C(x) päätepisteet (x) ja (x) ovat molemmat muuttujan x kasvavia funktioita. Odotusarvon määritelmän mukaan E ( X ( ) X ( )) = ( ( X ) ( X )) f ( x; ) dx Odotusarvon määritelmä χ ( x) = d f ( x; ) dx on dummy muuttuja χ ( x) ( ) = f( x; ) dx d Integroimisjärjetyksen vaihto Θ ( ) = X Θ Pr ( ( ) ( )) [ C X ] d Määritelmä = Pr ( ( )) d Käännetään hyväksymisalue Θ = Pr ( C( X)) d Yhden pisteen tn = 0 Integroimisjärjestyksen vaihto tässä yhtälöketjussa voidaan perustella yleisesti ns. Fubinin lauseen avulla, mutta voidaan helposti nähdä oikeutetuksi myös suoraan, jos kaikki integroitavat ovat äärellisiä. Hyväksymisalueen kääntäminen perustuu siihen, että ja oletettiin kasvaviksi, jolloin { ( x) ( x)} x { x ( ) x ( )} KK @ Ilkka Mellin (2007) 4/5
Prattin teoreeman mukaan väliestimaattorin pituuden C( X) = [ ( X), ( X)] X ( ) X ( ) odotusarvo yhtyy summaan (so. integraaliin) todennäköisyyksistä sille, että väärä parametrin arvo tulee peitetyksi. KK @ Ilkka Mellin (2007) 5/5