5.7 Uskottavuusfunktioon perustuvia testejä II

Transkriptio

1 5.7 Uskottavuusfunktioon perustuvia testejä II Tässä pykälässä pohditaan edellä tarkasteltujen kolmen testisuureen yleistystä malleihin, joiden parametri on useampiulotteinen, ja testausasetelmiin, joissa nollahypoteesi on mahdollisesti yhdistetty. Tyypillisesti nollahypoteesi ottaa kantaa vain joihinkin parametrivektorin komponentteihin.

2 5.7.1 vapaa ja rajoitettu malli On annettu malli f Y (y; θ), jonka parametriavaruus on Ω R d, ja nollahypoteesi H 0 : θ Ω 0, jossa Ω 0 on Ω:n osajoukko. Tehtävänä on siis testata, onko havaittu aineisto sopusoinnussa sen hypoteesin kanssa, että todellinen parametriarvo kuuluisi joukkoon Ω 0. Kysymystä voidaan lähestyä ajattelemalla, että tarkasteltavana on kaksi mallia: vapaa malli: f Y (y; θ), θ Ω rajoitettu malli: f Y (y; θ), θ Ω 0

3 5.7.1 vapaa ja rajoitettu su-estimaatti Niiden kummankin puitteissa voidaan aineistosta y laskea suurimman uskottavuuden estimaatit: vapaa su-estimaatti θ Ω L( θ; y) = max L(θ; y) θ Ω rajoitetettu su-estimaatti θ 0 Ω L( θ 0 ; y) = max θ Ω 0 L(θ; y)

4 5.7.1 vapaa ja rajoitettu su-estimaatti (kuva)

5 5.7.1 Uskottavuusfunktioon perustuvia testejä II Uskottavuusosamäärän testisuureeksi on nyt luontevaa valita r(y) = 2(l( θ; y) l( θ 0 ; y)) Ilmeisesti tämän suuret arvot ovat nollahypoteesin kannalta kriittisiä, sillä nehän merkitsevät, että rajoitetun mallin antama selitys havaitulle aineistolle on parhaimmillaankin paljon epäuskottavampi kuin vapaan mallin antama. Jatkossa nähdään, että myös Waldin ja Raon testisuureet voidaan yleistää. Ensin mainittu perustuu erotusvektoriin θ θ 0 ja jälkimmäinen log-uskottavuusfunktion gradientin (pistemäärän) arvoon l( θ 0 ; y).

6 5.7.2 Oletukset Rajataan hieman yleisyyttä, jotta asiat on selkeitä Oletetaan jatkossa, että a) mallin parametri voidaan osittaa muotoon θ = (ψ, λ), jossa ψ = (θ 1,..., θ q ) ja λ = (θ q + 1,..., θ d ). b) parametriavaruus Ω voidaan kirjoittaa vastaavasti tulona Ω = Ω Ω, jossa Ω R q ja Ω R d q,ja c) nollahypoteesi on H 0 : ψ = ψ 0, jossa ψ 0 Ω on tunnettu kiinteä vektori, ts. Ω 0 = { ψ 0 } Ω = { (ψ 0, λ) ; λ Ω }. Lisäksi on vaadittava, että malli toteuttaa tietyt säännöllisyysehdot (jotta asymptoottiset tuloksemme ovat voimassa)

7 5.7.2 Kuva oletuksista (kuva)

8 5.7.2 Malliesimerkki oletuksista Tämä vastaa mainiosti normaalimallin testausasetelmaa, kun H 0 : µ = µ 0 ja varianssi σ 2 on tuntematon Tällöin parametrina on θ = (µ, σ 2 ), ψ = µ ja λ = σ 2 Parametriavaruushan oli Ω = R (0, ) = Ω Ω, joten huomaamme, että Ω 0 = { µ 0 } Ω

9 5.7.2 Oletusten merkityksestä Nollahypoteesi siis kiinnittää symbolilla ψ merkityn parametrivektorin osan mutta ei ota mitään kantaa osaan λ. Koska tutkijan mielenkiinto on tässä testausasetelmassa kohdistunut osaan ψ, sitä voidaan kutsua kiinnostavaksi parametriksi. Osa λ puolestaan on kiusaparametri. Tämä vastaa normaalimallin termistöä (varianssin ollessa kiusaparatmetri ja odotusarvon olleen kiinnostuksen kohde)

10 5.7.2 Oletusten merkityksestä Näillä oletuksilla rajoitettu su-estimaatti on muotoa θ 0 = (ψ 0, λ 0 ), jossa λ 0 saadaan maksimointitehtävän L(ψ 0, λ 0 ; y) = max λ Ω L(ψ 0, λ; y) ratkaisuna eli estimoimalla malli f Y (y; ψ 0, λ), λ Ω, suurimman uskottavuuden menetelmällä.

11 5.7.3 Esimerkkejä a) Katsotaan vielä kerran normaalimallin tapaus :) Mallissa Y 1,..., Y n N(µ, σ 2 ) parametri on (µ, σ 2 ) ja parametriavaruus R (0, ). Jos H 0 : µ = µ 0, niin µ on kiinnostava parametri ja σ 2 on kiusaparametri.

12 5.7.3 Esimerkkejä b) Hieman mielenkiintoisempi esimerkki on yhden selittäjän regressiomalli Y 1,..., Y n, Y i N(α + βx i, σ 2 ) (ks ) parametri on (α, β, σ 2 ) ja parametriavaruus R R (0, ). Tavallisesti halutaan testata hypoteesia H 0 : β = 0, jolloin β on kiinnostavan parametrin asemassa ja (α, σ 2 ) on kiusaparametri. Jos taas testattavana on H 0 : α = 0, niin α on kiinnostava parametri ja (β, σ 2 ) kiusaparametri.

13 5.7.3 Esimerkkejä c) Oletusten a)-c) mukaisen testausasetelman sovellusaluetta voi usein laajentaa mallin sopivan uudelleenparametroinnin avulla. Tarkastellaan esimerkkinä tilannetta, jossa havaintoja vastaavat satunnaismuuttujat ovat X 1,..., X m, Y 1,..., Y n ja X 1,..., X m N(µ, σ 2 ), Y 1,..., Y n N(ν, τ 2 ). Tämän mallin parametri on (µ, ν, σ 2, τ 2 ).

14 5.7.3 Esimerkkejä Halutaan testata hypoteesia H 0 : µ = ν eli tutkia, voisivatko x-havainnot ja y-havainnot olla peräisin normaalijakaumista, joilla on sama odotusarvo. Tämä hypoteesi ei suoraan ole c-oletuksen mukainen. Olkoon δ = ν µ Uudelleenparametrointi (µ, ν, σ 2, τ 2 ) (µ, δ, σ 2, τ 2 ) korjaa tämän ongelman :) Tämän esimerkin testausasetelmaa kutsutaan tilastollisen päättelyn kirjoissa perinteisesti Behrensin ja Fisherin ongelmaksi.

15 5.7.4 Uskottavuusosamäärän testisuure Tarkastellaan edellä kohdissa ja kuvattua asetelmaa. Olkoon θ vapaa su-estimaatti ja θ 0 rajoitettu eli H 0 :n puitteissa muodostettu su-estimaatti. Määritelmä Uskottavuusosamäärän testisuure on r(y) = 2(l( θ; y) l( θ 0 ; y))

16 5.7.4 Uskottavuusosamäärän testisuure Yleistämällä yksiulotteisen parametrin tapauksessa suoritettua päättelyä (ks ) ja olettamalla riittävät säännöllisyysehdot voidaan osoittaa, että r(y) as χ 2 q, kun H 0 pätee. Uskottavuusosamäärän testin approksimatiivinen p-arvo saadaan siis χ 2 q-jakaumasta: p P(χ 2 q r(y)). Huomaa, että vapausasteiden lukumäärä q on sama kuin kiinnostavan parametrin dimensio eli H 0 :n asettamien (skalaaristen) side-ehtojen lukumäärä.

17 5.7.5 Waldin testisuure Kauan sitten (Kappaleessa 2.6) asetimme malliin f Y (y; θ) liittyvän Fisherin informaatiomatriisin (symmetrinen d d-matriisi) ι 1,1 (θ)... ι 1,d (θ) ι(θ) =..... ι d,1 (θ)... ι d,d (θ) kun θ Ω. Kappaleessa totesimme, että myös moniparametrisessa tilanteessa su-estimaattori on asymptoottisesti multinormaalijakautunut θ (n) (Y) as N d (θ, ι(θ) 1 )

18 5.7.5 Waldin testisuure Kappaleessa otimme käyttöön yläindeksimerkinnän Fisherin informaation käänteismatriisille ι 1,1 (θ)... ι 1,d (θ) ι 1 (θ) =..... ι d,1 (θ)... ι d,d (θ) Tämän motivoimana merkitään yläindeksimerkinnällä lohkottua Fisherin informaation käänteismatriisille ( ι 1 ι (θ) = ψ,ψ (θ) ι ψ,λ ) (θ) ι λ,ψ (θ) ι λ,λ (θ)

19 5.7.5 Waldin testisuure Kun jaetaan vastaavasti su-estimaattori θ kahteen osaankirjoittamalla θ = ( ψ, λ), niin ψ (n) (Y) as N q (ψ, ι ψ,ψ (θ)) Lineaaristen mallien kurssilla osoitetaan (ja itse asiassa teimme tämän jo TN2:lla), että tällöin ( ψ(y) ψ) ι ψ,ψ (θ) 1 ( ψ(y) ψ) as χ 2 q

20 5.7.5 Waldin testisuure Näiden tarkastelujen pohjalta Waldin testisuureen määritelmäksi kohdan tilanteessa otetaan Määritelmä Asetetaan w(y) = ( ψ(y) ψ 0 ) ι ψ,ψ ( θ) 1 ( ψ(y) ψ 0 ), kun θ = ( ψ, λ) on vapaa su-estimaatti. Tätä kutsutaan Waldin testisuureeksi.

21 5.7.5 Waldin testisuure Matriisin ι ψ,ψ ( θ) sijasta voidaan käyttää myös vastaavaa havaitusta informaatiosta saatavaa matriisia. Edellisen päätelyn pohjalta (säännöllisyysoletusten vallitessa) seuraava asymptoottinen jakaumatulos on uskottava w(y) as χ 2 q, kun H 0 pätee. Testisuureen w(y) suuret arvot asettavat nollahypoteesin kyseenalaiseksi, joten approksimatiivinen p-arvo lasketaan samoin kuin uskottavuusosamäärän testissä.

22 5.7.6 Raon testisuure Kauan sitten luvussa 2.6. määrittelimme vektoriparametrisen mallin pistemäärän tarkoitetaan log-uskottavuusfunktion gradienttia ( ) l(θ; y) = θ 1 l(θ; y),..., θ d l(θ; y). Ositetaan tämä kahteen osaan ( ) l(θ; y) = ψ l(θ; y), λ l(θ; y).

23 5.7.6 Raon testisuure Raon pistemäärätestisuure määritellään nyt kaavalla Määritelmä Asetetaan u(y) = ( ψ l( θ 0 ; y) ) ι ψ,ψ ( θ 0 ) ( ψ l( θ 0 ; y) ) missä θ 0 = ( ψ 0, λ 0 ) on rajoitettu su-estimaatti. Tätä kutsutaan Raon testisuureeksi.

24 5.7.6 Raon testisuure Määritelmässä voidaan ι ψ,ψ ( θ 0 ) korvata vastaavalla havaitusta informaatiosta saatavalla matriisilla. Riittävien säännöllisyysehtojen vallitessa voidaan osoittaa, että u(y) as χ 2 q, kun H 0 pätee. Havaitsemme, että approksimatiivinen p-arvo lasketaan siis kuten uskottavuusosamäärän ja Waldin testeissä.

25 5.7.7 Testisuureiden vertailua Kaikki kolme uskottavuusfunktioon perustuvaa testisuuretta noudattavat nollahypoteesin pätiessä asymptoottisesti samaa jakaumaa χ 2 q. Ne kuitenkin eroavat toisistaan vaadittavan suurimman uskottavuuden estimoinnin suhteen.

26 5.7.7 Testisuureiden vertailua Uskottavuusosamäärän testisuureen r(y) muodostamiseksi on estimoitava sekä vapaa että rajoitettu malli. Waldin testisuure w(y) puolestaan perustuu pelkästään vapaaseen su-estimaattiin Raon testisuure u(y) perustuu pelkästään rajoitettuun su-estimaattiin. Näillä seikoilla on oma merkityksensä, kun tarkastellaan monimutkaisia malleja, joissa estimointi edellyttää raskasta numeerista laskentaa. Laskennalliset ongelmat ovat tosin viime vuosina paljolti poistuneet tietokoneiden laskentakapasiteetin kehityksen myötä.

27 5.7.8 Esimerkki: Raon testi normaalimallille Tarkastellaan (jälleen kerran) normaalimallia Y 1,..., Y n N(µ, σ 2 ) Muodostetaan Raon testisuure (yhdistetylle) hypoteesille H 0 : µ = µ 0. varianssi σ 2 on tällöin kiusaparametri Tässä λ = σ 2 ja ψ = µ.

28 5.7.8 Esimerkki: Raon testi normaalimallille Testisuurehan oli u(y) = ( ψ l( θ 0 ; y) ) ι ψ,ψ ( θ 0 ) ( ψ l( θ 0 ; y) ) missä θ 0 = θ 0 (y). Tässä tilanteessa siis: u(y) = ( µ l( θ 0 ; y) ) ι µ,µ ( θ 0 ) ( µ l( θ 0 ; y) ) Sitä varten tarvitsemme: Fisherin informaation käänteismatriisin rajoitetun su-estimaatin θ 0 (y) pistemäärän

29 5.7.8 Esimerkki: Raon testi: Fisherin informaatio Napsitaan helpot ensin :) Esimerkissä laskimme Fisherin informaatiomatriisin normaalimallille ( ) ι(µ, σ 2 n/σ 2 0 ) = 0 n/2σ 4 Ja Esimerissä käytimme tätä apuna Fisherin informaation käänteismatriisin laskemiseen ( ι 1 (µ, σ 2 σ ) = 2 ) /n 0 ( ι 0 2σ 4 = µ,µ (θ) ι µ,λ ) (θ) /n ι λ,µ (θ) ι λ,λ (θ)

30 5.7.8 Esimerkki: Raon testi: pistemäärä Pistemäärän tapauksessa meille riittää siis osittaisderivaatta µ l(µ, σ2 ; y) Esimerkin alussa määräsimme suoraan uskottavuusfunktion L ilman otoskeskiarvoa ja otosvarianssia, joten aloitetaan siitä l(µ, σ 2 ; y) = n 2 log(σ2 ) 1 2σ 2 n (y i µ) 2 i=1 Tämän avulla tarvittava pistemäärä µ l on µ l(µ, σ2 ; y) = 1 σ 2 n (y i µ) = i=1 n(y µ) σ 2

31 5.7.8 Esimerkki: Raon testi: rajoitettu su-estimaatti Koska H 0 : µ = µ 0 vastaa joukkoa Ω 0 = { µ 0 } (0, ), niin rajoitettu su-estimaattori θ 0 = (µ 0, σ 2 0 ). Tarkastellaan uskottavuusyhtälöä (σ 2 ) l(µ 0, σ 2 ) = n 2σ (σ 2 ) 2 Tämän ainoa ratkaisu on n (y i µ 0 ) 2 = 0 i=1 σ 2 = 1 n n (y i µ 0 ) 2 i=1

32 5.7.8 Esimerkki: Raon testi: rajoitettu su-estimaatti Suurilla σ 2 derivaatta on negatiivinen ja pienillä positiivinen ja derivaatta on jatkuva: siispä rajoitettu su-estimaatti on σ 2 0(y) = 1 n n (y i µ 0 ) 2 i=1 Tämä voidaan ilmaista myös vapaan su-estimaatin avulla σ 2 0(y) = 1 n n (y i y) 2 + (y µ 0 ) 2 = σ 2 (y) + (y µ 0 ) 2 i=1

33 5.7.8 Esimerkki: Raon testisuure Sijoitetaan nyt kaikki tiedot testisuureen lausekkeeseen u(y) = ( µ l( θ 0 ; y) ) ι µ,µ ( θ 0 ) ( µ l( θ 0 ; y) ) Saamme: ( n(y µ) ) 2 σ 2 u(y) = 0 n σ 2 0 = n(y µ)2 σ 2 0 Tämä voidaan ilmaista myös vapaan su-estimaatin avulla u(y) = n(y µ)2 σ 2 + (y µ) 2

34 5.7.8 Esimerkki: Raon testisuure vs t-testisuure Muotoillaan Raon testisuure vapaan su-estimaatin avulla uudestaan ( σ 2 ) u(y) = n 1 σ 2 + (y µ) 2 = n (1 ( 1 + t(y)2 ) ) 1 n 1 = w( t(y) ) Yllä t(y) on t-testisuure t(y) = y µ 0 s/ n

35 5.7.8 Esimerkki: Raon testisuure vs t-testisuure Kuvaus w on aidosti kasvava positiivisilla reaaliluvuilla w (t) = n (1 + t2 ) 2 2t n 1 n 1 > 0 Siispä: Raon testisuure u ja kaksisuuntainen t-testisuure ovat ekvivalentit :) sillä niillä on samat p-arvot ja kriittiset alueet Harjoituksissa pääsette näyttämään saman Waldin ja uskottavuusosamäärän testisuureelle :)