The Metropolis-Hastings Algorithm

Koko: px

Aloita esitys sivulta:

Download "The Metropolis-Hastings Algorithm"

Marja-Leena Ranta
6 vuotta sitten
Katselukertoja:

1 The Metropolis-Hastings Algorithm Chapters from Monte Carlo Statistical Methods by Christian P. Robert and George Casella Harri Lähdesmäki The Metropolis-Hastings Algorithm p. 1/21

2 Taustaa päämääränä laskea (approksimoida) integraali h(x)f(x)dx tähän tarkoitukseen ei välttämättä tarvita näytteitä X f (Accept-Reject, Importance sampling) idea: X 1,..., X n f käyttämällä ergodista Markovin-ketjua, jonka stationäärinen jakauma on f aloituspiste x (0) ei (periaatteesa) vaikuta, koska ketju (X (t) ) ergodinen isolle T 0 voidaan olettaa, että X (T 0),... f saadaan riippuva näyte X (T 0),... The Metropolis-Hastings Algorithm p. 2/21

3 MCMC Määritelmä Markovin-ketju Monte Carlo menetelmä jakauman f simuloimiseksi on mikä tahansa menetelmä, joka tuottaa ergodisen Markovin-ketjun (X (t) ), jonka stationäärinen jakauma on f tässä kappaleessa keskitytään Metropolis-Hastings (M-H) menetelmään The Metropolis-Hastings Algorithm p. 3/21

4 MCMC (2) alustavia huomioita riippuvien näytteiden käyttö samankaltaista kuin i.i.d. näytteiden, sillä ergodisuus lause (Th ) takaa, että keskiarvo 1 T T h(x (t) ) t=1 suppenee kohti arvoa E f [h(x)] riippumattomia näytteitä saataisiin esim. generoimalla n ketjua (X (t) i ), i = 1,... n, ja ottamalla vain (X (T 0) i ) The Metropolis-Hastings Algorithm p. 4/21

5 Metropolis-Hastings menetelmä Määritelmän pohjalta voitaisiin keksiä useita menetelmiä M-H asettaa minimaaliset vaatimukset jakaumalle f M-H:n perustana kohde jakauma f ja ehdollinen jakauma q(y x) The Metropolis-Hastings Algorithm p. 5/21

6 Metropolis-Hastings menetelmä (2) M-H algoritmi [A.24] annettuna x (t) 1. generoi Y t = q(y x (t) ) 2. valitse { X (t+1) Y t, todennäköisyydellä ρ(x (t), Y t ), = x (t), todennäköisyydellä 1 ρ(x (t), Y t ), missä ρ(x, y) = min { f(y) f(x) } q(x y) q(y x),1 The Metropolis-Hastings Algorithm p. 6/21

7 Metropolis-Hastings menetelmä (3) lisää huomioita M-H riippuu ainoastaan osamääristä f(y t )/f(x (t) ) ja q(x (t) y t )/q(y t x (t) ) M-H ei riipu f:n ja q:n normalisoinnista olettaen, että q( y):n normalisointi on riippumaton y:stä M-H määritelty vain jos f(x (t) ) > 0 jos f(x (0) ) > 0 niin f(x (t) ) > 0, t = 1,2,... ketjussa (X (t) ) voi olla toistoja The Metropolis-Hastings Algorithm p. 7/21

8 M-H:n konvergoinnista vaatimukset f:lle ja q:lle, jotta f on (X (t) ):n stationäärinen jakauma oletetaan, että E = supp f on kytketty (ei välttämätön ehto: jos E ei kytketty, niin jokainen komponentti täytyy käsitellä erikseen ja osoittaa, että komponentit ovat kytkettyjä M-H:n ytimellä) jos supp q supp f, niin f ei ole M-H:n stat. jakauma, sillä jos olemassa A E s.e. A f(x)dx > 0 ja A q(y x)dx = 0 kaikilla x E, niin jos x (0) / A (X (t) ) ei koskaan käy A:ssa minimi vaatimus x supp f supp q( x) supp f The Metropolis-Hastings Algorithm p. 8/21

9 M-H:n konvergoinnista (2) Määritelmä Markovin-ketju ytimellä K toteuttaa tasapainoehdon jos olemassa f s.e. K(y, x)f(y) = K(x, y)f(x) (x, y) E E Teoreema Jos määritelmän tasapainoehto voimassa s.e. f on tdn. tiheysfunktio, niin 1. tiheysfunktio f on ketjun stationäärinen jakauma 2. ketju on kääntyvä Tod. kohta 1. kaikille mitallisille B K(y, B)f(y)dy = K(y, x)f(y)dxdy Y = Y Y B B K(x, y)f(x)dxdy = B f(x)dx. The Metropolis-Hastings Algorithm p. 9/21

10 M-H:n konvergoinnista (3) Teoreema Jos supp q supp f, niin f on M-H menetelmän tuottaman ketjun (X (t) ) stat. jakauma Tod. M-H:n siirtymäydin on K(x, y) = ρ(x, y)q(y x) + (1 r(x))δ x (y), missä r(x) = ρ(x, y)q(y x)dy. Selvästi ja ρ(x, y)q(y x)f(x) = ρ(y, x)q(x y)f(y) (1 r(x))δ x (y)f(x) = (1 r(y))δ y (x)f(y). Laskemalla puolittain yhteen nähdään, että tasapainoehto toteutuu, ja tulos seuraa Teoreemasta The Metropolis-Hastings Algorithm p. 10/21

11 M-H:n konvergoinnista (4) M-H:n konstruktiosta seuraa invarianttijakauma f ergodisuus teoreema voimassa jos f on myös aperiodinen ja Harris palautuva riittävä ehto aperiodisuudelle: askeleet X (t+1) = X (t) ovat mahdollisia, ts. P[ρ(X (t), Y t ) 1] < 1 P[f(X (t) )q(y t X (t) ) f(y t )q(x (t) Y t )] < 1 (1) ketjun (X (t) ) redusoitumattomuus riippuu ehdollisesta jakaumasta q: riittävä ehto q(y x) > 0 (y, x) E E (2) The Metropolis-Hastings Algorithm p. 11/21

12 M-H:n konvergoinnista (5) redusoitumattomuus seuraa ehdosta (2): A E s.e. λ(a) > 0, K(x, A) > 0 kaikille x E koska f on ketjun invarianttijakauma, niin ketju on positiivinen ja Teoreeman nojalla palautuva Lemma Jos M-H ketju (X (t) ) on f-redusoitumaton, niin se on Harris palautuva Tod. kirjan sivut The Metropolis-Hastings Algorithm p. 12/21

13 M-H:n konvergoinnista (6) Teoreema Oletetaan, että M-H ketju (X (t) ) in f-redusoitumaton 1. jos h(x) f(x)dx <, niin lim T 1 T T h(x (t) ) = t=1 h(x)f(x)dx 2. jos ketju (X (t) ) on lisäksi aperiodinen, niin lim n K n (x, )µ(dx) f = 0 TV Tod. Jos (X (t) ) on f-redusoitumaton, se on Harris palautuva Teoreeman nojalla. Kohta 1. seuraa Erg. teoreemasta Th Kohta 2. on sama kuin Teoreema The Metropolis-Hastings Algorithm p. 13/21

14 M-H:n konvergoinnista (7) Seurauslause Jos ehdollinen jakauma q toteuttaa ehdot ja P[f(X (t) )q(y t X (t) ) f(y t )q(x (t) Y t )] < 1 q(y x) > 0 (y, x) E E, niin Teoreeman johtopäätökset ovat voimassa. Lemma Oletaan, että f on rajoitettu ja positiivinen joukoissa A E, A kompakti. Jos olemassa ɛ, δ > 0 s.e. q(y x) > ɛ if x y < δ, niin M-H ketju (X (t) ) on f-redusoitumaton ja aperiodinen. Lisäksi jokainen ei-tyhjä kompakti joukko on pieni joukko. Tod. kirjan sivu 238. The Metropolis-Hastings Algorithm p. 14/21

15 M-H:n konvergoinnista (8) Seurauslause Jos M-H ketjun invarianttijakauma on f ja ehdollinen jakauma toteuttaa Lemman ehdot, niin Teoreeman johtopäätökset ovat voimassa. The Metropolis-Hastings Algorithm p. 15/21

16 Erilaisia M-H algoritmeja riippumaton M-H menetelmä [A.25] annettuna x (t) 1. generoi Y t = g(y) 2. valitse { Yt, todennäköisyydellä min X (t+1) = x (t), muulloin, vain Y t :t ovat riippumattomia, eivät X (t) :t edelliset konvergenssilauseet voimassa jos g(y) > 0 melkein kaikkialla y E { f(yt ) f(x (t) ) g(x (t) ) g(y t ),1 }, The Metropolis-Hastings Algorithm p. 16/21

17 Erilaisia M-H algoritmeja (2) Teoreema Jos olemassa vakio M s.e. f(x) Mg(x) kaikilla x supp f, (3) niin algoritmi [A.25] tuottaa tasaisesti ergodisen ketjun. Tällöin K n (x, ) f TV 2(1 1/M) n. Jos ehto (3) ei ole voimassa, niin ketju ei ole edes geometrisesti ergodinen. Tod. Kirjan sivut The Metropolis-Hastings Algorithm p. 17/21

18 Erilaisia M-H algoritmeja (3) Lemma Jos ehto (3) voimassa, niin [A.25]:n hyväksymistodennäköisyyden odotusarvo on vähintään 1/M. Tod. Kirjan sivu 241. i.i.d. M-H parempi kuin Accept-Reject menetelmä, sillä se hyväksyy enemmän näytteitä tarkempi vertailu hankalaa esimerkkejä The Metropolis-Hastings Algorithm p. 18/21

19 Erilaisia M-H algoritmeja (4) Esimerkki gamma satunnaismuuttujien Ga(α, β) generointi Ga([α],[α]/α) instrumenttijakaumaa käyttäen Accept-Reject ja riippumattoman M-H menetelmän vertailu E f [X 2 ] estimoimiseksi kirjan sivut The Metropolis-Hastings Algorithm p. 19/21

20 Erilaisia M-H algoritmeja (5) satunnaiskävelyt Y t = x (t) + ɛ t, ɛ t g q(y x) on nyt muotoa g(y x) ketju on ergodinen jos g(x) > 0, kun x B(0, δ) jollekin δ satunnaiskävely M-H menetelmä [A.28] annettuna x (t) 1. generoi Y t g(y x (t) ) 2. valitse { { } X (t+1) Yt, todennäköisyydellä min 1, f(y t) = f(x (t) ), x (t), muulloin, The Metropolis-Hastings Algorithm p. 20/21

21 Erilaisia M-H algoritmeja (6) Esimerkki normaalijakauman generointi satunnaiskävelyllä generoi N(0, 1) satunnaismuuttujia käyttäen U[ δ, δ] jakautuneita muuttujia tulokset: kirjan sivu 246 ei tasaisesti ergodinen (ehdot geometriselle ergodisuudelle) Esimerkki Häntäilmiön tutkiminen: geometrisen ja ei-geometrisen ergodisuuden vertailu kirjan sivut The Metropolis-Hastings Algorithm p. 21/21

Samankaltaiset tiedostot

Satunnaislukujen generointi

Satunnaislukujen generointi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Satunnaislukujen generointi 1/27 Kevät 2003 Lähteet Knuth, D., The Art of Computer Programming,