Maximum likelihood-estimointi Alkeet

Transkriptio

1 Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20

2 Maximum Likelihood-estimointi satunnaismuuttujan X todennäköisyysjakauma f(x; θ) parametri θ tuntematon Havaintoaineiston x = {x 1,x 2,...,x n } avulla estimaatti ˆθ Maximum likelihood-estimointi p.2/20

3 Maximum likelihood-estimoinnissa Suurimman uskottavuuden-menetelmä. Parametrin θ likiarvo l. estimaatti ˆθ maksimoi todennäköisyystiheyden f(x; θ), tai maksimoi log-likelihood-funktion ln[f(x; θ)], sillä logaritmi funktio on aidosti kasvava Maximum likelihood-estimointi p.3/20

4 DC-komponentin estimointi Esim 1. Kohina peittää signaalin tasavirtakomponentin. Kohinaisesta signaalista on otettu näytteitä (riippumattomasti): x i = θ + w i, i = 1,...,n missä kohinan oletetaan olevan riippumatonta eri näytteissä, ja jakautunut standardisoidun normaalijakauman mukaisesti l. w i N(0, 1). Määrää näytteiden perusteella tasavirtakomponentin suuruus suurimman uskottavuuden menetelmällä. Maximum likelihood-estimointi p.4/20

5 Ratkaisu Satunnaismuuttujat X i N(θ, 1),i = 1,...,n Yhteisjakauman tiheysfunktio (riippumattomuus) f X (x 1,x 2,...,x n ;θ) = Log-likelihood-funktio n 1 f Xi (x i ;θ) = [ ] n P n e 1 (x 2 i θ) 2. 2π ln(f(x;θ)) = n 2 ln(2π) 1 2 n (x i θ) 2. Maximum likelihood-estimointi p.5/20

6 Ratkaisu jatkuu Likelihood-funktion maksimi d ln(f(x;θ)) dθ = n (x i θ) = 0. Tasavirtakomponentin maximum likelihood-estimaatti on otoskeskiarvo ˆθ = 1 n n x i = x. Maximum likelihood-estimointi p.6/20

7 Esim. jatkuu Esim 2. Tarkastellaan samaa tilannetta kuin edellisessä esimerkissä; mutta olettaen, ettei kohinan varianssia tunneta, ts. (riippumattomat) näytteet signaalista noudattavat normaalijakaumaa x i = θ 1 + w i N(θ 1,θ 2 ), i = 1,...,n, jonka molemmat parametrit ovat tuntemattomia. Maximum likelihood-estimointi p.7/20

8 Ratkaisu Satunnaismuuttujan X i tiheysfunktio on f Xi (x i ) = 1 e (x i θ 1 ) 2θ 2 2πθ2 2 satunnaismuuttujien X i yhteisjakauman tiheysfunktio on P 1 f X (x;θ 1,θ 2 ) = ( ) n 1 n 2 e 2θ 2 (x i θ 1 ) 2. 2πθ 2 Log-likelihood-funktio ln(f X (x;θ 1,θ 2 )) = n 2 ln(2πθ 2) 1 2θ 2 n (x i θ 1 ) 2. Maximum likelihood-estimointi p.8/20

9 Ratk. jatkuu Maksimikohta löytyy gradientin nollakohdasta Ratkaistava yhtälöpari ln f(x;θ 1,θ 2 ) θ 1 = 1 θ 2 ln f(x;θ 1,θ 2 ) θ 2 = n 2 θ ln f(x;θ 1,θ 2 ) = 0. n (x i θ 1 ) = 0 (1) θ 2 2θ2 2 n (x i θ 1 ) 2 = 0 (2) Maximum likelihood-estimointi p.9/20

10 Ratk. jatkuu Yhtälöstä (1) estimaatti odotusarvolle θ 1 : ˆθ 1 = 1 n n x i = x. Varianssin estimaatti yhtälöstä on 1 θ 2 n (x i x) 2 n = 0, ˆθ 2 = 1 n n (x i x) 2. Maximum likelihood-estimointi p.10/20

11 Yleistä teoriaa Voidaan osoittaa, että jos parametreista θ = [θ 1,θ 2,...,θ k ] riippuva tiheysfunktio f X (x;θ) on riittävän "säännöllinen", niin maximum-likelihood estimaattori on tarkentuva; asymptoottisesti optimaalinen; Jos on olemassa tehokas estimaattori, niin maximum-likelihood-menetelmällä ko. estimaattori on löydettävissä. Maximum likelihood-estimointi p.11/20

12 Poisson-jakauma Esim 3. Olkoon X Poisson-jakautunut satunnaismuuttuja (X Poi(a)) ja x 1,x 2,...,x n riippumattomia havaintoja X:stä. Määrää maximum-likelihood menetelmällä estimointikaava parametrille a. Maximum likelihood-estimointi p.12/20

13 Ratk. Poisson-jakauman pistetodennäköisyysfunktio on P(X = x i ) = ax i x i! e a, x i = 0, 1, 2,.... Likelihood-funktio (l. uskottavuusfunktio) on L(x;a) = np x i a x 1!x 2! x n! e na. Uskottavuusfunktion logaritmi ln(l(x; a)) = [ n x i ] ln(a) na ln(x 1!x 2! x n!). Maximum likelihood-estimointi p.13/20

14 jatkuu Maksimi löytyy derivaatan nollakohdasta: d ln(l(x;â)) da = 1 ( n ) x i n = 0 â â = 1 n n x i. Maximum likelihood-estimointi p.14/20

15 Maximum likelihood yleisesti Tuntematon parametrivektori θ = [θ 1,θ 2,...,θ k ] T Havaintoaineisto x = [x 1,x 2,...,x n ] T Havainnot riippumattomia ja noudattavat samaa todennäköisyysjakaumaa f(x i ;θ) Uskottavuusfunktio on yksiulotteisten jakaumien tulo L(θ) = n f(x i ;θ). Maximum likelihood-estimointi p.15/20

16 Maksimikohta Käytännössä tarkastellaan uskottavuusfunktion logaritmia l(θ) = ln(l(θ)). Maksimikohta l(ˆθ) θ j = 0, j = 1, 2,...,k. Maximum likelihood-estimointi p.16/20

17 Maksimikohta Gradientin nollakohdassa uskottavuusfunktion Taylorin sarja l(θ) = l(ˆθ) + θ l(ˆθ) T (θ ˆθ) k i,j=1 2 l(ˆθ) θ i θ j (θ i ˆθ i )(θ j ˆθ j ) + = l(ˆθ) k i,j 2 l(ˆθ) θ i θ j (θ i ˆθ i )(θ j ˆθ j ) +. Gradientin nollakohdan laatu riippuu neliömuodosta 1 2 k i,j=1 2 l(ˆθ) θ i θ j (θ i ˆθ i )(θ j ˆθ j ) Maximum likelihood-estimointi p.17/20

18 Fisherin informaatiomatriisi Uskottavuusfunktion toiset derivaatat muodostavat ns. Fisherin informaatiomatriisin J(ˆθ) = [ 2 l(ˆθ) θ i θ j ]i,j Uskottavuusfunktio saavuttaa maksiminsa gradientin nollakohdassa, jos Fisherin informaatiomatriisi on negatiivisesti definiitti, ts. kaikki sen ominaisarvot ovat negatiivisia. Maximum likelihood-estimointi p.18/20

19 Teoriaa Nyt voidaan osoittaa, että maximum likelihood-estimaattori on Tarkentuva, ts. lim n P( ˆθ(n) θ > ǫ) = 0, missä ˆθ(n) on n:ään havaintoon perustuva parametrin θ estimaatti. asymptoottisesti normaalijakautunut odotusarvona θ ja kovarianssimatriisina (varianssina) 1 n J 1, missä J on Fisherin informaatiomatriisi. Maximum likelihood-estimointi p.19/20

20 Teoriaa - lisää asymptoottisesti tehokas, ts. jos θ(n) on mikä tahansa tarkentuva, asymptoottisesti normaalijakautunut estimaattori parametrivektorille θ kovarianssimatriisina Σ, niin J Σ on positiivisesti semidefiniitti. Näin ollen ML-estimaatti on myös asymptoottisesti optimaalinen. Invariantti kuvausten suhteen. Olkoon g( ) vektorimuuttujan vektoriarvoinen funktio. Tällöin jos ˆθ on parametrivektorin θ ML-estimaatti, niin g(ˆθ) on parametrin g(θ) ML-estimaatti. Maximum likelihood-estimointi p.20/20