Estimointiteoriaa ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 1/68 Jarmo Lundén 14. huhtikuuta 2016 Aalto SPA Kevät 2016

Transkriptio

1 Estimointiteoriaa ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 1/68

2 Estimaattorit ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 2/68

3 Estimointiteoriaa Esim. käytännön tietoliikenne- ja signaalinkäsittelysovelluksissa havaintoja mallinnetaan satunnaismuuttujien avulla stokastisilla (signaali)malleilla. Perustilanne: havainnot mallinnetaan sm:illa X 1, X 2,..., X n, joiden jakaumat tunnetaan jotain (joitain) joukkoon Θ kuuluvaa parametria θ lukuun ottamatta. Parametrin θ, joka voidaan ajatella joko (tuntemattomaksi) deterministiseksi tai itsessään satunnaiseksi, määrittäminen datasta on (piste- tai parametri-) estimointiongelma. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 3/68

4 Estimointiteoriaa II Yleisesti havaintosatunnaismuuttujien funktiota T n t(x 1, X 2,..., X n ) kutsutaan statistiikaksi, ja estimointiongelman yhteydessä estimaattoriksi. Estimaattori on siis itsessään satunnaismuuttuja! Estimaattori on lineaarinen estimaattori jos t on lineaarinen. Lineaarinen estimaattori on siis sm:jien lineaarikombinaatio. Yksittäistä estimaattorin arvoa t(x 1, x 2,..., x n ) jollakin sm:jien realisaatiolla x 1, x 2,..., x n sanotaan estimaatiksi. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 4/68

5 Estimointiteoriaa III Esimerkki Oletetaan että olemme kiinnostuneet signaalin keskimääräisestä arvosta (yli ajan). Signaalia ajanhetkellä i voidaan mallintaa sm:lla X i = µ + N i, missä N i on satunnaismuuttuja odotusarvolla nolla ja determistinen parametri µ on tuntematon. Kiinnostuksen kohde on siis odotusarvo E[X i ] = µ. Luonnollinen parametrin µ estimaattori on satunnaismuuttujien X i keskiarvo ˆµ 1 n n i=1 X i. Huomaa että erittäin suurella todennäköisyydellä kaikki µ:n estimaatit ˆµ (k) = 1 n n i=1 x(k) i ovat erisuuria signaalin eri reaalisaatioilla x (k) 1,... x(k) n, k = 1,..., K. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 5/68

6 Estimaattorin "hyvyys" Oleellisia kysymyksiä: Mikä estimaattori on hyvä? Onko jokin toinen estimaattori parempi? Onko jokin estimaattori peräti "optimaalinen"? Tarvitaan käsitteistöä eri estimaattorien vertailuun. Estimaattori T n on harhaton (unbiased), jos E[T n ] = θ. Estimaattorin harha (bias) on E[T n ] θ. Estimaattori T n on tarkentuva (consistent), jos se suppenee stokastisesti kohti estimoitavaa parametria θ, ts. lim n P( T n θ > ε) = 0 kaikille ε > 0. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 6/68

7 Estimaattorin "hyvyys" II Tarkentuvuuden osoittamiseen käytetään usein Tšebyšovin epäyhtälöä (Chebyshev s inequality), jolla voidaan arvoida kuinka paljon sm poikkeaa odotusarvosta. Tšebyšovin epäyhtälö Olkoon X sm odotusarvolla µ = E[X] ja varianssilla σ 2 = Var(X) <. Tällöin kaikille ε > 0: P( X µ > ε) σ2 ε 2. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 7/68

8 Odotusarvon estimointi Olkoot X 1, X 2,..., X n riippumattomia ja samoinjakautuneita satunnaismuuttujia odotusarvolla µ ja varianssilla σ 2. Yleinen odotusarvon µ = E[X] estimaattori on otoskeskiarvo (sample mean) ˆµ n = 1 n X i. (1) n Koska E[X i ] = µ, on i=1 E[ˆµ n ] = 1 n n i=1 E[X i ] = 1 nµ = µ. n ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 8/68

9 Odotusarvon estimointi II ˆµ n on näin ollen harhaton estimaattori. Tšebyšovin epäyhtälön mukaan ɛ > 0 P( ˆµ n µ > ɛ) Var(ˆµ n) ɛ 2. Koska X 1,..., X n ovat riippumattomia, on estimaattorin ˆµ n varianssi ( ) 1 n Var(ˆµ n ) = Var X i = 1 n n n 2 Var(X i ) = 1 n σ2. i=1 i=1 ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 9/68

10 Odotusarvon estimointi III Käyttämällä tätä tulosta saadaan joten P( ˆµ n µ > ɛ) σ2 nɛ 2, lim P( ˆµ n µ > ɛ) = 0 ɛ > 0. n ˆµ n on siis myös tarkentuva estimaattori. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 10/68

11 Varianssin estimointi Olkoot X 1,..., X n kuten edellä. Varianssin σ 2 estimointiin käytetään yleisesti estimaattoria missä ˆµ = 1 n n i=1 X i. ˆθ n = 1 n 1 n (X i ˆµ) 2, (2) i=1 Kaavan (2) estimaattori ˆθ n on harhaton ja tarkentuva estimaattori varianssille (tämä voidaan osoittaa vastaavalla tavalla kuin edellä otoskeskiarvolle). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 11/68

12 MMSE ja MVU estimaattorit ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 12/68

13 MMSE ja MVU estimaattorit Eräs tapa rakentaa estimaattori on minimoida keskineliövirhe (MSE) E[(T n θ) 2 ] estimaattorin T n ja parametrin θ välillä. Tällaista estimaattoria sanotaan MMSE (minimum MSE) estimaattoriksi. MMSE estimaattori on ehdollinen odotusarvo annettuna näytteet X = (X 1,..., X n ) T : ˆθ MMSE = E[θ X]. (3) ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 13/68

14 MMSE ja MVU estimaattorit II Esimerkki Olkoon X näyte tasajakaumasta välillä [0, 1] ja olkoon R:n ehdollinen jakauma ehdolla X = x tasajakauma välillä [0, x]. R:n MMSE estimaattori on ˆRMMSE = E[R X]. Nyt { 1/x, 0 r x, f R X (r x) = 0, muulloin. Tästä seuraa ˆr MMSE = E[R X = x] = joten ˆRMMSE (X) = X/2. x 0 rf R X (r x)dr = x 0 r 1 x dr = x 2, ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 14/68

15 MMSE ja MVU estimaattorit III Usein MMSE estimaattoria ei voida kuitenkaan ratkaista suljetussa muodossa, jolloin voidaan esimerkiksi rajoittua vain lineaarisiin estimaattoreihin (tällaista estimaattoria sanotaan lineaariseksi MMSE estimaattoriksi). Keskineliövirhe koostuu harhan neliöstä ja varianssista, ts. MSE(T n ) = bias 2 + Var(T n ). Voidaan myös rajoittua vain harhattomiin (bias=0) estimaattoreihin, ja hakea näiden joukosta pienimmän varianssin omaava estimaattori. Tällaista estimaattoria kutsutaan minimi varianssi harhattomaksi estimaattoriksi (minimum variance unbiased estimator, MVUE). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 15/68

16 MMSE ja MVU estimaattorit IV Jotta MVU estimaattori olisi mielekäs, täytyy varianssin minimoitua kaikille parametrin θ (joka on tuntematon!) arvoille. Siksi myös nimitystä UMVUE käytetään (ensimmäinen U= uniformly). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 16/68

17 Suurimman uskottavuuden menetelmä ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 17/68

18 Suurimman uskottavuuden estimointi Eräs merkittävimmistä estimointimenetelmistä rakentuu ajatukselle, että eri estimoitavan parametrin θ Θ arvot generoivat havaintodatan X 1,..., X n eri jakaumista. Jokaista parametria θ vastaa siis (yhteis)tiheysfunktio (diskreeteillä sm:lla pistetodennäköisyysfunktio) f X ( θ). Kun x 1,..., x n on havaittu (ja kiinnitetty), on f X (x 1,..., x n ; θ) (tuntemattoman) θ:n funktio, ja sitä kutsutaan uskottavuusfunktioksi (likelihood function) L(θ x 1,..., x n ) f X (x 1,..., x n ; θ). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 18/68

19 Suurimman uskottavuuden estimointi II Suurimman uskottavuuden estimaattori (maximum likelihood estimator, MLE) antaa estimaatiksi arvon, joka maksimoi uskottavuusfunktion: ˆθ ML = argmax {L(θ x)}. (4) θ Jos havainnot ovat riippumattomia ja samoinjakautuneita, voidaan kirjoittaa L(θ x 1,..., x n ) = f X (x 1,..., x n ; θ) = f X (x 1 ; θ)f X (x 2 ; θ) f X (x n ; θ), josta saadaan ottamalla logaritmi puolittain summalauseke ln L(θ x 1,..., x n ) = n i=1 ln f (x k; θ). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 19/68

20 Suurimman uskottavuuden estimointi III Funktiota l(θ x 1,..., x n ) ln L(θ x 1,..., x n ) kutsutaan log-uskottavuusfunktioksi, ja usein sen maksimoiminen on helpompaa kuin varsinaisen uskottavuusfunktion. Niillä on toki samat maksimit (monotoninen muunnos)! Teknisesti MLE löydetään usein hakemalla (log-)uskottavuusfunktion derivaatan nollakohdat (muistele optimoinnin perusteet!), jolloin maksimi sijaitsee joko nollakohdissa tai tarkasteluvälin päätepisteissä. MLE:lle on useita mukavia ominaisuuksia (mm. tarkentuva), mutta sen löytäminen on usein hankalaa. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 20/68

21 Uskottavuusestimointi: esimerkki Olkoon y : y 1, y 2,..., y n riippumattomia havaintoja normaalijakautuneesta satunnaismuuttujasta tunnetulla odotusarvolla µ. Määritetään varianssin suurimman uskottavuuden estimaattori. Nyt f (y; µ, σ 2 ) = n k=1 1 e 1 (y k µ) 2 ( 2 1 ) ne σ 2 = 1 n (y k µ) 2 2 k=1 σ 2 2πσ 2πσ ja siis varianssin log-uskottavuusfunktioksi saadaan l(σ 2 y 1,..., y n ) = n ln( 2πσ) 1 2 n k=1 (y k µ) 2 σ 2. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 21/68

22 Uskottavuusestimointi: esimerkki II Funktion l(σ 2 y 1,..., y n ) maksimoiva σ 2 minimoi funktion g(σ 2 ) = n ln(σ) n k=1 (y k µ) 2 σ 2. MLE:n invarianssiperiaatteen mukaan, jos ˆθ on θ:n MLE, niin h(ˆθ) on h(θ):n MLE mille tahansa funktiolle h. Siis voimme minimoida g:n σ:n suhteen ja saamme sitä kautta MLE:n varianssille (σ 2 ). Nyt g(σ 2 ) σ = n σ 1 n σ 3 (y k µ) 2. k=1 ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 22/68

23 Uskottavuusestimointi: esimerkki III Asettamalla yhtälö nollaksi g(σ2 ) σ = 0, ja ratkaisemalla σ:n suhteen saadaan ˆσ ML = 1 n (y k µ) 2 n k=1 ja siis varianssin MLE on invarianssiperiaatteen nojalla σ 2 ML = 1 n n (y k µ) 2. k=1 ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 23/68

24 MAP estimointi ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 24/68

25 MAP estimaattori MAP estimaattori (maximum a posterior, MAP) antaa estimaatiksi arvon, joka maksimoi parametrin θ a posteriori todennäköisyyden havaittuna näytteet x: ˆθ MAP = argmax θ { fx=x θ (x θ)f θ (θ) } = argmax {L(θ x)f θ (θ)} (5) θ f θ (θ) on parametrin θ priorijakauma (θ on siis satunnaismuuttuja) ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 25/68

26 Momenttimenetelmä ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 26/68

27 Momenttimenetelmä Momenttimenetelmä (Method of Moments Estimation, MME) on usein toimiva ja helppo estimointimenetelmä. Siinä yhdistetään tunnettuja statistiikoita (esim. jakauman teoreettiset momentit) niiden havainnoista laskettuihin estimaatteihin ja ratkaisemalla siitä halutut parametriestimaatit. Muut menetelmät (esim. MLE) antavat yleensä parempia estimaattoreita, mutta momenttimenetelmän vahvuus on sen yksinkertaisessa laskettavuudessa. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 27/68

28 Momenttimenetelmä II Esimerkki Olkoon X 1,..., X n i.i.d. havaintoja gamma jakaumasta (tuntemattomilla parametreilla α > 0 ja β > 0) tiheysfunktiolla f (x) = xα 1 e x/β β α Γ(α) kun x > 0 ja f (x) = 0 kun x 0. Jakauman kaksi ensimmäistä momenttia ovat µ 1 = E[X 1 ] = αβ ja µ 2 = E[X 2 1 ] = β2 α(α + 1). Yhdistämällä näihin momenttien estimaattorit ˆµ 1 1 n n i=1 X i ja ˆµ 2 1 n n i=1 X 2 i saadaan siis yhtälöt ˆµ 1 = αβ ja ˆµ 2 = β 2 α(α + 1). Ratkaisemalla näistä α ja β, saadaan estimaattoreiksi ˆα MME = ˆµ2 1 ˆµ 2 ˆµ 2 1 ja ˆβ MME = ˆµ 2 ˆµ 2 1 ˆµ 1. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 28/68

29 Ilmaisuteoriaa ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 29/68

30 Ilmaisin ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 30/68

31 Ilmaisuteoriaa Signaalien ilmaisu kuuluu tilastollisen päätöksenteorian (eng. decision theory) alueeseen. Ilmaisussa tehdään älykkäitä päätöksiä/päätelmiä "maailman tilasta"(state of nature/world) havaintodatan perusteella. Sovellusaluita ovat esim. tutkat (josta paljon terminologiaa!), sensoriverkot, laadunvarmistus, digitaalinen siirtotekniikka ja hahmontunnistus. Useimmat signaalin ilmaisuongelmat voidaan esittää hypoteesin testauksena. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 31/68

32 Hypoteesin testaus Yleisessä tilanteessa on olemassa M hypoteesia H k (k = 0,..., M 1; "maailman tilat") Havaintojen y 1, y 2,..., y n perusteella pitäisi valita "oikea"tila. Havaintoja mallinnetaan satunnaismuuttujana/-vektorina Y = (Y 1, Y 2,..., Y n ) T. Keskitymme tässä binääriseen hypoteesin testaukseen (ts. M = 2), jossa hypoteesia H 0 kutsutaan nollahypoteesiksi (null hypothesis) ja toista hypoteesia H 1 vaihtoehtoiseksi hypoteesiksi (alternative hypothesis). Ilmaisusovelluksissa H 0 on usein "vain kohinaa" -hypoteesi ja H 1 "kohina+signaali" -hypoteesi. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 32/68

33 Hypoteesin testaus II Kumpikin hypoteesi liittää havaintoihin Y oman todennäköisyysjakauman P. Ts. binäärinen hypoteesintestausongelma voidaan kirjoittaa H 0 : Y P 0 vs. H 1 : Y P 1. Havaintojen perusteella tehdään päätös D 0 tai D 1. Päätöksentekosääntö (eli hypoteesitesti eli kriittinen funktio, δ) on siis havaintojen funktio sen mukaan kumman hypoteesin uskotaan olevan voimassa (H 0 vs. H 1 ). Päätöksentekosääntö jakaa havaintoavaruuden (Y :n maaliavaruus) kahteen osa-alueeseen: hyväksymisalue R 0 (päätös D 0 ) ja hylkäysalue (eli kriittinen alue) R 1 (päätös D 1 ). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 33/68

34 Hypoteesin testaus III Esimerkki Yksi kahdesta bitistä lähetetään. Mahdolliset signaaliarvot ovat θ = { 1, 1}. Vastaanottimen pitää tehdä päätös H 0 : θ = 1 tai H 1 : θ = 1 havaitun signaalin perusteella. AWGN kanavassa vastaanotettu data voidaan mallintaa:y = S + N, missä S on lähetetty signaali ja N on kohinaa mallintava satunnaismuuttuja. Jos N noudattaa N (0, σ 2 ) jakaumaa ja S = aθ jollekin amplitudille a, tällöin Y :n jakauma ehdolla, että lähetetty signaali tunnetaan on f Y Θ (y θ) = 1 e (y aθ)2 /2σ 2. 2πσ ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 34/68

35 Hypoteesin testaus IV Ilmaisun tarkoituksena on löytää sääntö, jossa päätösvirheiden todennäköisyys olisi pieni. Eri virheillä voi olla epäsymmetriset seuraukset! Usein sääntö on formuloitu niin, että havainnoista lasketaan jokin testistatistiikka, jota verrataan kynnysarvoon. Testistatistiikkaa ja kynnysarvoa kutsutaan yhdessä ilmaisimeksi. Tehdyn päätöksen ja todellisen/oikean tilan yhteys ja käsitteistö voidaan esittää "nelikenttänä". ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 35/68

36 Binäärinen hypoteesintestaus Päätös Todellinen tila H 0 ("vain kohina") H 1 ("kohina+signaali") Tyypin II virhe D 0 Oikea päätös Menetetyn ilmaisun P(D 0 H 0 ) = 1 α (missed detection) tn β = P M P(D 0 H 1 ) Tyypin I virhe Oikea päätös D 1 Väärän hälytyksen tn Ilmaisun todennäköisyys (koko/riski(taso)/merkitsevyys): (testin voimakkuus): α = P FA P(D 1 H 0 ) P D P(D 1 H 1 ) = 1 β ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 36/68

37 Binäärinen hypoteesintestaus II Sovelluksesta riippuen signaalien ilmaisussa käytetään erilaisia päätöksentekostrategioita. Esim. tietoliikennesovelluksessa on tyypillisesti samantekevää tapahtuuko bittivirhe 0 vai 1 bitissä, ja tällöin tarkastellaankin kokonaisvirhetodennäköisyyttä P E = P FA + P M. Tutkassa puolestaan väärät hälytykset voivat tukkia koko tutkan, joten niitä täytyy rajoittaa. Toisaalta menetetty ilmaisukaan ei ole suotavaa. Riskit ja niiden painotukset voivat olla hyvin erilaiset esimerkiksi lääketieteen sovelluksissa, sotilassovelluksissa ja tavanomaisissa tietoliikennesovelluksissa. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 37/68

38 MAP-ilmaisin ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 38/68

39 MAP-ilmaisin Luonnollisesti hyvä tapa määrittää ilmaisin on minimoida virheellisten (maksimoida oikeiden) päätösten todennäköisyys. Ei ole kuitenkaan mahdollista yhtäaikaa minimoida molempia virhetyyppejä (kokonaisvirhettä) ilman lisäinformaatiota kuten hypoteesien ennakkotodennäköisyyksiä. Ennakkotodennäköisyyksien ollessa tiedossa voidaan maksimoida oikean päätöksen posterior (=havaintojen jälkeiset) todennäköisyydet ja tällaista päätössääntöä kutsutaan MAP (maximum a posteriori) -säännöksi. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 39/68

40 MAP-ilmaisin II Esimerkki MAP-säännöstä Olkoon signaali θs, missä amplitudi θ saa arvoja θ 0 ja θ 1 (esim. 0 tai 1) ja olkoon amplitudeilla a priori esiintymistodennäköisyydet P 0 ja P 1. Signaaliin summautuu Gaussista kohinaa n N(0, σ 2 n) Havaittu data noudattaa mallia y = θs + n ja prosessoimalla dataa on päätettävä kumpi signaali θ 0 vai θ 1 lähetettiin. Havaitaan riippumattomat näytteet y : y 1, y 2,..., y n. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 40/68

41 MAP-ilmaisin III Näytteiden yhteisjakaumat hypoteesien H 0 ja H 1 alla vastaavat siis kahta n-ulotteista normaalijakaumaa eri odotusarvoilla θ 0 s ja θ 1 s (missä s = s1) f Y θ (y θ) = (2πσ 2 n) n/2 exp [ 1 2σ 2 n ] n (y i θs) 2. Valitaan θ siten, että se on suuremmalla todennäköisyydellä tosi havaitun datan perusteella. θ:n a posteriori todennäköisyydeksi havaittuna näytteet y saadaan P θ y (θ y) = f Y θ(y θ)p θ. f Y (y) i=1 ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 41/68

42 MAP-ilmaisin IV MAP-säännön mukaan hypoteesi H 1 valitaan siis testillä P θ Y =y (θ 1 y) P θ Y =y (θ 0 y) = f Y =y θ(y θ 1 )P 1 f Y =y θ (y θ 0 )P 0 > 1. (6) Tämä maksimoi hypoteesien a posteriori todennäköisyyden. MAP-ilmaisu perustuu siis siihen että myös a priori todennäköisyydet otetaan huomioon ilmaisussa. MAP-ilmaisin minimoi keskimääräisen virheen P E = P FA P 0 + P M P 1. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 42/68

43 Uskottavuusosamäärä ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 43/68

44 Uskottavuusosamäärä Tyypillisesti ilmaisussa hyödynnetään ns. uskottavuusosamäärä testiä (likelihood ratio test). Nimensä mukaisesti testi vertaa eri hypoteesien uskottavuusfunktioiden L(θ y) f Y (y; θ) suhdetta LR(y) = L(θ 1 y) L(θ 0 y) > λ 0. (7) Sovelluksesta ja päätöksentekostrategiasta riippuen testissä käytettävä kynnysarvo, johon uskottavuusosamäärää verrataan, määräytyy eri tavalla. Usein uskottavuusfunktioiden sijasta käytetään log-likelihood funktiota ja testi on tällöin ln(lr(y)) > ln(λ 0 ). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 44/68

45 Uskottavuusosamäärä II Esimerkki MAP-ilmaisin voidaan esittää uskottavuusosamäärän avulla, määrittämällä λ 0 = P 0 P 1 eli vastaa MAP-sääntöä. LR(y) = L(θ 1 y) L(θ 0 y) > P 0 P 1. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 45/68

46 Neyman-Pearson -ilmaisin ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 46/68

47 Neyman-Pearson -ilmaisin Neyman-Pearson päätöksentekostrategia hyödyntää ilmaisutodennäköisyyttä P D ja väärän hälytyksen todennäköisyyttä P FA. Se sopii binääriseen hypoteesin testaukseen, jossa jakaumien parametrit ovat tunnetut. Menetelmä on hyvin tärkeä tutkaongelmissa, joissa suuri määrä vääriä hälytyksiä voisi tukkia koko järjestelmän. Menetelmässä asetetaan yläraja P FA = P(D 1 H 0 ) = α:lle ja maksimoidaan P D = P(D 1 H 1 ) (tai vaihtoehtoisesti minimoidaan P M = P(D 0 H 1 )) tämän rajoituksen vallitessa. Eli minimoidaan P(D 0 H 1 ), rajoituksella P(D 1 H 0 ) = P FA α. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 47/68

48 Neyman-Pearson -ilmaisin II Voidaan osoittaa, että uskottavuusosamäärätesti on Neyman-Pearson mielessä optimaalinen testi binäärisessa hypoteesitestausongelmassa. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 48/68

49 Neyman-Pearson -ilmaisin III Neyman-Pearson päätöksenteko Päätös tehdään seuraavasti Jos L 1(y) L 0 (y) < λ 0, valitse H 0 Jos L 1(y) L 0 (y) > λ 0, valitse H 1 Jos L 1(y) L 0 (y) = λ 0, valitse H 1 Bernoulli kokeella, jossa onnistumistodennäköisyys γ λ 0 ja γ ovat määritettäviä vakioita. Jatkuvalle satunnaismuuttujalle γ = 0 ja vain λ 0 määritetään. L i (y) on uskottavuusfunktio hypoteesin H i alla. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 49/68

50 Neyman-Pearson -ilmaisin IV Vakiot voidaan määrittää vaatimalla P(D 1 H 0 ) = P(L 1 (Y )/L 0 (Y ) > λ 0 H 0 ) + γp(l 1 (Y )/L 0 (Y ) = λ 0 H 0 ) = α annetulle P FA = P(D 1 H 0 ):n arvolle α. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 50/68

51 Neyman-Pearson -ilmaisin V Neyman-Pearson menetelmän soveltamisesta: 1. Määritetään mikä on nollahypoteesi H 0 ja mikä on vaihtoehtoinen hypoteesi H Valitaan testin koko (size) eli sallittu väärän hälytyksen todennäköisyys. Monessa sovelluksessa asetetaan α = 0.05 tai α = 0.01, joka vastaa testin merkittävyystasoa tilastotieteessä. Esimerkiksi tutkasovelluksessa nollahypoteesi on "ei kohdetta tutkassa", ja valitsemalla α = 0.05 tarkoittaa että ollaan valmiita hyväksymään 5 % mahdollisuus, että kohde ei ole tutkassa vaikka testi kertoo meille että tutkassa on kohde. 3. Lasketaan kynnysarvo λ 0 uskottavuusosamäärätestille. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 51/68

52 Neyman-Pearson -ilmaisin VI Luonnollisesti kynnysarvon on oltava testin koon α funktio. Kynnysarvon määräämiseksi on tunnettava uskottavuusosamäärän jakauma H 0 :n alla. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 52/68

53 Neyman-Pearson -ilmaisin VII Esimerkki Ilmaisutodennäköisyys P D kynnysarvolla λ 0 = γ, jakaumat normaalijakaumia f 0 (x) = N(0, 1) ja f 1 (x) = N(µ, 1). Ilmaisutodennäköisyys saadaan P D = Q 1 (γ), jossa Q() on komplementaarinen kertymäfunktio Q(x) = 1 F(x). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 53/68

54 Neyman-Pearson -ilmaisin VIII Esimerkki Väärän hälytyksen todennäköisyys P FA kynnysarvolla γ, jakaumat normaalijakaumia f 0 = N(0, 1) ja f 1 = N(µ, 1). P FA saadaan F 0 (γ) = 1 Q 0 (γ). ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 54/68

55 ROC-käyrä ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 55/68

56 ROC-käyrä Ilmaisun todennäköisyyden P D ja väärän hälytyksen todennäköisyyden P FA funktionaalista yhteyttä (kuvaajaa) ρ kutsutaan ilmaisimen ROC-käyräksi(Receiver Operating Characteristic), ts. P D = ρ(p FA ). Jokainen piste ROC-käyrällä vastaa tiettyä ilmaisimen kynnysarvoa. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 56/68

57 Sovitettu suodin ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 57/68

58 Sovitettu suodin Oletetaan että ilmaistava signaali on tunnettu aaltomuoto tai deterministinen sekvenssi johon on summautunut normaalijakautunutta kohinaa. Sovitettu suodin on lineaarinen suodatinalgoritmi, joka optimoi ilmaisuun käytettävän testistatistiikan signaali-kohinasuhteen. Itse ilmaisuun käytettävä kynnysarvo voi perustua esim. Neyman-Pearson menetelmään. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 58/68

59 Sovitettu suodin II Olkoon X = (X 1, X 2,..., X n ) T diskreettiaikaisia havaintoja signaalista. Merkitään X = θs + N, jossa s = (s 1, s 2,..., s n ) T on tunnettu reaalinen signaalivektori, N N(0, σ 2 I) Ilmaisimen tehtävänä on päättää mitä hypoteesia tilanne vastaa X:n realisaation x = (x 1, x 2,..., x n ) T perusteella. Jos meillä on tilanne, jossa on pelkästään kohinaa, niin signaalivektorin amplitudi θ = 0 ja X i ovat riippumattomia, skalaareja, nollakeskiarvoisia normaalijakautuneita kohinahavaintoja X i = N i, ja niiden varianssi σ 2 oletetaan tunnetuksi. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 59/68

60 Sovitettu suodin III Vaihtoehtoisessa tilanteessa meillä on havainnoissa X mukana tunnettu reaalinen signaalivektori s = (s 1, s 2,..., s n ) T, jolla on tunnettu amplitudi θ = a. Nyt ilmaisin käsittelee havaintoja lineaarisesti ja tuottaa ulostulona skalaarin Y = n h i X i = h T X, i=1 missä h T = (h 1, h 2,..., h n ) on lineaarinen painokertoimien vektori. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 60/68

61 Sovitettu suodin IV Ideana on tehdä Y :stä hyvä peruste päätöksentekoon, joka toteutetaan vertaamalla Y :tä johonkin kiinteään kynnysarvoon τ. Vektori h pitää suunnitella siten, että saadaan suurin mahdollinen ero tilastollisessa mielessä ulostuloihin Y signaali+kohinaa tai pelkästään kohinaa hypoteeseille. Tällainen rakenne on helppo toteuttaa ja siten hyvin käyttökelpoinen käytännön ilmaisinjärjestelmissä. Tämä rakenne osoittautuu myös globaalisti optimiksi Gaussisen kohinan tapauksessa. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 61/68

62 Sovitettu suodin V ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 62/68

63 Sovitetun suotimen suorituskyky Suorituskykymittana signaalikohinasuhde Y :n erottelukykyä hypoteesien välillä voidaan analysoida tarkastelemalla Y :n eri tapausten (S + N ja N) odotusarvojen erotuksen neliön suhdetta Y :n varianssiin pelkän kohinan tapauksessa: (E[Y S + N] E[Y N])2 SNR = Var(Y N) E[Y N] = E[h T N] = h T E[N] = 0 ja E[Y S + N] = h T (as) = a n i=1 h is i Var(Y N) = E[(h T N) 2 ] = h T E[NN T ]h = h T R N h = σ 2 n i=1 h2 i ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 63/68

64 Sovitetun suotimen suorituskyky II Lineaarisen suotimen ulostulon signaalikohinasuhteeksi saadaan siis SNR = a2 (h T s) 2 h T R N h = a2 ( n i=1 h is i ) 2 σ 2 n i=1 h2 i SNR maksimoituu kun h:n ja s:n sisätulo (projektio, pistetulo) maksimoituu, mikä tapahtuu kun h on skaalattu versio s:stä. Valkoisen kohinan tapauksessa signaalin amplitudia ja kohinan varianssia ei tarvita optimikertoimien johtamisessa. Yleisemmässä tapauksessa (mielivaltainen kohinan kovarianssimatriisi R N ) optimipainokertoimet saadaan h o = R 1 N s. (8) ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 64/68

65 Sovitetun suotimen suorituskyky III Tällaista FIR suodinta kutsutaan sovitetuksi suotimeksi. Jos Y o on normalisoitu vakiolla s T R 1 N s, sillä on yksikkövarianssi ja sen odotusarvoksi signaali+kohina tilanteessa saadaan d = a s T R 1 N s. d:n neliö on optimoitu SNR sovitetun suodattimen ulostulossa eli d = SNR. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 65/68

66 Sovitetun suotimen suorituskyky IV Esimerkki sovitetun suodattimen ROC-käyrästä eri d arvoilla. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 66/68

67 Sovitetun suotimen suorituskyky V Esimerkki Antenniryhmien signaalinkäsittelyssä tunnetaan (kompleksisen) signaalin malli s C M tulosuunnan φ funktiona s(φ), jossa vektorin M elementtiä vastaavat signaalin arvoa M:ssä eri antennissa. Oletetaan että näytteistetty signaali on muotoa X = s(φ) + N, jossa N CN(0, R N ). (Normalisoitu) sovitettu suodin suuntaan φ on tällöin h o (φ) = R 1 N s(φ) s(φ) T R 1 N s(φ) ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 67/68

68 Sovitetun suotimen suorituskyky VI Tämä on ns. keilanmuodostus (beamforming) ratkaisu, ja yhden signaalilähteen (tulosuunnan) tapauksessa sen maksimointi φ:n suhteen johtaa myös suurimman uskottavuuden estimaattoriin. Mallia voi laajentaa myös useamman parametrin ja moniulotteisen mallin tapaukseen. ELEC-C5210 Satunnaisprosessit tietoliikenteessä (5op) 68/68