Demspter-Shafer -sovellus (ja Dempster-Shafer vs. Bayes)

Samankaltaiset tiedostot
Gaussinen vaikutuskaavio Tommi Gustafsson 45434f Tfy IV

INTERVALLIPÄÄTÖSPUUT JANNE GUSTAFSSON 45433E. Mat Optimointiopin seminaari Referaatti

Bayesilainen päätöksenteko / Bayesian decision theory

Yhteistyötä sisältämätön peliteoria jatkuu

1 Johdanto Uskomusverkko -jota kutsutaan myos Bayesilaiseksi verkoksi, vaikutus kaavioksi tai seuraamus verkko - on tapa esitaa informaatiota, siten e

Dynaaminen ohjelmointi ja vaikutuskaaviot

monitavoitteisissa päätöspuissa (Valmiin työn esittely) Mio Parmi Ohjaaja: Prof. Kai Virtanen Valvoja: Prof.

Parametrin estimointi ja bootstrap-otanta

Mat Tilastollisen analyysin perusteet, kevät 2007

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

Todennäköisyys (englanniksi probability)

Sovellettu todennäköisyyslaskenta B

Tutkimustiedonhallinnan peruskurssi

Pikajohdatus bayesilaiseen tilastoanalyysiin ja monimuuttuja-analyysiin

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

HY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät 2017 Harjoitus 1 Ratkaisuehdotuksia Tehtäväsarja I

Todennäköisyys. Antoine Gombaud, eli chevalier de Méré?.? Kirjailija ja matemaatikko

Sovellettu todennäköisyyslaskenta B

T Luonnollisen kielen tilastollinen käsittely Vastaukset 8, ti , 8:30-10:00 Tilastolliset yhteydettömät kieliopit, Versio 1.

1 + b t (i, j). Olkoon b t (i, j) todennäköisyys, että B t (i, j) = 1. Siis operaation access(j) odotusarvoinen kustannus ajanhetkellä t olisi.

PID-sa a timen viritta minen Matlabilla ja simulinkilla

Luento 8. June 3, 2014

Kandidaatintyön esittely: Epätäydellisen preferenssi-informaation huomioon ottavien päätöksenteon tukimenetelmien vertailu

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI

Uskottavuusperusteisten luottamusvälien korjaaminen bootstrap-menetelmällä Pro gradu -esitelmä

Markov-prosessit (Jatkuva-aikaiset Markov-ketjut)

Bayesin pelit. Kalle Siukola. MS-E2142 Optimointiopin seminaari: Peliteoria ja tekoäly

Dynaaminen ohjelmointi ja vaikutuskaaviot

Nollasummapelit ja bayesilaiset pelit

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Bayesiläinen tilastollinen vaihtelu

Mallipohjainen klusterointi

tilastotieteen kertaus

Todennäköisyyslaskenta I, kesä 2017 Helsingin yliopisto/avoin Yliopisto Harjoitus 1, ratkaisuehdotukset

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

Luento 2. Yksiparametrisia malleja. Binomi-malli. Posteriorijakauman esittämisestä. Informatiivisista priorijakaumista. Konjugaattipriori.

Projektiportfolion valinta

1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI

Parametrien oppiminen

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Mitä on bayesilainen päättely?

811120P Diskreetit rakenteet

Johdatus todennäköisyyslaskentaan Kertymäfunktio. TKK (c) Ilkka Mellin (2005) 1

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Tilastollinen päättely, 10 op, 4 ov

Mat Tilastollisen analyysin perusteet, kevät 2007

Relevanttien sivujen etsintä verkosta: satunnaiskulut verkossa Linkkikeskukset ja auktoriteetit (hubs and authorities) -algoritmi

= true C = true) θ i2. = true C = false) Näiden arvot löydetään kuten edellä Kun verkko on opetettu, niin havainto [x 1

A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä.

DBN Mitä sillä tekee? Dynaamisten Bayes-verkkojen määrittely aikasarja-analyysissä Janne Toivola

ORMS2020 Päätöksenteko epävarmuuden vallitessa Syksy 2008

RAKE-vastaanotinsimulaatio. 1. Työn tarkoitus. 2. Teoriaa. 3. Kytkentä. Tietoliikennelaboratorio Versio

Uskomusverkot: Lääketieteelliset sovellukset

Teema 8: Parametrien estimointi ja luottamusvälit

Salausmenetelmät. Veikko Keränen, Jouko Teeriaho (RAMK, 2006)

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. Luentokuulustelujen esimerkkivastauksia. Pertti Palo. 30.

Projektiportfolion valinta

S Bayesilaisen mallintamisen perusteet

Oma nimesi Tehtävä (5)

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)

Ryhmäfaktorianalyysi neurotiedesovelluksissa (Valmiin työn esittely) Sami Remes Ohjaaja: TkT Arto Klami Valvoja: Prof.

9. laskuharjoituskierros, vko 12-13, ratkaisut

Bayes-mallinnus siltana teorian ja empiirisen evidenssin välillä

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

TEKNILLINEN KORKEAKOULU ERIKOISTYÖ. koulutusohjelma MUUTOSPISTEIDEN TUNNISTAMINEN BAYESILAISELLA ANALYYSILLA

Otantajakauman käyttö päättelyssä

Tentin materiaali. Sivia: luvut 1,2, , ,5. MacKay: luku 30. Gelman, 1995: Inference and monitoring convergence

1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI

Sovellettu todennäköisyyslaskenta B

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Multinomijakauman ja Dirichlet-jakauman käytöstä bayesilaisessa päättelyssä

Estimointi. Vilkkumaa / Kuusinen 1

1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI

Signalointi: autonromujen markkinat

Tilastollinen testaaminen tai Tilastollinen päättely. Geneettinen analyysi

Numeeriset menetelmät

= 5! 2 2!3! = = 10. Edelleen tästä joukosta voidaan valita kolme särmää yhteensä = 10! 3 3!7! = = 120

Sovellettu todennäköisyyslaskenta B

Pohdiskeleva ajattelu ja tasapainotarkennukset

Moraalinen uhkapeli: perusmalli ja optimaalinen sopimus

Luottamuksen ja maineen rooli yhteisöjen rakentamisessa Jaana Diakite

pitkittäisaineistoissa

Osa 2: Otokset, otosjakaumat ja estimointi

3.2 Työstöratojen luonti

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo

Laboratorioraportti 3

TILASTOLLINEN OPPIMINEN

Väliestimointi (jatkoa) Heliövaara 1

Konsensusongelma hajautetuissa järjestelmissä. Niko Välimäki Hajautetut algoritmit -seminaari

Ilmastonmuutoksen vaikutus Suomen sisävesiin

Malliratkaisut Demot

Otannasta ja mittaamisesta

Ratkaisuehdotukset LH 7 / vko 47

Osakesalkun optimointi. Anni Halkola Turun yliopisto 2016

Todennäköisyyden ominaisuuksia

Liuenneen orgaanisen hiilen huuhtoutuminen ja kulkeutuminen - bayesilainen arviointi HENVI SCIENCE DAYS

5/11 6/11 Vaihe 1. 6/10 4/10 6/10 4/10 Vaihe 2. 5/11 6/11 4/11 7/11 6/11 5/11 5/11 6/11 Vaihe 3

Data Envelopment Analysis (DEA) - menetelmät + CCR-DEA-menetelmä

Palokuolemien ehkäisykeinojen arviointiohjelma pilottina tulevaisuuteen. Palotutkimuksen päivät 2011

Transkriptio:

Mat-2.42 Optimointiopin seminaari, Syksy 999 Uskomusverkot a vaikutuskaaviot Referaatti Demspter-Shafer -sovellus (a Dempster-Shafer vs. Bayes) Jyri Mustaoki 7..999

. Johdanto Esitelmä perustuu artikkeliin A Target Identification Comparison of Bayesian and Dempster- Shafer Multisensor Fusion (Buede a Girard, 997). Artikkelissa vertailtiin Bayesilaisen a Dempster-Shafer -päättelyn antamien uskomusakaumien konvergoitumista, kun akaumia päivitettiin uusien havaintoen pohalta. Vertailussa käytettiin apuna esimerkkiä lentokoneen tunnistamiseksi, ossa erityyppiset sensorit antoivat tietoa kohteena olevan koneen ominaisuuksista, a näiden uusien tietoen avulla saatiin varmempaa tietoa konetyypistä. Käytännössä esimerkki toteutettiin simuloimalla erilaisten sensoreiden toimintaa. 2. Dempster-Shafer vs. Bayes Dempster-Shafer -päättely poikkeaa Bayesilaisesta päättelystä siten, että siinä voidaan antaa tapahtumatodennäköisyyksiä myös alkeistapausten oukoille. Lisäksi Dempster-Shaferissa akamaton todennäköisyysmassa annetaan oukolle, oka sisältää kaikki alkeistapaukset, kun taas Bayesilaisessa päättelyssä älelle äänyt todennäköisyysmassa aetaan tasan kaikkien muiden alkeistapausten kesken. Vaikka menetelmät eroavat toisistaan, on Dempster-Shafer päättelyssä houkutteleva ominaisuus eli kyseessä on sama mekanismi kuin Bayesilaisessa päättelyssä, os koko todennäköisyysmassa aetaan vain alkeistapausten kesken. Dempster- Shafer -päättelyn perusteet on esitetty seminaarin aikaisemmissa esitelmissä. 2. Dempster-Shafer -päivitysalgoritmit Paperissa esitettiin Dempster-Shafer -päättelylle päivitysalgoritmi, ossa uusien havaintoen pohalta päivitetään tämänhetkisiä uskomusakaumaa. Algoritmin avulla voidaan laskea uskomukset, b k (n), elementteihin k aanhetkillä n. Yksinkertaisuuden vuoksi oletetaan että vain yksi sensori antaa tasaisin väliaoin raportin, eli uskomukset eri elementteihin b k sekä akamattoman uskomusmassan u. Päivityskaava uskomuksille uuden tiedon valossa on bk ( n) = K k = b bk ( bk + u) + u = b k ( bk + u) + u u + = k, n, n =. () n > Valitettavasti päivitysalgoritmi ei näytä toimivan tapauksissa, oissa uusissa havainnoissa määritetään enemmän kuin yksi alkeistapaus eli uskomusmassaa voi olla useammilla elementeillä. Näyttää siltä, että päivitysalgoritmi ei ilmeisesti ota huomioon tyhien oukkoen osuutta. 2.2 Bayesilainen päivitys Bayesilaisessa päivityksessä sensorin antama raportti on likelihood-vektori, oka kertoo sen, millä todennäköisyydellä raportti antaa tutkittavan kohteen, os kyseessä onkin okin toinen kone. Vektorimuodossa todennäköisyyksien päivityskaava on

p( t) = i l ( t) p( t ) l ( t) p( t ), (2) i ossa i l (t) on uusi tietoa hetkellä, eli k alkiota sisältävä vektori oka sisältää likelihoodit, että raportti parhaiten tukee vektorin alkiota i. Vektorimuotoinen kaava (2) vastaa täysin perinteistä Bayesilaisen päättelyn päivityskaavaa P( B A) P( A) P( A B) =. (3) P( B) 3. Sovellus lentokoneen tunnistamiseksi Bayesilaisen a Dempster-Shafer-päättelyn vertailu suoritettiin siis esimerkin avulla. Esimerkkinä oli sovellus lentokoneen tunnistamiseksi. Tavoitteena on erityyppisten sensorien avulla saatuen havaintoen avulla tunnistaa lentokone oikeaksi ollakin halutulla varmuudella. Uutta tietoa saataessa, varmuus koneen tyypistä kasvaa konvergoiden lopulta kohti :stä eli täysin varmaa tunnistusta. Koneiden tunnistamisessa käytettiin kolmentyyppisiä sensoreita. ESM (Electronic Support Measure) -sensoria käytettiin konetyypin suorassa tunnistuksessa. IFF (Identification, Friend of Foe) -sensori pyrkii koneen lähettämien signaalien avulla määrittelemään onko kyseessä oma vai viholliskone. Tutkaa puolestaan käytettin koneluokan (hävittää, pommittaa tai siviili) tunnistamiseen koneen muodon avulla. Taulukko esittelee tunnistuksessa mukana olevat mahdolliset konetyypit. Taulukko Tyyppi Luokka Luonne F-5 Hävittää Oma F-6 Hävittää Oma ATF Hävittää Oma B-2 Pommittaa Oma MiG-27 Hävittää Vihollinen MiG-25 Hävittää Vihollinen MiG-29 Hävittää Vihollinen MiG-3 Hävittää Vihollinen Tu-26 Pommittaa Vihollinen Boeing 747 Siviili Neutraali Kuvassa on esimerkki vaikutuskaaviosta sensorien kuvaamiseen. Muuttuat x J ovat koneen ominaisuuksia todennäköisyysakaumina, otka riippuvat siis konetyypistä. Elementit e J ovat sensorien raporttea, otka puolestaan riippuvat koneen ostakin ominaisuudesta (esim. muoto). Elementti e t kuvaa koneen tyypistä suoraan riippuvaa sensoria eli ESM:ää. Lentokoneen tyyppi, t e t x x 2... x J e e 2 e J Kuva. Vaikutuskaavio sensorien raporteista.

3. Koeärestely Kokeessa tutkittiin konetyypin tunnistamisen luotettavuuden kasvua erityyppisiltä sensoreilta saatuen uusien havaintoen valossa. Koe suoritettiin simuloimalla, eli simuloitiin kunkin sensorin toimintaa erikseen. Sensoreilta saadut raportit yhdistettiin sekä Dempster-Shafer että Bayesilaisella päättelyllä, olloin pystyttiin vertailemaan konetyypin tunnistuksen luotettavuuden konvergoitumista menetelmien välillä. Satunnaisvaihtelun aikaansaamiseksi mukaan oli otettu kolme parametria, oiden arvoen muuteltiin eri simulointien välillä. Ensimmäinen parametri diagnostisuus kertoo suhteen koneen oikeaksi tunnistamisen a vääräksi tunnistamisen todennäköisyyksien välillä. Muut muuttuvat parametrit olivat todennäköisyys sille, että tunnistetaan väärä kone, a todennäköisyys sille, että sensori ei anna ollenkaan raporttia. 3.2 Monte Carlo -simulaatio Itse simuloinnisti suoritettiin antamalla alkuparametrit a tunnistettava konetyyppi. Konetyyppina käytettiin kaikissa simuloinneissa F-5:sta. Alkuparametreina kokeiltiin diagnostisuuden arvoa 6,8 a 0, ei raporttia -todennäisyyksiä väliltä 0 50% a väärintunnistustodennäköisyyksiä väliltä 0 40%. Eri diagnostisuuksien arvoilla saatiin Bayesilaista päättelyä varten sensoreille ns. sekaannusmatriisit, oissa on kutakin konetyyppiä tai ominaisuutta kohden todennäköisyys tunnistaa okin toinen konetyyppi tai ominaisuus. Esimerkiksi diagnostisuudella 0 suoran konetyypin tunnistuksessa koneen oikeintunnistuksen todennäköisyys on 0.53 a todennäköisyys tunnista konetyyppi oksikin muuksi 0.053 kunkin muun yhdeksän vaihtoehdon kohdalla (diagnostisuus 0=0.53/0.053). Koneen luonteen tunnistuksessa diagnostisuudella 0 todennäköisyydet olivat 0.9 tunnistaa oma kone omaksi a 0.09 tunnistaa oma kone viholliseksi a koneluokan kohdalla vastaavat todennäköisyydet olivat 0.83 tunnistaa oikein a 0.083 tunnistaa väärin (kaksi vaihtoehtoa tunnistaa väärin). Dempster-Shafer -päättelyssä väärintunnistuksen todennäköisyysmassaa ei aettu väärien konetyyppien kesken, vaan annettiin kaikkien alkeistapausten oukolle. Simuloinnin yhdessä iteraatiokierroksessa simuloitiin ensin saatua sensorihavaintoa a nämä yhdistettiin sekä Bayesilaisittain että Dempster-Shaferilla. Havaintoa kerättiin niin kauan, kunnes haluttu luottamustaso (0.95 tai 0.99) saavutettiin, onka älkeen kirattiin iteraatiokierrosten lukumäärä ylös. 3.3 Tulokset Tässä paperissa suoritetun koeärestelyn perusteella oikean konetyyppin todennäköisyys konvergoitui haluttuun luottamustasoon Bayesilaisella päättelyllä noin 20 45% nopeammin kuin Dempster-Shafer-päättelyllä. Sama ilmiö todettiin yleisesti kaikilla parametrien arvoilla. Ilmiö on kuitenkin hyvin tapauskohtainen. Kuvassa 2 on yksinkertainen esimerkki ilmiön havainnollistamiseksi. Kuvan 2 ensimmäisellä rivillä on Dempster-Shafer-päättelyllä suoritettu päivitys, ossa älelle äävä todennäköisyysmassa on annettu kaikkien alkeistapausten oukolle Θ. Tällöin ensimmäisen havaintokierroksen älkeen vaihtoehdon A uskomustaso on 0.9. Kahdella muulla rivillä on suoritettu päivitys Bayesilaisittain. Ensimmäisessä näistä on oikean vaihtoehdon rinnalla vain yksi mahdollinen väärä vaihtoehto, mutta toisessa kaksi väärää vaihtoehtoa. Ensimmäisen iteraatiokierroksen älkeen yhdellä väärällä vaihtoehdolla luottamus vaihtoehtoon A on 0.845 (<0.9), kun taas kahdella väärällä vaihtoehdolla 0.96 (>0.9), eli tässä tapuksessa väärien vaihtoehtoen määrä vaikuttaa ratkaisevasti lopputulokseen. Lisäksi Dempster-Shafer-päättely todettiin laskennallisesti huomattavasti raskaammaksi kuin Bayesilainen päättely, sillä siinä oudutaan laskemaan todennäköisyysmassa aina kaikkien alkeistapausten kombinaatiolle, mitä ei Bayesilaisessa päättelyssä tarvitse tehdä.

A Q A Q A Q 0.7 0.3 0.9 0.09 0.973 0.027 A 0.7 0.49 0.2 0.637 0.063 Q 0.3 0.2 0.09 0.273 0.027 A B A B A B 0.7 0.3 0.845 0.55 0.927 0.073 A 0.7 0.49 0.2 0.59 0.09 B 0.3 0.2 0.09 0.253 0.047 A B C A B C 0.7 0.5 0.5 0.96 0.042 0.042 A 0.7 0.49 0. 0. B 0.5 0. 0.023 0.023 C 0.5 0. 0.023 0.023 Kuva 2. Esimerkki päivityksistä Dempster-Shaferilla (. rivi) a Bayesilaisittain (2. a 3. rivi) 4. Yhteenveto Paperissa vertailtiin Bayesilaista a Dempster-Shafer-päättelyiden päivitystä uusien havaintoen pohalta. Vertailussa käytettiin apuna käytännön (simuloitua) esimerkkiä lentokoneiden tunnistamiseksi. Bayesilaisen päättelyn todettiin vastaavan Dempster-Shaferi-päättelyä ilman määrämätöntä todennäköisyyttä koko oukolle Θ, os todennäköisyyksiä annetaan vain alkeistapauksille. Tässä esimerkissä Bayesilainen päättely konvergoi nopeammin kuin Dempster-Shafer, mutta kuten edellä oleva esimerkki havainnollisti, päätelmää ei voida yleistää. Artikkelin kiroittaat vaikuttivat olevan selkeästi Bayesilaisen päättelyn kannalla, a tämä subektiivinen suhtautuminen asiaan tuntuu valitettavasti vaivaavan myös koko keskustelua Dempster- Shaferin a Bayesilaisen päättelyn eduista a haitoista. Esitelmää varten luin myös kaksi muuta artikkelia (Yang a Singh, 994; de Korvin a Shipley, 993), otka puolestaan totesivat Dempster-Shaferin soveltuvan erinomaisesti päätösongelmien ratkaisemiseen. Luultavasti molemmat näkökannat ovat osittain oikeassa, eli molemmista menetelmistä löytyvät sekä hyvät että huonot puolensa. Viitteet Buede, D.M. a Girard, P., A Target Identification Comparison of Bayesian and Dempster- Shafer Multisensor Fusion, IEEE Transactions on Systems, Man and Cybernetics, 27, 4, 997, pp.569-577. de Korvin, A. a Shipley, M.F., A Dempster-Shafer-based Approach to Compromise Decision Making with Multiattributes Applied to Product Selection, IEEE Transactions on Engineering Managements, 40,, 993, pp. 60-67. Yang, J.-B. a Singh, M.G., An Evidential Reasoning Approach for Multiple-Attribute Decision Making with Uncertainty, IEEE Transactions on Systems, Man and Cybernetics, 24,, 994, pp. -8.