DBN Mitä sillä tekee? Dynaamisten Bayes-verkkojen määrittely aikasarja-analyysissä Janne Toivola

Transkriptio

1 DBN Mitä sillä tekee? Dynaamisten Bayes-verkkojen määrittely aikasarja-analyysissä Janne Toivola

2 Historiaa Bayesin kaavan hyödyntäminen BN-ohjelmistoja ollut ennenkin Tanskalaisten Hugin Expert Adnan Darwiche & co: SAMIAM Ei tarkoitettuja aikasarja-analyysiin

3 Mitä iloa päättelystä Bayesilaisella päättelyllä tehdään optimaalisia johtopäätöksiä havaitsemattomista asioista Otetaan huomioon esim. aika, paikka, positio kromosomissa tms. konteksti Luokittelu, segmentointi jne. piilomuuttujien avulla Automaattinen puutteellisen datan käsittely

4 BN: verkko Pohjana muuttujien riippuvuudet ilmaiseva suunnattu syklitön verkko DAG Mallin parametrit muotoa p(c pa(c)) C on riippumaton muista kuin vanhemmistaan pa(c) Muuttujia kuvaavien solmujen välillä kaaret vanhemmista lapsiin

5 BN: liittymäpuu E.m. verkko soveltuu huonosti inferenssin vaatimiin laskutoimituksiin Täysi yhteis-tn-jakauma tuhlaa muistia Käytettävä vaihtoehtoista esitystapaa nimeltä liittymäpuu Puun solmut tallentavat nk. perheiden yhteistodennäköisyysjakaumia

6 BN: liittymäpuu Puuhun tallennetut jakaumat nimeltään potentiaaleja (mahd. normalisoimaton) Minimaalinen tapa esittää yhteis-tn-jakauma pienempien tulona Vrt. p(x, y, z) = p(x y) p(y z) p(z) Myös ns. running intersection property

7 BN: liittymäpuu Esimerkki graafista ja liittymäpuusta A A,B A A,C B C

8 BN: päättely Päättely tapahtuu levittämällä potentiaaleja painottavia jakaumia naapurisolmuihin puussa Marginalisoimalla saadaan pienempi projektio potentiaalista: φ(a) = B φ(a, B) Kertolaskulla päivitetään potentiaalia uuden evidenssin mukaan: φ(a, C) := φ(a, C) φ(a)

9 Lisää historiaa Kevin Murphy 2002 Väitöskirja: Dynamic Bayesian Networks: Representation, Inference & Learning Esittää 1.5DBN käsitteen

10 DBN: aikaviipaleet Aikasarjoja varten toistuvarakenteiset mallit Esim. HMM toistaa pientä verkkoa Esitetään malli viipaleena, jota toistetaan Määritettävä toistuva osa liittymäpuusta laskutoimituksia varten Viipaleen käyttö päättelyssä puoliaskelin

11 DBN: aikaviipaleet Esimerkki aikaviipaleesta: HMM Q 0 Q 1 Q 2 Q 3 Q t 1 Q t... Y 1 Y 2 Y 3 staattinen BN Y t 1.5DBN

12 Toteutus: yleistä C-kielinen ohjelmakirjasto Huginin net-tiedostojen jäsennys Muunnos graafeista liittymäpuuksi Aikasarjan lukeminen tiedostosta Edellä kuvattu inferenssi mahd. aikaviipalein EM-algoritmi parametrien oppimiseen

13 Hugin net-formaatti Malli luetaan Huginin asettaman standardin mukaisesta tiedostosta node-määrittelyt kertovat muuttujat Oma NIP_next kenttä aikaviipalemalleille potential-määrittelyt ehdollisille todennäköisyysjakaumille Graafin rakenne samassa implisiittisesti

14 Graafista liittymäpuuksi NP-kova osuus liittymäpuun käytössä Muunnos heti net-tiedoston jäsennyksen jälkeen malli = liittymäpuu + muu kirjanpito Nip model = parse_model( hmm.net );

15 Datan luku tiedostosta Tiedoston 1. rivillä muuttujien nimet Loput rivit aikasarjan askelia Kullakin rivillä muuttujien arvojen nimet Luetaan data tiedostosta aikasarjaa esittäväksi tietorakenteeksi n = read_timeseries(model, data.txt, &n_timeseries);

16 Päättely Inferenssialgoritmi antaa esim. epävarman aikasarjan UncertainSeries ucs = forward_inference(ts, ts->hidden, ts->num_of_hidden); Annettujen muuttujien kunkin arvon todennäköisyys kullakin hetkellä Esim. yhteistodennäköisyydetkin mahdollisia, mutta implementoimatta

17 EM-algoritmi Datan likelihoodin laskenta oli hankala Algoritmille annetaan opetettava malli, aikasarjoittain dataa ja kynnysarvo lopetusehtoa varten Aikasarja sisältää viittauksen malliin em_learn(n_timeseries, n, threshold, &learning_curve);

18 Käytännön kokeilut Laboratoriotesti tunnetusta mallista generoidulla datalla - Havainnollistaa menetelmien toimintaa Kopiolukumuutosten aiheuttamat amplifikaatiot ihmisen perimässä - Osasyyllisiä kasvaimiin (l. syöpään)

19 Keinodatan mallit Alkuperäinen ja vaihtoehtoinen malli D t C t 1 C t C t 1 C t B t A t B t A t

20 Oppimiskäyrät Original model Alternative model Average log.likelihood of data during EM algorithm 1 Log. likelihood / time step Iterations

21 Inferenssituloksia: C Original samples of C (hidden) Results of inference using the original model & parameters Results of inference using the original model & estimated parameters time

22 Inferenssituloksia: D Original samples of D Input data with missing s Results of inference using the original model & parameters Results of inference using the original model & estimated parameters time

23 Inferenssituloksia: B Original samples of B Input data with missing s Results of inference using the original model & parameters Results of inference using the original model & estimated parameters time

24 Inferenssituloksia: C Vaihtoehtoisen mallin piilotila Original samples of C (hidden) Results of inference using an estimated alternative model time

25 Inferenssituloksia: B Original samples of B Input data with missing s Results of inference using an estimated alternative model time

26 Amplifikaatiodata 100 Samples from DNA copy number amplification data Tumor cases X Y Chromosome bands

27 Amplifikaatiomalli Kasvaintyyppi ja amplifikaatiot riippuvat piilomuuttujaketjusta E t 1 E t B t C D t

28 Oppimiskäyrä 0 Model 1 Average log.likelihood of data during EM algorithm Log. likelihood / time step Iterations

29 Amplifikaatioprofiilit Amplification profiles Urinary_tract Skin_tumor Respiratory_tract Nervous_system Male_genital_organs Hematologic_neoplasms Female_genital_organs Eye_tumor Endocrine_glands Digestive_tract Breast Bone_and_soft_tissue 8p23 8p22 8p21 8p12 8p11.2 8p11.1 8q11.1 8q11.2 8q12 8q13 8q21.1 chromosome band 8q21.2 8q21.3 8q22 8q23 8q24.1 8q24.2 8q24.3

30 Vielä muuta? Myös ns. pehmeää evidenssiä voisi syöttää havaintoina Jatkuvat muuttujat graafin lehtisolmuina? Paljon sovelluksia ja dataa?