Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely)

Transkriptio

1 Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely) Ohjaaja: TkT Aki Vehtari Valvoja: Prof. Harri Ehtamo Kandidaattiseminaari

2 Esityksen rakenne Tausta Derivaattahavaintojen huomiointi Tavoitteet Tulokset Johtopäätökset

3 Taustaa: Mitä ovat gaussiset prosessit Gaussinen prosessi (GP) on stokastinen prosessi, joka määrää todennäköisyysjakauman yli funktioiden. Keskiarvo- ja kovarianssifunktio karakterisoivat gaussisen prosessin täysin. Äärellisellä määrällä satunnaismuuttujia kyseessä on moniulotteinen normaalijakauma GP:n keskiarvo- ja kovarianssifunktioilla (a) N (, 1) (b) N (µ, Σ) (c) GP(m(X), k(x))

4 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Regressio-ongelma: y(x) = f (X) + ɛ,.3.1 f(x) havainnot vaste y syöte x

5 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Regressio-ongelma: Bayesilaisittain: y(x) = f (X) + ɛ, vaste y.3.1 f(x) havainnot p(f y) = p(y f)p(f) p(y) syöte x

6 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Asetetaan prioriksi gaussinen prosessi f GP, jolloin äärellisellä määrällä havaintoja p(f) = N (, K), vaste y.6 prior f 95% syöte x

7 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Asetetaan prioriksi gaussinen prosessi f GP, jolloin äärellisellä määrällä havaintoja p(f) = N (, K), Priori on tn.jakauma yli funktioiden vaste y.6.6 prior f 95% syöte x

8 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Käytetään gaussista uskottavuusfunktiota: p(y f) = N (f, ɛ).3.1 f(x) havainnot vaste y syöte x

9 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Käytetään gaussista uskottavuusfunktiota: p(y f) = N (f, ɛ) Posteriori laskettavissa analyyttisesti vaste y f(x) havainnot syöte x

10 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Posteriorista tulee myös gaussinen prosessi p(f y) = N (m, Σ).6 p(f y) = p(y f)p(f), p(y) m posterior f 95% havainto vaste y syöte x

11 Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Posteriorista tulee myös gaussinen prosessi p(f y) = N (m, Σ) Jakauman keskiarvo m ennusteena mallinnetulle kuvaukselle Varianssista Σ ii mallin epävarmuus vaste y.6.6 p(f y) = p(y f)p(f), p(y) m posterior f 95% havainto syöte x

12 Derivaattahavaintojen huomiointi Kuinkas sitten ne derivaattahavainnot otetaan huomioon?.3 f(x) derivaatta havainnot havainnot.1 vaste y syöte x

13 Derivaattahavaintojen huomiointi Kuinkas sitten ne derivaattahavainnot otetaan huomioon? Matemaattisesti.3.1 f(x) derivaatta havainnot havainnot p(f y) p(f y, y ) vaste y syöte x

14 Derivaattahavaintojen huomiointi Menettely pääpiirteittäin.3 f(x) derivaatta havainnot havainnot.1 vaste y syöte x

15 Derivaattahavaintojen huomiointi Menettely pääpiirteittäin 1. Vastehavaintojen jakaumien sijasta tarkastellaan yhteisjakaumia vaste- ja derivaattahavainnoille Derivoitu GP on edelleen GP vaste y f(x) derivaatta havainnot havainnot syöte x

16 Derivaattahavaintojen huomiointi Menettely pääpiirteittäin 1. Vastehavaintojen jakaumien sijasta tarkastellaan yhteisjakaumia vaste- ja derivaattahavainnoille Derivoitu GP on edelleen GP 2. Ehdollistetaan posteriori sekä vasteettä derivaattahavainnoilla vaste y f(x) derivaatta havainnot havainnot syöte x

17 Tavoitteet 1. Tarkistaa teorian toimivuus 2. Tutkia derivaattahavainnoista saatavaa hyötyä 3. Tarkastella kuinka suuri määrä lisävastehavaintoja kompensoi derivaattahavainnot

18 Tulokset Derivaattahavaintojen vaikutus epävarmuuteen 1. Kvalitatiivinen tarkastelu Verrataan GP-mallia derivaattahavainnoilla ja ilman regressio-ongelmassa 2. Yksiulotteinen koetapaus 3. Kaksiulotteinen koetapaus

19 Tulokset: Kvalitatiivinen tarkastelu y(x) = sin(x) cos(x) 2 + N (,.15) output y.6 output y.6 prediction.6 95% f(x) observations input x (d) GP prediction 95%.6 f(x) observations derivative obs input x (e) GP-DER

20 Tulokset: Koetapaukset Koetapaus 1: yksiulotteinen regressio-ongelma y(x) = sin(x) + N (, σ 2 ) x [ 8, 8], σ 2 =.1

21 Tulokset: Koetapaus 1 Ennusteen neliövirheen keskiarvo GP Var(GP) GP DER Var(GP DER) Ennusteen neliövirheen keskiarvo GP 2 GP DER Opetuspisteitä N (f) GP ja GP-DER mallien neliövirheet Opetuspisteitä N (g) GP-2 mallilla kaksinkertainen määrä havaintoja

22 Tulokset: Koetapaukset Koetapaus 2: kaksiulotteinen regressio-ongelma y(x 1, x 2 ) = sin(x 1 ) cos(x 2 ) 2 + N (, σ 2 ) x 1, x 2 [ 3, 3], σ 2 =.1

23 Tulokset: Koetapaus 2 GP GP-DER Diskr.väli Havaintoja tas. sat. tas. sat

24 Tulokset: Koetapaus 2 GP GP-DER Diskr.väli Havaintoja tas. sat. tas. sat GP-DER mallilla = 57 havaintoa diskr. välillä.5

25 Tulokset: Koetapaus 2 GP GP-DER Diskr.väli Havaintoja tas. sat. tas. sat GP-DER mallilla = 57 havaintoa diskr. välillä.5 GP-DER malli tarkempi, vaikka havaintoja n. 2 kpl vähemmän!

26 Johtopäätökset Derivaattahavainnot lisäävät merkittävästi GP-mallin tarkkuutta pienentävät GP-mallin epävarmuutta Kaksiulotteisessa koetapauksessa derivaattahavainnot arvokkaampia kuin vastaava määrä lisävastehavaintoja Derivaattahavaintojen merkitys kasvaa ongelman ulottuvuuksien lisääntyessä?

27 Kiitos Tämä työ on tehty Aalto-yliopiston Lääketieteellisen tekniikan ja laskennallisen tieteen laitoksen Laskennallisten kompleksisten systeemien tutkimuksen huippuyksikössä Bayes-tutkimusryhmässä.