Gaussiset prosessit derivaattahavainnoilla regressio-ongelmassa (valmiin työn esittely) Ohjaaja: TkT Aki Vehtari Valvoja: Prof. Harri Ehtamo Kandidaattiseminaari 21 1.11.21
Esityksen rakenne Tausta Derivaattahavaintojen huomiointi Tavoitteet Tulokset Johtopäätökset
Taustaa: Mitä ovat gaussiset prosessit Gaussinen prosessi (GP) on stokastinen prosessi, joka määrää todennäköisyysjakauman yli funktioiden. Keskiarvo- ja kovarianssifunktio karakterisoivat gaussisen prosessin täysin. Äärellisellä määrällä satunnaismuuttujia kyseessä on moniulotteinen normaalijakauma GP:n keskiarvo- ja kovarianssifunktioilla. 5 1.6.35.8.6.3 5.15.6.1.8 6.5 2.5 2 1.5 1.5.5 1 1.5 2 2.5 1 1.5.5 1.8 1 2 3 4 5 6 (a) N (, 1) (b) N (µ, Σ) (c) GP(m(X), k(x))
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Regressio-ongelma: y(x) = f (X) + ɛ,.3.1 f(x) havainnot vaste y.1.3 1 1 2 3 4 5 6 syöte x
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Regressio-ongelma: Bayesilaisittain: y(x) = f (X) + ɛ, vaste y.3.1 f(x) havainnot p(f y) = p(y f)p(f) p(y).1.3 1 1 2 3 4 5 6 syöte x
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Asetetaan prioriksi gaussinen prosessi f GP, jolloin äärellisellä määrällä havaintoja p(f) = N (, K), vaste y.6 prior f 95%.6.8 1 1 2 3 4 5 6 syöte x
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Asetetaan prioriksi gaussinen prosessi f GP, jolloin äärellisellä määrällä havaintoja p(f) = N (, K), Priori on tn.jakauma yli funktioiden vaste y.6.6 prior f 95%.8 1 1 2 3 4 5 6 syöte x
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Käytetään gaussista uskottavuusfunktiota: p(y f) = N (f, ɛ).3.1 f(x) havainnot vaste y.1.3 1 1 2 3 4 5 6 syöte x
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun p(f y) = p(y f)p(f), p(y) Käytetään gaussista uskottavuusfunktiota: p(y f) = N (f, ɛ) Posteriori laskettavissa analyyttisesti vaste y.3.1.1.3 f(x) havainnot 1 1 2 3 4 5 6 syöte x
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Posteriorista tulee myös gaussinen prosessi p(f y) = N (m, Σ).6 p(f y) = p(y f)p(f), p(y) m posterior f 95% havainto vaste y.6.8 1 1 2 3 4 5 6 syöte x
Taustaa: Regressio-ongelma & Bayesilainen näkökulma ratkaisuun Posteriorista tulee myös gaussinen prosessi p(f y) = N (m, Σ) Jakauman keskiarvo m ennusteena mallinnetulle kuvaukselle Varianssista Σ ii mallin epävarmuus vaste y.6.6 p(f y) = p(y f)p(f), p(y) m posterior f 95% havainto.8 1 1 2 3 4 5 6 syöte x
Derivaattahavaintojen huomiointi Kuinkas sitten ne derivaattahavainnot otetaan huomioon?.3 f(x) derivaatta havainnot havainnot.1 vaste y.1.3.5 1 1 2 3 4 5 6 syöte x
Derivaattahavaintojen huomiointi Kuinkas sitten ne derivaattahavainnot otetaan huomioon? Matemaattisesti.3.1 f(x) derivaatta havainnot havainnot p(f y) p(f y, y ) vaste y.1.3.5 1 1 2 3 4 5 6 syöte x
Derivaattahavaintojen huomiointi Menettely pääpiirteittäin.3 f(x) derivaatta havainnot havainnot.1 vaste y.1.3.5 1 1 2 3 4 5 6 syöte x
Derivaattahavaintojen huomiointi Menettely pääpiirteittäin 1. Vastehavaintojen jakaumien sijasta tarkastellaan yhteisjakaumia vaste- ja derivaattahavainnoille Derivoitu GP on edelleen GP vaste y.3.1.1 f(x) derivaatta havainnot havainnot.3.5 1 1 2 3 4 5 6 syöte x
Derivaattahavaintojen huomiointi Menettely pääpiirteittäin 1. Vastehavaintojen jakaumien sijasta tarkastellaan yhteisjakaumia vaste- ja derivaattahavainnoille Derivoitu GP on edelleen GP 2. Ehdollistetaan posteriori sekä vasteettä derivaattahavainnoilla vaste y.3.1.1.3 f(x) derivaatta havainnot havainnot.5 1 1 2 3 4 5 6 syöte x
Tavoitteet 1. Tarkistaa teorian toimivuus 2. Tutkia derivaattahavainnoista saatavaa hyötyä 3. Tarkastella kuinka suuri määrä lisävastehavaintoja kompensoi derivaattahavainnot
Tulokset Derivaattahavaintojen vaikutus epävarmuuteen 1. Kvalitatiivinen tarkastelu Verrataan GP-mallia derivaattahavainnoilla ja ilman regressio-ongelmassa 2. Yksiulotteinen koetapaus 3. Kaksiulotteinen koetapaus
Tulokset: Kvalitatiivinen tarkastelu y(x) = sin(x) cos(x) 2 + N (,.15) output y.6 output y.6 prediction.6 95% f(x) observations.8 3 2 1 1 2 3 input x (d) GP prediction 95%.6 f(x) observations derivative obs..8 3 2 1 1 2 3 input x (e) GP-DER
Tulokset: Koetapaukset Koetapaus 1: yksiulotteinen regressio-ongelma y(x) = sin(x) + N (, σ 2 ) x [ 8, 8], σ 2 =.1
Tulokset: Koetapaus 1 Ennusteen neliövirheen keskiarvo 2 1.8 1.6 1.4 1.2 1.8.6 GP Var(GP) GP DER Var(GP DER) Ennusteen neliövirheen keskiarvo 1.1 1.9.8.7.6.5.3 GP 2 GP DER 1 2 3 4 5 6 7 8 9 1 Opetuspisteitä N (f) GP ja GP-DER mallien neliövirheet.1 1 15 2 25 3 35 4 45 5 Opetuspisteitä N (g) GP-2 mallilla kaksinkertainen määrä havaintoja
Tulokset: Koetapaukset Koetapaus 2: kaksiulotteinen regressio-ongelma y(x 1, x 2 ) = sin(x 1 ) cos(x 2 ) 2 + N (, σ 2 ) x 1, x 2 [ 3, 3], σ 2 =.1
Tulokset: Koetapaus 2 GP GP-DER Diskr.väli Havaintoja tas. sat. tas. sat..6 121 1.83 19.84 3.18 4.2.5 169 8.8 14.8 2.21 2.87 256 5.63 8.71 1.48 1.72 5 625 2.53 3.48.62.65 3 729 2.3 2.83.53.59 961 1.77 2.26.38 3
Tulokset: Koetapaus 2 GP GP-DER Diskr.väli Havaintoja tas. sat. tas. sat..6 121 1.83 19.84 3.18 4.2.5 169 8.8 14.8 2.21 2.87 256 5.63 8.71 1.48 1.72 5 625 2.53 3.48.62.65 3 729 2.3 2.83.53.59 961 1.77 2.26.38 3 GP-DER mallilla 3 169 = 57 havaintoa diskr. välillä.5
Tulokset: Koetapaus 2 GP GP-DER Diskr.väli Havaintoja tas. sat. tas. sat..6 121 1.83 19.84 3.18 4.2.5 169 8.8 14.8 2.21 2.87 256 5.63 8.71 1.48 1.72 5 625 2.53 3.48.62.65 3 729 2.3 2.83.53.59 961 1.77 2.26.38 3 GP-DER mallilla 3 169 = 57 havaintoa diskr. välillä.5 GP-DER malli tarkempi, vaikka havaintoja n. 2 kpl vähemmän!
Johtopäätökset Derivaattahavainnot lisäävät merkittävästi GP-mallin tarkkuutta pienentävät GP-mallin epävarmuutta Kaksiulotteisessa koetapauksessa derivaattahavainnot arvokkaampia kuin vastaava määrä lisävastehavaintoja Derivaattahavaintojen merkitys kasvaa ongelman ulottuvuuksien lisääntyessä?
Kiitos Tämä työ on tehty Aalto-yliopiston Lääketieteellisen tekniikan ja laskennallisen tieteen laitoksen Laskennallisten kompleksisten systeemien tutkimuksen huippuyksikössä Bayes-tutkimusryhmässä.