Approksimatiivinen päättely

Transkriptio

1 218 Approksimatiivinen päättely Koska tarkka päättely on laskennallisesti vaativaa, niin on syytä tarkastella ratkaisujen approksimointia Approksimointi perustuu satunnaiseen otantaan tunnetusta todennäköisyysjakaumasta Esim. painottamaton kolikko voidaan mieltää satunnaismuuttujaksi Lantti, jonka arvoalue on [kruuna, klaava] ja prioritodennäköisyys P(Lantti) = [0.5, 0.5] Otanta tästä jakaumasta vastaa kolikon heittoa, todennäköisyydellä 0.5 tuloksena on kruuna ja todennäköisyydellä 0.5 klaava Jos satunnaislukugeneraattori, jolta saadaan lukuja väliltä [0, 1], niin minkä tahansa yhden muuttujan jakaumasta voidaan helposti tehdä otantaa 219 P(pilveä).50 Pilveä Pilveä P(sataa) True.80 Kastelu Sataa False.20 Pilveä P(kastelu) True.10 False.50 Märkä- Ruoho Kastelu Sataa P(märkäruoho) True True.99 True False.90 False True.90 False False.00

2 220 Bayes-verkosta, johon ei liity havaintoja, otantaa voidaan tehdä muuttuja kerrallaan topologisessa järjestyksessä Kun vanhempien arvot on arvottu, niin tiedetään minkä jakauman perusteella otanta lapsessa on tehtävä Kiinnitetään esimerkkiverkon solmuille topologinen järjestys [Pilveä, Kastelu, Sataa, MärkäRuoho] 1. Vedetään jakaumasta P(Pilveä) = [0.5, 0.5] satunnainen arvo, esim. True 2. Vedetään jakaumasta P(Kastelu pilveä) = [0.1, 0.9] satunnainen arvo, esim. False 3. Vedetään jakaumasta P(Sataa pilveä) = [0.8, 0.2] satunnainen arvo, esim. True 4. Vedetään jakaumasta P(MärkäRuoho kastelu, sataa) = [0.9, 0.1] satunnainen arvo, esim. True 221 Verkon määräämästä prioriyhteisjakaumasta nyt vedetty tapahtuma siis on [True, False, True, True] Merkitään todennäköisyyttä, että prioriotanta vetää tietyn tapahtuman S PO (x 1 ) Otantamenetelmän perusteella se on i=1,,n P(x i vanhemmat(x i )) Toisaalta tämä on tapahtuman todennäköisyys Bayes-verkon esittämässä yhteisjakaumassa, joten S PO (x 1 ) = P(x 1 ) Merk. tapahtuman x 1,, x n frekvenssiä N PO (x 1 ) yhteensä N:n otospisteen joukossa

3 222 Tapahtuman otantafrekvenssi konvergoituu rajalla odotusarvoonsa lim N N PO (x 1 )/N = S PO (x 1 ) = P(x 1 ) Esim. S PO ([True, False, True, True]) = = 0.324, joten kun N on iso, niin odotamme, että 32.4% otospisteistä on tämä tapahtuma Menetelmän antama arvio on konsistentti siinä mielessä, että todennäköisyys on eksakti rajalla Osittain määrätyn tapahtuman x 1,, x m, m n, todennäköisyydelle saadaan myös konsistentti estimaatti P(x 1,, x m ) N PO (x 1,, x m )/N Otoksesta arvioitua todennäköisyyttä merk. P data ( ) 223 Ehdollisen todennäköisyyksien P(X e) arvioimiseksi voitaisiin käyttää seuraavaa otantamenetelmää 1. Vedetään otos verkon määräämästä priorijakaumasta 2. Hylätään kaikki otospisteet, jotka eivät toteuta havaintoja e 3. Arvon P data (X = x e) määräämiseksi lasketaan kuinka suuressa osassa jäljellejääneistä otospisteistä pätee X = x Menetelmän antama jakauma P data (X e) on algoritmin perusteella α N PO (X, e) = N PO (X, e) / N PO (e) Osittain määrätyn tapahtuman todennäköisyyden arviona tämä on konsistentti estimaatti P data (X e) P(X, e) / P(e) = P(X e)

4 224 Vedetään 100 otospistettä jakauman P(Sataa kastelu) estimoimiseksi Saamistamme tapahtumista 73, joilla pätee Kastelu = False, hylätään Lopuilla tapahtumilla pätee kastelu Näistä 8:ssa tapauksessa Sataa = True ja 19:ssä False Tässä tapauksessa P data (Sataa kastelu) [0.296, 0.704], kun todellinen jakauma on [0.3, 0.7] Suurempi otos tuottaa tarkemman estimaatin Tn. arvioiden virheen hajonta on suhteessa osamäärään 1/ n, missä n on otospisteiden lukumäärä Turhaan vedettyjen otospisteiden suuri määrä on ongelma: havaintojen kanssa konsistenttien otospisteiden lukumäärä putoaa eksponentiaalisesti ehtomuuttujien lkm:n kasvaessa 225 Turhaan hylättävien otospisteiden vetämisen välttämiseksi kiinnitetään havaintomuuttujien E arvot ja tehdään otanta vain muuttujien X ja Y yli Vedetyt tapahtumat eivät kuitenkaan kaikki oli samanarvoisia Tapahtumia painotetaan uskomusarvoilla (likelihood) Kuinka uskottavasti tapahtuma vastaa havaintoja mitattuna havaintomuuttujien ehdollisten todennäköisyyksien tulolla annettuna niiden vanhemmat Intuitiivisesti ajatellen tapahtumille, joissa havaintojen yhdessä esiintyminen vaikuttaa epäuskottavalta, annetaan vähemmän painoarvoa

5 226 Kyselyyn P(Sataa kastelu, märkäruoho) vastaamiseksi painoarvo w alustetaan arvoon 1.0 Vedetään otos jakaumasta P(Pilveä) = [0.5, 0.5], esim. arvo True Koska Kastelu on havaintomuuttuja, jonka arvo on True, niin painoa päivitetään w w P(kastelu pilveä) = 0.1 Vedetään otos jakaumasta P(Sataa pilveä) = [0.8, 0.2], esim. arvo True MärkäRuoho on havaintomuuttuja, jonka arvo on True w w P(märkäruoho kastelu, sataa) = Saatiin siis esimerkki [True, True, True, True] tapauksesta Sataa = True painoltaan Merkitään Z = { X } U Y Otospisteitä painottava otanta arpoo kullekin muuttujista Z arvon annettuna sen vanhempien arvot S W (z, e) = i=1,,l P(z i vanhemmat(z i )) Vanhemmat(Z i ) voi sisältää niin havainto- kuin piilomuuttujiakin Painottava otanta siis ottaa havainnot paremmin huomioon kuin priorijakauma P(z) Toisaalta S W ottaa huomioon vain kunkin muuttujan Z i esi-isiin lukeutuvat havainnot Todellinen posteriorijakauma P(z e) huomioi kaikki havainnot

6 228 Uskottavuuspainot w korjaavat jakaumien eron Olkoon otospiste x muodostunut muuttujien arvoista z ja e, jolloin w(z, e) = i=1,,m P(e i vanhemmat(e i )) Täten otospisteen painotettu todennäköisyys S W (z, e) w(z, e) on i=1,,l P(z i vanhemmat(z i )) i=1,,m P(e i vanhemmat(e i )) = P(z, e), koska tulojen muuttajat kattavat kaikki verkon muuttujat 229 Nyt voidaan osoittaa, että painotusotannan estimaatit ovat konsistentteja P data (x e) = α y N W (x, y, e) w(x, y, e) α' y S W (x, y, e) w(x, y, e) = α' y P(x, y, e) = α'p(x, e) = P(x e) Painotusotanta on tehokas menetelmä, koska kaikki vedetyt otospisteet hyödynnetään Menetelmä kuitenkin kärsii kun havaintomuuttujien lukumäärä kasvaa, koska useimpien otospisteiden paino on hyvin pieni ja harvat pisteet dominoivat estimaattia

7 230 MCMC-algoritmi Markov chain Monte Carlo Monte Carlo -algoritmi on satunnaisalgoritmi, joka voi tuottaa väärän vastauksen pienellä todennäköisyydellä (vs. Las Vegas - algoritmi) Otospisteitä vedetään tekemällä satunnainen muutos edelliseen tapahtumaan Seuraava tila valitaan arpomalla arvo yhdelle eihavaintomuuttujista X i ehdollistettuna sen Markov-peitteeseen kuuluvien muuttujien nykyisillä arvoilla Solmun Markov-peitteeseen kuuluvat sen vanhemmat, lapset ja lapsien vanhemmat MCMC tuottaa satunnaiskulun tila-avaruudessa, jossa havaintomuuttujien arvoja ei muuteta 231 YKSINKERTAISET PÄÄTÖKSET Liitetään tilaan S numeerinen hyötyarvio (utility) U(S), joka kuvaa tilan saavuttamisen haluttavuutta Epädeterministisen toiminnon A mahdollisia tulostiloja ovat Tulos i (A), missä i käy yli eri tulosten Ennen toiminnon A suorittamista sen mahdollisille tuloksille annetaan todennäköisyydet P(Tulos i (A) Suorita(A), E), missä E on agentin havainnot A:n odotettu hyöty (expected utility): EU(A E) = i P(Tulos i (A) Suorita(A), E) U(Tulos i (A))

8 232 Maksimaalisen odotetun hyödyn periaate edellyttää rationaalisen agentin valitsevan sen toiminnon, jonka odotusarvoinen hyöty on suurin Jos ideaa haluttaisiin soveltaa toimintojonojen valintaan, niin kaikki mahdolliset jonot tulisi arvottaa, mikä on käytännössä mahdotonta Jos hyötyfunktio heijastaa käytettyä tuloksellisuusmittaa, niin periaatteen mukaan toimiva agentti saavuttaa parhaan mahdollisen tuloksen yli mahdollisten toimintaympäristöjen Mallinnetaan epädeterminististä toimintoa arvonnalla (lottery) L, jossa mahdollisiin tuloksiin C 1,, C n liittyvät todennäköisyydet p 1,, p n L = [p 1, C 1 ; p 2, C 2 ; ; p n, C n ] 233 A f B Agentti preferoi arvontaa A A ~ B agentille A ja B ovat samanarvoisia A f B agentti preferoi A:ta tai A ja B ovat sille samanarvoisia Deterministinen arvonta [1,A] A Preferenssirelaatiolle asetetaan rationaalisuuden nimissä seuraavat rajoitteet Järjestyvyys: agentin on kyettävä suhtauttamaan mitkä tahansa kaksi tilaa keskenään, valitsemaan niiden väliltä (A f B) (B f A) (A ~ B) Transitiivisuus: (A f B) (B f C) (A f C)

9 234 Jatkuvuus: A f B f C p: [p, A; 1-p, C] ~ B Korvattavuus: A ~ B [p, A; 1-p, C] ~ [p, B; 1-p, C] Monotonisuus: A f B (p q [p, A; 1-p, B] f [q, A; 1-q, B]) Jaettavuus: Sisäkkäiset arvonnat voidaan todennäköisyyslaskennan sääntöjen mukaan purkaa [p, A; 1-p, [q, B; 1-q, C]] ~ [p, A; (1-p)q, B; (1-p)(1-q), C] Huom.: ei mainintaa hyödyistä Hyötyperiaate: Jos agentin preferenssit noudattavat edellä olleita aksioomia, niin on olemassa reaaliarvoinen funktio U s.e. U(A) > U(B) A f B U(A) = U(B) A ~ B 2. Odotetun hyödyn maksimoimisen periaate: Arvonnan hyöty on U([p_1,S_1; ;p_n,s_n]) = i=1,,n p i U(S i ) Täten epädeterministisen toiminnon hyöty on kuten aiemmin esitimme

10 236 Hyötyfunktioita Rahavarat vaikuttaisi suoraviivaiselta hyötymitalta Agentti preferoi monotonisesti rahaa Rahan arvonnoillekin on määrättävä toimintamalli Olemme voittaneet tietokilpailussa miljoonan Tarjolla on kolikonheitto, jossa kruuna tietää kaiken rahan häviämistä ja klaava puolestaan kolmen miljoonan voittoa Onko ainoa rationaalinen valinta odotusarvoltaan puolentoista miljoonan tarjouksen hyväksyminen? Oikeasti kyseessä onkin varallisuuden (ei voiton) maksimointi 237 Hyödyn aksioomat eivät määrää yksikäsitteistä hyötyfunktiota Voimme esim. tehdä funktiolle U(S) lineaarisen muunnoksen U'(S) = k 1 + k 2 U(S) (k 1 on vakio, k 2 on mielivaltainen positiivinen vakio) ilman, että agentin käyttäytyminen muuttuu Deterministisessä maailmassa, jossa ei ole arvontoja, mikä tahansa monotoninen muunnos säilyttää agentin käytöksen Esim. ³ (U(S)) Hyötyfunktio on tällöin ordinaalinen se antaa tiloille järjestyksen, numeerisilla arvoilla ei ole merkitystä

11 238 Hyötyarvojen skaala käy parhaasta mahdollisesta palkinnosta u pahimpaan katastrofiin u Normalisoidulla hyödyllä u = 0 ja u = 1 Ääriarvojen väliin jäävän tilan S arvottamiseksi agentti voi verrata sitä standardiarvontaan [p, u ; 1-p, u ] Todennäköisyyttä p on säädettävä kunnes kunnes agentin mielestä standardiarvonta ja S ovat samanarvoisia Jos käytössä on normalisoidut hyödyt, niin lopullinen p on S:n hyötyarvo Usein hyötyarvo on monen muuttujan (attribuutin) X = X 1,, X n arvojen x = [x 1 ] määräämä 239 Tarkastellaan tilannetta, missä muiden arvojen ollessa samat, attribuutin korkeampi arvo tietää myös korkeampaa hyötyfunktion arvoa Jos attribuuttivektoreille x ja y pätee x i y i i, niin x dominoi (aidosti) y:tä Jos esim. lentokentän mahdollinen sijoituspaikka S 1 on halvempi, tuottaa vähemmän äänisaastetta ja on turvallisempi kuin S 2, niin jälkimmäistä ei enää tarvitse harkita Epävarmuuden vallitessa aidot dominointisuhteet ovat harvinaisempia kuin deterministisessä tapauksessa Stokastinen dominanssi on usein käyttökelpoinen vertailutapa

12 240 Jos lentokentän sijoittamiskustannuksen uskotaan olevan tasaisesti jakautunut välille S 1 : 2.8 ja 4.8 miljardia euroa S 2 : 3.0 ja 5.2 miljardia euroa niin kumulatiivisia jakaumia tarkastelemalla havaitaan S 1 :n dominoivan stokastisesti S 2 :ta (koska kustannukset ovat negatiivisia) 1.0 todennäköisyys.5 S 2 S Negatiivinen kustannus 241 Kumulatiivinen jakauma on alkuperäisen jakauman integraali Olk. tapahtumien A 1 ja A 2 jakaumat attribuutille Xp 1 (x) ja p 2 (x) A 1 dominoi stokastisesti A 2 :ta, jos x: -,,x p 1 (x') dx -,,x p 2 (x') dx' Jos A 1 dominoi stokastisesti A 2 :ta ja U(x) on mv. monotonisesti ei-vähenevä hyötyfunktio, niin A 1 :n odotusarvoinen hyöty on vähintään yhtä korkea kuin A 2 :n Jos jokin toiminto on toisen dominoima kaikkien attribuuttien suhteen, niin se voidaan jättää huomiotta

13 242 Informaation arvo Öljykenttään myydään porausoikeuksia, palstoja on n kappaletta, mutta vain yhdessä niistä on C euron edestä öljyä Yhden palstan hinta on C/n euroa Seismologi tarjoaa yritykselle tutkimustietoa palstasta nro 3, joka paljastaa aukottomasti onko palstalla öljyä vai ei Paljonko yrityksen kannattaa maksaa tiedosta? Todennäköisyydellä 1/n tutkimus kertoo palstalla 3 olevan öljyä, jolloin yritys hankkii sen hintaan C/n ja ansaitsee (n-1)c/n euroa Todennäköisyydellä (n-1)/n tutkimus osoittaa, ettei palsta 3 sisällä öljyä, jolloin yhtiö hankkii jonkin muista palstoista 243 Koska palstan 3 tilanne jo tunnetaan, niin ostetulta pastalta löytyy nyt öljyä tn.:llä 1/(n-1), joten yhtiön odotusarvoinen voitto on C/(n-1) - C/n = C/n(n-1) euroa Odotusarvoinen voitto annettuna tutkimustulos on siis (1/n) ((n-1)c/n) + (n-1/n) (C/n(n-1)) = C/n Seismologille siis kannattaa maksaa aina palstan hintaan asti Lisäinformaatio on arvokasta, koska sen avulla toiminta voidaan sopeuttaa vallitsevaan tilanteeseen Ilman informaatiota on tyydyttävä kaikissa mahdollisissa tilanteissa keskimäärin parhaaseen toimintaan

14 244 Olk. E j on satunnaismuuttuja, jonka arvosta saadaan uusi tarkka havainto Agentin aiempi tietämys on E Ilman lisäinformaatiota parhaan toiminnon α arvo on EU(α E) = max A i U(Tulos i (A)) P(Tulos i (A) Suorita(A), E) Uusi havainto muuttaa parhaan toiminnon ja sen arvon Mutta toistaiseksi E j on satunnaismuuttuja, jonka arvoa ei tunneta, joten voimme vain summata yli sen kaikkien mahdollisten arvojen e jk Havainnon E j arvo on lopulta ( k P(E j = e jk E) EU(α ejk E, E j = e jk )) -EU(α E) 245 Lisäinformaatiolla on arvoa sikäli kun se voi johtaa suunnitelman muutokseen ja uusi suunnitelma on oleellisesti parempi kuin vanha Merk. VPI E (E j ) on havainnon E j arvo, kun nykyhavainnot ovat E Minkä tahansa havainnon arvo on ei-negatiivinen j, E: VPI E (E j ) 0 Arvo riippuu nykyisestä tilasta, joten se voi muuttua tietämyksen myötä Äärimmillään informaation arvo putoaa nollaan, kun tarkastellulle muuttujalle jo tunnetaan arvo Siksi informaation arvo ei ole additiivinen VPI E (E j, E k ) VPI E (E j ) + VPI E (E k )

15 246 Käytännössä tärkeää on, että informaation arvo on järjestysvapaa VPI E (E j, E k ) = VPI E (E j ) + VPI E,Ej (E k ) = VPI E,Ek (E j ) + VPI E (E k ) Tämän perusteella havainnot voidaan erottaa toiminnoista Agentin tulisi hankkia lisäinformaatiota kyselyin järkevässä järjestyksessä, irrelevantteja kysymyksiä välttäen, ottaen huomioon informaation arvon suhteessa sen kustannukseen, vain silloin kun se on järkevää Myopinen agentti tekee toimintapäätöksen heti jos mikään havaintomuuttujista ei näytä riittävän hyödylliseltä ei tutkita muuttujakombinaatioita