Jatkuvan ajan dynaaminen optimointi Diskreetistä ajasta jatkuvaan Ito prosessit Optimaalinen pysäytys Poisson prosessit Optimointiopin seminaari - Syksy 2000 / 1
Jatkuvan ajan dynaaminen π(x,u,t) tuottovirta optimointi π(x,u,t) t tuotto t pituisella ajanjaksolla ρ diskonttotekijä aikayksikköä kohden, diskonttokerroin t pituiselle ajanjaksolle on 1/(1 + ρ t) Äärettömän aikavälin diskreetin ajan Bellmanin yhtälö: F(x)=max{π(x,u)+1/(1+ρ) E[F(x ) x,u]} Optimointiopin seminaari - Syksy 2000 / 2
Jatkuvan ajan dynaaminen optimointi (jatkoa) Saa muodon F(x,t) = max{π(x,u,t) t + 1/(1+ρ t) E[F(x, t+ t) x,u]} Muokataan ja annetaan t lähestyä nollaa; ρf(x,t)=max{π(x,u,t)+1/dt E[dF]}, jossa 1/dt E[dF]=lim 1/ t E[F(x, t+ t)-f(x,t)]. Ei-arbitraasi- tai tasapainoyhtälö! Ongelmana raja-arvon ottaminen. Hyvin määritelty vain Ito- ja Poissonprosesseille. Optimointiopin seminaari - Syksy 2000 / 3
Dynaaminen optimointi Itoprosesseilla dx = a(x,u,t) dt + b(x,u,t) dz π(x,u,t) ja F(x,t) kuten edellä x tila hetkellä t, x =x+ x tila hetkellä t+ t Sovelletaan Iton lemmaa E[F(x+ x, t+ t) x,u] = F(x,t)+ [F t (x,t)+a(x,u,t)f x (x,t)+1/2b 2 (x,u,t)f xx (x,t)] t +o( t) Optimointiopin seminaari - Syksy 2000 / 4
Dynaaminen optimointi Itoprosesseilla (jatkoa) Tasapainoyhtälö saa nyt muodon ρf=max{π(x,u,t)+f t (x,t)+a(x,u,t)f x (x,t)+ 1/2b 2 (x,u,t)f xx (x,t)] Tästä voidaan ratkaista u *, x *, jolloin saadaan 2. astetta oleva ODY F:lle ODY yleisesti kompleksi ja vaikea ratkaista Optimointiopin seminaari - Syksy 2000 / 5
Dynaaminen optimointi Itoprosesseilla (jatkoa) Äärellisellä aikavälillä: loppuaika T, lopputuotto Ω(x T,T) Yhtälölle saadaan reunaehto F(x,t)=Ω(x,t) kaikilla x F(x,t) voidaan laskea aloittamalla T:stä ja laskemalla taksepäin F(x,t):n arvot kaikkina ajanhetkinä t Jos a,b,π eivät riipu ajasta saadaan F:lle DY Optimointiopin seminaari - Syksy 2000 / 6
Optimaalinen pysäytys ja smooth-pasting Binääriongelma - jatka, tuottovirta π(x,t) - lopeta, lopetustuotto Ω(x,t) dx = a(x,t) dt + b(x,t) dz Intuitiivisesti: olemassa raja x * (t) s.e. jos x(t) > x * (t) (x(t) < x * (t)) on optimaalista jatkaa (lopettaa) x * (t) saadaan osana dynaamisen optimointiongelman ratkaisua Optimointiopin seminaari - Syksy 2000 / 7
Optimaalinen pysäytys ja smooth-pasting (jatkoa) Bellmanin yhtälö ongelmalle F(x,t)=max{Ω(x,t), π(x,t)+ 1/(1+ρdt) E[F(x+dx,t+dt] x]} Jatka -alueessa (x(t)>x * (t)) jälkimmäinen termi isompi, sovelletaan tähän Iton lemmaa 1/2b 2 (x,t) F xx (x,t)+a(x,t) F x (x,t)+f t (x,t) - ρf(x,t)+π(x,t)=0, reunaehto x(t)=x * (t) Optimointiopin seminaari - Syksy 2000 / 8
Optimaalinen pysäytys ja smooth-pasting (jatkoa) Bellmanin yhtälöstä: F(x * (t),t) = Ω(x * (t),t) kaikilla t value-matching condition Tarvitaan kuitenkin lisäehto smooth-pasting condition F x (x * (t),t)=ω x (x * (t),t) Optimointiopin seminaari - Syksy 2000 / 9
Esimerkki - koneen optimaalinen hylkääminen Yritys omistaa koneen, joka valmistaa vimpaimia - elinaika [0,T] vuotta - tuotto vähenee vuosi vuodelta - tuotossa satunnaisia hypähdyksiä - tuottovirta dx=a dt+b dz, a<0 - hylkääminen on pysyvää Seurattava sekä x että t Olemassa x * (t) s.e. jos x(t)<x * (t) kone hylätään Optimointiopin seminaari - Syksy 2000 / 10
Esimerkki - koneen optimaalinen hylkääminen (jatkoa) 0 0 2 4 6 8 10 12-0,05 x -0,1-0,15-0,2 t Optimointiopin seminaari - Syksy 2000 / 11
Dynaaminen optimointi Poisson prosesseilla dx = f(x,t) dt + g(x,t) dq, dq={0,u}, P(dq=u)=λ dt, P(dq=0)= 1- λ dt Optimaalinen pysäytys ongelma hyppy lopeta -alueeseen => df=λdt[ω(x+g(x,t) u)-f(x,t)]+ (1-λdt) [F(x+f(x,t)) dt)-f(x,t)] hyppy jatka -alueeseen => sij. F(x+g(x,t) u) Ω(x+g(x,t) u) tilalle Optimointiopin seminaari - Syksy 2000 / 12
Dynaaminen optimointi Poisson prosesseilla (jatkoa) Sijoittamalla df ei-arbitraasiyhtälöön saadaan Poisson prosessille ρf(x,t) = π(x,t) + λ[ω(x+g(x,t) u) -F(x,t)] + F x (x,t) f(x,t) kun x+g(x,t) u kuuluu lopeta -alueeseen. Vastaava lauseke kun x+g(x,t) u kuuluu jatka -alueseen saadaan sijoittamalla Ω:n tilalle F Optimointiopin seminaari - Syksy 2000 / 13
Dynaaminen optimointi Poisson prosesseilla (jatkoa) Jos u on satunnaismuuttuja on käytettävä näiden kombinaatiota ottamalla odotusarvo u:n jakauman suhteen. Ratkaisua ei saada paikallisesti jatka - alueelle => Ω ja F ei voida liittää toisiinsa pelkästään reunalla => vaikeuksia. Riittävän yksinkertaisia sovelluksia löytyy eli on kuitenkin käyttökelpoinen työkalu. Optimointiopin seminaari - Syksy 2000 / 14
Kotitehtävä - Poisson prosessi dx = g(x,t) dq, dq kuten edellä hyppy tapahtuu aina samaan, tunnettuun pisteeseen x 0 Ω(x 0,t) = 0 Poisson prosessin df:n lausekkeesta lähtien laske F(x,t), kun x 0 sijaitsee - jatka -alueessa - lopeta -alueessa Optimointiopin seminaari - Syksy 2000 / 15