Keskeiset tulokset heikko duaalisuus (duaaliaukko, 6.2.1) vahva duaalisuus (6.2.4) satulapisteominaisuus (6.2.5) yhteys KKT ehtoihin (6.2.

Transkriptio

1 Duaalisuus Lagrangen duaalifunktio ja duaalitehtävä määrittely ja geometria max θ(u,v), missä θ(u,v)=inf x X ϕ(x,u,v) s.e u 0 Lagr. funktio ϕ(x,u,v)=f(x)+u T g(x)+v T h(x) Keskeiset tulokset heikko duaalisuus (duaaliaukko, 6.2.1) vahva duaalisuus (6.2.4) satulapisteominaisuus (6.2.5) yhteys KKT ehtoihin (6.2.6) Duaalifunktion ominaisuudet konkaavius gradientit ja aligradientit Duaalin muodostaminen LP ja QP tehtäville Sovellukset: kokonaislukuoptimointi laajat tehtävät

2 Algoritmien luokittelua Tehtävätyypin mukaan rajoittamaton (1-ul. ja n-ul. tehtävät) rajoitettu (lineaarinen ja epälineaarinen) sileä ja epäsileä optimointi Lähestymistavan mukaan suorat ja epäsuorat menetelmät viivahaku- ja luottamusaluemenetelmät Algoritmien vertailua Suppeneminen konvergenssiaste, konvergenssinopeus Laskentatyö polynomiaikainen, eksponentiaaliaikainen Muistin tarve vektorit, matriisit Tarkkuus pyöristykset, alkudatan virheet Yleisyys tehtäväluokan eri tehtävät

3 Rajoittamaton yksiuloitteinen optimointi Newton derivaatan nollakohdan hakeminen kvadraattinen (p=2), vaatii toisen derivaatan Kuutiopolynomisovitus kvadraattinen (p=2), eka derivaatta Neliöllinen sovitus superlineaarinen (p 1.3), ei vaadi deriv. Bisektio lineaarinen (p=1,β=0.5), eka derivaatta Kultainen leikkaus, Fibonacci lineaarinen (p=1,β 0.618), ei deriv. Dikotominen lineaarinen (p=1,β 0.71?), ei deriv. Tasahaku Epäeksakti viivahaku kokonaisuuden kannalta hyvä ratkaisu Armijo sääntö, Goldstein, Wolfe

4 N-uloitteinen optimointi Ratkaiseminen ilman derivaattoja syklinen koordinaattimenet. ja Hooke-Jeeves differenssiapproksimaatiot Neldel-Mead Simplex (Matlab) Gradienttimenetelmä, x k+1 =x k -λ k f(x k ) lineaarinen konvergenssi, luotettava sik-sak -ilmiö sup.nopeus (K-1) 2 /(K+1) 2, K=ν max /ν min Newton, x k+1 =x k -λ k [ 2 f(x k )] -1 f(x k ) kvadraattinen konvergenssi lähellä opt. matriisin kääntö O(n 3 ) muistin tarve Kvasi-Newtonit, x k+1 =x k -λ k B k f(x k ) kvasi-newton ehto, imitoi f:n käyryyttä H k+1 (x k+1 -x k )= f(x k+1 )- f(x k ) superlineaarinen konvergenssi B:n päivitys O(n 2 ) muistin tarve

5 N-uloitteinen optimointi Konjugaattigradienttimenetelmä hakusuunnat ei ortogonaalisia, vaan H-konjugaatteja, d i T Hd j =0, i j d k+1 = - f(x k+1 )+α k d k superlineaarinen konvergenssi laskentatyö pieni suunnan valinnassa muistin tarve pieni hyvä menetelmä isoille tehtäville lineaaristen yhtälöryhmien ratkaiseminen optimi n askeleella kvadraattiselle funktiolle sup.nopeus ( K-1) 2 /( K+1) 2, K=ν max /ν min Pienimmän neliösumman tehtävät mallin parametrien estimointi Gauss-Newton: Hessen matriisit pois Levenberg-Marquardt: tehdään pos.def.

6 Rajoitettu optimointi Idea: ratkaistaan sarja helpompia tehtäviä Sakkofunktiot α(x) esim. h(x) 2, max(0,g(x)) tai h(x) p 1. min f(x)+µ k α(x) 2. lopetus tai µ k+1 =βµ k (β>1) eksaktit sakkofunktiot Täydennetty Lagrangen funktio 1. min f(x)+v k h(x)+µ k h(x) 2 2. jos 4 h(x k ) > h(x k-1 ), niin µ k+1 =βµ k muuten v k+1 =v k +2µ k h(x k ) Estefunktiot B(x) esim. -1/g(x) tai -ln(-g(x)) 1. min f(x)+µ k B(x) 2. lopetus tai µ k+1 =βµ k (0<β<1) Primaali-Duaali sisäpistemenetelmä polynomiaikainen LP tehtävälle Newton suunnan määrittämisessä logaritminen estefunktio x 0:lle relaksoi complementary slackness ehdon

7 Rajoitettu optimointi Toistettu kvadraattinen optimointi (SQP) Newton KKT-ehdoille kvadraattinen approksimaatio Lagrangen funktiolle linearisoiduin rajoituksin suuntahaku QP-tehtävästä + viivahaku kvasi-newton approksimaatio merit-funktio ohjaamaan iterointia Maratos-efekti luottamusaluemuunnelma Aktiivisen joukon menetelmä konveksille QP-tehtävälle erit. SQP:n osatehtävälle Redusoidun gradientin menetelmä min f(x) s.e. Ax=b, x 0 käypien suuntien menetelmä dimension redusointi rajoitusehtojen avulla redusoitu gradientti käypiin suuntiin

8 Mitä jäi käsittelemättä? optimoinnin teoria ääretönulotteisissa avaruuksissa (dynaaminen optimointi, Mat-2.148, Mat-2.144) kokonaisluku- ja sekalukuoptimointi (Mat-2.146) monitavoiteoptimointi (Mat-2.153) stokastinen optimointi (Mat-2.191) globaali optimointi epäsileä optimointi heuristiset menetelmät, simuloitu jäähdytys (mellotus), geneettiset algoritmit