Luento 9: Yhtälörajoitukset optimoinnissa Lagrangen kerroin Oletetaan aluksi, että f, g : R R. Merkitään (x 1, x ) := (x, y) ja johdetaan Lagrangen kerroin λ tehtävälle min f(x, y) s.t. g(x, y) = 0 Olkoon (x, y) tehtävän ratkaisu. Tällöin g(x, y) = 0. Ratkaistaan yhtälö g(x, y) = 0 muuttujan y suhteen x:n ympäristössä. Merkitään ratkaisua y(x):llä ja oletetaan, että se on yksikäsitteinen. Tällöin g(x, y(x)) = 0 x, x:n ympäristössä, ja y(x) = y. Nyt tehtävän min x f(x, y(x)) ratkaisu on myös x. d f f f(x, y(x)) = (x, y) + dx x y Derivoidaan yhtälöä g(x, y(x)) = 0 puolittain x:n suhteen: Erityisesti g x g x + g dy y dx = d0 dx = 0 x. (x, y) + g y Määritellään: λ := f/ y(x, y)( g/ y(x, y)) 1, jolloin Saadaan: f () (x, y) = f x y f y (1) (x, y)dy(x) = 0 () dx (x, y)dy(x) = 0. (3) dx (x, y) + λ g(x, y) = 0. (4) y (4) (x, y)dy(x) dx = λ g y (3) (x, y)dy(x) dx = λ g (x, y). (5) x Siis: Olkoon (x, y) optimointitehtävän (1) ratkaisu. Tällöin on olemassa ns. Lagrangen kerroin λ R s.e f/ x(x, y) + λ g/ x(x, y) = 0 f/ y(x, y) + λ g/ y(x, y) = 0 g(x, y) = 0 Saatiin kolme yhtälöä ja kolme tuntematonta (x, y, λ) optimipisteen (x, y) määräämiseksi. 1
Lagrangen kerroin - yleinen tapaus Olkoon nyt f : R n R ja g : R n R m, m < n. Tutkitaan tehtävää g 1 (x) s.t. g(x) :=. = 0 g m (x) Merkitään tehtävän minimiä x := (x 1,...,x n ). Tällöin on voimassa Lause Lagrangen välttämättömät ehdot optimille. Olkoon x minimi. Tällöin Lagrangen kerroin λ R m s.e. { f(x) + m i=1 λ i g i (x) = 0, (6) g(x) = 0 Huom. n + m epälineaarista algebrallista yhtälöä, joista tuntemattomat x ja λ voidaan ratkaista. Huom. Ns. Lagrangen funktion L(x, λ) := f(x) + λ T g(x) avulla tehtävän välttämättömät ehdot voidaan kirjoittaa muodossa: { L(x, λ) = 0 g(x) = 0 Huom. Tekstissä olevat liitteet ovat lisätietoa asian tiimoilta, eikä niiden asiaa kysytä tentissä. Liite alkaa Merkitään x = (x 1,...,x m, x m+1,...,x n ) := (y,z) = (y 1,...,y m, z 1,...,z n m ) Ratkaistaan g(x) = g(y, z) = 0, y:n suhteen. y = y(z) g(y(z),z) = 0. Olkoon y(z) yksikäsitteinen ratkaisu. Merkitään (y, z) = x. Koska x on minimointitehtävän ratkaisu, on g(x) = 0 = g(y, z). Eli y = y(z). Alkuperäinen tehtävä on siis min z f(y(z),z), jolla on ratkaisu z.
Merkitään f(z) := f(y(z),z). Lisäksi gradienttia z:n suhteen merkitään [ ] T z :=,..., z 1 z n m Vastaavasti y on gradientti y:n suhteen. Merkintä Jy g (y,z) tarkoittaa funktion g : R n R m Jacobin matriisia, missä derivointi on y:n suhteen, laskettuna pisteessä x = (y,z). Muut tarvittavat merkinnät ovat analogisia. Koska z minimoi funktion f(z) := f(y(z),z), saadaan derivoinnin ketjusääntöä soveltaen: z f(z) = J y z (z) T }{{} (n m) m y f(y,z) + z f(y,z) = 0 (7) }{{} m 1 Toisaalta: g(y(z),z) = 0, z:n ympäristössä, joten derivoimalla saadaan Jy g } (y,z) {{} m m J y z (z) }{{} m (n m) Huom. Edellä 0 on m (n m) nollamatriisi. + Jz g } (y,z) = 0. (8) {{} m (n m) Tehdään nyt seuraava oletus: J g y(y,z) 1 on olemassa, ja jatkuva pisteessä(y,z). Tämä oletus riittää myös siihen, että yhtälö g(y, z) = 0 voidaan ratkaista yksikäsitteisesti y:n suhteen eräässä z:n ympäristössä. Lagrangen lauseen todistus Määritellään λ := [J g y (y,z)t ] 1 y f(y,z), (9) jolloin yhtälöistä (7),(8) ja (9) saadaan yhtälöt: Yhtälöt (10) ja (11) vastaavat yhtälöä z f(y,z) + J g z (y,z)t λ = 0 (10) y f(y,z) + J g y (y,z)t λ = 0 (11) f(x) + J q x (x)t λ = 0, joka edelleen vastaa yhtälöä (6). Liite päättyy Herkkyysyhtälöt Tutkitaan tehtävää s.t. g(x) = c, 3
missä f : R n R, g : R n R m ja c R m on vakiovektori. Tutkimme, miten kohdefunktion minimiarvo muuttuu, kun vakiovektoria c muutetaan vektorin c, c pieni, verran. Merkitään tehtävän ratkaisua annetulla c, x(c); ratkaisu on siis c:n funktio. Jos c = c + c, missä c on pieni, niin differentioituvuuden perusteella on f(x(c + c)) f(x(c)) = c f(x(c)) T c=c c, (1) jos c ε(c, c) oletetaan paljon pienemmäksi kuin (1):n oikea puoli; mikä voidaan tehdä, kunhan c on kyllin pieni. Mutta nyt c f(x(c)) c=c = λ T, (13) missä λ on minimointitehtävän Lagrangen kerroin, kun c = c, kuten seuraavassa liitteessä osoitetaan. Liite alkaa Olkoon tehtävän s.t. g(x) = c (14) ratkaisu x ja Lagrangen kerroin λ. Tällöin f(x) + J g x (x)t λ = 0 (15) g(x) = c Soveltamalla derivoinnin ketjusääntöä funktioihin f(x(c)), g(x(c)), ja yhtälöön g(x(c)) = c, saadaan c f(x(c)) c=c = J x c (c)t f(x) (16) c g(x(c)) c=c = J x c (c) T J g x(x) T (17) = J c c(c) = I, (18) missä I on m m yksikkömatriisi ja x(c) = x. Kun yhtälö (15) kerrotaan vasemmalta termillä Jc x(c)t, ja käytetään edellisiä yhtälöitä, päädytään yhtälöön (13). Liite päättyy Herkkyysyhtälöt (1) ja (13) voidaan nyt kirjoittaa muodossa f(x(c + c)) f(x(c)) = λ T c = m i=1 λ i c i, (19) 4
missä siis λ on minimointitehtävän (14) Lagrangen kerroin. Yhtälö (19) kertoo, miten f:n optimiarvo f(x(c)) muuttuu pisteen c ympäristössä. Sovelletaan nyt saatua tulosta lineaariseen optimointitehtävään min c T x s.t. Ax = b Olkoon tehtävällä minimi x, s.e. x > 0. (0) Merkitään L(x, λ) = c T x + λ T (Ax b). Lagrangen välttämättömät ehdot minimille ovat: { L(x, λ) = c + A T λ = 0 Ax b = 0 (1) Lasketaan sitten kohdefunktion z = c T x optimiarvon muutos, kun resurssin b i:s komponentti muuttuu b i :n verran, eli b muuttuu muotoon Kaavan (19) mukaan saadaan (b 1,..., b i + b i, b i+1,...,b m ). z b i = λi. Nyt kuitenkin yhtälö (19) on tarkka, koska aina lineaariselle kohdefunktiolle ε(x,h) 0. Kun vielä muistetaan Luennosta 4, että z/ b i on yhtä kuin i:s duaalimuuttuja, saadaan duaalimuuttujien y i ja Lagrangen kerrointen välille yhteys: y i = λ i, i. Palaamme tähän kysymykseen vielä Luennolla 1, jolloin johdamme yo. tuloksen suoraan duaalisuuden geometrisesta määritelmästä. Epäyhtälörajoitukset Olkoon tehtävässä nyt m epäyhtälörajoitusta ja l yhtälörajoitusta. Olkoon tehtävä s.t. g i (x) 0, 1 i m, () h i (x) = 0, 1 i l x R n 5
missä f, g i ja h i ovat differentioituvia. Olkoon L(x,u,v) := f(x) + m u i g i (x) + i=1 l v i h i (x) tehtävän Lagrangen funktio, missä u := [u 1,...,u m ] T ja v := [v 1,...,v l ] T ovat epäyhtälö- ja yhtälörajoituksia vastaavat Lagrangen kertoimet. Lause Karush-Kuhn-Tuckerin välttämättömät ehdot optimille; KKT-ehdot. Olkoon x minimi skalaarit u i, 1 i m, ja v i, 1 i l, s.e. i=1 L(x, u, v) = 0 u i g i (x) = 0 1 i m u i 0 1 i m h i (x) = 0 1 i l Lisäksi lauseen oletuksissa vaaditaan, että vektorit g i (x), 1 i m, h i (x), 1 i l, ovat lineaarisesti riippumattomia. Yllä on n + m + l epälineaarista algebrallista yhtälöä, ja n + m + l tuntematonta, x ja Lagrangen kertoimet u ja v. Yhtälöryhmän suoran ratkaisun tekee vaikeaksi ehto u i 0 i. Esimerkki min 1 xt Qx + c T x s.t. Ax = b, missä Q on positiivisesti definiitti (huomaa: Q 1 ) ja symmetrinen. Matriisin A R m n vaakavektorit ovat lineaarisesti riippumattomia (huomaa: [AQ 1 A T ] 1 ). Nyt L(x,v) = 1 xt Qx + c T x + v T (Ax b) ja optimin välttämättömät ehdot ovat: { L(x,v) = Qx + A T v + c = 0 Ax b = 0 Ratkaistaan ensimmäisestä yhtälöstä x: Toisesta yhtälöstä saadaan: x = Q 1 A T v Q 1 c AQ 1 A T v AQ 1 c b = 0 v = [AQ 1 A T ] 1 [AQ 1 c + b] 6
Sijoitetaan lopuksi x:n lausekkeeseen, jolloin Esimerkki x = Q 1 A T (AQ 1 A T ) 1 [AQ 1 c + b] Q 1 c = Q 1 [I A T (AQ 1 A T ) 1 AQ 1 ]c + Q 1 A T (AQ 1 A T ) 1 b Lasketaan f:n ja g i :den gradientit: = (x 1 3) + (x ) s.t. g 1 : x 1 +x 5 g : x 1 0 g 3 : x 0 g 4 : x 1 +x 4 f(x) = [x 1 6, x 4] T g 1 (x) = [x 1, x ] T g (x) = [ 1, 0] T g 3 (x) = [0, 1] T g 4 (x) = [1, ] T x g (x) = x +x 5 1 1 = 0 x + x 4 = 0 1 01 00 11 0000 1111 000000 111111 0000000 1111111 00000000 11111111 00000000 11111111 00000000 11111111 000000000 111111111 5 f(x) (3, ) x=(, 1) f(x) = x 1 Kuva 1: Kuva esimerkin tilanteesta. KKT-ehdot ovat: [ ] x1 6 x 4 [ ] [ ] [ ] [ ] x1 1 0 1 + u 1 + u x + u 0 3 + u 1 4 = 0 (3) 7
u 1 (x 1 + x 5) = 0 (4) u x 1 = u 3 x = 0 (5) u 4 (x 1 + x 4) = 0 (6) u 1, u, u 3, u 4 0 Huom. Jos jokin g i (x) < 0 optimipisteessä x niin u i = 0. Kokeillaan. Olkoon g (x), g 3 (x) < 0. Tällöin u, u 3 = 0. { x u 1 0, u 4 0 1 +x 5 = 0 x 1 +x 4 = 0 joten x = (, 1) on kandidaattiratkaisu. Sijoitetaan x yhtälöön (3): [ ] [ ] [ ] { 4 1 u1 = 1 + u 1 + u 4 = 0 3 u 4 = 3 Siis u i 0 i ja KKT-ehdot toteutuvat. KKT-ehdot toteuttava piste on hyvä kandidaatti optimipisteeksi. Seuraava lause takaa, että kyseessä todella on optimipiste. Lause KKT riittävät ehdot. Olkoon tehtävä muotoa s.t. g i (x) 0, 1 i m Ax b = 0, A R m n x R n, Oletetaan, että x toteuttaa KKT-ehdot. Jos H f (x) ja H g i (x), i ovat positiivisesti semidefiniittejä matriiseja, kyseessä on lokaali minimi. Esimerkki Edellä H f = [ ] 0, H g 1 = 0 [ ] 0 0 ja H g = H g 3 = H g 4 = 0 ovat kaikki positiivisesti semidefiniittejä matriiseja. x = (, 1) on lokaali minimi. 8