Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi.

Transkriptio

1 Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Konveksisuus Muista x + αd, α 0, on pisteestä x R n alkava puolisuora, joka on vektorin d suuntainen. Samoin + α(x 1 ), α 0, on pisteestä alkava, vektorin x 1 suuntainen puolisuora. Määritelmiä Pisteiden x 1 ja välinen jana on joukko {αx 1 + (1 α) α [0, 1]}, jota lyhyesti merkitään αx 1 + (1 α), α [0, 1]. Huomaa, että α = 1 ja α = 0 vastaavat janan päätepisteitä x 1 ja, vastaavasti. R n :n joukko S on konveksi, jos x 1, S : αx 1 + (1 α) S α [0, 1] Kuvan 1 ensimmäinen joukko on konveksi ja toinen ei. Kuva 1: Konveksi ja ei-konveksi joukko. Olkoon S R n, S, konveksi ja f : S R. Funktio f on konveksi, jos x 1, S: f(αx 1 + (1 α) ) αf(x 1 ) + (1 α)f( ) α [0, 1] f : S R on konkaavi, jos f on konveksi. 1

2 f α f( x 1 ) + (1 α) f( ) f( α + (1 α) ) x 1 x 1 α + (1 α) x 1 x Kuva 2: Konveksi funktio. Lagrangen duaalisuus geometrisesti Kuva 3: Lagrangen duaalisuus. 2

3 Olkoon S R n suljettu ja konveksi joukko ja y / S. Pisteen y etäisyys joukosta S on luku γ > 0, γ := min y x = y x (1) x S Weierstrassin lauseesta seuraa, että minimoiva vektori x S on aina olemassa. Lisäksi pätee: x S on yhtälön (1) minimoiva vektori (y x) T (x x) 0, x S. Katsotaan sitten edellä olevan minimointitehtävän duaalitehtävää. Tutkitaan pisteiden x ja y välistä kulkevia tasoja H. R 2 :ssa tällaisen tason yhtälö on muotoa p 1 x 1 + p 2 = α, missä p = [p 1, p 2 ] T on ko. tason, tässä tapauksessa suoran, normaali ja α sopiva luku. R n :ssä H := {x R n p T x = α}, missä p on kiinteä vektori ja α jokin luku. Lasketaan nyt y:n etäisyys y:n ja x:n välistä kulkevasta tasosta ja otetaan näistä luvuista maksimi. Tulos on yhtälön (1) kohdefunktion minimiarvo γ: y x = max {min y x H on y:n ja x :n välistä kulkeva taso}. (2) x H Huomaa Yhtälössä (2) riittää tutkia vain niitä y:n ja x:n välistä kulkevia tasoja, jotka tangeeraavat joukkoa S. Duaalitehtävä Olkoon alkuperäinen tehtävä, ns. primaali-tehtävä (P) muotoa: min f(x) s.t. g i (x) 0, 1 i m Ax = b x X, missä X R n konveksi, f ja g i :t konvekseja funktioita X R, ja A R l n, b R l vakioita. 3

4 Määritellään nyt funktio ϕ : R m+l R seuraavasti: missä g := [g 1,..., g m ] T. ϕ(u, v) := min x X {f(x) + ut g(x) + v T (Ax b)}, Annetulla (u, v) R m+l, ϕ(u, v) on tehtävän Lagrangen funktion minimiarvo, missä minimointi on yli x X. Jos ajatellaan f(x):n esittävän hypoteettisen pisteen y (esim. f:n minimipiste x X:n suhteen) etäisyyttä g:n, A:n ja b:n määrittelemästä käyvästä joukosta, huomataan pienen pohdinnan jälkeen analogia geometrisen duaalisuuden kanssa. Tehtävän (P) duaalitehtävä on: Lause ϕ(u, v) on konkaavi R m+l :ssä. max ϕ(u, v) s.t. u R m, v R l u 0 Lause Oletetaan: ˆx siten, että g(ˆx) < 0 ja Aˆx= b, ja piste 0 R l on joukon {Ax b x X} sisäpiste. Tällöin (a), min {f(x) g(x) 0, Ax b = 0, x X} = max {ϕ(u, v) u R m, v R l, u 0}. Olkoot x, ja u, v vastaavat minimi- ja maksimipisteet, eli f(x) = ϕ(u, v). Tällöin (b) ja x minimoi Lagrangen funktion u T g(x) = 0 L(x, u, v) := f(x) + u T g(x) + v T (Ax b) yli x X. (c) x, u, v toteuttaa tehtävän P KKT-ehdot. 4

5 Esimerkki LP:n duaali P : min c T x D : max ϕ(v) s.t. Ax = b s.t. v R m x 0 missä, nyt X = {x R n x 0}, ϕ(v) = min {c T x + v T (Ax b) x X} [ = min (c T + v T A)x ] v T b x X { v T b, c T + v T A 0 =, muulloin Joten duaalitehtävä D saa muodon max s.t. ( v) T b A T ( v) c v R m Tehtävän D ratkaisu antaa tehtävän P rajoitukseen Ax = b liittyvän Lagrangen kertoimen v. Luennosta 9 muistamme, että v esittää P:n kohdefunktion optimiarvon muutosta z resurssimäärän b muuttuessa. Jos nyt D:ssä määritellään uusi muuttuja y := v, päädytään luennon 4 duaalisuusformulointiin. Resurssinjako, hajautettu optimointi, ja Arrowin hintakoordinointi Tutkitaan seuraavaksi erästä taloustieteessä keskeistä resurssinjakoon liittyvää optimointitehtävää, missä Lagrangen kerrointa sopivasti päivittämällä päädytään optimiin. 5

6 Resurssinjako Resurssi, määrä x 0, on jaettava N:n agentin kesken, s.e. agenttien kokonaishyöty maksimoituu. i:nnen agentin hyöty jaolle x i on g i (x i ). Tehtävä on siis: max s.t. N g i (x i ) i=1 N x i = x 0, x i 0 i i=1 Ratkaisu Jätetään ehto x i 0 pois, koska se on asian kannalta epäoleellinen; osoittautuu, että x i > 0 i, kun g i :t järkeviä hyötyfunktioita. Tehtävän välttämättömät ehdot ovat: { g i (x i ) = λ N i=1 x i = x 0, 1 i N Yllä on N +1 yhtälöä ja N +1 tuntematonta optimiratkaisun x i, 1 i N, λ löytämiseksi. Oletetaan, että g i on aidosti kasvava i, joten g i (x i ) = λ > 0. Tutkitaan sitten tehtävää, missä resurssille on asetettu hinta p = λ ja kysytään, paljonko resurssia agentti i ottaa ko. hinnalla. Vastaus saadaan ratkaisemalla max g i (x) p x x g i (x) = p Huomaa Edellä on oletettu, että g i :t ovat myös konkaaveja funktioita, jolloin KKT-ehdot ovat myös riittäviä lokaalille optimille. 6

7 Kenneth Arrow esitti 1950-luvulla Nobel-palkintoon johtaneet mikrotaloustieteen tasapainoteorian perusteesit seuraavasti: (a) Resurssilla on hinta p, joka tyhjentää markkinat; so. kysyntä = tarjonta. (b) Hintaa p vastaava jako johtaa agenttiporukan yhteisoptimiin, eli ns. sosiaaliseen optimiin. Hajautettu optimointi Edellä olevan tehtävän tyyppisiä optimointitehtäviä voidaan ratkoa hajautetusti ns. koordinointimuuttujan p avulla seuraavan kaavion mukaisesti: KOORDINAATTORI: Paljonko resurssia otat, jos hinta on p x (p) i paivita! x 0 x (p) i i p YKSIKKO 1: YKSIKKO i: YKSIKKO N: max g (x) px x i vastaus: x (p) i Päivityskaava p:lle on esimerkiksi sekanttimenetelmä: [ ] 1 s(pk ) s(p k 1 ) p k+1 = p k s(p k ) p k p k 1 N s(p k ) := x i (p k ) x 0 i=1 Kun muistetaan, että p on λ on alkuperäisen tehtävän Lagrangen kerroin, yllä oleva päivityskaava on tehtävän Lagrangen kertoimen päivityskaava. 7