OPTIMOINNIN PERUSTEET. Keijo Ruotsalainen

Save this PDF as:
 WORD  PNG  TXT  JPG

Koko: px
Aloita esitys sivulta:

Download "OPTIMOINNIN PERUSTEET. Keijo Ruotsalainen"

Transkriptio

1 OPTIMOINNIN PERUSTEET Keijo Ruotsalainen 23. marraskuuta 2009

2 2 Johdanto Kurssin tavoitteena on tutustuttaa tavallisimpiin optimointi-algoritmeihin ja niiden käyttöön sovellutuksissa. Kurssimateriaali jakaantuu neljään eri osaan. Alussa lyhyesti kerrataan matriisialgebrasta tarvittavia peruskäsitteitä. Toisessa osassa keskitytään lineaarisen optimoinnin menetelmiin, joista tarkemmin analysoidaan Simplexalgoritmia, Karmarkarin menetelmää. Menetelmiä sovelletaan tavallisimpiin operaatiotutkimuksen ongelmiin, kuten kuljetusongelman ja tuotannon allokointiongelman ratkaisemiseen. Kolmannessa osassa tarkastellaan epälineaarisen optimoinnin perusalgoritmeja. Aluksi ongelmat ovat rajoittamattomia, ts. sanoen funktion minimiä haetaan koko vektoriavaruudesta. Tavoitteena on tutkia konjugaattigradienttimenetelmien käyttöä epälineaaristen ongelmien ratkaisemiseen. Jos rajoitejoukko on vektoriavaruuden aito osajoukko, sovelletaan epälineaarisen optimointiongelman ratkaisemiseen sakkofunktiomenetelmiä. Viimeisessä luvussa perehdytään diskreetin optimoinnin (kokonaislukuoptimoinnin) menetelmiin. Lähinnä tarkastellaan kauppamatkustajan ongelman ratkaisumenetelmiä, kuin myös sovelletaan kombinatorisen optimoinnin menetelmiä peliteoriaan ja sen sovellutuksiin.

3 Sisältö Matemaattiset perusteet 5. Vektoriavaruus Matriiseista Lineaarinen optimointi 2. Standardimuotoinen ongelma Olemassaolo Simplex-algoritmi Kärkipisteen vaihto Simplex-taulukko Kaksivaiheinen Simplex-algoritmi Antisyklitekniikat Duaalisuus Kuhn-Tuckerin ehdot Duaali-simplex-algoritmi Karmarkarin menetelmä Johdatteleva esimerkki Karmarkarin skaalausalgoritmi

4 4 SISÄLTÖ

5 Luku Matemaattiset perusteet. Vektoriavaruus Vektoriavaruuden määritelmä Vektoriavaruus R n koostuu alkioista x = joita jatkossa kutsutaan vektoreiksi. Joukkoon määritellään vektoriavaruuden struktuuri määrittelemällä laskutoimitukset vektorisumma ja luvulla kertominen: Kaikille u R n, v R n ja λ R u + v = λ u = x x 2. x n, u + v u 2 + v 2. u n + v n λu λu 2 (.).. (.2) λu n Edellä määritellyt laskutoimitukset ovat siten suljettuja R n :ssä. Lisäksi joukon R n alkiot varustettuna em. laskutoimituksilla toteuttavat seuraavat vektoriavaruuden aksiomat: 5

6 6 LUKU. MATEMAATTISET PERUSTEET Propositio.. Vektoreiden yhteenlasku on kommutatiivinen: u + v = v + u; 2. On olemassa nollavektori O siten, että u + O = u, 0 O = 0. ; 0 3. Summa on assosiatiivinen: u + ( v + w) = ( u + v) + w; 4. Jokaiselle vektorille on olemassa vastavektori u siten, että 5. λ(µ u) = (λµ) u; 6. (λ + µ) u = λ u + µ u; 7. λ( u + v) = λ u + λ v; u + ( u) = O; 8. On olemassa kertolaskun neutraalialkio R: u = u. Kanta ja dimensio Vektori u on vektoreiden { v,..., v k } lineaarikombinaatio, jos on olemassa luvut λ,..., λ k siten, että u = λ v + λ 2 v λ k v k. Määritelmä.. Vektorit { v,..., v k } ovat lineaarisesti riippumattomia jos ja vain jos yhtälön λ v + λ 2 v λ k v k = O ainoa ratkaisu on triviaaliratkaisu: λ = λ 2 = = λ k = Vektorit { v,..., v k } ovat lineaarisesti riippuvia jos ja vain jos yhtälöllä on nollasta eroavia ratkaisuja. λ v + λ 2 v λ k v k = O

7 .. VEKTORIAVARUUS 7 Kahden vektorin tapauksessa lineaarisesti riippuvat vektoreiden sanotaan olevan yhdensuuntaisia: u v On olemassa λ R : u = λ v. Propositio 2. Vektorit { v,..., v k } ovat lineaarisesti riippuvia jos ja vain jos eräs vektoreista v j voidaan lausua muiden lineaarikombinaationa, ts. Propositio 3. Olkoon u = v j = [ ux u y k i = i j ] µ i v i. ja v = [ vx v y ] kaksi R 2 :n vektoria. Vektorit ovat lineaarisesti riippumattomia, jos ja vain jos determinantti u x v x = u xv y u y v x 0. u y v y Määritelmä 2. Vektorit { a,..., a p } muodostavat vektoriavaruuden V kannan, jos ne ovat lineaarisesti riippumattomia; ne virittävät vektoriavaruuden V. Tällöin p = dim(v ) on vektoriavaruuden dimensio. Propositio 4. Olkoon joukko { v,..., v n } vektoriavaruuden R n lineaarisesti riippumattomia vektoreita. Tällöin jokaiselle vektorille u R n on olemassa yksikäsitteisesti luvut λ i R n, i =, 2,..., n siten, että u = n λ i v i. i= Tällöin sanotaan, että vektorit muodostavat vektoriavaruuden kannan. Vektoriavaruuden luonnollinen kanta: 0 e = 0., e 2 = ,, e n = 0. 0.

8 8 LUKU. MATEMAATTISET PERUSTEET.2 Matriiseista Matriisi on m n:n luvun järjestetty kaavio, joka tavallisesti esitetään sarakevektoreidensa avulla: A = [ a a 2 a n ], missä jokainen sarakevektori on R m :n alkio; a j = Olkoon B {,..., n} joku annettu indeksijoukko, ja N = {,..., n}\b sen komplementti. Tällöin merkitään matriisia A lyhyesti a j a 2j. a mj. A = [ A B A N ], missä matriisin A B sarakevektorit vastaavat indeksijoukon B sarakkeita matriisissa A. Matriisien laskutoimitukset Summa: A + B = [ a ij + b ij ] ; Skalaarilla kertominen: ka = [ ka ij ] ; Matriisitulo: Matriisin ja vektorin tulo AB = [ n l= a ilb lj ]. x x 2 Ax = [ ] a a 2 a n. = missä x j R ja jokainen sarakevektori a j R m. Matriisin A transponoitu matriisi x n A T = [ a T ij], a T ij = a ji. n x j a j, Matriisin A käänteismatriisi A : AA = A A = I. Käänteismatriisi voi olla vain neliömatriisilla, so. m = n. j=

9 .2. MATRIISEISTA 9 Matriisin aste Matriisin aste Rank(A) on sen kuva-avaruuden dimensio, so. R(A) = {y R m x R m : Ax = y} Rank(A) = dim(r(a)). Tällöin matriisissa A on Rank(A) lineaarisesti riippumatonta sarakevektoria (ja rivivektoria), ja aina Rank(A) + sarakevektoria ovat lineaarisesti riippuvia. Oletetaan jatkossa, että matriisissa A m n. Sanotaan, että m n- matriisi A on täysiasteinen. jos Rank(A) = m. Tällöin on indeksijoukko B siten, että matriisin A B sarakevektorit muodostavat R m :n kannan. Lisäksi tällöin A:n kuva-avaruus R(A) = R m. Indeksijoukkoa B kutsutaan silloin kantaindeksijoukoksi, ja indeksijoukkoa N ei-kantaindeksijoukoksi. Matriisin ydin N(A) = {x R n Ax = 0}. Lause. Neliömatriiseille (m = n) seuraavat ehdot ovat yhtäpitäviä: (i) Käänteismatriisi on olemassa; (ii) Rank(A) = m; (iii) N(A) = {0}; (iv) Yhtälöryhmällä Ax = b on yksikäsitteinen ratkaisu kaikilla b R n ; (v) det A 0. Matriisin definiittisyys definiitti, jos neliömuoto Symmetrinen matriisi (A T = A) on postiivisesti x T Ax > 0, x 0. Vastaavasti, matriisi on negatiivisesti definiitti, jos neliömuoto on aidosti negatiivinen kaikilla nollasta eroaville vektoreille. Symmetrinen matriisi on positiivisesti semidefiniitti (negatiivisesti semidefiniitti), jos neliömuoto x T Ax 0 (x T Ax 0). Muussa tapauksessa se on indefiniitti.

10 0 LUKU. MATEMAATTISET PERUSTEET Ortogonaalinen matriisi: Matriisi Q on ortogonaalinen, jos Q T Q = QQ T = I. Koska symmetrinen matriisi on diagonalisoituva, niin on olemassa ortogonaalinen matriisi Q siten, että Q T AQ = Λ = diag{λ,, λ n }. Tällöin on ilmeistä, että matriisi A on positiivisesti definiitti, jos ja vain jos sen ominaisarvot ovat positiivisia.

11 Luku 2 Lineaarinen optimointi 2. Standardimuotoinen ongelma Standardimuotoinen lineaarinen optimointiongelma on min Ax = b x 0 v T x, missä (m n)-matriisin A aste on Rank(A) = m < n, vektori b R m, ja v R n on ns. kustannusvektori. Kaikki epäyhtälömuotoiset rajoitteet voidaan palauttaa yhtälömuotoisiksi lisäämällä pelivaramuuttujia, tai vähentämällä ylijäämämuuttujia. Oletetaan, että rajoitevektori b 0. Jos rajoitteet (tai osarajoitteista) on annettu muodossa Ax b, niin lisätään vasemmalle puolelle "pelivaravektori"z R m + siten, että rajoitteet voidaan kirjoittaa muodossa Tällöin ekvivalentti LP-ongelma on min Ax + z = b x, z 0 Ax + z = b. Vastaavasti jos rajoitteet ovat muotoa Ax b, (v T x + 0 T z).

12 2 LUKU 2. LINEAARINEN OPTIMOINTI niin vähennetään vasemmalta puolelta "ylijäämämuuttujat"z 0 siten, että rajoitteet saadaan muotoon Ax z = b. 2.2 Olemassaolo Osoitetaan aluksi. Lause 2. Jos optimointiongelmalla on ratkaisu, niin ainakin yksi kärkipisteistä on myös optimaalinen ratkaisu. Tod.: Oletetaan, että x U = {x 0 Ax = b} on optimaalinen ratkaisu, ts. v T x v T z, z U. Määritellään indeksijoukko I {,..., n} siten, että j I x j > 0. Jos indeksijoukko I =, niin x = 0 ja se on ilmeisesti rajoitejoukon kärkipiste. Joten voidaan olettaa, että I. Jos indeksijoukkoa I vastaavat matriisin A sarakevektorit {a j ; j I} ovat lineaarisesti riippumattomia, niin tarvittaessa indeksijoukkoa voidaan täydentää sopivilla indekseillä i, i 2,..., i p siten, että B = I {i, i 2,..., i p } on kantaindeksijoukko. Tällöin optimaalinen ratkaisu x on kärkipiste, ns. optimaalinen kärkipiste. Oletetaan, että indeksijoukkoa I = {i, i 2,..., i r } vastaavat matriisin A sarakevektorit ovat lineaarisesti riippuvia. Ilmeisesti indeksijoukon kertaluku card(i) = r > m. Koska x ei ole kärkipiste, niin on olemassa vektori w R n siten, että max j=,...,n w j > 0 w j = 0, j I j I w ja j = Aw = 0. Tällöin pisteille x + θw on voimassa ehdot: A(x + θw) = b { xj + θw (x + θw) j = j, jos x j > 0 0, jos x j = 0

13 2.3. SIMPLEX-ALGORITMI 3 Silloin on olemassa luvut θ 0 ja θ siten, että < θ 0 = max{ x j w j ; j I, w j > 0} < 0 0 < θ = min{ x j w j ; j I, w j < 0} Tällöin piste x + θw U, θ [θ 0, θ ]. Koska kaikille θ [θ 0, θ ] v T (x + θw) = v T x + θv T w v T x, niin välttämättä v T w = 0. Näin ollen kaikki pisteet x + θw ovat optimaalisia ratkaisuja. Koska ainakin yksi koordinaateista x j + θ 0 w j = 0 luvun θ 0 määritelmän nojalla, pisteen x + θ 0 w indeksijoukon I = {j; x j + θ 0 w j > 0} kertaluku on aidosti pienempi kuin indeksijoukon I. Jos indeksijoukkoa I vastaavat matriisin sarakevektorit eivät ole lineaarisesti riippumattomia, niin toistetaan edellistä nollakoordinaattien lisäysalgoritmia kunnes sarakevektorit ovat lineaarisesti riippumattomia ja optimaalinen kärkipiste on löytynyt. 2.3 Simplex-algoritmi 2.3. Kärkipisteen vaihto Ennenkuin tarkastellaan kärkipisteen vaihtoalgoritmia, niin palautetaan mieleen kärkipisteen määritelmä. Piste x U on kärkipiste, jos seuraavat ehdot ovat voimassa:. On olemassa kantaindeksijoukko B = {i, i 2,..., i m } siten, että matriisin A sarakevektorit {a i ; i B} ovat lineaarisesti riippumattomat; 2. Kantamuuttujat ratkaisevat yksikäsitteisesti yhtälön x i a i = b; i B 3. { xi 0, i B x i = 0, i B. Jos kärkipisteellä x on täsmälleen m positiivista koordinaattia, niin sanotaan, että se on säännöllinen kärkipiste (ei-degeneroitunut). Tällöin kantaindeksijoukko on yksikäsitteisesti määrätty. Jos positiivisten koordinaattien lukumäärä on pienempi kuin m, niin kantaindeksijoukko ei ole yksikäsitteisesti

14 4 LUKU 2. LINEAARINEN OPTIMOINTI määrätty. Kärkipistettä sanotaan tällöin degeneroituneeksi. Degeneroituneen kärkipisteen vaihdossa tulee olla erityisen huolellinen. Jos kärkipisteen vaihtoalgoritmia ei suunnittele kunnolla, voidaan päätyä sykliseen kärkipisteiden vaihtoon, eikä optimaalista kärkipistettä löydy. Oletetaan seuraavaksi, että x on lineaarisen optimointiongelman eräs kärkipiste (ei välttämättä optimaalinen). Kärkipisteen vaihdossa vaihdetaan yksi sarakevektoreista {a j ; j B} sarakevektoriin a k, k B. Olkoon indeksi j B ja a j sitä vastaava matriisin A sarakevektori. Koska matriisi A B = [a i a i2 a im ] on säännöllinen, niin on olemassa luvut β i, i B siten, että a j = i B β i a i. Toisaalta kaikille θ R i B(x i θβ i )a i + θa j = i B x i a i = b. Tämän nojalla piste z(θ) = [z i (θ)], jonka koordinaatit määritellään asettamalla z i (θ) = x i θβ i, i B z j (θ) = θ z i (θ) = 0, i B {j}, sisältyvät rajoitejoukkoon U, mikäli θ > 0. Määritellään indeksi j B (jos vain mahdollista) asettamalla θ j = min{ x i β i i B, β i > 0}. Tällöin piste z(θ j ) on uusi kärkipiste. Kustannusfunktionaalin f(x) = v T x arvo pisteessä z(θ) on v T z(θ) = i B (x i θβ i )v i + θv j = v T x + θ[v j i B β i v i ]. Näin ollen funktion arvo pienenee, jos θ j > 0 v j β i v i < 0 i B

15 2.3. SIMPLEX-ALGORITMI 5 Edellisen kohdan perusteella kärkipisteen vaihdossa on huomioitava seuraavien lukujen merkit: missä j B. v j i B β iv i max β i θ j = min{ x i β i ; i B, β i > 0}, Propositio 5. Jos v j i B β iv i 0 kaikille j / B, niin kärkipiste x U on optimaalinen. Tod.: Edellä nähtiin, että funktion v T z(θ) arvo suurenee kaikille j B, jos θ > 0. Jos θ < 0, niin z(θ) U. Näin ollen kärkipiste x on optimaalinen. Propositio 6. Jos jollekin indeksille j B β = A B a j 0 ja v j β i v i < 0, i B niin LP-ongelmalla ei ole äärellistä minimiä: min x U vt x =. Tod.: Jos β 0, niin piste z(θ) U, θ 0. Lisäksi lim θ vt z(θ) = v T x + θ(v j β i v i ) =. i B Propositio 7. Jos on olemassa j B siten, että v j i B β i v i < 0 θ j = min{ x i β i ; i B, β i > 0} > 0, niin uudessa kärkipisteessä z, joka määritellään asettamalla kuten yllä x i θ j β i, i B z i = θ j, i = j 0, muulloin, funktion arvo on pienempi kuin kärkipisteessä x.

16 6 LUKU 2. LINEAARINEN OPTIMOINTI Tod.: Ilmeisesti z(θ j ) on todellakin kärkipiste. Kuten edellä v T z(θ j ) = i B (x i θ j β i )v i + θ j v j = v T x + θ j [v j i B β i v i ] < v T x. Huomautus. Jos kaikille indekseille j B, joille v j i B β iv i < 0, θ j = min{ x i β i ; i B, β i > 0} = 0, niin kärkipiste ei muutu ainoastaan kantamuuttujat. Tällöin kärkipiste x on degeneroitunut. Palaamme sääntöön, joka toimii tässä tapauksessa, myöhemmin Simplex-taulukko Tarkastellaan standardimuotoista LP-ongelmaa min Ax = b x 0 v T x. Olkoon piste x Simplex-algoritmin aloituskärkipiste. Määritellään kantaindeksijoukko B = {i,..., i m } ja ei-kantaindeksijoukko N = {,..., n}\b. Määritellään matriisit A B = [a i a im ], A N = [a j ; j N]. Tällöin kärkipisteen x kantamuuttujat ratkaisevat yksikäsitteisesti yhtälöryhmän A B x B = b ja x N = 0. Määritellään kantamuuttujia ja ei-kantamuuttujia vastaavat vektorit v B ja v N. Kärkipisteen vaihdossa on laskettava luvut β i jokaiselle ei-kantaindeksille. Tämä suoritetaan helpoimmin matriisimuodossa: A B B N = A N B N = A B A N = [β ij ]. Tämän jälkeen redusoidut kustannukset ovat v N B T Nv B. Vektorin koordinaatit ovat juuri luvut v j β i v i, joiden avulla ratkaistaan, onko kärkipiste optimaalinen vai ei.

17 2.3. SIMPLEX-ALGORITMI 7 Simplex-algoritmi. Muodosta aloitustaulukko: β β 2 β 3 β,n m β 2 β 22 β 23 β 2,n m β 3 β 32 β 33 β 3,n m β m β m2 β m3 β m,n m (v N BN T v B) T x i x i2 x i3. x im 2. Jos redusoidut kustannukset ei-negatiivisia, niin optimaalinen kärkipiste on löytynyt; muussa tapauksessa jatka. 3. Valitse aakkosjärjestyksessä ensimmäinen negatiivisin redusoitua kustannusta vastaava indeksi j. Ko. indeksi on ns. saapuva kantaindeksi Jos ko. indeksiä vastaava matriisin B N sarakevektori negatiivinen, niin äärellistä minimiä ei ole. muussa tapauksessa laske θ k = x i k β kj = min{ x i l β lj ; β lj > 0}. Jos minimi saavutetaan useimmalla indeksin arvolla, niin valitse aakkosjärjestyksessä ensimmäinen. Ko. indeksi i k on poistuva kantaindeksi. 4. Suorita Simplex-taulukossa Gaussin eliminaatio-askel pivot-alkiona β kj, missä matriisin B N j:s sarakevektori muokataan R n+ :n kantavektoriksi k:s rivi.

18 8 LUKU 2. LINEAARINEN OPTIMOINTI 2.4 Kaksivaiheinen Simplex-algoritmi Usein aloituskärkipisteen löytäminen on varsin ongelmallista. Tämä ongelma voidaan ratkaista muodostamalla sopiva LP-ongelma, jonka ratkaisuna on eräs rajoitejoukon kärkipisteistä. Tarkastellaan perusmuotoista optimointiongelmaa: min Ax = b x 0 v T x, missä A R m n on täysiasteinen matriisi, so. Rank(A) = m < n. Poikkeuksena aikaisempaan oletetaan lisäksi, että b 0. Tämä voidaan järjestää aina kertomalla rivi :llä, jossa b i < 0. Muodostetaan seuraava optimointiongelma: min x Ũ n+m i=n+ Rajoitejoukkona Ũ on niiden x Rn+m + joukko, joille à x = [A I m m ] x i. x. x n x n+. x n+m = b. Jos tämän ongelman optimaalinen ratkaisu on sellainen, että koordinaatit x n+ = = x n+m = 0, niin piste x = [x x 2 x n ] on alkuperäisen ongelman eräs kärkipiste, sillä sen koordinaatit ovat ei-negatiivisia, ja siinä on korkeintaan m kappaletta nollasta eroavia koordinaatteja. Jos taas ongelman optimaalinen ratkaisu on sellainen, jossa x n+i 0, niin alkuperäisen optimointiongelman rajoitejoukko on tyhjä. Aloitusvaiheen ongelman alotuskärkipiste on [0 b], ts. kantamuuttujiksi valitaan B = {n +, n + 2,..., n + m} ja ei-kantamuuttujiksi koordinaatit N = {,..., n}. Aloituskärkipisteessä redusoidut kustannukset lasketaan kuten normaalisti: r N = ṽ T N ṽ T BI A = [ ] [ a a n ].

19 2.4. KAKSIVAIHEINEN SIMPLEX-ALGORITMI 9 Toisessa vaiheessa ratkaistaan alkuperäinen optimointiongelma aloituskärkipisteenä ensimmäisessäs vaiheessa määrätyn ongelman ratkaisu. Esimerkki. Ratkaise lineaarinen optimointiongelma, kun kustannusvektori v T = [ ] ja rajoitematriisi on A = , b = Ratk. -vaihe: Alla olevan aloitustaulukon viimeinen sarake on vektori b ja viimeinen rivi sisältää redusoidut kustannukset: Aloitustaulukossa Pivot-alkio on a 22 =. Suoritetaan Gaussin eliminaatio:

20 20 LUKU 2. LINEAARINEN OPTIMOINTI Koska redusoidut kustannukset ovat ei-negatiiviset (viimeinen rivi edellisessä matriisissa), on. vaiheen optimaalinen taulukko löydetty, ja aloituskärkipisteeksi saadaan x = [ ]. Aloitustaulukon kantamuuttujat ovat B = {, 2, 5, 6,, 7} ja ei-kantamuuttujat N = {3, 4}. Tällöin redusoidut kustannukset ovat r T N = v T N v T BA B A N = [ 0 0 ] [ ] = [ 0 ] Joten aloitustaulukko on jo optimaalinen taulukko, ja aloituskärkipiste optimaalinen piste. 2 2

21 2.5. ANTISYKLITEKNIIKAT Antisyklitekniikat Tarkastellaan seuraavaa lineaarista optimointiongelmaa: min 2x 3 2x 4 + 8x 5 + 2x 6, x U missä rajoitematriisi ja rajoitevektori ovat [ ] A =, b = [ ] 0. 0 Valitsemalla kantamuuttujiksi x, x 2 ja loput muuttujat ovat ei-kantamuuttujia. Tällöin aloitustaulukon redusoidut kustannukset ovat suoraan kustannusvektorin koordinaatit. Aloitustaulukko on tällöin Aloitustaulukon viimeinen sarake on rajoitevektori ja kustannukset ko. kärkipisteessä (origo), alin rivi redusoidut kustannukset. Mikä valitaan tässä tapauksessa Pivot-alkioksi? Sovelletaan seuraavaa Pivot-strategiaa: valitaan yhtä negatiivisista redusoiduista kustannuksista vasemmalla puolella oleva, ja sarakkeelta ylimpänä oleva alkio. Tällöin ko. tapauksessa Pivot-alkioksi valitaan toiselta riviltä P = 2 (saapuvaksi kantamuuttujaksi valitaan x 4 ja poistuvaksi x ). Gaussin eliminaatioaskeleen jälkeen taulukoksi saadaan

22 22 LUKU 2. LINEAARINEN OPTIMOINTI Eli päädyttiin aloitustaulukkoon. Ilmeisesti valittu yksinkertainen Pivot-strategia ei toimi. Pivot-strategian valinta Oikean pivot-strategian valitsemiseksi määritellään vektoreiden joukkoon järjestys ns. aakkosellinen järjestys (lexikograafinen järjestys). Määritelmä 3. Vektori u R m on aakkoselliseti positiivinen (u 0), jos u 0; Ensimmäinen nollasta eroava alkio on positiivinen. Vastaavasti sanotaan, että vektori v on aakkosellisesti suurempi kuin u, jos v u on aakkosellisesti positiivinen. Merkintä: v u. Käyttämällä seuraavaa Pivot-alkion valintaa voidaan osoittaa, että Simplexalgoritmi suppenee äärellisen askelmäärän jälkeen kohti optimaalista ratkaisua, tai voidaan päätellä, ettei äärellsitä ratkaisua ole olemassa. Pivot-strategia: Pivot-sarakkeen valinta (saapuvan kantamuuttujan valinta): Valitse l N siten, että r l = min j N r j. Pivot-rivin valinta (poistuva kantamuuttuja): Valitse i {,..., m} siten, että β ik [x i, β i, ] { β jk [x j, β j, ], j =,..., m, β jk > 0}.

23 2.6. DUAALISUUS Duaalisuus 2.6. Kuhn-Tuckerin ehdot Tavallisesti standardimuotoista LP-tehtävää min Ax = b x 0 c T x, kutsutaan primaalitehtäväksi. Sitä vastaa duaalitehtävä, jolla on selvä tulkinta reaalimaailmassa, ja jonka avulla voidaan muodostaa ns. duaalisimplex-algoritmi LP-ongelman ratkaisemiseksi. Muodostetaan primaaliongelmalle Lagrangen funktionaali L(x, u) = c T x u T (Ax b). Vektorin u kertoimia sanotaan Lagrangen kertoimiksi. Tällä tavalla voidaan poistaa optimointiongelmasta rajoite-ehdot. Sidottujen ääriarvojen ongelmaan palataan kurssilla myöhemmin hieman yleisemmässä muodossa. Joka tapauksessa nyt lineaarinen optimointiongelma voidaan esittää satulapisteongelmana: min Ax = b x 0 c T x = min x 0 max u R m ct x u T (Ax b) = max u R m min x 0 ct x u T (Ax b) = max u R m min x 0 [(ct u T A)x + u T b]. Jos vektorilla c T u T A on yksikin negatiivinen komponentti, niin ja tällöin max u R m A T u c min x 0 (ct u T A)x = Jos taas vektori on ei-negatiivinen, ts. [min x 0 (ct u T A)x] =. c T u T A 0, niin min x 0 (ct u T A)x = 0

24 24 LUKU 2. LINEAARINEN OPTIMOINTI ja siten Edellisten nojalla min[(c T u T A)x + u T b] = u T b x R n + Huomaa, että max min u R m x R n + (c T u T A)x + u T b = max c T u T A 0 c T u T A 0 c A T u 0. Näin ollen primaaliongelmaa vastaa duaalitehtävä max A T u c u T b. Itse asiassa ylä olevassa tarkastelussa tuli osoitettua u T b. Lause 3. Jos x R n + ja u R m ovat primaali- ja duualitehtävän ratkaisut, niin c T x = u T b. Edelleen edellisen päättelyn nojalla kaikille primaali- ja duaaliongelman käyville ratkaisuille x ja u (eivät välttämättä optimaalisia): Tämän nojalla on voimassa c T x u T b. Lause 4 (Kuhn-Tucker). Olkoon x R n ja u R m primaali- ja duaaliongelman käypiä ratkaisuja (rajoitejoukon alkioita). Pisteet ovat optimaalisia, jos ja vain jos c T x = u T b. Jos primaaliongelman optimaalinen ratkaisu tunnetaan, niin duaaliongelman optimaalinen ratkaisu saadaan seuraavasta lauseesta: Lause 5. Olkoon x primaaliongelman optimaalinen ratkaisu, A B kantamatriisi ja A N ei-kantamatriisi. Tällöin vektori vastaava u T = c T BA B u = (AT B) c B on duaaliongelman optimaalinen ratkaisu. Lisäksi redusoitujen kustannusten vektori on r N = c T N u T A N.

25 2.6. DUAALISUUS Duaali-simplex-algoritmi Määritelmä 4. Kantamuuttujia B vastaava kantamatriisi A B on duaalikäypä, jos redusoidut kustannukset r N = c T N c T BA B A N 0. Tällöin sanotaan, että duaalikäypä ratkaisu. [ xb 0 ] = [ A B b 0 ] Edellisen kappaleen nojalla pätee Lause 6. Jos A B on käypä ja duaalikäypä kantamatriisi, niin piste [ ] [ xb A B = b ] 0 0 on primaaliongelman optimaalinen kärkipiste. Tämän lauseen nojalla on voimassa seuraava Duaali-Simplex-algoritmi:. Valitse duaalikäypä kanta A B ja muodosta aloitustaulukko. 2. Jos A B on käypä kantamatriisi, niin STOP; x B = A B b, u B = (A B )T c B ovat optimaalisia ratkaisuja primaali- ja duaaliongelmalle. 3. Muutoin valitse indeksi i p siten, että x ip < 0. Sääntö: Muuttuja on p:s kantamuuttuja. x ip = min x j <0 x j. 4. Tutki matriisin A B A N = [β p,j ] p =,..., m j N p:s rivi: Jos alkiot ovat ei-negatiivisia, niin äärellistä ratkaisua ei ole;

26 26 LUKU 2. LINEAARINEN OPTIMOINTI Muutoin valitse ei-kantamuuttuja x s, s N siten, että r s = min β { r j }, p,s β p,j <0 β p,j missä r j on redusoitujen kustannusten r N j:s koordinaatti, ja on matriisin A B A N p:s rivi. [β p, β p,in m ] 5. Suorita Gaussin eliminaatio Simplex-taulukolle pivot-alkiona ja palaa kohtaan 2. Duaali-simplex-algoritmin soveltaminen normaalin Simplex-algoritmin rinnalla helpottaa LP-ongelman ratkaisua. Nyt ei tarvitse huolehtia, onko valittu kantaratkaisu käypä tai ei. Jos kärkipiste x B on käypä voidaan käyttää tavallista Simplex-algoritmia. Jos taas kärkipiste ei ole käypä, niin sovelletaan duaalisimplex-algoritmia. Kummassakin tapauksessa aloitustaulukon muodostaminen tapahtuu samalla tavalla. Simplex-algoritmissa pysytellään raajoitejoukossa, kun taas duaalisimplexissä pysytellään alueen ulkopuolella. Vasta viimeisellä iteraatiolla työnnytään rajoitejoukkoon, jolloin myös optimaalinen kärkipiste löytyy. β p,s 2.7 Karmarkarin menetelmä Tarkastellaan kuten edellä standardimuotoista LP-ongelmaa min Ax = b x 0 v T x, missä (m n)-matriisin A aste on Rank(A) = m < n, vektori b R m, ja v R n on ns. kustannusvektori. Klee ja Minty osoittivat 60-luvulla, että on olemassa LP-ongelmia, joiden ratkaisemiseen Simplex-algoritmin aikavaste on eksponentiaalinen. Esimerkit ovat kylläkin akateemisia, ja käytännössä tällaisia ongelmia ei ole esiintynyt. Näistä esimerkeistä alkoi ns. polynomiaalisten algoritmien kuumeinen kehittely. Eräs näistä algoritmeista on Karmarkarin menetelmä. Tyypillistä näille menetelmille on, että ne ovat ns. sisäpistemenetelmiä.

27 2.7. KARMARKARIN MENETELMÄ Johdatteleva esimerkki Tarkastellaan optimointiongelmaa min x + x 2 + x 3 = x, x 2, x 3 0 x 2 + x 3. Alkuperäisessä Karmarkarin käsittelevässä artikkelissa hän tarkasteli lineaarista optimointiongelmaa Hän teki seuraavat oletukset: min x U n c T x = 0; min c T x. x U n Rajoitejoukko on affiinin tason U = {x Ax = b} ja (n-)-ulotteisen simpleksin n n = {x 0 x j = } leikkausjoukko. Kyseisessä esimerkissä optimaalinen ratkaisu c T x = 0 saavutetaan kärkipisteessä x = 0. 0 j= Aloituspiste Kolmion 2 painopiste valitaan x (0) = algoritmin aloituspisteeksi. Hakusuunta Kustannusfunktion arvot kasvavat ja vähenevät voimakkaimmin gradienttivektorin suuntaan. Siksi kustannukset pienenevät vektorin v = (c T x) = c

28 28 LUKU 2. LINEAARINEN OPTIMOINTI suuntaisesti. Mutta tähän suuntaan liikuttaessa ei välttämättä pysytä kolmion tasolla. Siksi projisoidaan gradienttivektori tasolle: 0 a = c + et c e e = = Vektorin a suuntainen yksikkövektori on a (0) = Askelpituus Kolmion sisään piirretyn ympyrän säde on r 0 = 6. Kolmion ja ympyrän sivuamispisteessä määrätty normaali voi olla vektorin a suuntainen. Näin ollen edetessä hakusuuntaan säteen verran voidaan päätyä rajoitejoukon reunalle. Siksi mahdollinen reunalle meno estetään kertomalla parametrilla 0 α. Valitaan parametriksi α =. Karmarkar käytti 2 parametrin arvoa α =. 4 Uusi approksimaatio on x () = x (0) + αr 0 a (0) = Projektiivinen transformaatio Määritellään diagonaalimatriisi 0 0 D = diag(x () 2 ) = Kuvataan simpleksi itselleen projektiivisella transformaatiolla Käänteistransformaatio on T (x) = T (z) = D x e T D x. D z e T D z. Projektiivinen kuvaus kuvaa pisteen x () simpleksin painopisteeksi

29 2.7. KARMARKARIN MENETELMÄ 29 Yleinen iteraatioaskel Samalla kertaa muunnetaan kustannusfunktiota. Uusi kustannusfunktio on nyt (D c) T z, jonka minimiä haetaan edelleen simpleksissä 2. Vektorin c () = D c projektio tasolle 2 on c () et c () e 2 = 4 a. Näin ollen hakusuunta on sama kuin edellisessä iteraatiossa: a () = a (0) = 2. 6 Askelpituutena käytetään samaa kuin edellä: Käänteisprojektiolla 3. iteraatio Määritellään z (2) = x (0) + αr 0 a () = x (). x (2) = T (z (2) ) = D x () e T D x () = D 2 = diag(x (2) ). Projisoidaan vektori D 2 c tasolle 2 : a (2) = Askelpituus kuten edellisillä iteraatioilla:. z (3) = x (0) + αr 0 a () = x (). Käänteisprojektiolla saadaan uusi approksimaatio: x (3) = T (z (3) ) = D 2x () e T D 2 x = ()

30 30 LUKU 2. LINEAARINEN OPTIMOINTI 4. iteraatio x (4) = D 3x () e T D 3 x = () Karmarkarin skaalausalgoritmi Oletetaan, että x U = {x 0 Ax = b} on rajoitejoukon sisäpiste, ts. sillä on n+m nollasta eroavaa koordinaattia, ja kaikille yksikkövektoreille e N(A) = {w R n Aw = 0} : x + ϵe U kaikille riittävän pienille ϵ > 0. Karmarkarin menetelmässä pyritään etsimään vastausta kahteen perustavaan kysymykseen: Mihin suuntaan pisteestä x on lähdettävä? Kuinka suuri on askelpituus? Ylimalkainen vastaus kysymyksiin on: Suunta, johon kustannusfunktio v T x vähenee voimakkaimmin. Pysähdy lähelle rajoitejoukon reunaa. Funktio kasvaa voimakkaimmin gradientin suuntaan. Näin ollen hakusuunta on v = (v T x). Toisaalta uusi piste y on edelleen kuuluttava rajoitejoukkoon U. Pisteiden erotus ratkaisee homogeenisen yhtälön A(y x) = 0. Projisoidaan vektori v matriisin A ytimeen projektio-operaattorilla P = I A T (AA T ) A. Lemma. Vektorin v projektio P v N(A). Tod.: Lemma 2. v T P v 0. A(P v) = Av AA T (AA T ) Av = Av Av = 0.

31 2.7. KARMARKARIN MENETELMÄ 3 Tod.: Jaetaan vektori v kahteen ortogonaaliseen komponenttiin v = P v + P v = P v + A T (AA T ) Av. Nimittäin Näin ollen (P v) T P v = v T A T (AA T ) Av v T A T (AA T ) AA T (AA T ) Av = v T A T (AA T ) Av v T A T (AA T ) Av = 0. v T P v = [P v + P v] T P v = (P v) T P v = P v 2 0. Lemma 3. Funktion v T x arvot pienenevät vektorin P v suuntaan. Tod.: Edellisen lemman nojalla kaikilla α > 0 v T (x αp v) = v T x αv T P v v T x. Askelpituuden α maksimiarvo on x i α 0 = min. (P v) i (P v) i Tällä askelpituudella päädytään rajoitejoukon reunalle. Karmarkarin perusidea: Ei mennä aivan käyvän alueen reunalle asti; vaan y = x ϵα 0 P v, missä 0 < ϵ <. Suoritetaan tämän jälkeen ongelman uudelleen skaalaus. Karmarkarin skaalausalgoritmi. Aloituspiste a U n siten, että a i > 0, i =,..., n. 2. Diagonaalimatriisi: D = diag(a). 3. Skaalausvaiheessa muodostetaan uusi kustannusvektori: c = Dc. Tällöin samalla suoritetaan muuttujan vaihto: x = D x. Tällöin aloituspiste on z = D (x) = [ ] T.

32 32 LUKU 2. LINEAARINEN OPTIMOINTI 4. Uusi muuttuja toteuttaa rajoiteyhtälön ADx = b. 5. Lasketaan vektorin c projektio rajoitejoukkoon: d = c DA T (ADD T A T ) ADc. 6. Askelpituus: r 0 = min. d i >0 d i 7. Optimointiongelman approksimaatio missä 0 < α <. 8. Määritellään vektori y = z αr 0 d, v = (ADD T A T ) ADc. Tämän avulla voidaan määritellä katkaisukriteerio; [c A T v] T y < ϵ missä ϵ on haluttu toleranssi optimaalisuudesta. Tällöin alkuperäisen ongelman ratkaisu on x opt = Dy. Muussa tapauksessa palataan alkuun. Huomautuksia Pisteessä y = z td, t > 0 funktion arvo on pienempi kuin pisteessä z: c T y = c T z tc T d = c T z t c 2 (ADc) T [AD(AD T )] ADc < c T z, sillä [AD(AD) T ] on positiivisesti definiitti. Piste y = z td on rajoitejoukon alkio: ADy = ADz tad(c (AD) T [AD(AD) T ] ADc) = Aa t(adc ADc) = b.

33 2.7. KARMARKARIN MENETELMÄ 33 Jos t r 0 = min{ d i d i > 0}, niin pisteessä y = z td on ainakin yksi koordinaatti nolla tai negatiivinen. Tästä syystä askelpituus kerrotaan parametrilla 0 < ϵ <, jotta pysyttäisiin sisäpisteessä. Algoritmin suppenemistarkasteluja varten määritellään potentiaalifunktio f(x) = n i= ln( ct x x i ). Lause 7 (Karmarkar). Toinen seuraavista vaihtoehdoista on toteutuu:. c T (Dy) = 0; 2. f(dy) f(a) δ, missä δ riippuu vakiosta α.

34 34 LUKU 2. LINEAARINEN OPTIMOINTI

35 Luku 3 Epälineaarisen optimoinnin menetelmät 3. Optimaalisuuskriteerio 3.. Lokaali ääriarvokohta Ongelma: min f(x). x R n Määritelmä 5. Piste x on lokaali minimikohta, jos on olemassa ϵ > 0 siten, että f(x) f(x), x {x R n x x < ϵ}. Vastaavasti, piste x on lokaali maksimikohta, jos on olemassa ϵ > 0 siten, että f(x) f(x), x {x R n x x < ϵ}. Piste x on satulapiste, jos x = [z + z ] siten, että funktiolla g(x + ) = f(x +, z ) on lokaali maksimikohta pisteessä z +, ja funktiolla h(x ) = f(z +, x ) on lokaali minimikohta pisteessä z. Palautetaan mieliin, mitä tarkoitetaan funktion differentioituvuudella, sillä jatkossa oletamme, että tarkasteltavat funktiot ovat ainakin kahdesti jatkuvasti differentioituvia määrittelyjoukossaan. Lähtökohtaisesti oletamme, että funktion f(x) määrittelyjoukko on koko R n. 35

36 36 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Funktio f(x) on differentioituva pisteessä x, mikäli riittävän pienessä x:n ϵ-säteisessä pallossa B(x; ϵ) on voimassa: f(z) = f(x) + f(x) T (z x) + z x α(x; z x), z B(x; ϵ) missä z x on vektorin euklidinen normi, ja α(x; z x) o, kun z x. Mikäli f(x) on differentioituva jokaisessa pisteessä x C, missä C on funktion määrittelyjoukko, niin sanotaan lyhyesti, että funktio differentioituva. Mikäli funktion gradienttikuvaus x f(x) on jatkuva, niin funktio on jatkuvasti differentioituva. Edelleen funktio f(x) on kahdesti differentioituva pisteessä x, jos on ϵ- säteinen pallo B(x; ϵ) siten, että f(z) = f(x) + f(x) T (z x) + 2 (z x)t H f (x)(z x) + z x 2 α(x; z x), missä α(x; z x) 0, kun z x. Edellä H f (x) on funktion f Hessin matriisi pisteessä x: 2 f H f (x) = [ ] i,j=,...,n. x i x j Funktio on kahdesti jatkuvsti differentioituva joukossa C, jos se on kahdesti differentioituva jokaisessa pisteessä x C ja kuvaus x H f (x) on jatkuva. Ääriarvokohdat Tarkastellaan aluksi funktion lokaaleja ääriarvokohtia, kun funktio f(x) on kaksi kertaa jatkuvasti differentioituva: f C 2 (R n ). Lause 8. Lokaalissa ääriarvokohdassa funktion gradientti häviää: f(x) = Tällöin Taylorin kehitelmän nojalla f x f x 2. f x n = 0. f(x) = f(x) f(x) = 2 (x x)t 2 (ζ)(x x), Näin ollen ääriarvokohdan laatu on sidoksissa neliömuodon Q(x) = x T H f (ζ)x

37 3.. OPTIMAALISUUSKRITEERIO 37 ominaisuuksiin. Jos z on lokaali minimikohta (maksimikohta), niin välttämättä neliömuodon on oltava positiivinen (negatiivinen) pisteen z ympäristössä. Vastaavasti jos piste z on lokaali ääriarvokohta, ts. gradientin nollakohta, niin se on lokaali minimikohta (maksimikohta), mikäli Hessin matriisi on positiivisesti (negatiivisesti) definiitti. Tarkkaan ottaen on voimassa seuraava Lause 9. Olkoon f : R n R C 2 -funktio. Piste z on funktion f lokaali minimikohta, jos ja vain jos funktion Hessin matriisi on positiivisesti semidefiniitti. Lause 0. Olkoon z funktion f(x) stationaarinen piste ja funktion Hessin matriisi positiivisesti definiitti. Tällöin z on eristetty lokaali minimikohta. Analogiset väittämät voidaan todistaa lokaalille maksimikohdalle Konveksi optimointi Reaaliarvoinen vektorimuuttujan funktio f on konveksi, jos kaikille x, y R n : f(tx + ( t)y) tf(x) + ( t)f(y), 0 t. Yhden muuttujan konvekseille funktioille on seuraava ominaisuus voimassa [?]: Lause. Olkoon f(x) kahdesti jatkuvasti differentioituva avoimella välillä (a, b). Tällöin funktio f(x) on konveksi, jos ja vain jos f (x) 0 kaikilla x (a, b). Todistus. Oletetaan, että f (x) on ei-negatiivinen. Tällöin f (x) on kasvava funktio. Tällöin kaikille a < x < y < b ja z = ( t)x + ty, 0 < t < : f(z) f(x) = f(y) f(z) = z x y z f (η) dη f (z)(z x) f (η) dη f (z)(y z). Koska z x = t(y x) ja y z = ( t)(y x), niin saadaan epäyhtälöt f(z) f(x) + tf (z)(y x) f(z) f(y) ( t)f (z)(y x). Kertomalla ylempi yhtälö luvulla t ja alempi luvulla t ja laskemalla ne yhteen saadaan f(z) ( t)f(x) + t(f(y).

38 38 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Siis funktio f(x) on konveksi. Oletetaan sitten kääntäen, että f(x) on konveksi. Jos nyt f (η) olisi aidosti negatiivinen jossain pisteessä, niin toisen derivaatan jatkuvuuden nojalla f (x) olisi negatiivinen jollain välillä (a, b ). Tällöin tällä välillä f (x) olisi aidosti vähenevä ja silloin f(z) f(x) = f(y) f(z) = z x y z f (η) dη > f (z)(z x) = tf (z)(y x) f (η) dη < f (z)(y z) = ( t)f (z)(y x). Tällöin saataisiin voimaan aito epäyhtälö f(( t)x + ty) > ( t)f(x) + tf(y), mikä on vastoin konveksisuus oletusta. Lause 2. Olkoon f(x) kahdesti jatkuvasti differentioituva R n :ssä. Tällöin funktio on konveksi, jos ja vain jos Hessin matriisi H f (x) on positiivisesti semidefiniitti. Todistus. Funktio on konveksi, jos ja vain jos sen rajoittuma jokaiselle suoralle l : x = z +td, t R on konveksi, missä d R n on mielivaltainen suunta. Funktion rajoittuma suoralle l määrittelee yhden muuttujan reaaliarvoisen funktion ϕ(t). Funktio ϕ(t) on konveksi jos ja vain jos ϕ (t) 0. Toisaalta ϕ (t) = d T H f (x)d. Konveksin optimoinnin peruslause on Lause 3. Olkoon funktio f : R n R konveksi ja koersiivinen, ts. lim f(x) =. x Tällöin funktiolla on olemassa globaali minimikohta x min : f(x min ) f(x), x R n. Lisäksi, jos f(x) on aidosti konveksi, niin minimikohta on yksikäsitteinen.

39 3.. OPTIMAALISUUSKRITEERIO Yhtälörajoitteiset optimointiongelmat: Lagrangen kertojat Tarkastellaan seuraavanlaista optimointiongelmaa min f(x), x S missä rajoitejoukon määrittelee yhtälörajoitteet: S = {x R n : h j (x) = 0, j =,..., l}. Jatkossa oletetaan, että rajoitefunktiot h j (x) ovat jatkuvasti differentioituvia. Välttämätön ehto Olkoon sitten x S ko. minimointiongelman ratkaisu, so. lokaali minimikohta. Rajoiteyhtälö h j (x) = 0 määrittelee jatkuvasti differentioituvan (n-)-ulotteisen pinnan S j avaruuteen R n. Pinnan normaali pisteessä x on funktion h j (x) gradientti h j (x). Silloin pinnan tangenttitason T x määrittelee yhtälö x T x : (x x) T h j (x) = 0. Oletetaan jatkossa, että vektorit { h (x,..., h l (x)} ovat lineaarisesti riippumattomia. Sallitut suunnat D ovat vektorit d R n, joille d T h j (x) = 0, j =,..., l. Eli siirryttäessä pinnan tangenttitason suuntaan infinitesimaalisen matkan pysytään edelleen likipitäen ko. pinnalla. Toisaalta voidaan määritellä minimoivien suuntien joukko F = {d : f(x) T d < 0}. Koska x S on lokaali minimikohta, niin kaikilla d D : f(x) T d 0. Eli samanaikaisesti ei ole voimassa ehtoja n d T f(x) < 0, d T [ α j h j (x)] = 0. α j R j= Oletetaan, että vektorit f(x), h (x),..., h l (x) ovat lineaarisesti riippumattomia, ts sanoen ei ole olemassa lukuja λ j siten, että n f(x) = λ j h j (x). j= Koska vektorit d T x = D ja { h j (x)} j=,...,l virittävät R n :n, niin on olemassa nollasta eroava vektori d D ja luvut λ j siten, että n f(x) = d + λ j h j (x). j=

40 40 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Tällöin on voimassa d T f(x) = d t d d T [ n λ j h j (x)] = d 2 < 0. j= Toisin sanoen on olemassa vektori y D siten, että f(x) T y < 0 vastoin oletusta, että kaikilla d D : f(x) t y 0. Näin ollen ainoaksi vaihtoehdoksi jää vaihtoehto: On olemassa luvut λ j, joista ainakin yksi on nollasta eroava siten, että f(x) = n λ j h j (x). j= Näin olemme todistaneet ns. Lagrangen kertojien menetelmän sidotulle ääriarvotehtävälle. Lause 4. Olkoon x optimointiongelman min f(x), x S missä S = {x R n : h j (x) = 0, j =,..., l}, lokaali minimikohta. Silloin on olemassa Lagrangen kertojat λ j R, j =,..., l siten,että f(x) = l λ j h j (x). j= 3..4 Epäyhtälörajoitteet Tarkastellaan seuraavaksi epäyhtälörajoitteisia optimointiongelmia: min g (x) 0 g 2 (x) 0. g m (x) 0 f(x), missä oletetaan jatkossa, että funktiot ovat jatkuvasti differentioituvia, tarvittaessa kahdesti. Tarvitsemme välttämättömine ehtojen todistamista varten seuraavaa lemmaa:

41 3.. OPTIMAALISUUSKRITEERIO 4 Lemma 4 (Gordan). Olkoon A m n-matriisi. Silloin vain toisella seuraavista systeemeista on ratkaisu: Systeemi Ax < 0, jollain x R n Systeemi 2 A T y = 0, y 0. jollain y 0 Tehdään seuraavat olettamukset: Piste x S = {x : g i (x) 0, i =,..., m} on minimointiongelman lokaali minimikohta. Aktiivirajoitteiden joukko I = {i =,..., m g i (x) = 0}. Numeroimalla funktiot g i uudelleen voidaan olettaa, että I = {, 2, 3,..., k}. Vektorit { g i (x)} i=,...,k ovat lineaarisesti riippumattomia. Rajoitefunktiot g i (x) ovat aidosti konvekseja pisteessä x. Edellä olevien oletusten ollessa voimassa pätee: Lause 5. On olemassa ei-negatiiviset luvut µ i, i =,..., k siten, että f(x) + k µ i g i (x) = 0. i= Todistus. Olkoon vektorijoukko D = {d : d T g i (x) < 0} sallittujen suuntien joukko (perustele!!). Koska x on lokaaliminimi, niin kaikille d D on voimassa: f(x) T d 0. Toisin sanoen; ei ole ole olemassa vektoria d R n siten, että samanaikaisesti f(x) T d < 0 ja g i (x) T d < 0, i =,..., k. Määritellään matriisi A, jonka rivivektoreina ovat vektorit f(x), g (x),..., g k (x): Nyt edellisen nojalla systeemillä A T = [ f(x), g (x),..., g k (x)]. Ad < 0 ei ole ratkaisua. Tällöin Gordanin lemman nojalla on ole massa nollasta eroava vektori λ R k+ siten, että A T λ = 0, λ 0.

42 42 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Näin ollen on luvut λ i 0, i =,..., k +, siten, että λ 0 f(x) + k λ j g i (x) = 0. i= Luku λ 0 0, sillä muussa tapauksessa olis voimassa k λ j g i (x) = 0. i= Mikä on vastoin ko. vektoreiden lineaarisesti riippumattomuus oletusta. Valitaan luvuiksi µ i = λ i λ 0 ja väite seuraa Karush-Kuhn-Tucker-ehdot Tarkastellaan lopuksi yleistä minimointitehtävää min f(x), x S missä rajoitejoukko S määritellään seuraavilla epäyhtälö- ja yhtälörajoitteilla: g i (x) 0, i =,..., m h j (x) = 0, j =,..., l. Olkoon kuten aikaisemmin x minimointiongelman ratkaisu. Edelleen oletetaan, että tarkasteltavat funktiot ovat ainakin jatkuvasti differentioituvia. Tällöin on voimassa seuraava Karush-Kuhn-Tucker-ehdot [?],[?]: Lause 6. Kuten aikaisemmin indeksijoukko I = {, 2,..., k} vastaa pisteessä x olevia aktiivisia epäyhtälörajoitteita, ja oletamme, että vektorit { g (x),..., g k (x), h (x),..., h l (x)} ovat lineaarisesti riippumattomia. Tällöin on olemassa vektorit µ R m, λ R l siten, että f(x) + k µ i g i (x) + i= l λ j h j (x) = 0 (3.) j= µ i g i (x) = 0, µ i 0, g i (x) 0, i =,..., m (3.2)

43 3.. OPTIMAALISUUSKRITEERIO 43 Todistus. Aluksi osoitetaan, että ei ole olemassa vektoria d siten, että samanaikaisesti olisi voimassa f(x) T d < 0, g (x) T d < 0, i =,..., k, h j (x) T d = 0, j =,..., l. Jos tällainen vektori y olisi olemassa, niin projisoidaan suoran x + ty pisteet lokaalisti pisteen ympäristöstä pinnalle S h = {x : h j (x) = 0, j =,..., l}. Määritellään käyrä ξ(τ) differentiaaliyhtälöllä dξ(τ) dτ = P (τ)y, ξ(0) = x, missä P (τ) on projektiomatriisi matriisin h (ξ(τ)) T h 2 (ξ(τ)) T B(τ) =. h l (ξ(τ)) T nolla-avaruuteen Ker(B) = {x : B(τ)x = 0}. Projektiomatriisi P (τ) = I B(τ) T [B(τ)B(τ) T ] B(τ) on τ:n suhteen jatkuva, sillä matriisi B(τ) on täysiasteinen ja funktiot h j ovat jatkuvasti differentioituvia. Näin ollen eo. differentiaaliyhtälöllä on yksikäsitteinen ratkaisu ja ξ(τ) x, kun τ 0 +. Osoitetaan seuraavaksi, että piste ξ(τ) on rajoitejoukossa ja f(ξ(τ)) < f(x), kun τ on riittävän pieni. Tällöin päädytään ristiriitaan, sillä x on lokaali minimikohta. Derivoinnin ketjusäännön nojalla d dτ g i(ξ(τ)) = g i (ξ(τ)) T P (τ)y, i =,..., k. Toisaalta, koska P (0)y = y ja g i (x) T y < 0, niin d dτ g i(ξ(0)) = g i (x) T y < 0, i =,..., k. Näin ollen riittävän pienille τ:n arvoille g i (ξ(τ)) < 0, i =,..., k. Eiaktiivisille rajoitteille pelkästään jatkuvuuden nojalla g i (ξ(τ)) < 0, foralli = k +,..., m. Väliarvolauseen nojalla on olemassa ς (0, τ) siten, että h j (ξ(τ)) = h j (ξ(0)) + τ d dτ h j(ξ(ς)) = τ d dτ h j(ξ(ς)).

44 44 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Ketjusäännön nojalla toisaalta d dτ h j(ξ(ς)) = h j (ξ(ς)) T P (ς)y. Konstruktion perusteella P (ς)y on matriisin B(ς) nolla-avaruudessa, joten väistämättä, kunhan τ on riittävän pieni, h dτ j(ξ(ς)) = 0. d Vastaavasti, ketjusäännön ja sen nojalla, että ξ(0) = x, saadaan d dτ f(ξ(0)) = f(x)t y < 0. Koska f(x) on jatkuvasti differentioituva, niin riittävän pienillä τ:n arvoilla f(ξ(τ)) < f(x), mikä on vastoin oletusta. Näin ensimmäinen väite on todistettu. Määritellään matriisit A ja B siten, että matriisin A rivivektoreina ovat vektorit f(x), g (),..., g k (x), ja B kuten edellä. Lauseen alkuosan nojalla siis ei ole vektoria d siten, että samanaikaisesti Ad < 0, Bd = 0. Tarkastellaan seuraavia joukkoja C = {(z, z 2 ) : z = Ad, z 2 = Bd} ja C 2 = {(z, z 2 ) : z < 0, z 2 = 0}. Nyt kyseiset joukot ovat konvekseja, epätyhjiä ja edellisen nojalla S S2 =. Tällöin separaatiolauseen nojalla on olemassa hypertaso siten, että se erottaa joukot S ja S 2. Toisin sanoen on olemassa nollasta eroava vektori p T = [p T, p T 2 ] siten, että p T Ad + p T 2 Bd p T z + p T 2 z 2, d R n, (z, z 2 ) S 2. Valitaan z 2 = 0 ja annetaan vektorin z yhden komponentin kerrallaan lähestyä. Tällöin, jotta eo. epäyhtälö olisi voimassa, on oltava, että p 0. Toisaalta valitsemalla z = z 2 = 0 saadaan epäyhtälö (p T A + p T 2 B)d 0, d. Asettamalla d = (A T p + B T p 2 ) saadaan A T p + B T p 2 2 0, eli A T p + B T p 2 = 0. Siis, on olemassa vektori p T = [p T, p T 2 ] 0 siten, että p 0 ja k l p,0 f(x) + p,i g i (x) + + p 2,j h j (x) = 0. i= Koska oletettiin, että vektorit j= { g (x),..., g k (x), h (x),..., h l (x)} ovat lineaarisesti riippumattomia, niin p,0 > 0. Jakamalla edellinen yhtälö luvulla p,0 saadaan väite.

45 3.. OPTIMAALISUUSKRITEERIO Riittävät ehdot Vaikka piste x toteuttaa KKT-ehdot, niin se ei välttämättä ole lokaali minimikohta. Mutta jos oletetaan, että funktio f(x) ja rajoitejoukko S on konveksi, niin KKT-ehdot toteuttava piste on globaali minimikohta. Huomatkaa, että globaaleja minimikohtia voi olla useampia; mutta minimiarvo on sama. Lause 7. Olkoon funktiot f(x) ja g (x) konvekseja ja x toteuttaa KKTehdot. Tällöin voidaan määritellä indeksijoukot J = {j : λ j > 0} ja K = {j : λ j < 0}. Jos funktiot h j (x), j J, ja h j (x), j K, ovat konvekseja, niin on x optimointiongelman globaali minimikohta.

46 46 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT 3.2 Duaalisuus 3.2. Lagrangen duaaliongelma Primaaliongelma P Minimoi rajoittein f(x) g i (x) 0, i =,..., m h j (x) = 0, i =,..., l x R n Duaaliongelma D Maksimoi θ(µ, λ) rajoittein µ R m, µ 0, λ R l missä θ(µ, λ) = inf f(x) + m µ i g i (x) + x R n i= j= l λ j h j (x). Geometrinen tulkinta Tarkastellaan yksinkertaisuuden ja havainnollisuuden vuoksi vain yhtä epäyhtälörajoitetta, ts. optimointiongelma on Määritellään (y, z))-tasossa joukko min f(x). g(x) 0 G = {(y, z) R 2 : y = g(x), z = f(x)}. Tällöin minimointiongelma on yhtäpitävä seuraavan ongelman kanssa: min y 0 (y, z) G z. Siis etsitään joukosta G pistettä (y, z), jolle y 0 ja z on mahdollisimman pieni. Olkoon tämä piste (y, z). Duaalifunktiolle voidaan tulkita seuraavasti. Kiinteälle u 0 suoritetaan osaoptimointi θ(u) = min f(x) + ug(x) = min z + uy. x X (y,z) G

47 3.2. DUAALISUUS 47 Etsitään siis suoraa z + uy = a, joka sivuaa rajoitejoukkoa G alapuolelta siten, että vakio a on mahdollisimman pieni. Kyseisen suoran kulmakerroin on u 0, l. laskeva suora. Suora leikkaa z-akselin pisteessä a = θ(u). Duaaliongelma: Etsi suoran z = uy+a kulmakerroin siten, että se sivuaa alhaalta joukkoa G ja a = θ(u) on maksimaalinen. Jos u on optimaalinen kulmakerroin, niin (konveksissa tapaauksessa) z = θ(u) = f(x). z G={(y,z): y=g(x), z=f(x)} (0,z) (0,a) y z+uy=a Duaalisuuslauseet Lause 8 (Heikkko duaalisuus). Olkoon x primaaliongelman käypä ratkaisu, so. x X, g(x) 0, h(x) = 0, ja (u, v) R m + R m duaaliongelman käypä ratkaisu. Tällöin on voimassa f(x) θ(u, v). Todistus. Duaalifunktion määritelmän nojalla θ(u, v) = inf y X [f(y) + ut g(y) + v T h(y)] f(x) + u T g(x) + v T h(x). Koska g(x) 0 ja u 0, niin u T g(x) 0. Lisäksi h(x) = 0. Näin ollen f(x) θ(u, v). Korollaari. Primaali- ja duaaliongelmille on aina voimassa: inf x S f(x) sup θ(u, v). u 0 Korollaari 2. Jos pisteelle x S ja (u, v) R m + R m on voimassa f(x) = θ(u, v), niin x on primaaliongelman ja (u, v) duaaliongelman optimaaliset ratkaisut.

48 48 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Dualiteettikuilu Heikon duaalisuuden nojalla (korollaari ) primaaliongelman optimi on aina suurempi tai yhtä suuri kuin duaaliongelman maksimi. Korollaarin 2 nojalla nämä voivat olla jopa yhtä suuria. Aina näin ei ole ao. kuvassa on tilanne, jossa duaaliongelman maksimi ei saavuta primaaliongelman minimiä. Tällöin optimiratkaisuilla on dualiteettikuilu f(x) θ(u, v) > 0. z G z=f(x) a } dualiteettikuilu y max z+uy=a u>0 Vahva duaalisuus Nyt kuitenkin konveksille optimointiongelmalle dualiteettikuilua ei esiinny. Oletetaan jatkossa, että Perusoletus : Funktiot f(x), g(x) ovat konvekseja, h(x) = Ax b ja X = R n (tai R n +). Tällöin rajoitejoukko S on konveksijoukko. Lemma 5. Olkoon α(x) : R n R, g : R n R m jatkuvasti differentioituvia ja h(x) = Ax b R l. Jos systeemillä ei ole ratkaisua, niin systeemillä α(x) < 0, g(x) 0, Ax b = 0 (3.3) u 0 α(x) + u T g(x) + v T [Ax b] 0 (u 0, u) 0 (3.4) (u 0, u, v) 0

49 3.2. DUAALISUUS 49 on ratkaisu. Kääntäen; Jos systeemillä (3.4) on ratkaisu siten, että u 0 > 0, niin systeemillä (3.3) ei ole ratkaisua. Todistus. Todistus sivuutetaan tässä vaiheessa. Lause 9. Oletetaan lisäksi, että matriisi A on täysiasteinen. Jos on olemassa x X siten, että niin silloin inf g(x) 0 h(x) = 0 x X g(x) < 0, Ax b = 0, f(x) = sup u 0 v R l Lisäksi, jos primaaliongelman infimum on äärellinen, niin sup u 0 v R l Jos f(x) = inf x S f(x), niin u T g(x) = 0. θ(u, v) = θ(u, v). Todistus. Määritellään γ = inf x S f(x). Silloin systeemillä f(x) γ < 0, g(x) 0, Ax b = 0 θ(u, v). (3.5) ei ole ratkaisua. Edellisen lemman nojalla on olemassa (u 0, u, v) 0, (u 0, u) 0 siten, että u 0 (f(x) γ) + u T g(x) + v T [Ax b] 0, x X. (3.6) Osoitetaan ensin, että u 0 0. Oletetaan, että u 0 = 0. Tällöin oletuksen nojalla g(x) < 0, Ax b = 0. Lisäksi epäyhtälön (3.6) mukaan on voimassa 0 u T g(x) 0 u = 0. Siten kaikille x X on voimassa: v T [Ax b] 0. Oletuksen nojalla on olemassa x X siten, että Ax b = v. Näin ollen on voimassa 0 v 2, l. v = 0, mikä on vastoin oletusta. Siis välttämättä u 0 > 0. Jakamalla epäyhtälö ([?]) u 0 :lla saadaan, että Heikon duaalisuuden nojalla θ(u, v) = inf x X f(x) + ug (x) + v T [Ax b] γ. γ θ(u, v).

50 50 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Satulapistekriteerio Primaaliongelman Lagrange n funktio on L(x, u, v) = f(x) + u T g(x) + v T h(x). Piste (x, u, v) X R l + R m on satulapiste, jos kaikille x X, u R l +, v R m : L(x, u, v) L(x, u, v) L(x, u, v). Lause 20. Piste (x, u, v) X R l + R m on satulapiste, jos ja vain jos. L(x, u, v) = min x L(x, u, v); 2. g(x) 0, Ax b = 0; 3. u T g(x) = 0. Näin ollen piste (x, u, v) on satulapiste, jos ja vain jos x toteuttaa KKTehdot Lagrangen kertojilla u 0 ja v Duaalifunktion ominaisuuksia Yhdistetään rajoitefunktiot yhdeksi vektoriarvoiseksi funktioksi p(x) = [g(x), h(x)] T. Tällöin duaalifunktio voidaan kirjoittaa muodossa θ(w) = inf x X f(x) + mathbfwt p(x). Lause 2. Duaalifunktio θ(w) on konkaavi. Oletetaan, että osaoptimointiongelmalla on yksikäsitteinen ratkaisu. Tämä on voimassa, jos joku funktioista f(x) tai g(x) on aidosti konveksi. Tällöin on voimassa Lause 22. Duaalifunktio on differentioituva ja sen gradientti on missä f(ˆx) = min x [f(x) + w T p(x)]. θ(w) = p(ˆx),

110. 111. 112. 113. 114. 4. Matriisit ja vektorit. 4.1. Matriisin käsite. 4.2. Matriisialgebra. Olkoon A = , B = Laske A + B, 5 14 9, 1 3 3

110. 111. 112. 113. 114. 4. Matriisit ja vektorit. 4.1. Matriisin käsite. 4.2. Matriisialgebra. Olkoon A = , B = Laske A + B, 5 14 9, 1 3 3 4 Matriisit ja vektorit 4 Matriisin käsite 42 Matriisialgebra 0 2 2 0, B = 2 2 4 6 2 Laske A + B, 2 A + B, AB ja BA A + B = 2 4 6 5, 2 A + B = 5 9 6 5 4 9, 4 7 6 AB = 0 0 0 6 0 0 0, B 22 2 2 0 0 0 6 5

Lisätiedot

Luento 8: Epälineaarinen optimointi

Luento 8: Epälineaarinen optimointi Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään

Lisätiedot

Taustatietoja ja perusteita

Taustatietoja ja perusteita Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1 Avoin pallo:

Lisätiedot

Luento 9: Yhtälörajoitukset optimoinnissa

Luento 9: Yhtälörajoitukset optimoinnissa Luento 9: Yhtälörajoitukset optimoinnissa Lagrangen kerroin Oletetaan aluksi, että f, g : R R. Merkitään (x 1, x ) := (x, y) ja johdetaan Lagrangen kerroin λ tehtävälle min f(x, y) s.t. g(x, y) = 0 Olkoon

Lisätiedot

Matematiikka B2 - Avoin yliopisto

Matematiikka B2 - Avoin yliopisto 6. elokuuta 2012 Opetusjärjestelyt Luennot 9:15-11:30 Harjoitukset 12:30-15:00 Tentti Kurssin sisältö (1/2) Matriisit Laskutoimitukset Lineaariset yhtälöryhmät Gaussin eliminointi Lineaarinen riippumattomuus

Lisätiedot

12. Hessen matriisi. Ääriarvoteoriaa

12. Hessen matriisi. Ääriarvoteoriaa 179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot

Lisätiedot

1 Kertaus. Lineaarinen optimointitehtävä on muotoa:

1 Kertaus. Lineaarinen optimointitehtävä on muotoa: 1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n

Lisätiedot

Luento 8: Epälineaarinen optimointi

Luento 8: Epälineaarinen optimointi Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään

Lisätiedot

Tyyppi metalli puu lasi työ I 2 8 6 6 II 3 7 4 7 III 3 10 3 5

Tyyppi metalli puu lasi työ I 2 8 6 6 II 3 7 4 7 III 3 10 3 5 MATRIISIALGEBRA Harjoitustehtäviä syksy 2014 Tehtävissä 1-3 käytetään seuraavia matriiseja: ( ) 6 2 3, B = 7 1 2 2 3, C = 4 4 2 5 3, E = ( 1 2 4 3 ) 1 1 2 3 ja F = 1 2 3 0 3 0 1 1. 6 2 1 4 2 3 2 1. Määrää

Lisätiedot

Yleiset lineaarimuunnokset

Yleiset lineaarimuunnokset TAMPEREEN YLIOPISTO Pro gradu -tutkielma Kari Tuominen Yleiset lineaarimuunnokset Matematiikan ja tilastotieteen laitos Matematiikka Toukokuu 29 Tampereen yliopisto Matematiikan ja tilastotieteen laitos

Lisätiedot

Talousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu

Talousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Talousmatematiikan perusteet: Luento 13 Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Viime luennolla Aloimme tarkastella yleisiä, usean muuttujan funktioita

Lisätiedot

2 Konveksisuus ja ratkaisun olemassaolo

2 Konveksisuus ja ratkaisun olemassaolo 2 Konveksisuus ja ratkaisun olemassaolo Ratkaisun olemassaolon tutkimiseen tarvitaan perustietoja konvekseista joukoista ja lineaarialgebrasta. Niitä tarvitaan myös ratkaisualgoritmin ymmärtämiseen. Tutkitaan

Lisätiedot

Matemaattinen Analyysi / kertaus

Matemaattinen Analyysi / kertaus Matemaattinen Analyysi / kertaus Ensimmäinen välikoe o { 2x + 3y 4z = 2 5x 2y + 5z = 7 ( ) x 2 3 4 y = 5 2 5 z ) ( 3 + y 2 ( 2 x 5 ( 2 7 ) ) ( 4 + z 5 ) = ( 2 7 ) yhteys determinanttiin Yhtälöryhmän ratkaiseminen

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila

Lisätiedot

Matematiikka B2 - TUDI

Matematiikka B2 - TUDI Matematiikka B2 - TUDI Miika Tolonen 3. syyskuuta 2012 Miika Tolonen Matematiikka B2 - TUDI 1 Kurssin sisältö (1/2) Matriisit Laskutoimitukset Lineaariset yhtälöryhmät Gaussin eliminointi Lineaarinen riippumattomuus

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 9 1 Implisiittinen derivointi Tarkastellaan nyt yhtälöä F(x, y) = c, jossa x ja y ovat muuttujia ja c on vakio Esimerkki tällaisesta yhtälöstä on x 2 y 5 + 5xy = 14

Lisätiedot

min x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2

min x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2 TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-39 Optimointioppi Kimmo Berg 6 harjoitus - ratkaisut min x + x x + x = () x f = 4x, h = x 4x + v = { { x + v = 4x + v = x = v/ x = v/4 () v/ v/4

Lisätiedot

Konjugaattigradienttimenetelmä

Konjugaattigradienttimenetelmä Konjugaattigradienttimenetelmä Keijo Ruotsalainen Division of Mathematics Konjugaattigradienttimenetelmä Oletukset Matriisi A on symmetrinen: A T = A Positiivisesti definiitti: x T Ax > 0 kaikille x 0

Lisätiedot

TEKNILLINEN TIEDEKUNTA, MATEMATIIKAN JAOS

TEKNILLINEN TIEDEKUNTA, MATEMATIIKAN JAOS 1. Suorakaiteen muotoisen lämmönvaraajan korkeus on K, leveys L ja syvyys S yksikköä. Konvektiosta ja säteilystä johtuvat lämpöhäviöt ovat verrannollisia lämmönvaraajan lämpötilan T ja ympäristön lämpötilan

Lisätiedot

b 1. b m ) + ( 2b Ax) + (b b)

b 1. b m ) + ( 2b Ax) + (b b) TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}

Lisätiedot

2.5. Matriisin avaruudet ja tunnusluvut

2.5. Matriisin avaruudet ja tunnusluvut 2.5. Matriisin avaruudet ja tunnusluvut m n-matriisi A Lineaarikuvaus A : V Z, missä V ja Z ovat sopivasti valittuja, dim V = n, dim Z = m (yleensä V = R n tai C n ja Z = R m tai C m ) Kuva-avaruus ja

Lisätiedot

2 Osittaisderivaattojen sovelluksia

2 Osittaisderivaattojen sovelluksia 2 Osittaisderivaattojen sovelluksia 2.1 Ääriarvot Yhden muuttujan funktiolla f(x) on lokaali maksimiarvo (lokaali minimiarvo) pisteessä a, jos f(x) f(a) (f(x) f(a)) kaikilla x:n arvoilla riittävän lähellä

Lisätiedot

FUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto

FUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto FUNKTIONAALIANALYYSIN PERUSKURSSI 1. Johdanto Funktionaalianalyysissa tutkitaan muun muassa ääretönulotteisten vektoriavaruuksien, ja erityisesti täydellisten normiavaruuksien eli Banach avaruuksien ominaisuuksia.

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21

Lisätiedot

Este- ja sakkofunktiomenetelmät

Este- ja sakkofunktiomenetelmät Este- ja sakkofunktiomenetelmät Keijo Ruotsalainen Mathematics Division Luennon kulku Este- ja sisäpistemenetelmät LP-ongelmat ja logaritminen estefunktio Polun seuranta Newtonin menetelmällä Sakkofunktiomenetelmistä

Lisätiedot

Lineaarialgebra ja matriisilaskenta II. LM2, Kesä /141

Lineaarialgebra ja matriisilaskenta II. LM2, Kesä /141 Lineaarialgebra ja matriisilaskenta II LM2, Kesä 2012 1/141 Kertausta: avaruuden R n vektorit Määritelmä Oletetaan, että n {1, 2, 3,...}. Avaruuden R n alkiot ovat jonoja, joissa on n kappaletta reaalilukuja.

Lisätiedot

1 Euklidiset avaruudet R n

1 Euklidiset avaruudet R n 1 Euklidiset avaruudet R n Tässä osiossa käymme läpi Euklidisten avaruuksien R n perusominaisuuksia. Olkoon n N + positiivinen kokonaisluku. Euklidinen avaruus R n on joukko R n = {(x 1, x 2,..., x n )

Lisätiedot

1 Lineaariavaruus eli Vektoriavaruus

1 Lineaariavaruus eli Vektoriavaruus 1 Lineaariavaruus eli Vektoriavaruus 1.1 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä V epätyhjä joukko. Oletetaan, että joukossa V on määritelty laskutoimitus

Lisätiedot

1 Matriisit ja lineaariset yhtälöryhmät

1 Matriisit ja lineaariset yhtälöryhmät 1 Matriisit ja lineaariset yhtälöryhmät 11 Yhtälöryhmä matriisimuodossa m n-matriisi sisältää mn kpl reaali- tai kompleksilukuja, jotka on asetetettu suorakaiteen muotoiseksi kaavioksi: a 11 a 12 a 1n

Lisätiedot

(1.1) Ae j = a k,j e k.

(1.1) Ae j = a k,j e k. Lineaarikuvauksen determinantti ja jälki 1. Lineaarikuvauksen matriisi. Palautetaan mieleen, mikä lineaarikuvauksen matriisi annetun kannan suhteen on. Olkoot V äärellisulotteinen vektoriavaruus, n = dim

Lisätiedot

1 Rajoittamaton optimointi

1 Rajoittamaton optimointi Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y

Lisätiedot

Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44

Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Tehtävät 1-3 lasketaan alkuviikon harjoituksissa, verkkotehtävien dl on lauantaina aamuyöllä. Tehtävät 4 ja 5 lasketaan loppuviikon harjoituksissa.

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2

Lisätiedot

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Jarmo Malinen Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto Kevät 2016 1 Perustuu

Lisätiedot

802320A LINEAARIALGEBRA OSA I

802320A LINEAARIALGEBRA OSA I 802320A LINEAARIALGEBRA OSA I Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 72 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä

Lisätiedot

Ellipsoidimenetelmä. Samuli Leppänen Kokonaislukuoptimointi. S ysteemianalyysin Laboratorio

Ellipsoidimenetelmä. Samuli Leppänen Kokonaislukuoptimointi. S ysteemianalyysin Laboratorio Ellipsoidimenetelmä Kokonaislukuoptimointi Sovelletun matematiikan lisensiaattiseminaari Kevät 2008 / 1 Sisällys Ellipsoidimenetelmän geometrinen perusta ja menetelmän idea Formaali ellipsoidimenetelmä

Lisätiedot

Lineaarisen ohjelman määritelmä. Joonas Vanninen

Lineaarisen ohjelman määritelmä. Joonas Vanninen Lineaarisen ohjelman määritelmä Joonas Vanninen Sisältö Yleinen optimointitehtävä Kombinatorinen tehtävä Optimointiongelman tapaus Naapurusto Paikallinen ja globaali optimi Konveksi optimointitehtävä Lineaarinen

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M Hirvensalo mikhirve@utufi V Junnila viljun@utufi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M Hirvensalo mikhirve@utufi V Junnila viljun@utufi Luentokalvot 5 1

Lisätiedot

MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi

MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi Antti Rasila Aalto-yliopisto Syksy 2015 Antti Rasila (Aalto-yliopisto) MS-A0202 Syksy 2015 1

Lisätiedot

MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio.

MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Riikka Korte Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto

Lisätiedot

Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi.

Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Konveksisuus Muista x + αd, α 0, on pisteestä x R n alkava puolisuora, joka on vektorin d suuntainen. Samoin

Lisätiedot

HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina klo

HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina klo HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina 10.8.2015 klo 16.15. Tehtäväsarja I Tutustu lukuun 15, jossa vektoriavaruuden

Lisätiedot

Mat Lineaarinen ohjelmointi

Mat Lineaarinen ohjelmointi Mat-2.3140 Lineaarinen ohjelmointi 4.10.2007 Luento 4 Ekstreemipisteiden optimaalisuus ja Simplex (kirja 2.4-2.6, 3.1-3.2) Lineaarinen ohjelmointi - Syksy 2007 / 1 Luentorunko Degeneroituvuus Ekstreemipisteiden

Lisätiedot

9. Lineaaristen differentiaaliyhtälöiden ratkaisuavaruuksista

9. Lineaaristen differentiaaliyhtälöiden ratkaisuavaruuksista 29 9 Lineaaristen differentiaaliyhtälöiden ratkaisuavaruuksista Tarkastelemme kertalukua n olevia lineaarisia differentiaaliyhtälöitä y ( x) + a ( x) y ( x) + + a ( x) y( x) + a ( x) y= b( x) ( n) ( n

Lisätiedot

6. Luennon sisältö. Lineaarisen optimoinnin duaaliteoriaa

6. Luennon sisältö. Lineaarisen optimoinnin duaaliteoriaa JYVÄSKYLÄN YLIOPISTO 6. Luennon sisältö Lineaarisen optimoinnin duaaliteoriaa työkalu ratkaisun analysointiin Jälki- ja herkkyysanalyysiä mitä tapahtuu optimiratkaisulle, jos tehtävän vakiot hieman muuttuvat

Lisätiedot

Päättelyn voisi aloittaa myös edellisen loppupuolelta ja näyttää kuten alkupuolella, että välttämättä dim W < R 1 R 1

Päättelyn voisi aloittaa myös edellisen loppupuolelta ja näyttää kuten alkupuolella, että välttämättä dim W < R 1 R 1 Lineaarialgebran kertaustehtävien b ratkaisuista. Määritä jokin kanta sille reaalikertoimisten polynomien lineaariavaruuden P aliavaruudelle, jonka virittää polynomijoukko {x, x+, x x }. Ratkaisu. Olkoon

Lisätiedot

KKT: log p i v 1 + v 2 x i = 0, i = 1,...,n.

KKT: log p i v 1 + v 2 x i = 0, i = 1,...,n. TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-2.139 Optimointioppi Kimmo Berg 7. harjoitus - ratkaisut 1. Oletetaan aluksi, että epäyhtälöt eivät ole aktiivisia p i > 0. Tässä tapauksess KKTehdot

Lisätiedot

Matikkapaja keskiviikkoisin klo Lineaarialgebra (muut ko) p. 1/210

Matikkapaja keskiviikkoisin klo Lineaarialgebra (muut ko) p. 1/210 Matikkapaja keskiviikkoisin klo 14-16 Lineaarialgebra (muut ko) p. 1/210 Lineaarialgebra (muut ko) p. 2/210 Operaatiot Vektoreille u = (u 1,u 2 ) ja v = (v 1,v 2 ) Yhteenlasku: u+v = (u 1 +v 1,u 2 +v 2

Lisätiedot

Sisätuloavaruudet. 4. lokakuuta 2006

Sisätuloavaruudet. 4. lokakuuta 2006 Sisätuloavaruudet 4. lokakuuta 2006 Tässä esityksessä vektoriavaruudet V ja W ovat kompleksisia ja äärellisulotteisia. Käydään ensin lyhyesti läpi määritelmiä ja perustuloksia. Merkitään L(V, W ) :llä

Lisätiedot

Luento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja

Luento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja Luento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja Seuraavassa esitetään optimointitehtävien numeerisia ratkaisumenetelmiä, eli optimointialgoritmeja, keittokirjamaisesti.

Lisätiedot

f(x, y) = x 2 y 2 f(0, t) = t 2 < 0 < t 2 = f(t, 0) kaikilla t 0.

f(x, y) = x 2 y 2 f(0, t) = t 2 < 0 < t 2 = f(t, 0) kaikilla t 0. Ääriarvon laatu Jatkuvasti derivoituvan funktion f lokaali ääriarvokohta (x 0, y 0 ) on aina kriittinen piste (ts. f x (x, y) = f y (x, y) = 0, kun x = x 0 ja y = y 0 ), mutta kriittinen piste ei ole aina

Lisätiedot

Liittomatriisi. Liittomatriisi. Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä. 1) i+j det A ij.

Liittomatriisi. Liittomatriisi. Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä. 1) i+j det A ij. Liittomatriisi Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä (cof A) ij =( 1) i+j det A ij kaikilla i, j = 1,...,n. Huomautus 8 Olkoon A 2 M(n, n). Tällöin kaikilla

Lisätiedot

HILBERTIN AVARUUDET 802652S MIKAEL LINDSTRÖM KEVÄÄN 2010 ANALYYSI 3 -LUENTOJEN PERUSTEELLA TOIMITTANEET TOMI ALASTE JA LAURI BERKOVITS

HILBERTIN AVARUUDET 802652S MIKAEL LINDSTRÖM KEVÄÄN 2010 ANALYYSI 3 -LUENTOJEN PERUSTEELLA TOIMITTANEET TOMI ALASTE JA LAURI BERKOVITS HILBRTIN AVARUUDT 802652S MIKAL LINDSTRÖM KVÄÄN 2010 ANALYYSI 3 -LUNTOJN PRUSTLLA TOIMITTANT TOMI ALAST JA LAURI BRKOVITS Sisältö 1 Hilbertin Avaruudet 3 1.1 Normi- ja L p -avaruudet........................

Lisätiedot

= 2±i2 7. x 2 = 0, 1 x 2 = 0, 1+x 2 = 0.

= 2±i2 7. x 2 = 0, 1 x 2 = 0, 1+x 2 = 0. HARJOITUS 1, RATKAISUEHDOTUKSET, YLE11 2017. 1. Ratkaise (a.) 2x 2 16x 40 = 0 (b.) 4x 2 2x+2 = 0 (c.) x 2 (1 x 2 )(1+x 2 ) = 0 (d.) lnx a = b. (a.) Toisen asteen yhtälön ratkaisukaavalla: x = ( 16)± (

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 8 1 Suunnattu derivaatta Aluksi tarkastelemme vektoreita, koska ymmärrys vektoreista helpottaa alla olevien asioiden omaksumista. Kun liikutaan tasossa eli avaruudessa

Lisätiedot

Duaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki

Duaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Duaalisuus kokonaislukuoptimoinnissa Mat-2.4191, Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Sisältö Duaalisuus binäärisissä optimointitehtävissä Lagrangen duaalisuus Lagrangen

Lisätiedot

802118P Lineaarialgebra I (4 op)

802118P Lineaarialgebra I (4 op) 802118P Lineaarialgebra I (4 op) Tero Vedenjuoksu Oulun yliopisto Matemaattisten tieteiden laitos 2012 Lineaarialgebra I Yhteystiedot: Tero Vedenjuoksu tero.vedenjuoksu@oulu.fi Työhuone M206 Kurssin kotisivu

Lisätiedot

Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja

Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja 7 NELIÖMATRIISIN DIAGONALISOINTI. Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T () Muistutus: Kokoa n olevien vektorien

Lisätiedot

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0. Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi

Lisätiedot

Osoita, että täsmälleen yksi vektoriavaruuden ehto ei ole voimassa.

Osoita, että täsmälleen yksi vektoriavaruuden ehto ei ole voimassa. LINEAARIALGEBRA Harjoituksia 2016 1. Olkoon V = R 2 varustettuna tavallisella yhteenlaskulla. Määritellään reaaliluvulla kertominen seuraavasti: λ (x 1, x 2 ) = (λx 1, 0) (x 1, x 2 ) R 2 ja λ R. Osoita,

Lisätiedot

Lineaarialgebra (muut ko)

Lineaarialgebra (muut ko) Lineaarialgebra (muut ko) p. 1/103 Lineaarialgebra (muut ko) Tero Laihonen Lineaarialgebra (muut ko) p. 2/103 Operaatiot Vektoreille u = (u 1,u 2 ) ja v = (v 1,v 2 ) Yhteenlasku: u+v = (u 1 +v 1,u 2 +v

Lisätiedot

JYVÄSKYLÄN YLIOPISTO. 3. Luennon sisältö

JYVÄSKYLÄN YLIOPISTO. 3. Luennon sisältö JYVÄSKYLÄN YLIOPISTO 3. Luennon sisältö Lineaarisen optimointitehtävän sallittu alue Optimointitehtävien muunnoksia Lineaarisen yhtälöryhmän perusmuoto ja perusratkaisut Lineaarisen optimointitehtävän

Lisätiedot

Antti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16

Antti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16 MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Antti Rasila Matematiikan ja systeemianalyysin laitos

Lisätiedot

Lineaarialgebra ja differentiaaliyhtälöt Harjoitus 4 / Ratkaisut

Lineaarialgebra ja differentiaaliyhtälöt Harjoitus 4 / Ratkaisut MS-C34 Lineaarialgebra ja differentiaaliyhtälöt, IV/26 Lineaarialgebra ja differentiaaliyhtälöt Harjoitus 4 / t Alkuviikon tuntitehtävä Hahmottele matriisia A ( 2 6 3 vastaava vektorikenttä Matriisia A

Lisätiedot

4.5 Kaksivaiheinen menetelmä simplex algoritmin alustukseen

4.5 Kaksivaiheinen menetelmä simplex algoritmin alustukseen 4.5 Kaksivaiheinen menetelmä simplex algoritmin alustukseen Käypä kantaratkaisu löytyy helposti, esimerkiksi tapauksessa Ax b, b 0 x 0 jolloin sen määräävät puutemuuttujat. Tällöin simplex-menetelmän alustus

Lisätiedot

Lineaarinen optimointi. Harjoitus 6-7, Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän. c T x = min!

Lineaarinen optimointi. Harjoitus 6-7, Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän. c T x = min! Lineaarinen optimointi Harjoitus 6-7, 016. 1. Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän c T x = min! (T) Ax b x 0 duaalitehtävän duaali on tehtävä (T). Ratkaisu. (P) c T x = min! Ax b x

Lisätiedot

1 Ominaisarvot ja ominaisvektorit

1 Ominaisarvot ja ominaisvektorit 1 Ominaisarvot ja ominaisvektorit Olkoon A = [a jk ] n n matriisi. Tarkastellaan vektoriyhtälöä Ax = λx, (1) 1 missä λ on luku. Sellaista λ:n arvoa, jolla yhtälöllä on ratkaisu x 0, kutsutaan matriisin

Lisätiedot

MAT-41150 Algebra I (s) periodilla IV 2012 Esko Turunen

MAT-41150 Algebra I (s) periodilla IV 2012 Esko Turunen MAT-41150 Algebra I (s) periodilla IV 2012 Esko Turunen Tehtävä 1. Onko joukon X potenssijoukon P(X) laskutoimitus distributiivinen laskutoimituksen suhteen? Onko laskutoimitus distributiivinen laskutoimituksen

Lisätiedot

Ortogonaalisen kannan etsiminen

Ortogonaalisen kannan etsiminen Ortogonaalisen kannan etsiminen Lause 94 (Gramin-Schmidtin menetelmä) Oletetaan, että B = ( v 1,..., v n ) on sisätuloavaruuden V kanta. Merkitään V k = span( v 1,..., v k ) ja w 1 = v 1 w 2 = v 2 v 2,

Lisätiedot

Luento 9: Newtonin iteraation sovellus: optimointiongelma

Luento 9: Newtonin iteraation sovellus: optimointiongelma Luento 9: Newtonin iteraation sovellus: optimointiongelma ilman rajoitusehtoja Optimointiongelmassa tehtävänä on löytää annetun reaaliarvoisen jatkuvan funktion f(x 1,x,,x n ) maksimi tai minimi jossain

Lisätiedot

6 MATRIISIN DIAGONALISOINTI

6 MATRIISIN DIAGONALISOINTI 6 MATRIISIN DIAGONALISOINTI Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T Muistutus: vektorien a ja b pistetulo (skalaaritulo,

Lisätiedot

Ominaisarvo ja ominaisvektori

Ominaisarvo ja ominaisvektori Ominaisarvo ja ominaisvektori Määritelmä Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka

Lisätiedot

Ratkaisuehdotukset LH 7 / vko 47

Ratkaisuehdotukset LH 7 / vko 47 MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [

Lisätiedot

Kuvaus. Määritelmä. LM2, Kesä /160

Kuvaus. Määritelmä. LM2, Kesä /160 Kuvaus Määritelmä Oletetaan, että X ja Y ovat joukkoja. Kuvaus eli funktio joukosta X joukkoon Y on sääntö, joka liittää jokaiseen joukon X alkioon täsmälleen yhden alkion, joka kuuluu joukkoon Y. Merkintä

Lisätiedot

Mat Lineaarinen ohjelmointi

Mat Lineaarinen ohjelmointi Mat-.4 Lineaarinen ohjelmointi..7 Luento 7 Duaalisimple ja herkkyysanalyysi (kirja 4.5, 5., 5.5-5.6) Lineaarinen ohjelmointi - Syksy 7 / Duaalisimple Herkkyysanalyysi Luentorunko Parametrinen ohjelmointi

Lisätiedot

Lineaarialgebra ja matriisilaskenta I. LM1, Kesä /218

Lineaarialgebra ja matriisilaskenta I. LM1, Kesä /218 Lineaarialgebra ja matriisilaskenta I LM1, Kesä 2012 1/218 Avaruuden R 2 vektorit Määritelmä (eli sopimus) Avaruus R 2 on kaikkien reaalilukuparien joukko; toisin sanottuna R 2 = { (a, b) a R ja b R }.

Lisätiedot

(0 desimaalia, 2 merkitsevää numeroa).

(0 desimaalia, 2 merkitsevää numeroa). NUMEERISET MENETELMÄT DEMOVASTAUKSET SYKSY 20.. (a) Absoluuttinen virhe: ε x x ˆx /7 0.4 /7 4/00 /700 0.004286. Suhteellinen virhe: ρ x x ˆx x /700 /7 /00 0.00 0.%. (b) Kahden desimaalin tarkkuus x ˆx

Lisätiedot

6. OMINAISARVOT JA DIAGONALISOINTI

6. OMINAISARVOT JA DIAGONALISOINTI 0 6 OMINAISARVOT JA DIAGONALISOINTI 6 Ominaisarvot ja ominaisvektorit Olkoon V äärellisulotteinen vektoriavaruus, dim(v ) = n ja L : V V lineaarikuvaus Määritelmä 6 Skalaari λ R on L:n ominaisarvo, jos

Lisätiedot

Matriisien tulo. Matriisit ja lineaarinen yhtälöryhmä

Matriisien tulo. Matriisit ja lineaarinen yhtälöryhmä Matriisien tulo Lause Olkoot A, B ja C matriiseja ja R Tällöin (a) A(B + C) =AB + AC, (b) (A + B)C = AC + BC, (c) A(BC) =(AB)C, (d) ( A)B = A( B) = (AB), aina, kun kyseiset laskutoimitukset on määritelty

Lisätiedot

Matriisi-vektori-kertolasku, lineaariset yhtälöryhmät

Matriisi-vektori-kertolasku, lineaariset yhtälöryhmät Matematiikan peruskurssi K3/P3, syksy 25 Kenrick Bingham 825 Toisen välikokeen alueen ydinasioita Alla on lueteltu joitakin koealueen ydinkäsitteitä, joiden on hyvä olla ensiksi selvillä kokeeseen valmistauduttaessa

Lisätiedot

JAKSO 2 KANTA JA KOORDINAATIT

JAKSO 2 KANTA JA KOORDINAATIT JAKSO 2 KANTA JA KOORDINAATIT Kanta ja dimensio Tehtävä Esittele vektoriavaruuden kannan määritelmä vapauden ja virittämisen käsitteiden avulla ja anna vektoriavaruuden dimension määritelmä Esittele Lause

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot

Lisätiedot

Lineaarinen optimointitehtävä

Lineaarinen optimointitehtävä Lineaarinen optimointitehtävä Minimointitehtävä yhtälörajoittein: min kun n j=1 n j=1 c j x j a ij x j = b i x j 0 j = 1,..., n i = 1,..., m Merkitään: z = alkuperäisen objektifunktion arvo käsiteltävänä

Lisätiedot

Lineaarikuvauksen R n R m matriisi

Lineaarikuvauksen R n R m matriisi Lineaarikuvauksen R n R m matriisi Lauseessa 21 osoitettiin, että jokaista m n -matriisia A vastaa lineaarikuvaus L A : R n R m, jolla L A ( v) = A v kaikilla v R n. Osoitetaan seuraavaksi käänteinen tulos:

Lisätiedot

Käänteismatriisin ominaisuuksia

Käänteismatriisin ominaisuuksia Käänteismatriisin ominaisuuksia Lause 1.4. Jos A ja B ovat säännöllisiä ja luku λ 0, niin 1) (A 1 ) 1 = A 2) (λa) 1 = 1 λ A 1 3) (AB) 1 = B 1 A 1 4) (A T ) 1 = (A 1 ) T. Tod.... Ortogonaaliset matriisit

Lisätiedot

. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1

. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1 TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-.39 Optimointioppi Kimmo Berg 8. harjoitus - ratkaisut. a)huomataan ensinnäkin että kummankin jonon raja-arvo r on nolla. Oletetaan lisäksi että

Lisätiedot

5 OMINAISARVOT JA OMINAISVEKTORIT

5 OMINAISARVOT JA OMINAISVEKTORIT 5 OMINAISARVOT JA OMINAISVEKTORIT Ominaisarvo-ongelma Käsitellään neliömatriiseja: olkoon A n n-matriisi. Luku on matriisin A ominaisarvo (eigenvalue), jos on olemassa vektori x siten, että Ax = x () Yhtälön

Lisätiedot

5 Differentiaaliyhtälöryhmät

5 Differentiaaliyhtälöryhmät 5 Differentiaaliyhtälöryhmät 5.1 Taustaa ja teoriaa Differentiaaliyhtälöryhmiä tarvitaan useissa sovelluksissa. Toinen motivaatio yhtälöryhmien käytölle: Korkeamman asteen differentiaaliyhtälöt y (n) =

Lisätiedot

Matriisiteoria Harjoitus 1, kevät Olkoon. cos α sin α A(α) = . sin α cos α. Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on?

Matriisiteoria Harjoitus 1, kevät Olkoon. cos α sin α A(α) = . sin α cos α. Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on? Harjoitus 1, kevät 007 1. Olkoon [ ] cos α sin α A(α) =. sin α cos α Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on?. Olkoon a x y A = 0 b z, 0 0 c missä a, b, c 0. Määrää käänteismatriisi

Lisätiedot

2.8. Kannanvaihto R n :ssä

2.8. Kannanvaihto R n :ssä 28 Kannanvaihto R n :ssä Seuraavassa kantavektoreiden { x, x 2,, x n } järjestystä ei saa vaihtaa Vektorit ovat pystyvektoreita ( x x 2 x n ) on vektoreiden x, x 2,, x n muodostama matriisi, missä vektorit

Lisätiedot

Iteratiiviset ratkaisumenetelmät

Iteratiiviset ratkaisumenetelmät Iteratiiviset ratkaisumenetelmät Keijo Ruotsalainen Division of Mathematics Yleinen iteraatio Lineaarisen yhtälöryhmän iteratiivinen ratkaisumenetelmä voidaan esittää muodossa: Anna alkuarvaus: x 0 R n

Lisätiedot

MS-A0003/A0005 Matriisilaskenta Laskuharjoitus 2 / vko 45

MS-A0003/A0005 Matriisilaskenta Laskuharjoitus 2 / vko 45 MS-A3/A5 Matriisilaskenta Laskuharjoitus 2 / vko 45 Tehtävä (L): Hahmottele kompleksitasoon ne pisteet, jotka toteuttavat a) z 2i = 2, b) z 2i < 2, c) /z

Lisätiedot

Talousmatematiikan perusteet: Luento 14. Rajoitettu optimointi Lagrangen menetelmä: yksi yhtälörajoitus Lagrangen menetelmä: monta yhtälörajoitusta

Talousmatematiikan perusteet: Luento 14. Rajoitettu optimointi Lagrangen menetelmä: yksi yhtälörajoitus Lagrangen menetelmä: monta yhtälörajoitusta Talousmatematiikan perusteet: Luento 14 Rajoitettu optimointi Lagrangen menetelmä: yksi yhtälörajoitus Lagrangen menetelmä: monta yhtälörajoitusta Viime luennolla Tarkastelimme usean muuttujan funktioiden

Lisätiedot

Johdatus lineaarialgebraan

Johdatus lineaarialgebraan Johdatus lineaarialgebraan Osa II Lotta Oinonen, Johanna Rämö 28. lokakuuta 2014 Helsingin yliopisto Matematiikan ja tilastotieteen laitos Sisältö 15 Vektoriavaruus....................................

Lisätiedot

3 Simplex-menetelmä. c T x = min! Ax = b (x R n ) (3.1) x 0. Tarvittaessa sarakkeiden järjestystä voidaan vaihtaa, joten voidaan oletetaan, että

3 Simplex-menetelmä. c T x = min! Ax = b (x R n ) (3.1) x 0. Tarvittaessa sarakkeiden järjestystä voidaan vaihtaa, joten voidaan oletetaan, että 3 Simplex-menetelmä Lähdetään jostakin annettuun LP-tehtävään liittyvästä käyvästä perusratkaisusta x (0) ja pyritään muodostamaan jono x (1), x (2),... käypiä perusratkaisuja siten, että eräässä vaiheessa

Lisätiedot

Matikkapaja keskiviikkoisin klo Lineaarialgebra (muut ko) p. 1/81

Matikkapaja keskiviikkoisin klo Lineaarialgebra (muut ko) p. 1/81 Matikkapaja keskiviikkoisin klo 14-16 Lineaarialgebra (muut ko) p. 1/81 Lineaarialgebra (muut ko) p. 2/81 Operaatiot Vektoreille u = (u 1,u 2 ) ja v = (v 1,v 2 ) Yhteenlasku: u+v = (u 1 +v 1,u 2 +v 2 )

Lisätiedot