OPTIMOINNIN PERUSTEET. Keijo Ruotsalainen
|
|
- Jarkko Kouki
- 8 vuotta sitten
- Katselukertoja:
Transkriptio
1 OPTIMOINNIN PERUSTEET Keijo Ruotsalainen 23. marraskuuta 2009
2 2 Johdanto Kurssin tavoitteena on tutustuttaa tavallisimpiin optimointi-algoritmeihin ja niiden käyttöön sovellutuksissa. Kurssimateriaali jakaantuu neljään eri osaan. Alussa lyhyesti kerrataan matriisialgebrasta tarvittavia peruskäsitteitä. Toisessa osassa keskitytään lineaarisen optimoinnin menetelmiin, joista tarkemmin analysoidaan Simplexalgoritmia, Karmarkarin menetelmää. Menetelmiä sovelletaan tavallisimpiin operaatiotutkimuksen ongelmiin, kuten kuljetusongelman ja tuotannon allokointiongelman ratkaisemiseen. Kolmannessa osassa tarkastellaan epälineaarisen optimoinnin perusalgoritmeja. Aluksi ongelmat ovat rajoittamattomia, ts. sanoen funktion minimiä haetaan koko vektoriavaruudesta. Tavoitteena on tutkia konjugaattigradienttimenetelmien käyttöä epälineaaristen ongelmien ratkaisemiseen. Jos rajoitejoukko on vektoriavaruuden aito osajoukko, sovelletaan epälineaarisen optimointiongelman ratkaisemiseen sakkofunktiomenetelmiä. Viimeisessä luvussa perehdytään diskreetin optimoinnin (kokonaislukuoptimoinnin) menetelmiin. Lähinnä tarkastellaan kauppamatkustajan ongelman ratkaisumenetelmiä, kuin myös sovelletaan kombinatorisen optimoinnin menetelmiä peliteoriaan ja sen sovellutuksiin.
3 Sisältö Matemaattiset perusteet 5. Vektoriavaruus Matriiseista Lineaarinen optimointi 2. Standardimuotoinen ongelma Olemassaolo Simplex-algoritmi Kärkipisteen vaihto Simplex-taulukko Kaksivaiheinen Simplex-algoritmi Antisyklitekniikat Duaalisuus Kuhn-Tuckerin ehdot Duaali-simplex-algoritmi Karmarkarin menetelmä Johdatteleva esimerkki Karmarkarin skaalausalgoritmi
4 4 SISÄLTÖ
5 Luku Matemaattiset perusteet. Vektoriavaruus Vektoriavaruuden määritelmä Vektoriavaruus R n koostuu alkioista x = joita jatkossa kutsutaan vektoreiksi. Joukkoon määritellään vektoriavaruuden struktuuri määrittelemällä laskutoimitukset vektorisumma ja luvulla kertominen: Kaikille u R n, v R n ja λ R u + v = λ u = x x 2. x n, u + v u 2 + v 2. u n + v n λu λu 2 (.).. (.2) λu n Edellä määritellyt laskutoimitukset ovat siten suljettuja R n :ssä. Lisäksi joukon R n alkiot varustettuna em. laskutoimituksilla toteuttavat seuraavat vektoriavaruuden aksiomat: 5
6 6 LUKU. MATEMAATTISET PERUSTEET Propositio.. Vektoreiden yhteenlasku on kommutatiivinen: u + v = v + u; 2. On olemassa nollavektori O siten, että u + O = u, 0 O = 0. ; 0 3. Summa on assosiatiivinen: u + ( v + w) = ( u + v) + w; 4. Jokaiselle vektorille on olemassa vastavektori u siten, että 5. λ(µ u) = (λµ) u; 6. (λ + µ) u = λ u + µ u; 7. λ( u + v) = λ u + λ v; u + ( u) = O; 8. On olemassa kertolaskun neutraalialkio R: u = u. Kanta ja dimensio Vektori u on vektoreiden { v,..., v k } lineaarikombinaatio, jos on olemassa luvut λ,..., λ k siten, että u = λ v + λ 2 v λ k v k. Määritelmä.. Vektorit { v,..., v k } ovat lineaarisesti riippumattomia jos ja vain jos yhtälön λ v + λ 2 v λ k v k = O ainoa ratkaisu on triviaaliratkaisu: λ = λ 2 = = λ k = Vektorit { v,..., v k } ovat lineaarisesti riippuvia jos ja vain jos yhtälöllä on nollasta eroavia ratkaisuja. λ v + λ 2 v λ k v k = O
7 .. VEKTORIAVARUUS 7 Kahden vektorin tapauksessa lineaarisesti riippuvat vektoreiden sanotaan olevan yhdensuuntaisia: u v On olemassa λ R : u = λ v. Propositio 2. Vektorit { v,..., v k } ovat lineaarisesti riippuvia jos ja vain jos eräs vektoreista v j voidaan lausua muiden lineaarikombinaationa, ts. Propositio 3. Olkoon u = v j = [ ux u y k i = i j ] µ i v i. ja v = [ vx v y ] kaksi R 2 :n vektoria. Vektorit ovat lineaarisesti riippumattomia, jos ja vain jos determinantti u x v x = u xv y u y v x 0. u y v y Määritelmä 2. Vektorit { a,..., a p } muodostavat vektoriavaruuden V kannan, jos ne ovat lineaarisesti riippumattomia; ne virittävät vektoriavaruuden V. Tällöin p = dim(v ) on vektoriavaruuden dimensio. Propositio 4. Olkoon joukko { v,..., v n } vektoriavaruuden R n lineaarisesti riippumattomia vektoreita. Tällöin jokaiselle vektorille u R n on olemassa yksikäsitteisesti luvut λ i R n, i =, 2,..., n siten, että u = n λ i v i. i= Tällöin sanotaan, että vektorit muodostavat vektoriavaruuden kannan. Vektoriavaruuden luonnollinen kanta: 0 e = 0., e 2 = ,, e n = 0. 0.
8 8 LUKU. MATEMAATTISET PERUSTEET.2 Matriiseista Matriisi on m n:n luvun järjestetty kaavio, joka tavallisesti esitetään sarakevektoreidensa avulla: A = [ a a 2 a n ], missä jokainen sarakevektori on R m :n alkio; a j = Olkoon B {,..., n} joku annettu indeksijoukko, ja N = {,..., n}\b sen komplementti. Tällöin merkitään matriisia A lyhyesti a j a 2j. a mj. A = [ A B A N ], missä matriisin A B sarakevektorit vastaavat indeksijoukon B sarakkeita matriisissa A. Matriisien laskutoimitukset Summa: A + B = [ a ij + b ij ] ; Skalaarilla kertominen: ka = [ ka ij ] ; Matriisitulo: Matriisin ja vektorin tulo AB = [ n l= a ilb lj ]. x x 2 Ax = [ ] a a 2 a n. = missä x j R ja jokainen sarakevektori a j R m. Matriisin A transponoitu matriisi x n A T = [ a T ij], a T ij = a ji. n x j a j, Matriisin A käänteismatriisi A : AA = A A = I. Käänteismatriisi voi olla vain neliömatriisilla, so. m = n. j=
9 .2. MATRIISEISTA 9 Matriisin aste Matriisin aste Rank(A) on sen kuva-avaruuden dimensio, so. R(A) = {y R m x R m : Ax = y} Rank(A) = dim(r(a)). Tällöin matriisissa A on Rank(A) lineaarisesti riippumatonta sarakevektoria (ja rivivektoria), ja aina Rank(A) + sarakevektoria ovat lineaarisesti riippuvia. Oletetaan jatkossa, että matriisissa A m n. Sanotaan, että m n- matriisi A on täysiasteinen. jos Rank(A) = m. Tällöin on indeksijoukko B siten, että matriisin A B sarakevektorit muodostavat R m :n kannan. Lisäksi tällöin A:n kuva-avaruus R(A) = R m. Indeksijoukkoa B kutsutaan silloin kantaindeksijoukoksi, ja indeksijoukkoa N ei-kantaindeksijoukoksi. Matriisin ydin N(A) = {x R n Ax = 0}. Lause. Neliömatriiseille (m = n) seuraavat ehdot ovat yhtäpitäviä: (i) Käänteismatriisi on olemassa; (ii) Rank(A) = m; (iii) N(A) = {0}; (iv) Yhtälöryhmällä Ax = b on yksikäsitteinen ratkaisu kaikilla b R n ; (v) det A 0. Matriisin definiittisyys definiitti, jos neliömuoto Symmetrinen matriisi (A T = A) on postiivisesti x T Ax > 0, x 0. Vastaavasti, matriisi on negatiivisesti definiitti, jos neliömuoto on aidosti negatiivinen kaikilla nollasta eroaville vektoreille. Symmetrinen matriisi on positiivisesti semidefiniitti (negatiivisesti semidefiniitti), jos neliömuoto x T Ax 0 (x T Ax 0). Muussa tapauksessa se on indefiniitti.
10 0 LUKU. MATEMAATTISET PERUSTEET Ortogonaalinen matriisi: Matriisi Q on ortogonaalinen, jos Q T Q = QQ T = I. Koska symmetrinen matriisi on diagonalisoituva, niin on olemassa ortogonaalinen matriisi Q siten, että Q T AQ = Λ = diag{λ,, λ n }. Tällöin on ilmeistä, että matriisi A on positiivisesti definiitti, jos ja vain jos sen ominaisarvot ovat positiivisia.
11 Luku 2 Lineaarinen optimointi 2. Standardimuotoinen ongelma Standardimuotoinen lineaarinen optimointiongelma on min Ax = b x 0 v T x, missä (m n)-matriisin A aste on Rank(A) = m < n, vektori b R m, ja v R n on ns. kustannusvektori. Kaikki epäyhtälömuotoiset rajoitteet voidaan palauttaa yhtälömuotoisiksi lisäämällä pelivaramuuttujia, tai vähentämällä ylijäämämuuttujia. Oletetaan, että rajoitevektori b 0. Jos rajoitteet (tai osarajoitteista) on annettu muodossa Ax b, niin lisätään vasemmalle puolelle "pelivaravektori"z R m + siten, että rajoitteet voidaan kirjoittaa muodossa Tällöin ekvivalentti LP-ongelma on min Ax + z = b x, z 0 Ax + z = b. Vastaavasti jos rajoitteet ovat muotoa Ax b, (v T x + 0 T z).
12 2 LUKU 2. LINEAARINEN OPTIMOINTI niin vähennetään vasemmalta puolelta "ylijäämämuuttujat"z 0 siten, että rajoitteet saadaan muotoon Ax z = b. 2.2 Olemassaolo Osoitetaan aluksi. Lause 2. Jos optimointiongelmalla on ratkaisu, niin ainakin yksi kärkipisteistä on myös optimaalinen ratkaisu. Tod.: Oletetaan, että x U = {x 0 Ax = b} on optimaalinen ratkaisu, ts. v T x v T z, z U. Määritellään indeksijoukko I {,..., n} siten, että j I x j > 0. Jos indeksijoukko I =, niin x = 0 ja se on ilmeisesti rajoitejoukon kärkipiste. Joten voidaan olettaa, että I. Jos indeksijoukkoa I vastaavat matriisin A sarakevektorit {a j ; j I} ovat lineaarisesti riippumattomia, niin tarvittaessa indeksijoukkoa voidaan täydentää sopivilla indekseillä i, i 2,..., i p siten, että B = I {i, i 2,..., i p } on kantaindeksijoukko. Tällöin optimaalinen ratkaisu x on kärkipiste, ns. optimaalinen kärkipiste. Oletetaan, että indeksijoukkoa I = {i, i 2,..., i r } vastaavat matriisin A sarakevektorit ovat lineaarisesti riippuvia. Ilmeisesti indeksijoukon kertaluku card(i) = r > m. Koska x ei ole kärkipiste, niin on olemassa vektori w R n siten, että max j=,...,n w j > 0 w j = 0, j I j I w ja j = Aw = 0. Tällöin pisteille x + θw on voimassa ehdot: A(x + θw) = b { xj + θw (x + θw) j = j, jos x j > 0 0, jos x j = 0
13 2.3. SIMPLEX-ALGORITMI 3 Silloin on olemassa luvut θ 0 ja θ siten, että < θ 0 = max{ x j w j ; j I, w j > 0} < 0 0 < θ = min{ x j w j ; j I, w j < 0} Tällöin piste x + θw U, θ [θ 0, θ ]. Koska kaikille θ [θ 0, θ ] v T (x + θw) = v T x + θv T w v T x, niin välttämättä v T w = 0. Näin ollen kaikki pisteet x + θw ovat optimaalisia ratkaisuja. Koska ainakin yksi koordinaateista x j + θ 0 w j = 0 luvun θ 0 määritelmän nojalla, pisteen x + θ 0 w indeksijoukon I = {j; x j + θ 0 w j > 0} kertaluku on aidosti pienempi kuin indeksijoukon I. Jos indeksijoukkoa I vastaavat matriisin sarakevektorit eivät ole lineaarisesti riippumattomia, niin toistetaan edellistä nollakoordinaattien lisäysalgoritmia kunnes sarakevektorit ovat lineaarisesti riippumattomia ja optimaalinen kärkipiste on löytynyt. 2.3 Simplex-algoritmi 2.3. Kärkipisteen vaihto Ennenkuin tarkastellaan kärkipisteen vaihtoalgoritmia, niin palautetaan mieleen kärkipisteen määritelmä. Piste x U on kärkipiste, jos seuraavat ehdot ovat voimassa:. On olemassa kantaindeksijoukko B = {i, i 2,..., i m } siten, että matriisin A sarakevektorit {a i ; i B} ovat lineaarisesti riippumattomat; 2. Kantamuuttujat ratkaisevat yksikäsitteisesti yhtälön x i a i = b; i B 3. { xi 0, i B x i = 0, i B. Jos kärkipisteellä x on täsmälleen m positiivista koordinaattia, niin sanotaan, että se on säännöllinen kärkipiste (ei-degeneroitunut). Tällöin kantaindeksijoukko on yksikäsitteisesti määrätty. Jos positiivisten koordinaattien lukumäärä on pienempi kuin m, niin kantaindeksijoukko ei ole yksikäsitteisesti
14 4 LUKU 2. LINEAARINEN OPTIMOINTI määrätty. Kärkipistettä sanotaan tällöin degeneroituneeksi. Degeneroituneen kärkipisteen vaihdossa tulee olla erityisen huolellinen. Jos kärkipisteen vaihtoalgoritmia ei suunnittele kunnolla, voidaan päätyä sykliseen kärkipisteiden vaihtoon, eikä optimaalista kärkipistettä löydy. Oletetaan seuraavaksi, että x on lineaarisen optimointiongelman eräs kärkipiste (ei välttämättä optimaalinen). Kärkipisteen vaihdossa vaihdetaan yksi sarakevektoreista {a j ; j B} sarakevektoriin a k, k B. Olkoon indeksi j B ja a j sitä vastaava matriisin A sarakevektori. Koska matriisi A B = [a i a i2 a im ] on säännöllinen, niin on olemassa luvut β i, i B siten, että a j = i B β i a i. Toisaalta kaikille θ R i B(x i θβ i )a i + θa j = i B x i a i = b. Tämän nojalla piste z(θ) = [z i (θ)], jonka koordinaatit määritellään asettamalla z i (θ) = x i θβ i, i B z j (θ) = θ z i (θ) = 0, i B {j}, sisältyvät rajoitejoukkoon U, mikäli θ > 0. Määritellään indeksi j B (jos vain mahdollista) asettamalla θ j = min{ x i β i i B, β i > 0}. Tällöin piste z(θ j ) on uusi kärkipiste. Kustannusfunktionaalin f(x) = v T x arvo pisteessä z(θ) on v T z(θ) = i B (x i θβ i )v i + θv j = v T x + θ[v j i B β i v i ]. Näin ollen funktion arvo pienenee, jos θ j > 0 v j β i v i < 0 i B
15 2.3. SIMPLEX-ALGORITMI 5 Edellisen kohdan perusteella kärkipisteen vaihdossa on huomioitava seuraavien lukujen merkit: missä j B. v j i B β iv i max β i θ j = min{ x i β i ; i B, β i > 0}, Propositio 5. Jos v j i B β iv i 0 kaikille j / B, niin kärkipiste x U on optimaalinen. Tod.: Edellä nähtiin, että funktion v T z(θ) arvo suurenee kaikille j B, jos θ > 0. Jos θ < 0, niin z(θ) U. Näin ollen kärkipiste x on optimaalinen. Propositio 6. Jos jollekin indeksille j B β = A B a j 0 ja v j β i v i < 0, i B niin LP-ongelmalla ei ole äärellistä minimiä: min x U vt x =. Tod.: Jos β 0, niin piste z(θ) U, θ 0. Lisäksi lim θ vt z(θ) = v T x + θ(v j β i v i ) =. i B Propositio 7. Jos on olemassa j B siten, että v j i B β i v i < 0 θ j = min{ x i β i ; i B, β i > 0} > 0, niin uudessa kärkipisteessä z, joka määritellään asettamalla kuten yllä x i θ j β i, i B z i = θ j, i = j 0, muulloin, funktion arvo on pienempi kuin kärkipisteessä x.
16 6 LUKU 2. LINEAARINEN OPTIMOINTI Tod.: Ilmeisesti z(θ j ) on todellakin kärkipiste. Kuten edellä v T z(θ j ) = i B (x i θ j β i )v i + θ j v j = v T x + θ j [v j i B β i v i ] < v T x. Huomautus. Jos kaikille indekseille j B, joille v j i B β iv i < 0, θ j = min{ x i β i ; i B, β i > 0} = 0, niin kärkipiste ei muutu ainoastaan kantamuuttujat. Tällöin kärkipiste x on degeneroitunut. Palaamme sääntöön, joka toimii tässä tapauksessa, myöhemmin Simplex-taulukko Tarkastellaan standardimuotoista LP-ongelmaa min Ax = b x 0 v T x. Olkoon piste x Simplex-algoritmin aloituskärkipiste. Määritellään kantaindeksijoukko B = {i,..., i m } ja ei-kantaindeksijoukko N = {,..., n}\b. Määritellään matriisit A B = [a i a im ], A N = [a j ; j N]. Tällöin kärkipisteen x kantamuuttujat ratkaisevat yksikäsitteisesti yhtälöryhmän A B x B = b ja x N = 0. Määritellään kantamuuttujia ja ei-kantamuuttujia vastaavat vektorit v B ja v N. Kärkipisteen vaihdossa on laskettava luvut β i jokaiselle ei-kantaindeksille. Tämä suoritetaan helpoimmin matriisimuodossa: A B B N = A N B N = A B A N = [β ij ]. Tämän jälkeen redusoidut kustannukset ovat v N B T Nv B. Vektorin koordinaatit ovat juuri luvut v j β i v i, joiden avulla ratkaistaan, onko kärkipiste optimaalinen vai ei.
17 2.3. SIMPLEX-ALGORITMI 7 Simplex-algoritmi. Muodosta aloitustaulukko: β β 2 β 3 β,n m β 2 β 22 β 23 β 2,n m β 3 β 32 β 33 β 3,n m β m β m2 β m3 β m,n m (v N BN T v B) T x i x i2 x i3. x im 2. Jos redusoidut kustannukset ei-negatiivisia, niin optimaalinen kärkipiste on löytynyt; muussa tapauksessa jatka. 3. Valitse aakkosjärjestyksessä ensimmäinen negatiivisin redusoitua kustannusta vastaava indeksi j. Ko. indeksi on ns. saapuva kantaindeksi Jos ko. indeksiä vastaava matriisin B N sarakevektori negatiivinen, niin äärellistä minimiä ei ole. muussa tapauksessa laske θ k = x i k β kj = min{ x i l β lj ; β lj > 0}. Jos minimi saavutetaan useimmalla indeksin arvolla, niin valitse aakkosjärjestyksessä ensimmäinen. Ko. indeksi i k on poistuva kantaindeksi. 4. Suorita Simplex-taulukossa Gaussin eliminaatio-askel pivot-alkiona β kj, missä matriisin B N j:s sarakevektori muokataan R n+ :n kantavektoriksi k:s rivi.
18 8 LUKU 2. LINEAARINEN OPTIMOINTI 2.4 Kaksivaiheinen Simplex-algoritmi Usein aloituskärkipisteen löytäminen on varsin ongelmallista. Tämä ongelma voidaan ratkaista muodostamalla sopiva LP-ongelma, jonka ratkaisuna on eräs rajoitejoukon kärkipisteistä. Tarkastellaan perusmuotoista optimointiongelmaa: min Ax = b x 0 v T x, missä A R m n on täysiasteinen matriisi, so. Rank(A) = m < n. Poikkeuksena aikaisempaan oletetaan lisäksi, että b 0. Tämä voidaan järjestää aina kertomalla rivi :llä, jossa b i < 0. Muodostetaan seuraava optimointiongelma: min x Ũ n+m i=n+ Rajoitejoukkona Ũ on niiden x Rn+m + joukko, joille à x = [A I m m ] x i. x. x n x n+. x n+m = b. Jos tämän ongelman optimaalinen ratkaisu on sellainen, että koordinaatit x n+ = = x n+m = 0, niin piste x = [x x 2 x n ] on alkuperäisen ongelman eräs kärkipiste, sillä sen koordinaatit ovat ei-negatiivisia, ja siinä on korkeintaan m kappaletta nollasta eroavia koordinaatteja. Jos taas ongelman optimaalinen ratkaisu on sellainen, jossa x n+i 0, niin alkuperäisen optimointiongelman rajoitejoukko on tyhjä. Aloitusvaiheen ongelman alotuskärkipiste on [0 b], ts. kantamuuttujiksi valitaan B = {n +, n + 2,..., n + m} ja ei-kantamuuttujiksi koordinaatit N = {,..., n}. Aloituskärkipisteessä redusoidut kustannukset lasketaan kuten normaalisti: r N = ṽ T N ṽ T BI A = [ ] [ a a n ].
19 2.4. KAKSIVAIHEINEN SIMPLEX-ALGORITMI 9 Toisessa vaiheessa ratkaistaan alkuperäinen optimointiongelma aloituskärkipisteenä ensimmäisessäs vaiheessa määrätyn ongelman ratkaisu. Esimerkki. Ratkaise lineaarinen optimointiongelma, kun kustannusvektori v T = [ ] ja rajoitematriisi on A = , b = Ratk. -vaihe: Alla olevan aloitustaulukon viimeinen sarake on vektori b ja viimeinen rivi sisältää redusoidut kustannukset: Aloitustaulukossa Pivot-alkio on a 22 =. Suoritetaan Gaussin eliminaatio:
20 20 LUKU 2. LINEAARINEN OPTIMOINTI Koska redusoidut kustannukset ovat ei-negatiiviset (viimeinen rivi edellisessä matriisissa), on. vaiheen optimaalinen taulukko löydetty, ja aloituskärkipisteeksi saadaan x = [ ]. Aloitustaulukon kantamuuttujat ovat B = {, 2, 5, 6,, 7} ja ei-kantamuuttujat N = {3, 4}. Tällöin redusoidut kustannukset ovat r T N = v T N v T BA B A N = [ 0 0 ] [ ] = [ 0 ] Joten aloitustaulukko on jo optimaalinen taulukko, ja aloituskärkipiste optimaalinen piste. 2 2
21 2.5. ANTISYKLITEKNIIKAT Antisyklitekniikat Tarkastellaan seuraavaa lineaarista optimointiongelmaa: min 2x 3 2x 4 + 8x 5 + 2x 6, x U missä rajoitematriisi ja rajoitevektori ovat [ ] A =, b = [ ] 0. 0 Valitsemalla kantamuuttujiksi x, x 2 ja loput muuttujat ovat ei-kantamuuttujia. Tällöin aloitustaulukon redusoidut kustannukset ovat suoraan kustannusvektorin koordinaatit. Aloitustaulukko on tällöin Aloitustaulukon viimeinen sarake on rajoitevektori ja kustannukset ko. kärkipisteessä (origo), alin rivi redusoidut kustannukset. Mikä valitaan tässä tapauksessa Pivot-alkioksi? Sovelletaan seuraavaa Pivot-strategiaa: valitaan yhtä negatiivisista redusoiduista kustannuksista vasemmalla puolella oleva, ja sarakkeelta ylimpänä oleva alkio. Tällöin ko. tapauksessa Pivot-alkioksi valitaan toiselta riviltä P = 2 (saapuvaksi kantamuuttujaksi valitaan x 4 ja poistuvaksi x ). Gaussin eliminaatioaskeleen jälkeen taulukoksi saadaan
22 22 LUKU 2. LINEAARINEN OPTIMOINTI Eli päädyttiin aloitustaulukkoon. Ilmeisesti valittu yksinkertainen Pivot-strategia ei toimi. Pivot-strategian valinta Oikean pivot-strategian valitsemiseksi määritellään vektoreiden joukkoon järjestys ns. aakkosellinen järjestys (lexikograafinen järjestys). Määritelmä 3. Vektori u R m on aakkoselliseti positiivinen (u 0), jos u 0; Ensimmäinen nollasta eroava alkio on positiivinen. Vastaavasti sanotaan, että vektori v on aakkosellisesti suurempi kuin u, jos v u on aakkosellisesti positiivinen. Merkintä: v u. Käyttämällä seuraavaa Pivot-alkion valintaa voidaan osoittaa, että Simplexalgoritmi suppenee äärellisen askelmäärän jälkeen kohti optimaalista ratkaisua, tai voidaan päätellä, ettei äärellsitä ratkaisua ole olemassa. Pivot-strategia: Pivot-sarakkeen valinta (saapuvan kantamuuttujan valinta): Valitse l N siten, että r l = min j N r j. Pivot-rivin valinta (poistuva kantamuuttuja): Valitse i {,..., m} siten, että β ik [x i, β i, ] { β jk [x j, β j, ], j =,..., m, β jk > 0}.
23 2.6. DUAALISUUS Duaalisuus 2.6. Kuhn-Tuckerin ehdot Tavallisesti standardimuotoista LP-tehtävää min Ax = b x 0 c T x, kutsutaan primaalitehtäväksi. Sitä vastaa duaalitehtävä, jolla on selvä tulkinta reaalimaailmassa, ja jonka avulla voidaan muodostaa ns. duaalisimplex-algoritmi LP-ongelman ratkaisemiseksi. Muodostetaan primaaliongelmalle Lagrangen funktionaali L(x, u) = c T x u T (Ax b). Vektorin u kertoimia sanotaan Lagrangen kertoimiksi. Tällä tavalla voidaan poistaa optimointiongelmasta rajoite-ehdot. Sidottujen ääriarvojen ongelmaan palataan kurssilla myöhemmin hieman yleisemmässä muodossa. Joka tapauksessa nyt lineaarinen optimointiongelma voidaan esittää satulapisteongelmana: min Ax = b x 0 c T x = min x 0 max u R m ct x u T (Ax b) = max u R m min x 0 ct x u T (Ax b) = max u R m min x 0 [(ct u T A)x + u T b]. Jos vektorilla c T u T A on yksikin negatiivinen komponentti, niin ja tällöin max u R m A T u c min x 0 (ct u T A)x = Jos taas vektori on ei-negatiivinen, ts. [min x 0 (ct u T A)x] =. c T u T A 0, niin min x 0 (ct u T A)x = 0
24 24 LUKU 2. LINEAARINEN OPTIMOINTI ja siten Edellisten nojalla min[(c T u T A)x + u T b] = u T b x R n + Huomaa, että max min u R m x R n + (c T u T A)x + u T b = max c T u T A 0 c T u T A 0 c A T u 0. Näin ollen primaaliongelmaa vastaa duaalitehtävä max A T u c u T b. Itse asiassa ylä olevassa tarkastelussa tuli osoitettua u T b. Lause 3. Jos x R n + ja u R m ovat primaali- ja duualitehtävän ratkaisut, niin c T x = u T b. Edelleen edellisen päättelyn nojalla kaikille primaali- ja duaaliongelman käyville ratkaisuille x ja u (eivät välttämättä optimaalisia): Tämän nojalla on voimassa c T x u T b. Lause 4 (Kuhn-Tucker). Olkoon x R n ja u R m primaali- ja duaaliongelman käypiä ratkaisuja (rajoitejoukon alkioita). Pisteet ovat optimaalisia, jos ja vain jos c T x = u T b. Jos primaaliongelman optimaalinen ratkaisu tunnetaan, niin duaaliongelman optimaalinen ratkaisu saadaan seuraavasta lauseesta: Lause 5. Olkoon x primaaliongelman optimaalinen ratkaisu, A B kantamatriisi ja A N ei-kantamatriisi. Tällöin vektori vastaava u T = c T BA B u = (AT B) c B on duaaliongelman optimaalinen ratkaisu. Lisäksi redusoitujen kustannusten vektori on r N = c T N u T A N.
25 2.6. DUAALISUUS Duaali-simplex-algoritmi Määritelmä 4. Kantamuuttujia B vastaava kantamatriisi A B on duaalikäypä, jos redusoidut kustannukset r N = c T N c T BA B A N 0. Tällöin sanotaan, että duaalikäypä ratkaisu. [ xb 0 ] = [ A B b 0 ] Edellisen kappaleen nojalla pätee Lause 6. Jos A B on käypä ja duaalikäypä kantamatriisi, niin piste [ ] [ xb A B = b ] 0 0 on primaaliongelman optimaalinen kärkipiste. Tämän lauseen nojalla on voimassa seuraava Duaali-Simplex-algoritmi:. Valitse duaalikäypä kanta A B ja muodosta aloitustaulukko. 2. Jos A B on käypä kantamatriisi, niin STOP; x B = A B b, u B = (A B )T c B ovat optimaalisia ratkaisuja primaali- ja duaaliongelmalle. 3. Muutoin valitse indeksi i p siten, että x ip < 0. Sääntö: Muuttuja on p:s kantamuuttuja. x ip = min x j <0 x j. 4. Tutki matriisin A B A N = [β p,j ] p =,..., m j N p:s rivi: Jos alkiot ovat ei-negatiivisia, niin äärellistä ratkaisua ei ole;
26 26 LUKU 2. LINEAARINEN OPTIMOINTI Muutoin valitse ei-kantamuuttuja x s, s N siten, että r s = min β { r j }, p,s β p,j <0 β p,j missä r j on redusoitujen kustannusten r N j:s koordinaatti, ja on matriisin A B A N p:s rivi. [β p, β p,in m ] 5. Suorita Gaussin eliminaatio Simplex-taulukolle pivot-alkiona ja palaa kohtaan 2. Duaali-simplex-algoritmin soveltaminen normaalin Simplex-algoritmin rinnalla helpottaa LP-ongelman ratkaisua. Nyt ei tarvitse huolehtia, onko valittu kantaratkaisu käypä tai ei. Jos kärkipiste x B on käypä voidaan käyttää tavallista Simplex-algoritmia. Jos taas kärkipiste ei ole käypä, niin sovelletaan duaalisimplex-algoritmia. Kummassakin tapauksessa aloitustaulukon muodostaminen tapahtuu samalla tavalla. Simplex-algoritmissa pysytellään raajoitejoukossa, kun taas duaalisimplexissä pysytellään alueen ulkopuolella. Vasta viimeisellä iteraatiolla työnnytään rajoitejoukkoon, jolloin myös optimaalinen kärkipiste löytyy. β p,s 2.7 Karmarkarin menetelmä Tarkastellaan kuten edellä standardimuotoista LP-ongelmaa min Ax = b x 0 v T x, missä (m n)-matriisin A aste on Rank(A) = m < n, vektori b R m, ja v R n on ns. kustannusvektori. Klee ja Minty osoittivat 60-luvulla, että on olemassa LP-ongelmia, joiden ratkaisemiseen Simplex-algoritmin aikavaste on eksponentiaalinen. Esimerkit ovat kylläkin akateemisia, ja käytännössä tällaisia ongelmia ei ole esiintynyt. Näistä esimerkeistä alkoi ns. polynomiaalisten algoritmien kuumeinen kehittely. Eräs näistä algoritmeista on Karmarkarin menetelmä. Tyypillistä näille menetelmille on, että ne ovat ns. sisäpistemenetelmiä.
27 2.7. KARMARKARIN MENETELMÄ Johdatteleva esimerkki Tarkastellaan optimointiongelmaa min x + x 2 + x 3 = x, x 2, x 3 0 x 2 + x 3. Alkuperäisessä Karmarkarin käsittelevässä artikkelissa hän tarkasteli lineaarista optimointiongelmaa Hän teki seuraavat oletukset: min x U n c T x = 0; min c T x. x U n Rajoitejoukko on affiinin tason U = {x Ax = b} ja (n-)-ulotteisen simpleksin n n = {x 0 x j = } leikkausjoukko. Kyseisessä esimerkissä optimaalinen ratkaisu c T x = 0 saavutetaan kärkipisteessä x = 0. 0 j= Aloituspiste Kolmion 2 painopiste valitaan x (0) = algoritmin aloituspisteeksi. Hakusuunta Kustannusfunktion arvot kasvavat ja vähenevät voimakkaimmin gradienttivektorin suuntaan. Siksi kustannukset pienenevät vektorin v = (c T x) = c
28 28 LUKU 2. LINEAARINEN OPTIMOINTI suuntaisesti. Mutta tähän suuntaan liikuttaessa ei välttämättä pysytä kolmion tasolla. Siksi projisoidaan gradienttivektori tasolle: 0 a = c + et c e e = = Vektorin a suuntainen yksikkövektori on a (0) = Askelpituus Kolmion sisään piirretyn ympyrän säde on r 0 = 6. Kolmion ja ympyrän sivuamispisteessä määrätty normaali voi olla vektorin a suuntainen. Näin ollen edetessä hakusuuntaan säteen verran voidaan päätyä rajoitejoukon reunalle. Siksi mahdollinen reunalle meno estetään kertomalla parametrilla 0 α. Valitaan parametriksi α =. Karmarkar käytti 2 parametrin arvoa α =. 4 Uusi approksimaatio on x () = x (0) + αr 0 a (0) = Projektiivinen transformaatio Määritellään diagonaalimatriisi 0 0 D = diag(x () 2 ) = Kuvataan simpleksi itselleen projektiivisella transformaatiolla Käänteistransformaatio on T (x) = T (z) = D x e T D x. D z e T D z. Projektiivinen kuvaus kuvaa pisteen x () simpleksin painopisteeksi
29 2.7. KARMARKARIN MENETELMÄ 29 Yleinen iteraatioaskel Samalla kertaa muunnetaan kustannusfunktiota. Uusi kustannusfunktio on nyt (D c) T z, jonka minimiä haetaan edelleen simpleksissä 2. Vektorin c () = D c projektio tasolle 2 on c () et c () e 2 = 4 a. Näin ollen hakusuunta on sama kuin edellisessä iteraatiossa: a () = a (0) = 2. 6 Askelpituutena käytetään samaa kuin edellä: Käänteisprojektiolla 3. iteraatio Määritellään z (2) = x (0) + αr 0 a () = x (). x (2) = T (z (2) ) = D x () e T D x () = D 2 = diag(x (2) ). Projisoidaan vektori D 2 c tasolle 2 : a (2) = Askelpituus kuten edellisillä iteraatioilla:. z (3) = x (0) + αr 0 a () = x (). Käänteisprojektiolla saadaan uusi approksimaatio: x (3) = T (z (3) ) = D 2x () e T D 2 x = ()
30 30 LUKU 2. LINEAARINEN OPTIMOINTI 4. iteraatio x (4) = D 3x () e T D 3 x = () Karmarkarin skaalausalgoritmi Oletetaan, että x U = {x 0 Ax = b} on rajoitejoukon sisäpiste, ts. sillä on n+m nollasta eroavaa koordinaattia, ja kaikille yksikkövektoreille e N(A) = {w R n Aw = 0} : x + ϵe U kaikille riittävän pienille ϵ > 0. Karmarkarin menetelmässä pyritään etsimään vastausta kahteen perustavaan kysymykseen: Mihin suuntaan pisteestä x on lähdettävä? Kuinka suuri on askelpituus? Ylimalkainen vastaus kysymyksiin on: Suunta, johon kustannusfunktio v T x vähenee voimakkaimmin. Pysähdy lähelle rajoitejoukon reunaa. Funktio kasvaa voimakkaimmin gradientin suuntaan. Näin ollen hakusuunta on v = (v T x). Toisaalta uusi piste y on edelleen kuuluttava rajoitejoukkoon U. Pisteiden erotus ratkaisee homogeenisen yhtälön A(y x) = 0. Projisoidaan vektori v matriisin A ytimeen projektio-operaattorilla P = I A T (AA T ) A. Lemma. Vektorin v projektio P v N(A). Tod.: Lemma 2. v T P v 0. A(P v) = Av AA T (AA T ) Av = Av Av = 0.
31 2.7. KARMARKARIN MENETELMÄ 3 Tod.: Jaetaan vektori v kahteen ortogonaaliseen komponenttiin v = P v + P v = P v + A T (AA T ) Av. Nimittäin Näin ollen (P v) T P v = v T A T (AA T ) Av v T A T (AA T ) AA T (AA T ) Av = v T A T (AA T ) Av v T A T (AA T ) Av = 0. v T P v = [P v + P v] T P v = (P v) T P v = P v 2 0. Lemma 3. Funktion v T x arvot pienenevät vektorin P v suuntaan. Tod.: Edellisen lemman nojalla kaikilla α > 0 v T (x αp v) = v T x αv T P v v T x. Askelpituuden α maksimiarvo on x i α 0 = min. (P v) i (P v) i Tällä askelpituudella päädytään rajoitejoukon reunalle. Karmarkarin perusidea: Ei mennä aivan käyvän alueen reunalle asti; vaan y = x ϵα 0 P v, missä 0 < ϵ <. Suoritetaan tämän jälkeen ongelman uudelleen skaalaus. Karmarkarin skaalausalgoritmi. Aloituspiste a U n siten, että a i > 0, i =,..., n. 2. Diagonaalimatriisi: D = diag(a). 3. Skaalausvaiheessa muodostetaan uusi kustannusvektori: c = Dc. Tällöin samalla suoritetaan muuttujan vaihto: x = D x. Tällöin aloituspiste on z = D (x) = [ ] T.
32 32 LUKU 2. LINEAARINEN OPTIMOINTI 4. Uusi muuttuja toteuttaa rajoiteyhtälön ADx = b. 5. Lasketaan vektorin c projektio rajoitejoukkoon: d = c DA T (ADD T A T ) ADc. 6. Askelpituus: r 0 = min. d i >0 d i 7. Optimointiongelman approksimaatio missä 0 < α <. 8. Määritellään vektori y = z αr 0 d, v = (ADD T A T ) ADc. Tämän avulla voidaan määritellä katkaisukriteerio; [c A T v] T y < ϵ missä ϵ on haluttu toleranssi optimaalisuudesta. Tällöin alkuperäisen ongelman ratkaisu on x opt = Dy. Muussa tapauksessa palataan alkuun. Huomautuksia Pisteessä y = z td, t > 0 funktion arvo on pienempi kuin pisteessä z: c T y = c T z tc T d = c T z t c 2 (ADc) T [AD(AD T )] ADc < c T z, sillä [AD(AD) T ] on positiivisesti definiitti. Piste y = z td on rajoitejoukon alkio: ADy = ADz tad(c (AD) T [AD(AD) T ] ADc) = Aa t(adc ADc) = b.
33 2.7. KARMARKARIN MENETELMÄ 33 Jos t r 0 = min{ d i d i > 0}, niin pisteessä y = z td on ainakin yksi koordinaatti nolla tai negatiivinen. Tästä syystä askelpituus kerrotaan parametrilla 0 < ϵ <, jotta pysyttäisiin sisäpisteessä. Algoritmin suppenemistarkasteluja varten määritellään potentiaalifunktio f(x) = n i= ln( ct x x i ). Lause 7 (Karmarkar). Toinen seuraavista vaihtoehdoista on toteutuu:. c T (Dy) = 0; 2. f(dy) f(a) δ, missä δ riippuu vakiosta α.
34 34 LUKU 2. LINEAARINEN OPTIMOINTI
35 Luku 3 Epälineaarisen optimoinnin menetelmät 3. Optimaalisuuskriteerio 3.. Lokaali ääriarvokohta Ongelma: min f(x). x R n Määritelmä 5. Piste x on lokaali minimikohta, jos on olemassa ϵ > 0 siten, että f(x) f(x), x {x R n x x < ϵ}. Vastaavasti, piste x on lokaali maksimikohta, jos on olemassa ϵ > 0 siten, että f(x) f(x), x {x R n x x < ϵ}. Piste x on satulapiste, jos x = [z + z ] siten, että funktiolla g(x + ) = f(x +, z ) on lokaali maksimikohta pisteessä z +, ja funktiolla h(x ) = f(z +, x ) on lokaali minimikohta pisteessä z. Palautetaan mieliin, mitä tarkoitetaan funktion differentioituvuudella, sillä jatkossa oletamme, että tarkasteltavat funktiot ovat ainakin kahdesti jatkuvasti differentioituvia määrittelyjoukossaan. Lähtökohtaisesti oletamme, että funktion f(x) määrittelyjoukko on koko R n. 35
36 36 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Funktio f(x) on differentioituva pisteessä x, mikäli riittävän pienessä x:n ϵ-säteisessä pallossa B(x; ϵ) on voimassa: f(z) = f(x) + f(x) T (z x) + z x α(x; z x), z B(x; ϵ) missä z x on vektorin euklidinen normi, ja α(x; z x) o, kun z x. Mikäli f(x) on differentioituva jokaisessa pisteessä x C, missä C on funktion määrittelyjoukko, niin sanotaan lyhyesti, että funktio differentioituva. Mikäli funktion gradienttikuvaus x f(x) on jatkuva, niin funktio on jatkuvasti differentioituva. Edelleen funktio f(x) on kahdesti differentioituva pisteessä x, jos on ϵ- säteinen pallo B(x; ϵ) siten, että f(z) = f(x) + f(x) T (z x) + 2 (z x)t H f (x)(z x) + z x 2 α(x; z x), missä α(x; z x) 0, kun z x. Edellä H f (x) on funktion f Hessin matriisi pisteessä x: 2 f H f (x) = [ ] i,j=,...,n. x i x j Funktio on kahdesti jatkuvsti differentioituva joukossa C, jos se on kahdesti differentioituva jokaisessa pisteessä x C ja kuvaus x H f (x) on jatkuva. Ääriarvokohdat Tarkastellaan aluksi funktion lokaaleja ääriarvokohtia, kun funktio f(x) on kaksi kertaa jatkuvasti differentioituva: f C 2 (R n ). Lause 8. Lokaalissa ääriarvokohdassa funktion gradientti häviää: f(x) = Tällöin Taylorin kehitelmän nojalla f x f x 2. f x n = 0. f(x) = f(x) f(x) = 2 (x x)t 2 (ζ)(x x), Näin ollen ääriarvokohdan laatu on sidoksissa neliömuodon Q(x) = x T H f (ζ)x
37 3.. OPTIMAALISUUSKRITEERIO 37 ominaisuuksiin. Jos z on lokaali minimikohta (maksimikohta), niin välttämättä neliömuodon on oltava positiivinen (negatiivinen) pisteen z ympäristössä. Vastaavasti jos piste z on lokaali ääriarvokohta, ts. gradientin nollakohta, niin se on lokaali minimikohta (maksimikohta), mikäli Hessin matriisi on positiivisesti (negatiivisesti) definiitti. Tarkkaan ottaen on voimassa seuraava Lause 9. Olkoon f : R n R C 2 -funktio. Piste z on funktion f lokaali minimikohta, jos ja vain jos funktion Hessin matriisi on positiivisesti semidefiniitti. Lause 0. Olkoon z funktion f(x) stationaarinen piste ja funktion Hessin matriisi positiivisesti definiitti. Tällöin z on eristetty lokaali minimikohta. Analogiset väittämät voidaan todistaa lokaalille maksimikohdalle Konveksi optimointi Reaaliarvoinen vektorimuuttujan funktio f on konveksi, jos kaikille x, y R n : f(tx + ( t)y) tf(x) + ( t)f(y), 0 t. Yhden muuttujan konvekseille funktioille on seuraava ominaisuus voimassa [?]: Lause. Olkoon f(x) kahdesti jatkuvasti differentioituva avoimella välillä (a, b). Tällöin funktio f(x) on konveksi, jos ja vain jos f (x) 0 kaikilla x (a, b). Todistus. Oletetaan, että f (x) on ei-negatiivinen. Tällöin f (x) on kasvava funktio. Tällöin kaikille a < x < y < b ja z = ( t)x + ty, 0 < t < : f(z) f(x) = f(y) f(z) = z x y z f (η) dη f (z)(z x) f (η) dη f (z)(y z). Koska z x = t(y x) ja y z = ( t)(y x), niin saadaan epäyhtälöt f(z) f(x) + tf (z)(y x) f(z) f(y) ( t)f (z)(y x). Kertomalla ylempi yhtälö luvulla t ja alempi luvulla t ja laskemalla ne yhteen saadaan f(z) ( t)f(x) + t(f(y).
38 38 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Siis funktio f(x) on konveksi. Oletetaan sitten kääntäen, että f(x) on konveksi. Jos nyt f (η) olisi aidosti negatiivinen jossain pisteessä, niin toisen derivaatan jatkuvuuden nojalla f (x) olisi negatiivinen jollain välillä (a, b ). Tällöin tällä välillä f (x) olisi aidosti vähenevä ja silloin f(z) f(x) = f(y) f(z) = z x y z f (η) dη > f (z)(z x) = tf (z)(y x) f (η) dη < f (z)(y z) = ( t)f (z)(y x). Tällöin saataisiin voimaan aito epäyhtälö f(( t)x + ty) > ( t)f(x) + tf(y), mikä on vastoin konveksisuus oletusta. Lause 2. Olkoon f(x) kahdesti jatkuvasti differentioituva R n :ssä. Tällöin funktio on konveksi, jos ja vain jos Hessin matriisi H f (x) on positiivisesti semidefiniitti. Todistus. Funktio on konveksi, jos ja vain jos sen rajoittuma jokaiselle suoralle l : x = z +td, t R on konveksi, missä d R n on mielivaltainen suunta. Funktion rajoittuma suoralle l määrittelee yhden muuttujan reaaliarvoisen funktion ϕ(t). Funktio ϕ(t) on konveksi jos ja vain jos ϕ (t) 0. Toisaalta ϕ (t) = d T H f (x)d. Konveksin optimoinnin peruslause on Lause 3. Olkoon funktio f : R n R konveksi ja koersiivinen, ts. lim f(x) =. x Tällöin funktiolla on olemassa globaali minimikohta x min : f(x min ) f(x), x R n. Lisäksi, jos f(x) on aidosti konveksi, niin minimikohta on yksikäsitteinen.
39 3.. OPTIMAALISUUSKRITEERIO Yhtälörajoitteiset optimointiongelmat: Lagrangen kertojat Tarkastellaan seuraavanlaista optimointiongelmaa min f(x), x S missä rajoitejoukon määrittelee yhtälörajoitteet: S = {x R n : h j (x) = 0, j =,..., l}. Jatkossa oletetaan, että rajoitefunktiot h j (x) ovat jatkuvasti differentioituvia. Välttämätön ehto Olkoon sitten x S ko. minimointiongelman ratkaisu, so. lokaali minimikohta. Rajoiteyhtälö h j (x) = 0 määrittelee jatkuvasti differentioituvan (n-)-ulotteisen pinnan S j avaruuteen R n. Pinnan normaali pisteessä x on funktion h j (x) gradientti h j (x). Silloin pinnan tangenttitason T x määrittelee yhtälö x T x : (x x) T h j (x) = 0. Oletetaan jatkossa, että vektorit { h (x,..., h l (x)} ovat lineaarisesti riippumattomia. Sallitut suunnat D ovat vektorit d R n, joille d T h j (x) = 0, j =,..., l. Eli siirryttäessä pinnan tangenttitason suuntaan infinitesimaalisen matkan pysytään edelleen likipitäen ko. pinnalla. Toisaalta voidaan määritellä minimoivien suuntien joukko F = {d : f(x) T d < 0}. Koska x S on lokaali minimikohta, niin kaikilla d D : f(x) T d 0. Eli samanaikaisesti ei ole voimassa ehtoja n d T f(x) < 0, d T [ α j h j (x)] = 0. α j R j= Oletetaan, että vektorit f(x), h (x),..., h l (x) ovat lineaarisesti riippumattomia, ts sanoen ei ole olemassa lukuja λ j siten, että n f(x) = λ j h j (x). j= Koska vektorit d T x = D ja { h j (x)} j=,...,l virittävät R n :n, niin on olemassa nollasta eroava vektori d D ja luvut λ j siten, että n f(x) = d + λ j h j (x). j=
40 40 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Tällöin on voimassa d T f(x) = d t d d T [ n λ j h j (x)] = d 2 < 0. j= Toisin sanoen on olemassa vektori y D siten, että f(x) T y < 0 vastoin oletusta, että kaikilla d D : f(x) t y 0. Näin ollen ainoaksi vaihtoehdoksi jää vaihtoehto: On olemassa luvut λ j, joista ainakin yksi on nollasta eroava siten, että f(x) = n λ j h j (x). j= Näin olemme todistaneet ns. Lagrangen kertojien menetelmän sidotulle ääriarvotehtävälle. Lause 4. Olkoon x optimointiongelman min f(x), x S missä S = {x R n : h j (x) = 0, j =,..., l}, lokaali minimikohta. Silloin on olemassa Lagrangen kertojat λ j R, j =,..., l siten,että f(x) = l λ j h j (x). j= 3..4 Epäyhtälörajoitteet Tarkastellaan seuraavaksi epäyhtälörajoitteisia optimointiongelmia: min g (x) 0 g 2 (x) 0. g m (x) 0 f(x), missä oletetaan jatkossa, että funktiot ovat jatkuvasti differentioituvia, tarvittaessa kahdesti. Tarvitsemme välttämättömine ehtojen todistamista varten seuraavaa lemmaa:
41 3.. OPTIMAALISUUSKRITEERIO 4 Lemma 4 (Gordan). Olkoon A m n-matriisi. Silloin vain toisella seuraavista systeemeista on ratkaisu: Systeemi Ax < 0, jollain x R n Systeemi 2 A T y = 0, y 0. jollain y 0 Tehdään seuraavat olettamukset: Piste x S = {x : g i (x) 0, i =,..., m} on minimointiongelman lokaali minimikohta. Aktiivirajoitteiden joukko I = {i =,..., m g i (x) = 0}. Numeroimalla funktiot g i uudelleen voidaan olettaa, että I = {, 2, 3,..., k}. Vektorit { g i (x)} i=,...,k ovat lineaarisesti riippumattomia. Rajoitefunktiot g i (x) ovat aidosti konvekseja pisteessä x. Edellä olevien oletusten ollessa voimassa pätee: Lause 5. On olemassa ei-negatiiviset luvut µ i, i =,..., k siten, että f(x) + k µ i g i (x) = 0. i= Todistus. Olkoon vektorijoukko D = {d : d T g i (x) < 0} sallittujen suuntien joukko (perustele!!). Koska x on lokaaliminimi, niin kaikille d D on voimassa: f(x) T d 0. Toisin sanoen; ei ole ole olemassa vektoria d R n siten, että samanaikaisesti f(x) T d < 0 ja g i (x) T d < 0, i =,..., k. Määritellään matriisi A, jonka rivivektoreina ovat vektorit f(x), g (x),..., g k (x): Nyt edellisen nojalla systeemillä A T = [ f(x), g (x),..., g k (x)]. Ad < 0 ei ole ratkaisua. Tällöin Gordanin lemman nojalla on ole massa nollasta eroava vektori λ R k+ siten, että A T λ = 0, λ 0.
42 42 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Näin ollen on luvut λ i 0, i =,..., k +, siten, että λ 0 f(x) + k λ j g i (x) = 0. i= Luku λ 0 0, sillä muussa tapauksessa olis voimassa k λ j g i (x) = 0. i= Mikä on vastoin ko. vektoreiden lineaarisesti riippumattomuus oletusta. Valitaan luvuiksi µ i = λ i λ 0 ja väite seuraa Karush-Kuhn-Tucker-ehdot Tarkastellaan lopuksi yleistä minimointitehtävää min f(x), x S missä rajoitejoukko S määritellään seuraavilla epäyhtälö- ja yhtälörajoitteilla: g i (x) 0, i =,..., m h j (x) = 0, j =,..., l. Olkoon kuten aikaisemmin x minimointiongelman ratkaisu. Edelleen oletetaan, että tarkasteltavat funktiot ovat ainakin jatkuvasti differentioituvia. Tällöin on voimassa seuraava Karush-Kuhn-Tucker-ehdot [?],[?]: Lause 6. Kuten aikaisemmin indeksijoukko I = {, 2,..., k} vastaa pisteessä x olevia aktiivisia epäyhtälörajoitteita, ja oletamme, että vektorit { g (x),..., g k (x), h (x),..., h l (x)} ovat lineaarisesti riippumattomia. Tällöin on olemassa vektorit µ R m, λ R l siten, että f(x) + k µ i g i (x) + i= l λ j h j (x) = 0 (3.) j= µ i g i (x) = 0, µ i 0, g i (x) 0, i =,..., m (3.2)
43 3.. OPTIMAALISUUSKRITEERIO 43 Todistus. Aluksi osoitetaan, että ei ole olemassa vektoria d siten, että samanaikaisesti olisi voimassa f(x) T d < 0, g (x) T d < 0, i =,..., k, h j (x) T d = 0, j =,..., l. Jos tällainen vektori y olisi olemassa, niin projisoidaan suoran x + ty pisteet lokaalisti pisteen ympäristöstä pinnalle S h = {x : h j (x) = 0, j =,..., l}. Määritellään käyrä ξ(τ) differentiaaliyhtälöllä dξ(τ) dτ = P (τ)y, ξ(0) = x, missä P (τ) on projektiomatriisi matriisin h (ξ(τ)) T h 2 (ξ(τ)) T B(τ) =. h l (ξ(τ)) T nolla-avaruuteen Ker(B) = {x : B(τ)x = 0}. Projektiomatriisi P (τ) = I B(τ) T [B(τ)B(τ) T ] B(τ) on τ:n suhteen jatkuva, sillä matriisi B(τ) on täysiasteinen ja funktiot h j ovat jatkuvasti differentioituvia. Näin ollen eo. differentiaaliyhtälöllä on yksikäsitteinen ratkaisu ja ξ(τ) x, kun τ 0 +. Osoitetaan seuraavaksi, että piste ξ(τ) on rajoitejoukossa ja f(ξ(τ)) < f(x), kun τ on riittävän pieni. Tällöin päädytään ristiriitaan, sillä x on lokaali minimikohta. Derivoinnin ketjusäännön nojalla d dτ g i(ξ(τ)) = g i (ξ(τ)) T P (τ)y, i =,..., k. Toisaalta, koska P (0)y = y ja g i (x) T y < 0, niin d dτ g i(ξ(0)) = g i (x) T y < 0, i =,..., k. Näin ollen riittävän pienille τ:n arvoille g i (ξ(τ)) < 0, i =,..., k. Eiaktiivisille rajoitteille pelkästään jatkuvuuden nojalla g i (ξ(τ)) < 0, foralli = k +,..., m. Väliarvolauseen nojalla on olemassa ς (0, τ) siten, että h j (ξ(τ)) = h j (ξ(0)) + τ d dτ h j(ξ(ς)) = τ d dτ h j(ξ(ς)).
44 44 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Ketjusäännön nojalla toisaalta d dτ h j(ξ(ς)) = h j (ξ(ς)) T P (ς)y. Konstruktion perusteella P (ς)y on matriisin B(ς) nolla-avaruudessa, joten väistämättä, kunhan τ on riittävän pieni, h dτ j(ξ(ς)) = 0. d Vastaavasti, ketjusäännön ja sen nojalla, että ξ(0) = x, saadaan d dτ f(ξ(0)) = f(x)t y < 0. Koska f(x) on jatkuvasti differentioituva, niin riittävän pienillä τ:n arvoilla f(ξ(τ)) < f(x), mikä on vastoin oletusta. Näin ensimmäinen väite on todistettu. Määritellään matriisit A ja B siten, että matriisin A rivivektoreina ovat vektorit f(x), g (),..., g k (x), ja B kuten edellä. Lauseen alkuosan nojalla siis ei ole vektoria d siten, että samanaikaisesti Ad < 0, Bd = 0. Tarkastellaan seuraavia joukkoja C = {(z, z 2 ) : z = Ad, z 2 = Bd} ja C 2 = {(z, z 2 ) : z < 0, z 2 = 0}. Nyt kyseiset joukot ovat konvekseja, epätyhjiä ja edellisen nojalla S S2 =. Tällöin separaatiolauseen nojalla on olemassa hypertaso siten, että se erottaa joukot S ja S 2. Toisin sanoen on olemassa nollasta eroava vektori p T = [p T, p T 2 ] siten, että p T Ad + p T 2 Bd p T z + p T 2 z 2, d R n, (z, z 2 ) S 2. Valitaan z 2 = 0 ja annetaan vektorin z yhden komponentin kerrallaan lähestyä. Tällöin, jotta eo. epäyhtälö olisi voimassa, on oltava, että p 0. Toisaalta valitsemalla z = z 2 = 0 saadaan epäyhtälö (p T A + p T 2 B)d 0, d. Asettamalla d = (A T p + B T p 2 ) saadaan A T p + B T p 2 2 0, eli A T p + B T p 2 = 0. Siis, on olemassa vektori p T = [p T, p T 2 ] 0 siten, että p 0 ja k l p,0 f(x) + p,i g i (x) + + p 2,j h j (x) = 0. i= Koska oletettiin, että vektorit j= { g (x),..., g k (x), h (x),..., h l (x)} ovat lineaarisesti riippumattomia, niin p,0 > 0. Jakamalla edellinen yhtälö luvulla p,0 saadaan väite.
45 3.. OPTIMAALISUUSKRITEERIO Riittävät ehdot Vaikka piste x toteuttaa KKT-ehdot, niin se ei välttämättä ole lokaali minimikohta. Mutta jos oletetaan, että funktio f(x) ja rajoitejoukko S on konveksi, niin KKT-ehdot toteuttava piste on globaali minimikohta. Huomatkaa, että globaaleja minimikohtia voi olla useampia; mutta minimiarvo on sama. Lause 7. Olkoon funktiot f(x) ja g (x) konvekseja ja x toteuttaa KKTehdot. Tällöin voidaan määritellä indeksijoukot J = {j : λ j > 0} ja K = {j : λ j < 0}. Jos funktiot h j (x), j J, ja h j (x), j K, ovat konvekseja, niin on x optimointiongelman globaali minimikohta.
46 46 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT 3.2 Duaalisuus 3.2. Lagrangen duaaliongelma Primaaliongelma P Minimoi rajoittein f(x) g i (x) 0, i =,..., m h j (x) = 0, i =,..., l x R n Duaaliongelma D Maksimoi θ(µ, λ) rajoittein µ R m, µ 0, λ R l missä θ(µ, λ) = inf f(x) + m µ i g i (x) + x R n i= j= l λ j h j (x). Geometrinen tulkinta Tarkastellaan yksinkertaisuuden ja havainnollisuuden vuoksi vain yhtä epäyhtälörajoitetta, ts. optimointiongelma on Määritellään (y, z))-tasossa joukko min f(x). g(x) 0 G = {(y, z) R 2 : y = g(x), z = f(x)}. Tällöin minimointiongelma on yhtäpitävä seuraavan ongelman kanssa: min y 0 (y, z) G z. Siis etsitään joukosta G pistettä (y, z), jolle y 0 ja z on mahdollisimman pieni. Olkoon tämä piste (y, z). Duaalifunktiolle voidaan tulkita seuraavasti. Kiinteälle u 0 suoritetaan osaoptimointi θ(u) = min f(x) + ug(x) = min z + uy. x X (y,z) G
47 3.2. DUAALISUUS 47 Etsitään siis suoraa z + uy = a, joka sivuaa rajoitejoukkoa G alapuolelta siten, että vakio a on mahdollisimman pieni. Kyseisen suoran kulmakerroin on u 0, l. laskeva suora. Suora leikkaa z-akselin pisteessä a = θ(u). Duaaliongelma: Etsi suoran z = uy+a kulmakerroin siten, että se sivuaa alhaalta joukkoa G ja a = θ(u) on maksimaalinen. Jos u on optimaalinen kulmakerroin, niin (konveksissa tapaauksessa) z = θ(u) = f(x). z G={(y,z): y=g(x), z=f(x)} (0,z) (0,a) y z+uy=a Duaalisuuslauseet Lause 8 (Heikkko duaalisuus). Olkoon x primaaliongelman käypä ratkaisu, so. x X, g(x) 0, h(x) = 0, ja (u, v) R m + R m duaaliongelman käypä ratkaisu. Tällöin on voimassa f(x) θ(u, v). Todistus. Duaalifunktion määritelmän nojalla θ(u, v) = inf y X [f(y) + ut g(y) + v T h(y)] f(x) + u T g(x) + v T h(x). Koska g(x) 0 ja u 0, niin u T g(x) 0. Lisäksi h(x) = 0. Näin ollen f(x) θ(u, v). Korollaari. Primaali- ja duaaliongelmille on aina voimassa: inf x S f(x) sup θ(u, v). u 0 Korollaari 2. Jos pisteelle x S ja (u, v) R m + R m on voimassa f(x) = θ(u, v), niin x on primaaliongelman ja (u, v) duaaliongelman optimaaliset ratkaisut.
48 48 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Dualiteettikuilu Heikon duaalisuuden nojalla (korollaari ) primaaliongelman optimi on aina suurempi tai yhtä suuri kuin duaaliongelman maksimi. Korollaarin 2 nojalla nämä voivat olla jopa yhtä suuria. Aina näin ei ole ao. kuvassa on tilanne, jossa duaaliongelman maksimi ei saavuta primaaliongelman minimiä. Tällöin optimiratkaisuilla on dualiteettikuilu f(x) θ(u, v) > 0. z G z=f(x) a } dualiteettikuilu y max z+uy=a u>0 Vahva duaalisuus Nyt kuitenkin konveksille optimointiongelmalle dualiteettikuilua ei esiinny. Oletetaan jatkossa, että Perusoletus : Funktiot f(x), g(x) ovat konvekseja, h(x) = Ax b ja X = R n (tai R n +). Tällöin rajoitejoukko S on konveksijoukko. Lemma 5. Olkoon α(x) : R n R, g : R n R m jatkuvasti differentioituvia ja h(x) = Ax b R l. Jos systeemillä ei ole ratkaisua, niin systeemillä α(x) < 0, g(x) 0, Ax b = 0 (3.3) u 0 α(x) + u T g(x) + v T [Ax b] 0 (u 0, u) 0 (3.4) (u 0, u, v) 0
49 3.2. DUAALISUUS 49 on ratkaisu. Kääntäen; Jos systeemillä (3.4) on ratkaisu siten, että u 0 > 0, niin systeemillä (3.3) ei ole ratkaisua. Todistus. Todistus sivuutetaan tässä vaiheessa. Lause 9. Oletetaan lisäksi, että matriisi A on täysiasteinen. Jos on olemassa x X siten, että niin silloin inf g(x) 0 h(x) = 0 x X g(x) < 0, Ax b = 0, f(x) = sup u 0 v R l Lisäksi, jos primaaliongelman infimum on äärellinen, niin sup u 0 v R l Jos f(x) = inf x S f(x), niin u T g(x) = 0. θ(u, v) = θ(u, v). Todistus. Määritellään γ = inf x S f(x). Silloin systeemillä f(x) γ < 0, g(x) 0, Ax b = 0 θ(u, v). (3.5) ei ole ratkaisua. Edellisen lemman nojalla on olemassa (u 0, u, v) 0, (u 0, u) 0 siten, että u 0 (f(x) γ) + u T g(x) + v T [Ax b] 0, x X. (3.6) Osoitetaan ensin, että u 0 0. Oletetaan, että u 0 = 0. Tällöin oletuksen nojalla g(x) < 0, Ax b = 0. Lisäksi epäyhtälön (3.6) mukaan on voimassa 0 u T g(x) 0 u = 0. Siten kaikille x X on voimassa: v T [Ax b] 0. Oletuksen nojalla on olemassa x X siten, että Ax b = v. Näin ollen on voimassa 0 v 2, l. v = 0, mikä on vastoin oletusta. Siis välttämättä u 0 > 0. Jakamalla epäyhtälö ([?]) u 0 :lla saadaan, että Heikon duaalisuuden nojalla θ(u, v) = inf x X f(x) + ug (x) + v T [Ax b] γ. γ θ(u, v).
50 50 LUKU 3. EPÄLINEAARISEN OPTIMOINNIN MENETELMÄT Satulapistekriteerio Primaaliongelman Lagrange n funktio on L(x, u, v) = f(x) + u T g(x) + v T h(x). Piste (x, u, v) X R l + R m on satulapiste, jos kaikille x X, u R l +, v R m : L(x, u, v) L(x, u, v) L(x, u, v). Lause 20. Piste (x, u, v) X R l + R m on satulapiste, jos ja vain jos. L(x, u, v) = min x L(x, u, v); 2. g(x) 0, Ax b = 0; 3. u T g(x) = 0. Näin ollen piste (x, u, v) on satulapiste, jos ja vain jos x toteuttaa KKTehdot Lagrangen kertojilla u 0 ja v Duaalifunktion ominaisuuksia Yhdistetään rajoitefunktiot yhdeksi vektoriarvoiseksi funktioksi p(x) = [g(x), h(x)] T. Tällöin duaalifunktio voidaan kirjoittaa muodossa θ(w) = inf x X f(x) + mathbfwt p(x). Lause 2. Duaalifunktio θ(w) on konkaavi. Oletetaan, että osaoptimointiongelmalla on yksikäsitteinen ratkaisu. Tämä on voimassa, jos joku funktioista f(x) tai g(x) on aidosti konveksi. Tällöin on voimassa Lause 22. Duaalifunktio on differentioituva ja sen gradientti on missä f(ˆx) = min x [f(x) + w T p(x)]. θ(w) = p(ˆx),
110. 111. 112. 113. 114. 4. Matriisit ja vektorit. 4.1. Matriisin käsite. 4.2. Matriisialgebra. Olkoon A = , B = Laske A + B, 5 14 9, 1 3 3
4 Matriisit ja vektorit 4 Matriisin käsite 42 Matriisialgebra 0 2 2 0, B = 2 2 4 6 2 Laske A + B, 2 A + B, AB ja BA A + B = 2 4 6 5, 2 A + B = 5 9 6 5 4 9, 4 7 6 AB = 0 0 0 6 0 0 0, B 22 2 2 0 0 0 6 5
LisätiedotOptimaalisuusehdot. Yleinen minimointitehtävä (NLP): min f(x) kun g i (x) 0 h j (x) = 0
Optimaalisuusehdot Yleinen minimointitehtävä (NLP): min f(x) kun g i (x) 0 h j (x) = 0 i = 1,..., m j = 1,..., l missä f : R n R, g i : R n R kaikilla i = 1,..., m, ja h j : R n R kaikilla j = 1,..., l
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotTaustatietoja ja perusteita
Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1 Avoin pallo:
LisätiedotLuento 9: Yhtälörajoitukset optimoinnissa
Luento 9: Yhtälörajoitukset optimoinnissa Lagrangen kerroin Oletetaan aluksi, että f, g : R R. Merkitään (x 1, x ) := (x, y) ja johdetaan Lagrangen kerroin λ tehtävälle min f(x, y) s.t. g(x, y) = 0 Olkoon
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotMatematiikka B2 - Avoin yliopisto
6. elokuuta 2012 Opetusjärjestelyt Luennot 9:15-11:30 Harjoitukset 12:30-15:00 Tentti Kurssin sisältö (1/2) Matriisit Laskutoimitukset Lineaariset yhtälöryhmät Gaussin eliminointi Lineaarinen riippumattomuus
LisätiedotOletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 018 Harjoitus 4 Ratkaisuehdotukset Tehtävä 1. Olkoon U R avoin joukko ja ϕ = (ϕ 1, ϕ, ϕ 3 ) : U R 3 kaksiulotteisen C 1 -alkeispinnan
Lisätiedot12. Hessen matriisi. Ääriarvoteoriaa
179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä
Lisätiedot1 Kertaus. Lineaarinen optimointitehtävä on muotoa:
1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n
LisätiedotInsinöörimatematiikka D
Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotTalousmatematiikan perusteet: Luento 14. Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu
Talousmatematiikan perusteet: Luento 14 Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu Luennolla 6 Tarkastelimme yhden muuttujan funktion f(x) rajoittamatonta optimointia
LisätiedotTyyppi metalli puu lasi työ I 2 8 6 6 II 3 7 4 7 III 3 10 3 5
MATRIISIALGEBRA Harjoitustehtäviä syksy 2014 Tehtävissä 1-3 käytetään seuraavia matriiseja: ( ) 6 2 3, B = 7 1 2 2 3, C = 4 4 2 5 3, E = ( 1 2 4 3 ) 1 1 2 3 ja F = 1 2 3 0 3 0 1 1. 6 2 1 4 2 3 2 1. Määrää
LisätiedotYleiset lineaarimuunnokset
TAMPEREEN YLIOPISTO Pro gradu -tutkielma Kari Tuominen Yleiset lineaarimuunnokset Matematiikan ja tilastotieteen laitos Matematiikka Toukokuu 29 Tampereen yliopisto Matematiikan ja tilastotieteen laitos
LisätiedotTalousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu
Talousmatematiikan perusteet: Luento 13 Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Viime luennolla Aloimme tarkastella yleisiä, usean muuttujan funktioita
Lisätiedot2 Konveksisuus ja ratkaisun olemassaolo
2 Konveksisuus ja ratkaisun olemassaolo Ratkaisun olemassaolon tutkimiseen tarvitaan perustietoja konvekseista joukoista ja lineaarialgebrasta. Niitä tarvitaan myös ratkaisualgoritmin ymmärtämiseen. Tutkitaan
LisätiedotMatemaattinen Analyysi / kertaus
Matemaattinen Analyysi / kertaus Ensimmäinen välikoe o { 2x + 3y 4z = 2 5x 2y + 5z = 7 ( ) x 2 3 4 y = 5 2 5 z ) ( 3 + y 2 ( 2 x 5 ( 2 7 ) ) ( 4 + z 5 ) = ( 2 7 ) yhteys determinanttiin Yhtälöryhmän ratkaiseminen
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila
LisätiedotMatematiikka B2 - TUDI
Matematiikka B2 - TUDI Miika Tolonen 3. syyskuuta 2012 Miika Tolonen Matematiikka B2 - TUDI 1 Kurssin sisältö (1/2) Matriisit Laskutoimitukset Lineaariset yhtälöryhmät Gaussin eliminointi Lineaarinen riippumattomuus
Lisätiedotmin x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-39 Optimointioppi Kimmo Berg 6 harjoitus - ratkaisut min x + x x + x = () x f = 4x, h = x 4x + v = { { x + v = 4x + v = x = v/ x = v/4 () v/ v/4
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 9 1 Implisiittinen derivointi Tarkastellaan nyt yhtälöä F(x, y) = c, jossa x ja y ovat muuttujia ja c on vakio Esimerkki tällaisesta yhtälöstä on x 2 y 5 + 5xy = 14
LisätiedotKonjugaattigradienttimenetelmä
Konjugaattigradienttimenetelmä Keijo Ruotsalainen Division of Mathematics Konjugaattigradienttimenetelmä Oletukset Matriisi A on symmetrinen: A T = A Positiivisesti definiitti: x T Ax > 0 kaikille x 0
Lisätiedotb 1. b m ) + ( 2b Ax) + (b b)
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}
LisätiedotTEKNILLINEN TIEDEKUNTA, MATEMATIIKAN JAOS
1. Suorakaiteen muotoisen lämmönvaraajan korkeus on K, leveys L ja syvyys S yksikköä. Konvektiosta ja säteilystä johtuvat lämpöhäviöt ovat verrannollisia lämmönvaraajan lämpötilan T ja ympäristön lämpötilan
Lisätiedot2.5. Matriisin avaruudet ja tunnusluvut
2.5. Matriisin avaruudet ja tunnusluvut m n-matriisi A Lineaarikuvaus A : V Z, missä V ja Z ovat sopivasti valittuja, dim V = n, dim Z = m (yleensä V = R n tai C n ja Z = R m tai C m ) Kuva-avaruus ja
Lisätiedot2 Osittaisderivaattojen sovelluksia
2 Osittaisderivaattojen sovelluksia 2.1 Ääriarvot Yhden muuttujan funktiolla f(x) on lokaali maksimiarvo (lokaali minimiarvo) pisteessä a, jos f(x) f(a) (f(x) f(a)) kaikilla x:n arvoilla riittävän lähellä
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21
LisätiedotFUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto
FUNKTIONAALIANALYYSIN PERUSKURSSI 1. Johdanto Funktionaalianalyysissa tutkitaan muun muassa ääretönulotteisten vektoriavaruuksien, ja erityisesti täydellisten normiavaruuksien eli Banach avaruuksien ominaisuuksia.
LisätiedotEste- ja sakkofunktiomenetelmät
Este- ja sakkofunktiomenetelmät Keijo Ruotsalainen Mathematics Division Luennon kulku Este- ja sisäpistemenetelmät LP-ongelmat ja logaritminen estefunktio Polun seuranta Newtonin menetelmällä Sakkofunktiomenetelmistä
LisätiedotLineaarialgebra ja matriisilaskenta II. LM2, Kesä /141
Lineaarialgebra ja matriisilaskenta II LM2, Kesä 2012 1/141 Kertausta: avaruuden R n vektorit Määritelmä Oletetaan, että n {1, 2, 3,...}. Avaruuden R n alkiot ovat jonoja, joissa on n kappaletta reaalilukuja.
LisätiedotLineaarinen yhtälöryhmä
Lineaarinen yhtälöryhmä 1 / 39 Lineaarinen yhtälö Määritelmä 1 Lineaarinen yhtälö on muotoa a 1 x 1 + a 2 x 2 + + a n x n = b, missä a i, b R, i = 1,..., n ovat tunnettuja ja x i R, i = 1,..., n ovat tuntemattomia.
Lisätiedot1 Lineaariavaruus eli Vektoriavaruus
1 Lineaariavaruus eli Vektoriavaruus 1.1 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä V epätyhjä joukko. Oletetaan, että joukossa V on määritelty laskutoimitus
LisätiedotLineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44
Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Tehtävät 1-3 lasketaan alkuviikon harjoituksissa, verkkotehtävien dl on lauantaina aamuyöllä. Tehtävät 4 ja 5 lasketaan loppuviikon harjoituksissa.
Lisätiedot1 Matriisit ja lineaariset yhtälöryhmät
1 Matriisit ja lineaariset yhtälöryhmät 11 Yhtälöryhmä matriisimuodossa m n-matriisi sisältää mn kpl reaali- tai kompleksilukuja, jotka on asetetettu suorakaiteen muotoiseksi kaavioksi: a 11 a 12 a 1n
Lisätiedot1 Euklidiset avaruudet R n
1 Euklidiset avaruudet R n Tässä osiossa käymme läpi Euklidisten avaruuksien R n perusominaisuuksia. Olkoon n N + positiivinen kokonaisluku. Euklidinen avaruus R n on joukko R n = {(x 1, x 2,..., x n )
Lisätiedot(1.1) Ae j = a k,j e k.
Lineaarikuvauksen determinantti ja jälki 1. Lineaarikuvauksen matriisi. Palautetaan mieleen, mikä lineaarikuvauksen matriisi annetun kannan suhteen on. Olkoot V äärellisulotteinen vektoriavaruus, n = dim
LisätiedotInsinöörimatematiikka D
Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi A. Lepistö alepisto@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2016 M. Hirvensalo V. Junnila A. Lepistö
Lisätiedot1 Rajoittamaton optimointi
Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y
LisätiedotInsinöörimatematiikka D
Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2
LisätiedotMS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.
MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Jarmo Malinen Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto Kevät 2016 1 Perustuu
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Idea Lineaarisen systeemin ratkaiseminen Olkoon
LisätiedotEllipsoidimenetelmä. Samuli Leppänen Kokonaislukuoptimointi. S ysteemianalyysin Laboratorio
Ellipsoidimenetelmä Kokonaislukuoptimointi Sovelletun matematiikan lisensiaattiseminaari Kevät 2008 / 1 Sisällys Ellipsoidimenetelmän geometrinen perusta ja menetelmän idea Formaali ellipsoidimenetelmä
Lisätiedot802320A LINEAARIALGEBRA OSA I
802320A LINEAARIALGEBRA OSA I Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 72 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä
LisätiedotInsinöörimatematiikka D
Insinöörimatematiikka D Mika Hirvensalo mikhirve@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2014 Mika Hirvensalo mikhirve@utu.fi Luentokalvot 3 1 of 16 Kertausta Lineaarinen riippuvuus
LisätiedotLineaarisen ohjelman määritelmä. Joonas Vanninen
Lineaarisen ohjelman määritelmä Joonas Vanninen Sisältö Yleinen optimointitehtävä Kombinatorinen tehtävä Optimointiongelman tapaus Naapurusto Paikallinen ja globaali optimi Konveksi optimointitehtävä Lineaarinen
LisätiedotInsinöörimatematiikka D
Insinöörimatematiikka D M Hirvensalo mikhirve@utufi V Junnila viljun@utufi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M Hirvensalo mikhirve@utufi V Junnila viljun@utufi Luentokalvot 5 1
LisätiedotMS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio.
MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Riikka Korte Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto
LisätiedotLuento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi.
Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Konveksisuus Muista x + αd, α 0, on pisteestä x R n alkava puolisuora, joka on vektorin d suuntainen. Samoin
LisätiedotMS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi
MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi Antti Rasila Aalto-yliopisto Syksy 2015 Antti Rasila (Aalto-yliopisto) MS-A0202 Syksy 2015 1
LisätiedotTalousmatematiikan perusteet: Luento 15. Rajoitettu optimointi Lagrangen menetelmä Lagrangen kerroin ja varjohinta
Talousmatematiikan perusteet: Luento 15 Rajoitettu optimointi Lagrangen menetelmä Lagrangen kerroin ja varjohinta Viime luennolla Tarkastelimme usean muuttujan funktioiden rajoittamatonta optimointia:
LisätiedotHY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina klo
HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina 10.8.2015 klo 16.15. Tehtäväsarja I Tutustu lukuun 15, jossa vektoriavaruuden
Lisätiedot6 Vektoriavaruus R n. 6.1 Lineaarikombinaatio
6 Vektoriavaruus R n 6.1 Lineaarikombinaatio Määritelmä 19. Vektori x œ R n on vektorien v 1,...,v k œ R n lineaarikombinaatio, jos on olemassa sellaiset 1,..., k œ R, että x = i v i. i=1 Esimerkki 30.
LisätiedotMat Lineaarinen ohjelmointi
Mat-2.3140 Lineaarinen ohjelmointi 4.10.2007 Luento 4 Ekstreemipisteiden optimaalisuus ja Simplex (kirja 2.4-2.6, 3.1-3.2) Lineaarinen ohjelmointi - Syksy 2007 / 1 Luentorunko Degeneroituvuus Ekstreemipisteiden
Lisätiedot6. Luennon sisältö. Lineaarisen optimoinnin duaaliteoriaa
JYVÄSKYLÄN YLIOPISTO 6. Luennon sisältö Lineaarisen optimoinnin duaaliteoriaa työkalu ratkaisun analysointiin Jälki- ja herkkyysanalyysiä mitä tapahtuu optimiratkaisulle, jos tehtävän vakiot hieman muuttuvat
Lisätiedot9. Lineaaristen differentiaaliyhtälöiden ratkaisuavaruuksista
29 9 Lineaaristen differentiaaliyhtälöiden ratkaisuavaruuksista Tarkastelemme kertalukua n olevia lineaarisia differentiaaliyhtälöitä y ( x) + a ( x) y ( x) + + a ( x) y( x) + a ( x) y= b( x) ( n) ( n
LisätiedotPäättelyn voisi aloittaa myös edellisen loppupuolelta ja näyttää kuten alkupuolella, että välttämättä dim W < R 1 R 1
Lineaarialgebran kertaustehtävien b ratkaisuista. Määritä jokin kanta sille reaalikertoimisten polynomien lineaariavaruuden P aliavaruudelle, jonka virittää polynomijoukko {x, x+, x x }. Ratkaisu. Olkoon
LisätiedotSisätuloavaruudet. 4. lokakuuta 2006
Sisätuloavaruudet 4. lokakuuta 2006 Tässä esityksessä vektoriavaruudet V ja W ovat kompleksisia ja äärellisulotteisia. Käydään ensin lyhyesti läpi määritelmiä ja perustuloksia. Merkitään L(V, W ) :llä
LisätiedotKKT: log p i v 1 + v 2 x i = 0, i = 1,...,n.
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-2.139 Optimointioppi Kimmo Berg 7. harjoitus - ratkaisut 1. Oletetaan aluksi, että epäyhtälöt eivät ole aktiivisia p i > 0. Tässä tapauksess KKTehdot
LisätiedotEnnakkotehtävän ratkaisu
Ennakkotehtävän ratkaisu Ratkaisu [ ] [ ] 1 3 4 3 A = ja B =. 1 4 1 1 [ ] [ ] 4 3 12 12 1 0 a) BA = =. 1 + 1 3 + 4 0 1 [ ] [ ] [ ] 1 0 x1 x1 b) (BA)x = =. 0 1 x 2 x [ ] [ ] [ 2 ] [ ] 4 3 1 4 9 5 c) Bb
LisätiedotLiittomatriisi. Liittomatriisi. Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä. 1) i+j det A ij.
Liittomatriisi Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä (cof A) ij =( 1) i+j det A ij kaikilla i, j = 1,...,n. Huomautus 8 Olkoon A 2 M(n, n). Tällöin kaikilla
LisätiedotKanta ja Kannan-vaihto
ja Kannan-vaihto 1 Olkoon L vektoriavaruus. Äärellinen joukko L:n vektoreita V = { v 1, v 2,..., v n } on kanta, jos (1) Jokainen L:n vektori voidaan lausua v-vektoreiden lineaarikombinaationa. (Ts. Span(V
LisätiedotMatikkapaja keskiviikkoisin klo Lineaarialgebra (muut ko) p. 1/210
Matikkapaja keskiviikkoisin klo 14-16 Lineaarialgebra (muut ko) p. 1/210 Lineaarialgebra (muut ko) p. 2/210 Operaatiot Vektoreille u = (u 1,u 2 ) ja v = (v 1,v 2 ) Yhteenlasku: u+v = (u 1 +v 1,u 2 +v 2
LisätiedotAvaruuden R n aliavaruus
Avaruuden R n aliavaruus 1 / 41 Aliavaruus Esimerkki 1 Kuva: Suora on suljettu yhteenlaskun ja skalaarilla kertomisen suhteen. 2 / 41 Esimerkki 2 Kuva: Suora ei ole suljettu yhteenlaskun ja skalaarilla
LisätiedotVapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.
Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +
Lisätiedotf(x, y) = x 2 y 2 f(0, t) = t 2 < 0 < t 2 = f(t, 0) kaikilla t 0.
Ääriarvon laatu Jatkuvasti derivoituvan funktion f lokaali ääriarvokohta (x 0, y 0 ) on aina kriittinen piste (ts. f x (x, y) = f y (x, y) = 0, kun x = x 0 ja y = y 0 ), mutta kriittinen piste ei ole aina
LisätiedotLuento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja
Luento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja Seuraavassa esitetään optimointitehtävien numeerisia ratkaisumenetelmiä, eli optimointialgoritmeja, keittokirjamaisesti.
Lisätiedot= 2±i2 7. x 2 = 0, 1 x 2 = 0, 1+x 2 = 0.
HARJOITUS 1, RATKAISUEHDOTUKSET, YLE11 2017. 1. Ratkaise (a.) 2x 2 16x 40 = 0 (b.) 4x 2 2x+2 = 0 (c.) x 2 (1 x 2 )(1+x 2 ) = 0 (d.) lnx a = b. (a.) Toisen asteen yhtälön ratkaisukaavalla: x = ( 16)± (
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =
LisätiedotOsoita, että täsmälleen yksi vektoriavaruuden ehto ei ole voimassa.
LINEAARIALGEBRA Harjoituksia 2016 1. Olkoon V = R 2 varustettuna tavallisella yhteenlaskulla. Määritellään reaaliluvulla kertominen seuraavasti: λ (x 1, x 2 ) = (λx 1, 0) (x 1, x 2 ) R 2 ja λ R. Osoita,
LisätiedotNeliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja
7 NELIÖMATRIISIN DIAGONALISOINTI. Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T () Muistutus: Kokoa n olevien vektorien
LisätiedotDuaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki
Duaalisuus kokonaislukuoptimoinnissa Mat-2.4191, Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Sisältö Duaalisuus binäärisissä optimointitehtävissä Lagrangen duaalisuus Lagrangen
Lisätiedot802118P Lineaarialgebra I (4 op)
802118P Lineaarialgebra I (4 op) Tero Vedenjuoksu Oulun yliopisto Matemaattisten tieteiden laitos 2012 Lineaarialgebra I Yhteystiedot: Tero Vedenjuoksu tero.vedenjuoksu@oulu.fi Työhuone M206 Kurssin kotisivu
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 8 1 Suunnattu derivaatta Aluksi tarkastelemme vektoreita, koska ymmärrys vektoreista helpottaa alla olevien asioiden omaksumista. Kun liikutaan tasossa eli avaruudessa
LisätiedotMS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 17 R. Kangaslampi Vektoriavaruudet Vektoriavaruus
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi
LisätiedotMS-A0003/A0005 Matriisilaskenta Laskuharjoitus 3 /
MS-A3/A5 Matriisilaskenta, II/27 MS-A3/A5 Matriisilaskenta Laskuharjoitus 3 / 3. 7..27 Tehtävä (L): Etsi kaikki yhtälön Ax = b ratkaisut, kun 3 5 4 A = 3 2 4 ja b = 6 8 7 4. Ratkaisu : Koetetaan ratkaista
LisätiedotJYVÄSKYLÄN YLIOPISTO. 3. Luennon sisältö
JYVÄSKYLÄN YLIOPISTO 3. Luennon sisältö Lineaarisen optimointitehtävän sallittu alue Optimointitehtävien muunnoksia Lineaarisen yhtälöryhmän perusmuoto ja perusratkaisut Lineaarisen optimointitehtävän
Lisätiedot, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1).
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 017 Harjoitus 4 Ratkaisuehdotukset 4.1. Osoita, että tasa-arvojoukko S F (0), F : R 3 R, F (x) = 3x 1 x 3 + e x + x e x 3, on säännöllinen
LisätiedotAntti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Antti Rasila Matematiikan ja systeemianalyysin laitos
LisätiedotLineaarialgebra (muut ko)
Lineaarialgebra (muut ko) p. 1/103 Lineaarialgebra (muut ko) Tero Laihonen Lineaarialgebra (muut ko) p. 2/103 Operaatiot Vektoreille u = (u 1,u 2 ) ja v = (v 1,v 2 ) Yhteenlasku: u+v = (u 1 +v 1,u 2 +v
LisätiedotHILBERTIN AVARUUDET 802652S MIKAEL LINDSTRÖM KEVÄÄN 2010 ANALYYSI 3 -LUENTOJEN PERUSTEELLA TOIMITTANEET TOMI ALASTE JA LAURI BERKOVITS
HILBRTIN AVARUUDT 802652S MIKAL LINDSTRÖM KVÄÄN 2010 ANALYYSI 3 -LUNTOJN PRUSTLLA TOIMITTANT TOMI ALAST JA LAURI BRKOVITS Sisältö 1 Hilbertin Avaruudet 3 1.1 Normi- ja L p -avaruudet........................
Lisätiedot(0 desimaalia, 2 merkitsevää numeroa).
NUMEERISET MENETELMÄT DEMOVASTAUKSET SYKSY 20.. (a) Absoluuttinen virhe: ε x x ˆx /7 0.4 /7 4/00 /700 0.004286. Suhteellinen virhe: ρ x x ˆx x /700 /7 /00 0.00 0.%. (b) Kahden desimaalin tarkkuus x ˆx
Lisätiedot4.5 Kaksivaiheinen menetelmä simplex algoritmin alustukseen
4.5 Kaksivaiheinen menetelmä simplex algoritmin alustukseen Käypä kantaratkaisu löytyy helposti, esimerkiksi tapauksessa Ax b, b 0 x 0 jolloin sen määräävät puutemuuttujat. Tällöin simplex-menetelmän alustus
LisätiedotLineaarinen optimointi. Harjoitus 6-7, Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän. c T x = min!
Lineaarinen optimointi Harjoitus 6-7, 016. 1. Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän c T x = min! (T) Ax b x 0 duaalitehtävän duaali on tehtävä (T). Ratkaisu. (P) c T x = min! Ax b x
LisätiedotLineaarialgebra ja differentiaaliyhtälöt Harjoitus 4 / Ratkaisut
MS-C34 Lineaarialgebra ja differentiaaliyhtälöt, IV/26 Lineaarialgebra ja differentiaaliyhtälöt Harjoitus 4 / t Alkuviikon tuntitehtävä Hahmottele matriisia A ( 2 6 3 vastaava vektorikenttä Matriisia A
Lisätiedot1 Ominaisarvot ja ominaisvektorit
1 Ominaisarvot ja ominaisvektorit Olkoon A = [a jk ] n n matriisi. Tarkastellaan vektoriyhtälöä Ax = λx, (1) 1 missä λ on luku. Sellaista λ:n arvoa, jolla yhtälöllä on ratkaisu x 0, kutsutaan matriisin
Lisätiedot6 MATRIISIN DIAGONALISOINTI
6 MATRIISIN DIAGONALISOINTI Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T Muistutus: vektorien a ja b pistetulo (skalaaritulo,
LisätiedotOminaisarvo ja ominaisvektori
Ominaisarvo ja ominaisvektori Määritelmä Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka
LisätiedotOrtogonaalisen kannan etsiminen
Ortogonaalisen kannan etsiminen Lause 94 (Gramin-Schmidtin menetelmä) Oletetaan, että B = ( v 1,..., v n ) on sisätuloavaruuden V kanta. Merkitään V k = span( v 1,..., v k ) ja w 1 = v 1 w 2 = v 2 v 2,
LisätiedotLineaarinen optimointitehtävä
Lineaarinen optimointitehtävä Minimointitehtävä yhtälörajoittein: min kun n j=1 n j=1 c j x j a ij x j = b i x j 0 j = 1,..., n i = 1,..., m Merkitään: z = alkuperäisen objektifunktion arvo käsiteltävänä
LisätiedotRatkaisuehdotukset LH 7 / vko 47
MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [
LisätiedotKuvaus. Määritelmä. LM2, Kesä /160
Kuvaus Määritelmä Oletetaan, että X ja Y ovat joukkoja. Kuvaus eli funktio joukosta X joukkoon Y on sääntö, joka liittää jokaiseen joukon X alkioon täsmälleen yhden alkion, joka kuuluu joukkoon Y. Merkintä
LisätiedotLuento 9: Newtonin iteraation sovellus: optimointiongelma
Luento 9: Newtonin iteraation sovellus: optimointiongelma ilman rajoitusehtoja Optimointiongelmassa tehtävänä on löytää annetun reaaliarvoisen jatkuvan funktion f(x 1,x,,x n ) maksimi tai minimi jossain
LisätiedotMat Lineaarinen ohjelmointi
Mat-.4 Lineaarinen ohjelmointi..7 Luento 7 Duaalisimple ja herkkyysanalyysi (kirja 4.5, 5., 5.5-5.6) Lineaarinen ohjelmointi - Syksy 7 / Duaalisimple Herkkyysanalyysi Luentorunko Parametrinen ohjelmointi
LisätiedotLineaariavaruudet. Span. Sisätulo. Normi. Matriisinormit. Matriisinormit. aiheita. Aiheet. Reaalinen lineaariavaruus. Span. Sisätulo.
Lineaariavaruudet aiheita 1 määritelmä Nelikko (L, R, +, ) on reaalinen (eli reaalinen vektoriavaruus), jos yhteenlasku L L L, ( u, v) a + b ja reaaliluvulla kertominen R L L, (λ, u) λ u toteuttavat seuraavat
Lisätiedot6. OMINAISARVOT JA DIAGONALISOINTI
0 6 OMINAISARVOT JA DIAGONALISOINTI 6 Ominaisarvot ja ominaisvektorit Olkoon V äärellisulotteinen vektoriavaruus, dim(v ) = n ja L : V V lineaarikuvaus Määritelmä 6 Skalaari λ R on L:n ominaisarvo, jos
LisätiedotJAKSO 2 KANTA JA KOORDINAATIT
JAKSO 2 KANTA JA KOORDINAATIT Kanta ja dimensio Tehtävä Esittele vektoriavaruuden kannan määritelmä vapauden ja virittämisen käsitteiden avulla ja anna vektoriavaruuden dimension määritelmä Esittele Lause
Lisätiedot