OPTIMOINTITEHTÄVIEN RATKAISEMINEN

Transkriptio

1 OPTIMOINTITEHTÄVIEN RATKAISEMINEN JUHA HAATAJA CSC

2 Optimointitehtävien ratkaiseminen

3 Optimointitehtävien ratkaiseminen Juha Haataja Tieteen tietotekniikan keskus CSC

4 Tämän teoksen tekijänoikeudet kuuluvat CSC Tieteellinen laskenta Oy:lle. Teoksen tai osia siitä voi kopioida ja tulostaa vapaasti henkilökohtaiseen käyttöön sekä Suomen yliopistojen ja korkeakoulujen kurssikäyttöön edellyttäen, että kopioon tai tulosteeseen liitetään tämä ilmoitus teoksen tekijästä ja tekijänoikeuksista. Teosta ei saa myydä tai sisällyttää osaksi muita teoksia ilman CSC:n lupaa. c Juha Haataja ja CSC Tieteellinen laskenta Oy uudistettu painos ISBN Picaset Oy Helsinki 2004

5 Optimointitehtävien ratkaiseminen 5 Esipuhe Optimointitehtävien ratkaiseminen on keskeinen osa monia laskennallisen tieteen ja tekniikan tehtäviä. Mallien monimutkaisuuden vuoksi ratkaisussa käytetään numeerisia menetelmiä, jolloin optimointimalli on kuvattava tietokoneen ymmärtämässä muodossa. Oikean menetelmän valinta voi ratkaisevasti nopeuttaa laskentaa ja parantaa tulosten luotettavuutta. Teos on kirjoitettu ajatellen optimointitehtävien ratkaisemista työssään tarvitsevaa tutkijaa tai insinööriä. Kirja sisältää esimerkkejä optimointitehtävien matemaattisista malleista ja niiden numeerisesta ratkaisemisesta tietokoneella. Täten kirjaa voi käyttää hakuteoksena ja käsikirjana sekä itseopiskeluun. Opas esittelee ratkaisuohjelmistoja katsauksenomaisesti. Lukija voi hankkia lisätietoja kirjallisuusluettelossa mainitusta teoksista. Liitteessä A on lisäksi eräiden englanninkielisten oppikirjojen lyhyet esittelyt. Lukijalta edellytetään lukion pitkän matematiikan tasoiset tiedot sekä lisäksi matriisilaskennan ja optimoinnin perusteiden tuntemus. Teoksen ensimmäisen painoksen ilmestymisestä tulee kolmannen painoksen myötä kuluneeksi kymmenen vuotta. Optimoinnin käyttö ja sovelluskohteet ovat tänä aikana suuresti lisäntyneet, mutta perusteet ovat pysyneet samoina. Teos sisältää muutaman uuden esimerkin optimoinnin käytöstä, mutta muuten tekstin sisältöön on tehty vain pienehköjä lisäyksiä ja korjauksia. Eräiden matemaattisten käsitteiden määrittelyt ja liukulukuaritmetiikan perusteet on siirretty liitteisiin. Lisäksi kolmas painos saattaa kirjallisuusviittauksia ajan tasalle. Suuret kiitokset kaikille, jotka vaikuttivat oppaansyntymiseenja esittivät aihepiiriin liittyviä rakentavia huomautuksia ja hyödyllisiä neuvoja. Erityiset kiitokset ansaitsevat CSC:ssä työskenneet asiantuntijat, jotka antoivat palautetta teoksen eri versioita kirjoittaessani: Olli Serimaa, Jussi Rahola, Juhani Käpyaho, Jari Järvinen, Matti Nykänen ja Peter Råback. Näiden työtoverien lisäksi Jukka Korpela, Markku Lindroos ja Raija Kukkonen kommentoivat toisen painoksen käsikirjoitusta. Harri Ehtamo ja Marko M. Mäkelä antoivat osuvaa palautetta oppaan alkutaipaleella. Oppaan kolmannen painoksen liite C on peräisin Yrjö Leinolta [HHL + 02]. Lisäksi kiitän Suomen Akatemiaa tutkijankoulutuksen rahoituksesta vuosina Optimointitehtävien ratkaisemista sekä muita keskeisiä menetelmiä esitellään myös teoksessa Numeeriset menetelmät käytännössä [HHL + 02]. Teok-

6 6 Optimointitehtävien ratkaiseminen sessa Matemaattiset ohjelmistot [HHL + 03] esitellään optimointiin soveltuvia ohjelmistoja. Toivon saavani lukijoilta palautetta. Otan kommentteja vastaan sähköpostiosoitteessa Juha.Haataja@csc.fi. Espoon Otaniemessä Juha Haataja

7 Sisältö 7 Sisältö Esipuhe 5 Symboliluettelo 11 1 Hyvä lukija! Optimointitehtävät Optimointitehtävän muodostaminen ja ratkaiseminen Kirjassa käytetyt merkinnät Lineaariavaruudet ja matriisit Lineaaristen yhtälöryhmien ratkaiseminen Matriisien hajotelmien käyttömahdollisuuksia Lineaarisen yhtälöryhmän häiriöalttius Lisätietoja Ratkaisumenetelmän ja -ohjelmiston valinta Mitä tarkoitetaan optimoinnilla? Optimointitehtävien eri tyyppejä Optimointitehtävien ratkaisumenetelmät Optimointitehtävän muodostaminen Suurten tehtävien ratkaiseminen Ratkaisuohjelmiston valinta Lisätietoja Optimoinnin perusteita Optimointitehtävät Optimaalisuustarkasteluja Rajoitteelliset optimointitehtävät Konveksisuus Kvadraattiset funktiot Lisätietoja Lineaarinen ja kvadraattinen optimointi Lineaariset optimointitehtävät

8 8 Optimointitehtävien ratkaiseminen 4.2 Yleisohjeita LP-tehtävien ratkaisemiseen Simplex-algoritmi LP-tehtäville Sisäpistemenetelmät LP-tehtävien ratkaisuohjelmistot MPS-formaatti Kvadraattiset tehtävät Ohjelmistoja Lisätietoja Kokonaisluku- ja sekalukuoptimointi Kokonaislukutehtävät Ratkaisualgoritmit Yleisohjeita Ohjelmistoja Lisätietoja Rajoitteettomat epälineaariset optimointitehtävät Epälineaariset tehtävät Rajoitteettomien tehtävien ratkaisu Ratkaisumenetelmien yleispiirteitä Ratkaisuohjelmistot ja esimerkkitehtävät Newtonin menetelmä Sekanttimenetelmät Liittogradienttimenetelmät Suorahakumenetelmät: polytooppihaku Menetelmiä separoituville tehtäville Ratkaisumenetelmien vertailu Ohjelmistoja Lisätietoja Pienimmän neliösumman tehtävät PNS-tehtävät Ratkaisumenetelmät Gaussin ja Newtonin menetelmä Levenbergin ja Marquardtin menetelmä Ohjelmistoja Lisätietoja Rajoitteelliset epälineaariset optimointitehtävät Rajoitteita sisältävät tehtävät Lineaariset rajoitteet Epälineaariset rajoitteet Täydennetyn Lagrangen funktion menetelmä Toistettu kvadraattinen optimointi Sakko- ja estefunktiomenetelmät

9 Sisältö Menetelmien tehokkuusvertailu Ohjelmistoja Lisätietoja Erikoismenetelmiä Globaali optimointi Min-max -optimointitehtävät Epäsileä optimointi Ohjelmistoja Lisätietoja Geneettiset algoritmit Kombinatorinen optimointi Optimointi geneettisellä algoritmilla Kauppamatkustajan ongelma Geneettisen algoritmin toimintaperiaatteet Globaali optimointi Geneettisen algoritmin simulointi Lisätietoja Jäähdytysmenetelmät Jäähdytysmenetelmät optimoinnissa Jäähdytysmenetelmän toiminta Kombinatoriset optimointitehtävät Globaali optimointi Pienimmän neliösumman sovitus Jäähdytysmenetelmän käyttökohteet Lisätietoja Derivaattojen laskeminen Gradienttimenetelmät optimoinnissa Automaattinen derivoiminen Differenssiarvioiden käyttö Ohjelmistoja Lisätietoja Yksiulotteinen optimointi ja luottamusalue Viivahaku- ja luottamusaluealgoritmit Yksiulotteinen optimointi Viivahakualgoritmit Luottamusalueen käyttö Lisätietoja Liitteet 202

10 10 Optimointitehtävien ratkaiseminen A Optimoinnin peruskirjallisuutta 203 A.1 Englanninkielisiä perusteoksia A.2 Suomenkielisiä teoksia B Ohjelmistoja 206 B.1 CSC:n ohjelmistotuki ja neuvontapalvelut B.2 Optimointitehtävien ratkaisuohjelmistot B.3 Yleiskäyttöiset ohjelmistot B.4 Lineaarinen, kvadraattinen ja sekalukuoptimointi B.5 Epälineaarinen optimointi B.6 Pienimmän neliösumman tehtävät B.7 Globaali optimointi B.8 Lineaarialgebra B.9 Netlibin sisältämiä ohjelmistoja B.10 Oppaan esimerkkiohjelmat B.11 Lisätietoja C Vektoriavaruus, normi ja sisätulo 217 C.1 Vektoriavaruus ja normi C.2 Sisätulo D Liukulukuesitys 222 D.1 Reaaliluvut ja liukuluvut D.2 Liukulukuesityksen virheet D.3 IEEE-aritmetiikka D.4 Liukulukuaritmetiikan ominaisuuksia D.5 Käytännön ohjeita liukulukulaskentaan D.6 Virheiden kasautuminen D.7 Lisätietoja E Lisätietoja CSC:stä 229 Kirjallisuutta 231 Hakemisto 240

11 Symboliluettelo 11 Symboliluettelo Seuraavaan luetteloon on koottu tärkeimmät oppaassa käytetyt symbolit ja merkintätavat. Lisätietoja löytyy luvusta 1. Symboli Selitys R reaalilukujen joukko R n n-ulotteinen reaaliavaruus R n R kuvaus avaruudesta R n reaaliluvuille x, y skalaarimuuttujia x, y vektoreita x i,y j vektorien alkioita A, B matriiseja a ij matriisin A alkio (rivi i, sarake j) x T,A T vektorin ja matriisin transpoosi 0 nollavektori: 0 = (0, 0,...,0) T 1 yksikkövektori: 1 = (1, 1,...,1) T e i i:s standardikannan yksikkövektori x l, x u laatikkorajoitteet: x l x x u I,L,U identiteettimatriisi, ylä- ja alakolmiomatriisi diag(d 1,...,d n ) lävistäjämatriisi jonka alkiot ovat d 1,d 2,...,d n x k,k= 1, 2,... skalaarimuuttujan iteraatit x k,k= 1, 2,... vektorin iteraatit A k,k= 1, 2,... matriisin iteraatit = yhtäsuuruus likimääräinen yhtäsuuruus kuuluu joukkoon osajoukko, unioni, leikkaus jos... niin... jos ja vain jos todistus loppuu <, > pienempi kuin, suurempi kuin, pienempi tai yhtäsuuri, suurempi tai yhtäsuuri

12 12 Optimointitehtävien ratkaiseminen Symboli Selitys, ääretön, miinus ääretön eig(a) matriisin A ominaisarvot ker(a) matriisin A ydin R(A) matriisin A kuva-avaruus κ(a) matriisin A häiriöalttius x, y vektorien x ja y sisätulo: x, y =x T y = n i=1 x i y i itseisarvo (euklidinen) normi [a, b] reaaliakselin suljettu väli (a, b) reaaliakselin avoin väli { x 1,x 2,...,x n } joukon alkiot lueteltuina { x R n x 1 } korkeintaan ykkösen suuruiset vektorit ,( ) 10 desimaaliluku (0.11) 2 binääriluku x reaaliluvun x kokonaisosa: 1.6 =1 x f reaaliluvun x liukulukuesitys ɛ M konevakio n i=1 s i termien s i summa: n i=1 s n i = s 1 + s 2 + +s n i=1 s i termien s i tulo: n i=1 s i = s 1 s 2 s n h 0 h lähestyy arvoa 0 lim h 0 f(h) raja-arvo lausekkeelle f(h) O(n) samaa suuruusluokkaa kuin n f(x) funktio avaruudesta R avaruuteen R f(x), f(x) funktio R n R,funktio R n R m f (x) skalaarifunktion derivaatta osittaisderivaattaoperaattori f(x) funktion f gradienttivektori pisteessä x H(x) Hessen matriisi pisteessä x: H(x) = T f(x) J(x) Jacobin matriisi pisteessä x F optimointitehtävän käypä alue x,f funktion minimipiste ja minimiarvo f = minimi x f(x) funktion f minimiarvo muuttujan x suhteen f = maksimi x f(x) funktion f maksimiarvo muuttujan x suhteen min i {x i }, max i {x i } pienin ja suurin arvo joukosta {x i } inf x f(x) Pienin alaraja funktiolle f x c funktion f kriittinen piste: f(x) = 0 g(x), h(x) optimointitehtävän rajoitefunktiot p k, s k iteratiivisen algoritmin hakusuunta ja hakuaskel u, v Lagrangen kertoimet L(x, u, v) Lagrangen funktio epi(f ) funktion f epigraafi P(x k P ) todennäkoisyys että vektori x k on joukossa P c f funktion f aligradientti

13 1 Hyvä lukija! 13 1 Hyvä lukija! Tämä luku kertoo oppaan tarkoituksesta ja sisällöstä sekä antaa ohjeita kirjan lukemiseen. Luvussa esitellään käytetyt merkintätavat sekä tuodaan esille kirjassa tarvittavia lineaarialgebran ja analyysin keskeisiä käsitteitä. 1.1 Optimointitehtävät Monenlaisia ilmiöitä voidaan kuvailla energia- tai kustannusfunktioon perustuvien optimointimallien avulla. Täten syntyvien optimointitehtävien ratkaiseminen on useiden tieteen ja tekniikan alojen keskeisiä välineitä. Sovelluksia löytyy esimerkiksi fysiikasta, mekaniikasta, taloustieteestä, kemiasta ja tähtitieteestä. Tyypillinen optimointitehtävä on matemaattisen mallin tuntemattomien parametrien arvojen hakeminen eli mallin sovittaminen dataan. Optimointimallien käyttöalue on kuitenkin hyvin laaja, kuten seuraavasta esimerkistä käy ilmi. Esimerkki Kun potilas menee silmälääkäriin hakemaan silmälasireseptiä, joutuu lääkäri ratkaisemaan usean muuttujan optimointitehtävän. Yleisin silmälasin valinnassa optimoitava muuttuja on kauko- tai likitaittoisuus. Likitaittoisen silmämuna on liian pitkä. Likitaittoisuus korjataan sopivalla koveralla linssillä (miinus-vahvuudet), joka on keskikohdaltaan ohuempi kuin laidoiltaan. Kaukotaittoisuutta taas voidaan korjata kuperalla linssillä (plus-vahvuudet). Silmälaseilla voidaan korjata myös hajataitteisuutta (astigmatismi), jossa silmä taittaa valoa niin, että erisuuntaisten säteiden leikkauspisteet silmän sisällä sattuvat eri kohtiin. Hajataitteisuutta korjataan ns. sylinterilinssillä. Oletetaan, että tarvitaan korjausta sekä likitaittoisuuteen että hajataittoisuuteen. Tällöin silmälääkäri joutuu ratkomaan kolmen muuttujan optimointitehtävän, jossa koveran linssin vahvuuden lisäksi täytyy määrittää sylinterilinssin akselin suunta ( )javahvuus. Silmälääkäri ei voi käyttää optimointitehtävän ratkaisuun normaaleja optimointimenetelmiä, esimerkiksi Newtonin menetelmää, sillä potilas ei yleensä pysty

14 14 Optimointitehtävien ratkaiseminen antamaan kvalitatiivista arviota nähdyn kuvan suttuisuudesta. Sen sijaan potilas pannaan vertaamaan kahta vaihtoehtoa. Tätä vertailua toistamalla silmälääkäri pystyy löytämään optimiratkaisun kolmiulotteisesta hakuavaruudesta muutamalla iteraatiolla. Esimerkki Paperikonetta suunniteltaessa halutaan, että tuotettu paperi olisi tasalaatuista [HT02]. Perälaatikosta tulevan virtauksen jakautuminen koko koneen leveydeltä näkyy esityisesti valmiin paperin neliöpainossa (grammaa pinta-alayksikköä kohden). Paperin käyttäytymiseen esimerkiksi kopiokoneessa vaikuttaa myös kuitujen suunnan (kuituorientaatio) jakautuma paperiarkilla. Paperikoneen perälaatikossa olevan jakotukin tehtävä on jakaa massa tasaisesti koko paperikoneen leveydeltä (kuva 1.1). Jakotukin muoto vaikuttaa merkittävästi neliöpainoprofiiliin ja siten paperikoneen kuivasta päästä tulevan paperin laatuun. Paperimassan virtaus pyritään saamaan tasaiseksi jakotukin muotoa optimoimalla. Massan jakautumisen hyvyys voidaan kuvata keskihajontana. Näin saa- Kuva 1.1: Paperikoneen sisällä oleva virtausnopeus (ylempi kuva) ja virtaussuunnat (alempi kuva). Tehtävänä on löytää optimaalinen muoto jakotukin suppenemiselle tuloputkelta. Tuloputki on vasemmassa yläreunassa. (Lähde: Jari P. Hämäläinen, Metso Paper Oy. Visualisointi: Matti Gröhn, CSC.)

15 1 Hyvä lukija! 15 daan määriteltyä optimoitava kohdefunktio. Jos paperimassan jakautuminen on optimaalista, niin keskihajonta on nolla. Keskihajonta on sitä suurempi, mitä epätasaisempi massan jakautuminen jakotukin pituudelta on. Jakotukin muotoparametrien ja kohdefunktion välinen riippuvuus saadaan virtauslaskennan avulla. Kun jakotukin muotoa vastaava virtauskenttä lasketaan virtauslaskennan avulla, voidaan virtauskentästä määritellä kustannusfunktion arvo. Optimointitehtävä on etsiä optimaaliset muotoparametrit siten, että kustannusfunktio minimoituu mahdollisimman lähelle nollaa. Esimerkki Sivuntaitto-ohjelmiston toimintaa voi pitää esimerkkinä optimoinnista: teksti täytyy pilkkoa riveiksi, rivit yhdistää kappaleiksi ja kappaleista muodostaa peräkkäisiä sivuja. Teksti ei saa olla liian tiivistä (kirjaimet, sanat tai rivit liian lähellä toisiaan) mutta toisaalta ei liian harvaakaan (isoja välejä kirjainten tai sanojen välissä). Lisäksi voidaan vaatia, ettei rivien lopuissa saa olla liian monta tavuviivaa päällekkäin tai että otsikkorivi ei saa jäädä yksinään sivun alalaitaan. Tässä tehtävässä kohdefunktio muodostuu eri tyyppisistä sivujen luettavuuteen ja selkeyteen vaikuttavista tekijöistä, ja lisäksi on asetettu rajoitteita, joiden puitteissa täytyy toimia. Tämän oppaan taittoon käytetty L A T E X-ohjelmisto perustuu sakkotermien käyttöön sivujen ulkoasuun vaikuttavien tekijöiden yhdistelyssä. Joskus on mahdollista löytää optimointitehtävälle tarkat analyyttiset ratkaisut, mutta useimmiten on turvauduttava numeerisiin menetelmiin. Näin on varsinkin silloin, kun ratkaistavana on useasta eri muuttujasta riippuva tehtävä. Viime vuosina ovat optimointitehtävien ratkaisemiseen käytetyt numeeriset menetelmät ja ohjelmistot kehittyneet huomattavasti. Osaltaan tähän ovat vaikuttaneet uusien tietokonearkkitehtuurien tarjoamat mahdollisuudet (esimerkkinä rinnakkaistietokoneet). Toisaalta on myös löydetty uusia näkökulmia ja lähestymistapoja ratkaisualgoritmien kehittelyyn Oppaan sisältö Tämä opas esittelee eräitä tyypillisiä optimointitehtäviä sekä antaa ohjeita sopivien ratkaisumenetelmien valintaan. Opas sisältää esimerkkejä tehtävien ratkaisemisesta yleisesti käytössä olevilla ohjelmistoilla ja välineillä. Lisäksi kuvaillaan käytetyimpien ratkaisumenetelmien perusteita. Opas rakentuu CSC:n julkaisemien kirjojen Numeeriset menetelmät käytännössä [HHL + 02] jamatemaattiset ohjelmistot [HHL + 03] pohjalle. Näitä teoksia kannattaa hyödyntää tätä opasta lukiessa. Suurin osa kirjallisuusviitteistä on tekstin luettavuuden parantamiseksi siirretty kunkin luvun loppuun Lisätietoja-kappaleeseen. Samassa yhteydessä on lueteltu kunkin luvun aihepiiriin liittyviä lisätietojen lähteitä.

16 16 Optimointitehtävien ratkaiseminen Teoksessa käsitellään pääasiassa jatkuvasti differentioituvien (sileiden) epälineaaristen optimointitehtävien ratkaisemista, mutta muunkin tyyppisiä tehtäviä esitellään. Aihepiirejä ovat ratkaisumenetelmän valinta optimointitehtävien tausta lineaarinen ja kvadraattinen optimointi kokonaisluku- ja sekalukuoptimointi rajoitteettomat ja rajoitteelliset epälineaariset optimointitehtävät epälineaariset pienimmän neliösumman tehtävät erikoismenetelmät ja -ohjelmistot epäsileiden tai epäjatkuvien tehtävien ratkaisemiseen sekä globaaliin optimointiin derivaattojen laskeminen tai arvioiminen optimointitehtävissä viivahaun tai luottamusalueen käyttö optimointitehtävien ratkaisuohjelmistot. Tämä teos on esimerkkejä sisältävä reseptikirja. Optimointitehtävien ratkaisumenetelmien tausta ja yleisperiaatteet on esitetty tiiviissä muodossa. Teoriaosuus sisältyy pääosin lukuun 3 sekä esimerkkeinä käytettyjen optimointitehtävien ratkaisemisen yhteyteen. Oppaassa ei käsitellä dynaamista optimointia, optimisäätöä eikä stokastista tai monitavoiteoptimointia, vaikkakin kirjan menetelmiä voidaan soveltaa näihin tehtäviin. Globaalia optimointia käsitellään suppeasti. Myös epäsileiden ja epäjatkuvien tehtävien ratkaisemisessa rajoitutaan yleisesittelyyn. Ratkaisumenetelmien rinnakkaistaminen ja numeerinen tausta on jätetty pääosin kirjallisuusviitteiden varaan. Oppaan lukijalta vaaditaan matemaattisen analyysin ja lineaarialgebran perusteiden hallinta sekä yleistiedot optimointitehtävien ratkaisemisesta. Pitkälle menevää asiantuntemusta ei vaadita, vaikkakin numeeristen menetelmien yleistuntemuksesta on etua oppaan hyödyntämisessä. Teos ei pyri olemaan oppikirja, sillä menetelmien johtamiset ja suppenemistodistukset on useimmiten sivuutettu. Kirjallisuusluettelosta kuitenkin löytyy runsaasti eri menetelmien taustaa ja numeerista problematiikkaa valaisevia teoksia. Toisaalta kirja sisältää runsaasti esimerkkejä, joista lienee hyötyä käsikirjamaisessa käytössä. Tästä luvusta löytyy käytetyn notaation esittely (kappale 1.3). Luvun loppupuolella esitetään tiivis katsaus oppaan lukemisessa tarvittaviin lineaarialgebran, analyysin ja numeeristen menetelmien käsitteisiin. Kappaleessa 1.4 käydään läpi lineaarialgebran perusteita ja esitellään numeerisissa algoritmeissa käytettyjä matriisien hajotelmia. Kappaleessa D on havainnollistettu numeerisen laskennan perusteita.

17 1 Hyvä lukija! 17 Oppaan luvussa 2 on kerrottu ratkaisumenetelmän valintaan vaikuttavista tekijöistä. Luvussa 3 on esitelty optimoinnin keskeisiä käsitteitä. Tämän jälkeen käsitellään eri tyyppisten optimointitehtävien ratkaisemista. Oppaan lopussa liitteessä E on CSC:n yhteystietojen ja www-pohjaisten verkkopalvelujen esittely. Liitteessä B on katsaus ohjelmistoihin, joita voi käyttää optimointitehtävien ratkaisemiseen 1.2 Optimointitehtävän muodostaminen ja ratkaiseminen Kuvassa 1.2 on esitetty kaaviona optimointitehtävän muodostamisen ja ratkaisemisen eri vaiheita. Kaaviossa lähdetään tieteellisestä tai teknillisestä ongelmasta, jonka pohjalta muodostetaan matemaattinen malli. Tämä voi olla sellaisenaan optimointitehtävä tai siinä voi olla osana optimointitehtävän ratkaiseminen. Lisäksi joissain tapauksissa toisen tyyppinen matemaattinen malli voidaan muuttaa optimointitehtävän muotoon. Kun optimointitehtävä on muodostettu, joudutaan etsimään sille sopiva ratkaisumenetelmä. Aluksi kannattaa pyrkiä ratkaisemaan mahdollisimman yksinkertainen malli, jolloin voidaan paitsi varmistua ratkaisumenetelmän ja -ohjelmiston toimivuudesta myös mallin mielekkyydestä. Mallinnusproses- Alkuperäinen ongelma Matemaattinen malli Optimointitehtävä Ratkaisumenetelmän valinta Ratkaisu ja tulosten tarkistus Herkkyysanalyysi Mallin riittävyyden tarkistus Kuva 1.2: Optimointitehtävän muodostaminen ja ratkaiseminen.

18 18 Optimointitehtävien ratkaiseminen sissa tarkennetaan ja laajennetaan matemaattisia malleja ja pyritään lopulta ratkaisemaan tehtäviä, jotka kuvaavat riittävän tarkasti ja luotettavasti tutkittavaa ilmiötä. Kun ratkaisu on saatu, täytyy sen järkevyys ja tarkkuus tarkistaa, minkä jälkeen voidaan tutkia saadun ratkaisun herkkyyttä annetun mallin syöttödatan suhteen (herkkyysanalyysi). Lopuksi on syytä tutkia ratkaisun osuvuutta alkuperäisen tieteellisen tehtävän kannalta. Usein mallia joudutaan hiomaan ja tarkentamaan, jolloin kaavion esittämää prosessia käydään toistuvasti läpi. Tässä oppaassa käsitellään lähinnä optimointitehtävän ratkaisemiseen liittyviä asioita eli siis ratkaisumenetelmän ja ohjelmiston valintaa sekä ratkaisuohjelmistojen käyttöä. Matemaattista mallintamista käsitellään eri tieteenalojen omassa kirjallisuudessa. Mallien riittävyyttä tutkittavan ilmiön kuvailemiseen käsitellään kullakin tieteenalalla eri tavalla. Joskus riittää kvalitatiivinenkin tieto, mutta toisinaan voidaan vaatia tarkkoja numeroarvoja. Tämä vaikuttaa myös ratkaisumenetelmän valintaan, mitä on kuvattu luvussa 2 (sivu 32). Monen muuttujan optimointitehtävien ratkaisemiseenkäytetäänyleensänumeerisia menetelmiä. Täten esiin tulevat tyypilliset numeeristen menetelmien ominaisuudet ja ongelmat eli esimerkiksi liukulukulaskennan äärellinen laskutarkkuus sekä suppenemisnopeuden merkitys. 1.3 Kirjassa käytetyt merkinnät Tässä teoksessa pyritään käyttämään vakiintuneita matemaattisia merkintätapoja. Tärkeimmät symbolit on esitelty symboliluettelossa sivulla 11. Skalaariarvoisia muuttujia (yleensä reaalilukuja) merkitään kirjaimilla x, y. Vektoriarvoisia suureita merkitään lihavoiduilla symboleilla x, y. Matriiseille on varattu isot kirjaimet tyyliin A. Symboli R tarkoittaa reaalilukujen joukkoa ja symboli R n n-ulotteista reaaliavaruutta. Iteratiivisissa algoritmeissa merkitään iteraatteja symboleilla x i (skalaari R), x i (vektori R n )jaa i (matriisi). Vektorin alkioihin viitataan myös merkinnällä x i,mutta tämä selviää aina asiayhteydestä. Nollavektoria merkitään notaatiolla 0 = (0, 0,...,0) T.Vektorie i on i:s standardikannan yksikkövektori: e i j = { 1, kun j = i, 0, kun j i.

19 1 Hyvä lukija! Vektorit jamatriisit Vektori x R n muodostuu alkioistaan x i,i= 1,...,n seuraavasti: x 1 x =., x n missä kukin x i kuuluu reaalilukujen joukkoon R. Esimerkiksi vektoriarvoinen funktio f : R n R m on auki kirjoitettuna f 1 (x) f 1 (x 1,...,x n ) f(x) =. =., f m (x) f m (x 1,...,x n ) missä kukin komponenttifunktio f i,i= 1,...,m on kuvaus R n R. Matriisin A alkioita merkitään pikkukirjainnotaatiolla a ij eli a 11 a 12 a 1n a 21 a 22 a 2n A = a m1 a m2 a mn Kahden samanmuotoisen matriisin summalla C = A + B tarkoitetaan matriisia, jossa summattavien matriisien alkiotonlaskettu yhteen: c ij = a ij + b ij. Sama pätee vektoreille: x 1 + y 1 x + y =. x n + y n. Matriisien A (dimensio l m) jab (dimensio m n) tuloamerkitään AB ja se on määritelty seuraavasti: m m a 1i b i1 a 1i b in i=1 i=1 AB = (1.1) m m a li b i1 a li b in i=1 Matriisin A ja vektorin x tulo Ax määritellään vastaavasti. Skalaarilla kertomisessa kerrotaan matriisin tai vektorin alkiot yksitellen. Esimerkiksi kun x R n ja c R saadaan cx 1 cx 2 cx =.. (1.2) cx n i=1

20 20 Optimointitehtävien ratkaiseminen Vektorin tai matriisin transpoosissa vaihdetaan rivi- ja sarakealkioiden paikat. Transpoosia merkitään yläindeksillä T : A T, x T jne. ( ) a a11 a 12 a 11 a A =, A T = a a 21 a 22 a 12 a a 13 a 23 Vektoreille pätee vastaavasti esimerkiksi x 1 x 2 ) x =., xt = (x 1 x 2 x n. x n Reaaliarvoisten matriisien transpoosille on voimassa (AB) T = B T A T. Matriiseille pätevät osittelulait (A + B)C = AC + BC, A(B + C) = AB + AC (1.3) sekä liitäntälaki A(BC) = (AB)C, (1.4) mutta vaihdantalaki ei ole voimassa eli yleensä on AB BA. Numeerisilla matriiseilla laskemiseen on kehitetty monia ohjelmistoja kuten esimerkiksi helppokäyttöinen Matlab-ohjelmisto ja Fortran-kielinen Lapackaliohjelmakirjasto (liite B sivulla 206) Derivaatat Raja-arvon ja jatkuvuuden käsitteet ovat keskeisiä matemaattisessa analyysissä, joten esitämme aluksi muutaman määritelmän. Määritelmä (Raja-arvo) Olkoon f reaalilukujoukossa X määritelty funktio. Funktiolla f on raja -arvo L pisteessä x 0 eli lim x x 0 f(x) = L, jos jokaista reaalilukua ɛ>0kohdenonolemassa reaaliluku δ>0siten että f(x) L <ɛaina kun x X ja 0 < x x 0 <δ. Määritelmä (Jatkuvuus) Olkoon funktio f määritelty reaalilukujoukossa X ja piste x 0 X.Funktio f on jatkuva pisteessä x 0,joslim x x0 f(x) = f(x 0 ).Funktio f on jatkuva joukossa X, josseon jatkuva kaikissa joukon pisteissä. Määritelmä (Derivoituvuus) Olkoon funktio f määritelty avoimella, pisteen x 0 sisältävällä valillä. Funktio f on derivoituva pisteessä x 0,jos raja -arvo f (x 0 ) = lim x x0 f(x) f(x 0 ) x x 0

21 1 Hyvä lukija! 21 on olemassa. Lukua f (x 0 ) kutsutaan funktion f derivaataksi pisteessä x 0. Jos funktiolla on derivaatta kaikissa joukon X pisteissä, on funktio derivoituva joukossa X. Lause (Väliarvolause) Olkoon funktio f(x) jatkuva äärellisellä suljetulla välillä [a, b] ja derivoituva avoimella välillä (a, b). Tällöin on olemassa piste c (a, b), jolle pätee f(a) f(b) = f (c)(a b). Usean muuttujan skalaariarvoiselle funktiolle f : R n Rvoidaan muodostaa erotusosamäärän raja-arvo lim h 0 f(x + he i ) f(x), (1.5) h missä e i on i:s yksikkövektori. Jos raja-arvo on olemassa, sitä kutsutaan funktion f osittaisderivaataksi pisteessä x koordinaatin i suhteen ja merkitään f(x). (1.6) x i Jos funktiolla f(x) on pisteessä x osittaisderivaatat kaikkien koordinaattien suhteen, f on derivoituva pisteessä x. Esimerkki Tarkastellaan kahden muuttujan funktiota f(x 1,x 2 ) = x1 2 (1 x 1 x 2 ).Funktio f on jatkuvasti differentioituva (selitä miksi!). Lasketaan funktion osittaisderivaatta muuttujan x 1 suhteen: f = ( ) x1 2 x 1 x (1 x 1x 2 ) = 2x 1 (1 x 1 x 2 ) + x1 2 ( x 2) = 2x 1 3x1 2 x 2. 1 Derivoimisoperaattori eli nabla on aukikirjoitettuna x 1 =.. (1.7) x n Funktion f osittaisderivaatoista muodostettua vektoria eli gradienttia pisteessä x merkitään notaatiolla f(x) x 1 f(x) =.. (1.8) f(x) x n Jos f(x) on jatkuva ja olemassa kaikissa pisteissä x R n, sanotaan funktion f olevan jatkuvasti differentioituva. Muussa tapauksessa f on eidifferentioituva eli epäsileä (non-smooth).

22 22 Optimointitehtävien ratkaiseminen Esimerkki Tarkastellaan esimerkin funktiota f(x) = x 2 1 (1 x 1x 2 ). Lasketaan gradienttivektori f(x): f(x) = (2x 1 3x 2 1 x 2, x 3 1 )T. Skalaariarvoisen funktion f : R n Rtoisen kertaluvun derivaatoista muodostetusta Hessen matriisista (engl. Hessian; Ludwig Otto Hesse, ) käytetään merkintöjä 2 f(x) 2 f(x) H(x) = T 2 x 1 x 1 x n f(x) = f(x) 2 f(x) x 1 x n 2 x n Kuten määritelmästä nähdään, on Hessen matriisi symmetrinen. Vektoriarvoiselle funktiolle f : R n R m käytetään osittaisderivaattojen matriisista eli Jacobin matriisista merkintää T f 1 (x) f 1 (x) f 1 (x) x J(x) =. = 1 x n T f m (x) f m (x) f m(x) x 1 x n Funktioiden derivaattoja voi yrittää laskea symbolinkäsittelyjärjestelmillä kuten Mathematica tai Maple. Tulosten järkevyys on tietenkin syytä tarkistaa. Asiaa on käsitelty laajemmin luvussa 12 (sivu 184) Muita merkintöjä Tässä oppaassa käytetään desimaali- ja binääriluvuissa erottimena pistettä, esimerkiksi ja (0.1011) 2.Tämämahdollistaa numerolistojen selkeän käytön. Esimerkiksi vektorien alkiot esitetään muodossa (1.2, 1.2) T. Merkinnällä y on suuruusluokkaa O(g(n)) eliy O(g(n)) tarkoitetaan seuraavaa: Määritelmä (Suuruusluokka O(g(n))) Olkoon funktio g(n) annettu. Merkintä O(g(n)) tarkoittaa funktioiden f(n) joukkoa O(g(n)) = {f(n) on olemassa positiiviset vakiot c ja N s.e. 0 f(n) cg(n) kaikilla n N} Vektorille x esitetyt epäyhtälöt (niin sanotut laatikkorajoitteet) x l x x u

23 1 Hyvä lukija! 23 tarkoittavat, että vektorien x l, x ja x u alkioille pätee x l i x i x u i,i = 1,...,n.Vastaavasti voidaan käyttää yhtälömerkintää, esimerkiksi Ax = b, missä A on m n -matriisi. Yhtälö tulkitaan siis alkioittain: n a ji x i = a j1 x 1 + a j2 x 2 + +a jn x n = b j, missä j = 1,...,m. i=1 Joukkoja merkitään tavanomaisella notaatiolla: F = {x R n Ax = b}. Joukkoon F siis kuuluvat ne avaruuden R n pisteet, jotka toteuttavat yhtälön Ax = b. Optimointitehtävät esitetään useimmiten muodossa f = minimi x f(x). Funktion f(x) optimipisteestä (yleensä minimistä) käytetään merkintää x. Jos halutaan selville minimipiste x minimiarvon sijaan, käytetään merkintää Siis on voimassa f = f(x ) = minimi x x = arg minimi x f(x). f(x) = f(arg minimi x f(x)). Algoritmien kuvaamisessa käytetään mm. Fortran 90 -kielisten esimerkkien lisäksi vapaasti mukailtua Matlab-tyyppistä pseudokoodia: Algoritmi (Esimerkki algoritmien esittämisestä) aseta f a = f(a 1 ) ja f b = f(b 1 ) sekä k = 1 repeat if f a <f b. end aseta k = k + 1 until a k b k <ɛ 1.4 Lineaariavaruudet ja matriisit Tärkeimmät kirjassa käytetyt merkintätavat on esitelty edellä sivulta 18 alkaen. Täten skalaarit x ja vektorit x erotetaan lihavoinnilla ja matriiseja merkitään isoilla kirjaimilla A. Liitteessä C (sivu 217) esitellään vektoriavaruuden ja normin käsitteet. Liitteessä D (sivu 222) esitellään liukulukuaritmetiikan ominaisuuksia.

24 24 Optimointitehtävien ratkaiseminen Määritelmä (Aliavaruus) Joukko S R n on avaruuden R n aliavaruus,jospäteec 1 x+c 2 y Skaikilla x, y Sja kaikilla c 1,c 2 R.Äärellinen joukko vektoreita X={x 1,...,x m }, x i R n, virittää aliavaruuden S(X) ={y R n y = m i=1 c i x i,c i R, x i R n }. (1.9) Siis aliavaruus S(X) muodostuu niistä avaruuden R n pisteistä, jotka voidaan esittää joukon X vektorien lineaarikombinaatioina. Määritelmä (Vektorien lineaarinen riippumattomuus) Joukkoon {x i, i = 1,...,n} kuuluvien vektorien sanotaan olevan lineaarisesti riippumattomia, mikäli n c i x i = 0 c i = 0, i = 1,...,n. (1.10) i=1 Täten vektorijoukko {x i } on lineaarisesti riippuva, mikälinollavektori 0 voidaan esittää vektorien x i lineaarikombinaationa siten, että ainakin yksi skalaarikerroin c i 0. Esimerkki Tarkastellaan matriisia A, joka muodostuu kolmesta sarakevektorista x i : ( A = x 1 x 2 x 3) = Nyt esimerkiksi 2x 1 + x 2 x 3 riippuva. = 0 eli vektorijoukko {x i } on lineaarisesti Määritelmä (Kuva-avaruus, maaliavaruus ja ydin) Lineaarikuvauksen A : R n R m kuva-avaruus eli kuva (range) R(A) on maaliavaruuden R m osajoukko: R(A) ={y R m on olemassa x R n siten että y = Ax }. Ytimeksi (kernel, null space) kutsutaan joukkoa ker(a) ={x R n Ax = 0 }. Esimerkki Esimerkissä esitetyn matriisin A ydin koostuu vektoreista, jotka ovat muotoa ker(a) ={c(2, 1, 1) T, c R }. Kuva-avaruus voidaan puolestaan muodostaa matriisin A kahden pystyvektorin avulla, esimerkiksi seuraavasti: R(A) ={c 1 (1, 1, 2) T + c 2 (4, 3, 2) T, c 1,c 2 R }.

25 1 Hyvä lukija! 25 Aliavaruuden käsitettä ja kuva-avaruutta sekä ydintä käytetään esimerkiksi aktiivijoukkomenetelmiin perustuvia optimointialgoritmeja kehitettäessä ja analysoitaessa. Määritelmä (Ominaisarvot ja ominaisvektorit) Neliömatriisin A ominaisarvoksi (eigenvalue) kutsutaan sellaista lukua λ, jolle pätee Az = λz (1.11) jollekin vektorille z 0. Tällaista vektoria z kutsutaan ominaisvektoriksi (eigenvector). Jatkossa käytetään ominaisarvojen λ i joukosta merkintää eig(a) ={λ 1,...,λ m }. Esimerkki Esimerkin matriisin A ominaisarvoiksi λ i ja ominaisvektoreiksi z i saadaan eig(a) = { 3, 0, 5 }, ( z 1 z 2 z 3) = OminaisarvoanollavastaavatmatriisinA ytimen virittämätvektorit, sillä tällöin pätee Az = 0.. Määritelmä (Matriisin säännöllisyys ja singulaarisuus) Matriisin A sanotaan olevan säännöllinen, joslineaarisella yhtälöryhmällä Ax = b on yksikäsitteinen ratkaisu. Jos näin ei ole, matriisi A on singulaarinen. Säännöllisyys on yhtäpitävää mm. seuraavien asioiden kanssa: Matriisilla A on käänteismatriisi A 1. Yhtälöryhmän Ax = 0 ainoa ratkaisu on x = 0. Matriisin A vaaka- ja pystyrivit ovat lineaarisesti riippumattomia. Matriisin A determinantti ei ole 0. Määritelmä (Matriisin definiittisyys) positiivisesti semidefiniitti, josjavain jos Symmetrinen matriisi A on y,ay 0kaikilla y R n. (1.12) Yhtäpitävä ehto on eig(a) 0, (1.13) eli symmetrisen positiivisesti semidefiniitin matriisin ominaisarvojen tulee olla positiivisia tai nollia. Vastaavasti positiivisesti definiitille matriisille pätee y,ay > 0kaikilla y R n, y 0. (1.14)

26 26 Optimointitehtävien ratkaiseminen Negatiivisesti definiitille matriisille pätee puolestaan y,ay < 0kaikilla y R n, y 0. (1.15) Indefiniitti matriisi ei ole positiivisesti tai negatiivisesti (semi)definiitti. Indefiniitillä symmetrisellä matriisilla on vähintään yksi positiivinen ja vähintään yksi negatiivinen ominaisarvo. Matriisin definiittisyyden käsitettä tarvitaan kvadraattisten funktioiden käsittelyssä. Asiaa on käsitelty esimerkissä sivulla 71. Esimerkki Tutkitaan eräiden matriisien definiittisyyttä. Seuraavassa on annettu matriisit ja niiden ominaisarvot. ( ) 4 2 Q 1 =, eig(q ) ={3 5, } {0.764, 5.24 }, ( ) 4 2 Q 2 =, eig(q ) ={0, 5 }, ( ) 4 3 Q 3 =, eig(q ) ={ , } { 0.854, 5.85 }, ( ) Q 4 =, eig(q ) ={ 4, 1 }. Edellisen määritelmän nojalla on siis matriisi Q 1 positiivisesti definiitti ja matriisi Q 2 on positiivisesti semidefiniitti. Matriisi Q 3 on puolestaan indefiniitti ja matriisi Q 4 on negatiivisesti definiitti. 1.5 Lineaaristen yhtälöryhmien ratkaiseminen Seuraavassa annetaan yksinkertainen esimerkki lineaarisesta yhtälöryhmästä. Esimerkki Tarkastellaan lineaarista yhtälöryhmää x 1 + 4x 2 + 2x 3 = 2, x 1 + 3x 2 + 5x 3 = 1, 2x 1 + 2x 2 2x 3 = 4. Yhtälöryhmä on matriisimuodossa Ax = b, (1.16) missä A = , b =

27 1 Hyvä lukija! 27 Yhtälöryhmää voi yrittää ratkaista Gaussin eliminoinnilla. Tässä tapauksessa yhtälöryhmä on kuitenkin singulaarinen, sillä matriisin A säännöllisyysaste (riippumattomien rivien tai sarakkeiden lukumäärä) on 2 (vertaa esimerkkiin 1.4.1). Singulaarisella yhtälöryhmällä on joko ääretön määrä ratkaisuja tai ei yhtään ratkaisua. Tässä tapauksessa yhtälöryhmällä ei ole ratkaisua. Vaikka algoritmeissa joskus kirjoitetaan yhtälöryhmän ratkaisuksi x = A 1 b, ei käänteismatriisia A 1 suinkaan kannata laskea, vaan sen sijaan yhtälöryhmä Ax = b ratkaistaan käyttäen hyväksi matriisin A hajotelmia tai sopivaa iteratiivista menetelmää. Menetelmät voidaan jakaa suoriin menetelmiin ja iteratiivisiin menetelmiin. Esimerkiksi Gaussin eliminoinnissa (suora menetelmä) lopputuloksena on matriisin A hajotelma. Jos matriisi A on harva (suurin osa alkioista nollia), ei käänteismatriisi A 1 ole yleensä harva. Harvojen matriisien suorien menetelmien perusprobleema onkin mahdollisimman hyvän eli vähän nollasta poikkeavia alkioita sisältävän hajotelman löytäminen. Iteratiivisia menetelmiä käytetään erityisesti suurten ja harvojen lineaaristen yhtälöryhmien ratkaisemiseen. Erityisesti jos yhtälölle Ax = b tarvitaan vain likimääräinen ratkaisuvektori x x,ovatiteratiiviset yhtälöryhmän ratkaisijat paras vaihtoehto. Tunnetuin iteratiivinen menetelmä lienee liittogradienttimenetelmä,joka soveltuu symmetrisille positiivisestidefiniiteille matriiseille. Esimerkiksi ns. katkaistussa Newtonin menetelmässä ratkaistaan lineaarinen yhtälöryhmä likimääräisesti käyttäen liittogradienttimenetelmää (kappale 6.5). 1.6 Matriisien hajotelmien käyttömahdollisuuksia Yleinen matriisi A on tiheä, jossuurin osa sen alkioista on nollasta poikkeavia. Vastaavasti harva matriisi koostuu pääosin nollista, ja nollasta poikkeavia alkioita on ehkä vain muutama prosentti. Matriisin harvuutta voidaan hyödyntää sen tallentamisessa keskusmuistiin sekä esimerkiksi lineaarista yhtälöryhmää ratkaistaessa. Lävistäjämatriisissa (diagonaalimatriisissa) on nollasta poikkeavia alkioita vain lävistäjällä eli matriisi D on muotoa d 1 d 2 D = diag(d 1,d 2,...,d n ) =... d n. Yksikkömatriisin I (identiteettimatriisin) lävistäjällä on ykkösiä ja kaikkialla

28 28 Optimointitehtävien ratkaiseminen muualla nollia: 1 I = Tällöin pätee AI = IA = A, missä A ja I ovat n n -matriiseja. Permutaatiomatriisi saadaan yksikkömatriisista vaihtamalla rivejä (tai sarakkeita) keskenään. Yläkolmiomatriisi on muotoa. Alakolmiomatriisi määritellään vastaavasti. Symmetriselle reaalikomponenttiselle matriisille A pätee a ij = a ji eli A = A T. Ortogonaalimatriisille Q pätee eli käänteismatriisina on Q 1 = Q T. Q T Q = QQ T = I Symmetrinen positiivisesti definiitti matriisi B voidaan kirjoittaa muotoon B = LDL T,missä L on alakolmiomatriisi (lävistäjäelementit ykkösiä) ja D on lävistäjämatriisi, jonka alkiot ovat positiivisia. Matriisille B voidaan tehdä esimerkiksi Matlabilla Choleskyn hajotelma B = LL T,missä L on alakolmiomatriisi. Esimerkki Olkoon matriisi B määritelty seuraavasti: B = Matriisille B saadaan Choleskyn hajotelma B = LL T,missä L Choleskyn hajotelman olemassaolosta voidaan päätellä, että matriisi B on positiivisesti definiitti. Yleiselle matriisille A käyttökelpoinen hajotelma on QR-hajotelma ( ) R QA =, (1.17) 0

29 1 Hyvä lukija! 29 missä Q on ortogonaalinen matriisi ja R on yläkolmiomatriisi. LU-hajotelma määritellään kaavalla A = LU, (1.18) missä L on alakolmiomatriisi (lävistäjäelementit ykkösiä) ja U yläkolmiomatriisi. Singulaariarvohajotelma puolestaan määritellään kaavalla A = UΣV T, (1.19) missä U ja V ovat ortogonaalisia matriiseja ja lävistäjämatriisi Σ sisältää matriisin A singulaariarvot. Esimerkki Olkoon A = Seuraavassa esitetään Matlabin avulla lasketut eri tyyppiset hajotelmat matriisille A: A = PLU = A = QR A = UΣV T Edellä lasketussa LU-hajotelmassa on P permutaatiomatriisi, jonka avulla LUmatriisin rivit tulevat oikeaan järjestykseen. Lisäksi QR-hajotelma on laskettu yhtälön (1.17) määritelmästä poikkeavalla tavalla, mutta koska matriisi Q on ortogonaalinen eli Q 1 = Q T,onesitysmuotoon (1.17) helppo siirtyä. Singulaarihajotelmasta UΣV T nähdään, että kolmas singulaariarvo on nolla (matriisi Σ), joten matriisi A on singulaarinen. Singulaarisuus näkyy myös QRhajotelman R-matriisista sekä LU-hajotelman matriisista U. T Matriisien hajotelmien laskemiseen voi käyttää esimerkiksi Matlabia, Mathematica-ohjelmistoa tai Lapack-aliohjelmakirjastoa (liite B). Käsiteltäessä isoja tiheitä matriiseja on aliohjelmakirjasto Lapack yleensä tehokkain vaihtoehto. Harvoille matriiseille on kehitetty erikoisohjelmistoja kuten Sparse ja Y12M.

30 30 Optimointitehtävien ratkaiseminen 1.7 Lineaarisen yhtälöryhmän häiriöalttius Lineaarisen yhtälöryhmän ratkaiseminen on keskeinen osa monia optimointitehtävien ratkaisualgoritmeja. Seuraavassa käsitellään yhtälöryhmän häiriöalttiutta, joka vaikuttaa keskeisesti ratkaisemisen tarkkuuteen. Esimerkki Tarkastellaan yhtälöryhmän Ax = b ratkaisemista, kun ( ) ( ) A =, b = ɛ Tarkaksi ratkaisuksi saadaan ( ) T x =, ɛ ɛ Jos luku ɛ on hyvin pieni, aiheuttaa pienikin muutos liukulukujen arvoissa (esimerkiksi katkaisu- tai pyöristysvirhe) suuren muutoksen tulokseen. Olkoon ɛ = 10 4.Tarkastellaan matriisin A singulaariarvohajotelmaa: ( ) A = UΣV T ( )( ) T Matriisin A häiriöalttius κ(a) kertoo, miten paljon muutokset yhtälöryhmän Ax = b kerroinmatriisissa A ja vektorissa b vaikuttavat tulokseen. Häiriöalttius κ(a) määritellään suurimman ja pienimmän singulaariarvon σ i osamääränä. Koska esimerkissä on Σ = diag(σ 1,σ 2 ),saadaan κ(a) = σ 1 σ / , joten matriisin A häiriöalttius on hyvin suuri. Tarkastellaan kahta ratkaisuvaihtoehtoa yhtälöryhmälle Ax = b: x 1 = ( Lasketaan residuaalit r k = Ax k b: r 1 = Ax 1 b ), x 2 = ( ). ( ) ( ) , r 2 = Ax 2 b Yhtälöryhmän tarkka ratkaisu on neljällä desimaalilla x 1.Kuitenkin vektorin x 1 antama residuaali on suurempi kuin ratkaisuehdokkaan x 2. Vektori x 2 onkin laskettu lisäämällä tarkkaan ratkaisuun x matriisin V pienintä singulaariarvoa vastaava sarake (toinen sarake) kerrottuna isolla kertoimella, jolloin tulo Ax muuttuu suhteessa vain vähän.

31 1 Hyvä lukija! Lisätietoja Hyviä johdatuksia numeeriseen laskentaan ovat teokset Numerical Linear Algebra and Optimization [GMW91] janumerical Analysis: An Introduction [EWK90]. Suomenkielisiä oppikirjoja ovat Numeerinen matematiikka [MNV82] ja Numeeriset menetelmät [MS89]. Matemaattista mallintamista käsitellään esimerkiksi teoksessa Mathematical Modelling [Kap88]. Oppaassa Matemaattiset ohjelmistot [HHL + 03] onpuolestaan kerrottu yleisesti käytetyistä matemaattisista ohjelmistoista. Optimoinnin sovelluksista kerrotaan CSC:n julkaisemissa yleistajuisissa kirjoissa [Haa02, HJKR02]. Lineaarialgebran perusteita ja matriisilaskentaa käsitellään oppikirjassa Matriisilasku ja lineaarialgebra [Kiv84] ja käsikirjassa Matrix Computations [GvL89] sekä CSC:n oppaassa Numeeriset menetelmät käytännössä [HHL + 02]. Lineaaristen yhtälöryhmien iteratiivisten ratkaisumenetelmien yleiskuvaus löytyy teoksesta [HHL + 02]. Menetelmiä on kuvattu myös Acta Numerica sarjajulkaisun artikkelissa [FGN92] sekäteoksessa [Vos93]. Matriisin häiriöalttiutta on käsitelty lineaarialgebran oppikirjoissa. Matriisien hajotelmia on kuvattu teoksissa [GvL89, GMW91, GMW81]. Harvoja matriiseja käsitellään teoksessa Sparse Matrix Technology [Pis84]. Numeerisia optimointimenetelmiä käsitteleviä oppikirjoja ovat Practical Methods of Optimization [Fle87], Practical Optimization [GMW81], Nonlinear Programming [BSS93], Epälineaarinen optimointi [Mie98], Nonlinear Multiobjective Optimization [Mie99] sekäthe Mathematics of Nonlinear Programming [PSU88]. Optimointitehtävien ratkaisumenetelmiä käsitteleviä artikkeleita löytyy esimerkiksi sarjajulkaisuista SIAM Review, Operations Research, Mathematical Programming ja ACM Transactions on Mathematical Software (ACM TOMS). TOMS-algoritmeja on lisäksi saatavissa Netlibistä. Numerical Recipes -teoksista [PTVF92a, PTVF92b] löytyy optimointitehtävien ratkaisualgoritmeja lähdekoodina. Kannattaa kuitenkin aina tarkistaa koodin soveltuvuus ratkaistavaan tehtävään. Vaativiin tehtäviin on syytä käyttää monipuolisesti testattuja rutiineja, joita löytyy esimerkiksi Netlibistä tai kaupallisista ohjelmistoista (liite B). Rinnakkaislaskentaa on esitelty teoksessa Parallel and Distributed Computation [BT88]ja Parallel Computing -julkaisun artikkeleissa (esimerkiksi [LR88]). CSC on julkaissut oppaan Rinnakkaisohjelmointi MPI:llä [HM01]. Tämän oppaan liitteessä E on kerrottu CSC:n palveluihin ja www-palvelujen käyttöön liittyvistä asioista. Liitteessä B on esitelty optimointitehtävien ratkaisuohjelmistoja. Www-osoitteestahttp://gams.nist.gov/ löytyy kätevä ohjelmisto-opas Guide to Available Mathematical Software.

32 32 Optimointitehtävien ratkaiseminen 2 Ratkaisumenetelmän ja -ohjelmiston valinta Optimointitehtävien ratkaisemiseen ei ole olemassa yleismenetelmää. Eri tyyppisille tehtäville on syytä käyttää eri algoritmeja ja ohjelmistoja. Seuraavassa kerrotaan ratkaisualgoritmien ominaisuuksista, optimointitehtävän muodostamisesta sekä ratkaisumenetelmän ja -ohjelmiston valinnasta. Lisäksi kuvaillaan suurten tehtävien erityispiirteitä, esimerkiksi ratkaisumenetelmien muistinkäyttöä. 2.1 Mitä tarkoitetaan optimoinnilla? Optimointitehtäviä ratkaistaan kaikilla tieteen ja tekniikan alueilla: Mikä on materiaalikustannuksiltaan edullisin rakenne, joka kestää annetun kuorman? Missä pisteessä systeemi saavuttaa minimienergiansa? Miten teollisuusprosessia ohjataan parhaalla tavalla? Miten metsien uudistushakkuut hoidetaan tuottavimmin? Miten maksimoidaan osakesalkun tuotto? Jokapäiväinen elämäkin on optimointia: Mikä on nopein reitti lomakohteeseen? Miten minimoidaan polttoaineen kulutus työmatkalla? Kuinka kylmälaukun saa pakattua niin, että kylmyys säilyy mahdollisimman pitkään? Useat käytännön optimointitehtävistä ovat varsin väljästi esitettyjä, ja ratkaiseminenvaatiirunsaasti yksinkertaistuksia. Joskus kohtuullisen hyvä ratkaisu riittää, mutta toisaalta voidaan olla kiinnostuneita nimenomaan tarkasta globaalista optimista, esimerkiksi tutkittavan systeemin minimienergiatilasta. Tässä luvussa tarkastellaan ratkaisumenetelmän valintaan liittyviä tekijöitä erityisesti suurten tehtävien ratkaisemisen kannalta. Esimerkiksi tietokoneen keskusmuistin suuruus tai ratkaisuun tarvittava laskenta-aika vaikuttavat ratkaisemiseen käytetyn menetelmän valintaan. Ratkaisun tehokkuutta voidaan lisäksi parantaa käyttämällä hyväksi kunkin tehtävän erikoisominaisuuksia. Optimointitehtävän muodostaminen on oma tehtävänsä ja liittyy yleiseen matemaattiseen mallintamiseen. Seuraavassa on yksinkertainen esimerkki optimointimallin muodostamisesta.

33 2 Ratkaisumenetelmän ja -ohjelmiston valinta 33 Esimerkki Olkoon valmistettavana 3 desilitran (300 cm 3 )metallitölkki, johon tulisi kulua mahdollisimman vähän materiaalia. Jos tölkin säde on r ja korkeus on h, onsentilavuus πr 2 h ja pinta-ala 2πr 2 + 2πrh. Merkitään x 1 = r ja x 2 = h ja jätetään vakiokerroin 2π pois kohdefunktiosta. Näin saadaan muodostettua kahden reaaliarvoisen muuttujan x 1 ja x 2 optimointitehtävä minimi f(x) = x1 2 + x 1x 2, x kun g(x) = x1 2 x /π 0jax 0. (2.1) Optimointitehtävän geometriaa on havainnollistettu kuvassa 2.1. Kuvasta nähdään, että rajoite g on vahvempi kuin positiivisuusehto x 0, jotenpositiivisuusehtoa ei välttämättä tarvita. Toisaalta monet ratkaisumenetelmät hyödyntävät muuttujien positiivisuutta ratkaisuavaruuden käsittelyssä. Kuvaan on myös merkitty minimipisteen x (3.6, 7.3) T sijainti. Funktion minimiarvo on f(x ) 39. Tölkin pinta-alaksi saadaan 2πf(x ) 250 cm 2. Tehtävän numeerinen ratkaisu esitetään kappaleessa sivulla 135. f(x) = x g(x) = Kuva 2.1: Esimerkissä käsitellyn epälineaarisen minimointitehtävän geometrinen havainnollistus. Kohdefunktio on f(x) = x1 2 + x 1x 2 ja rajoite g(x) = x1 2 x /π 0. Muuttujat x 1 ja x 2 ovat positiivisia. Tarkasteltavan systeemin optimointia varten pyritään muodostamaan valituista muuttujista x i riippuva kohdefunktio f(x) sekä epäyhtälö- ja yhtälörajoitteet g(x) 0 ja h(x) = 0. Lisäksi voidaan tarvita tehtävän muokkausta, jotta päästään normaalimenetelmillä ratkeaviin optimointitehtäviin. Näin muodostettu avaruuden R n optimointitehtävä pyritään sitten ratkaisemaan mahdollisimman luotettavasti ja tehokkaasti.

34 34 Optimointitehtävien ratkaiseminen 2.2 Optimointitehtävien eri tyyppejä Tässä oppaassa käsitellään optimointitehtävien numeerista ratkaisemista. Matemaattisilla tarkasteluilla on tietenkin tärkeä osa ratkaisemisessa. Toisinaan tehtävän taustan perusteella voi päätellä jotain optimikohdan sijainnista ja ominaisuuksista. Optimoinnilla tarkoitetaan seuraavassa vektoriavaruuden R n reaaliarvoisen kohdefunktion f : R n Rminimointia (tai maksimointia) eli tehtävänä on hakea minimiarvo minimi x f(x), kun x F R n. (2.2) Yleensä tehtävälle haetaan lokaalia eli paikallista minimipistettä x F R n,jossa pätee f(x ) f(x) kaikilla x F R n siten että x x <ɛ, ɛ>0. (2.3) Jos halutaan löytää optimointitehtävän globaali minimi (pienin lokaaleista minimeistä), täytyy optimointitehtävän joko olla konveksi (jolloin lokaali minimi on globaali) tai joudutaan käyttämään globaaliin optimointiin kehitettyjä menetelmiä. Globaalien optimointitehtävien ratkaiseminen on yleensä erittäin vaikeaa (luku 9). Huomautus Optimointitehtävän ratkaisumenetelmä tulisi valita paitsi tehtävän tyypin myöskin ratkaisulta vaadittavien ominaisuuksien perusteella. Lisäksi numeerinen ratkaisu on parhaimmillaankin vain likiarvo, eikä globaalin optimin saavuttamisesta useinkaan ole takeita. Optimointitehtävällä voi olla myös rajoitteita. Tässä teoksessa tarkastellaan mm. lineaarisia rajoitteita Ax = b, x 0. Toisaalta epälineaarisia rajoitteita sisältävien optimointitehtävien ratkaisussa muodostetaan usein lineaarisia rajoitteita sisältäviä osatehtäviä. Optimointitehtävän käyvän alueen F määräävät rajoitteet (määritelmä sivulla 57) jaetaan epäyhtälö- ja yhtälörajoitteiksi, joita vastaavat funktiot g : R n R p ja h : R n R q.yhtälö-jaepäyhtälörajoitteita sisältävä yleinen epälineaarinen optimointitehtävä on siis muotoa minimi x f(x), kun g(x) 0 ja h(x) = 0. (2.4) Monissa rajoitteita sisältävien tehtävien ratkaisumenetelmissä luodaan jono rajoitteettomia tehtäviä, joiden ratkaisu lähestyy rajoitteellisen tehtävän ratkaisua. Rajoitteettomien tehtävien ratkaisua on käsitelty luvussa 6 (sivu 99) ja rajoitteita sisältäviä tehtäviä luvussa 8 (sivu 134). Tärkeä optimointitehtävien erikoistyyppi on lineaarinen optimointi (linear programming, LP): minimi x c, x, kun Ax = b, x 0, (2.5)