Epälineaaristen pienimmän neliösumman tehtävien ratkaiseminen numeerisilla optimointimenetelmillä (valmiin työn esittely)

Transkriptio

1 Epälneaarsten penmmän nelösumman tehtäven ratkasemnen numeerslla optmontmenetelmllä valmn työn esttely Lar Pelkola Ohjaaja/valvoja: Prof. Harr Ehtamo yön saa tallentaa ja julkstaa Aalto-ylopston avomlla verkkosvulla. Multa osn kakk okeudet pdätetään.

2 Estyksen ssältö austa avotteet Epälneaarset PNS-tehtävät Menetelmät Kvas-Newton BFGS Gauss-Newton Levenberg-Marquardt ulokset Yhteenveto etolähteet

3 austa Parametren estmont Mttausdata ja matemaattnen mall Malln parametrt pyrkvät selttämään esmerkks fyskaalsa omnasuuksa mahdollsmman hyvn Optmaalsten parametren löytämseks muodostetaan optmontmall Penmmän nelösumman tehtävä

4 avotteet utustua epälneaarsn PNS-tehtävn ylesellä tasolla Estellä kolme numeersta ratkasumenetelmää kvas-newton Gauss-Newton Levenberg-Marquardt estata algortmeja muutamalla esmerkktehtävällä Iteraatoden lukumäärät suppenemnen alkuarvauksen vakutus

5 Epälneaarset PNS-tehtävät Ylenen muoto m epälneaarnen :n suhteen, e voda ratkasta analyyttsest numeerset menetelmät Dervaatat: J on r:n Jacobn matrs 1 1, mn m m y t a r r f n - å å ÎÂ r J f Ñ å Ñ + m r r S S J J H 1,

6 Epälneaarset PNS-tehtävät Ratkasemseen kaks lähestymstapaa 1 Seuraa epälneaarsten yhtälöryhmen ratkasemsesta r 0. resduaalfunkton r lneaarnen approksmaato: mn r + J - k k Gauss-Newton ja Levenberg-Marquardt Rajottamattoman mnmonnn erkostapaus kohdefunkton f kvadraattnen approksmaato: 1 f k + Ñf k - k + - k H k - k k

7 Menetelmät Kvas-Newton BFGS-menetelmä Paljon käytetty menetelmä ylesest epälneaarsessa optmonnssa Sop tlantesn, jossa Hessen matrs raskas laskea Hessen matrslle muodostetaan arvo, jota arvodaan teratvsest gradentten avulla B k :t pysyvät postvsest defnttenä teraaton kuluessa E ota huomoon PNS-tehtävän Hessen matrsn rakennetta, vaan approksmo suoraan koko Hessen matrsa Iteraatoaskeleen ptuus saadaan vvahaulla -1 Iteraatoaskel: k + 1 k - lk Bk Ñf k l k B k

8 Menetelmät Gauss-Newton yksnkertasn vahtoehto epälneaarsn PNS-tehtävn teraatoaskel aemmn estetyn lneaarsen PNS-tehtävän -1 ratkasu: k + 1 k - J k J k J k r k Eroaa Newtonn teraatosta van sten, että Hessen matrsn tosen kertaluvun nformaato S jätetään huomotta Saattaa hajaantua suurresduaalsssa ta vahvast epälneaarsssa tehtävssä, el kun S on suur Jos J on esmerkks häröalts, menetelmä vo törmätä sngularteettehn Suppenemnen vodaan saada varmemmaks vvahaulla

9 Menetelmät Levenberg-Marquardt Käytetympä menetelmä epälneaarsssa PNS-tehtävssä Käyttää luottamusalueeseen lttyvää logkkaa suppenemsen varmstamseks -1 Iteraatoaskel: - J J m I J r, ta k+ 1 k k k + k k k - J J m dag J J J Parametr m k ³ 0 ohjaa askeleen suuntaa ja ptuutta: Jos on pen, on menetelmä lähellä Gauss-Newton askelta m k m k Jos on suur, on menetelmä lähellä gradenttmenetelmää, jollon myös askeleen ptuus on pen r -1 k + 1 k k k + k k k k k

10 ulokset Yksnkertanen snfunkto: a t, sn 1t + t1,y1 t,y t3,y3 t4,y4 -,- 0,0, 4,-1.5 BFGS LM LMd GN GNv Iter.lkm Suuremman resduaaln vakutus: vahdetaan y3 6 BFGS LM LMd GN GNv Iter.lkm * 18

11 ulokset Gaussn funkto: at, e 1 - t ,10,10,0 0 BFG S LM LMd GN GNv Iter.lkm Huonolla alkuarvauksella: 100,-0,40, BFGS LM LMd GN GNv Iter.lkm 17, e globaal optm 1 7 * *

12 Kolmulottenen esmerkk - 3t Mall: a t, t, + t e , 5 10,-5 10 Iter.lk m BFG S LM LMd GN GNv * ,10,-10 BFGS LM LMd GN GNv Iter.lkm 13 9, e globaal optm 16 * 40

13 Yhteenveto Ylespätevä johtopäätöksä menetelmen suortukssta vakea tehdä, tehtäven rakenne ja alkuarvaus vakuttavat algortmen suortuksn lähes anutlaatusella tavalla BFGS suhteellsen robust ja ylespätevä menetelmä, nässä esmerkessa usen htan GN tom parhaten penen resduaaln tehtävssä ja hyvällä alkuarvauksella vo hajaantua vahvast epälneaarsssa tehtävssä ta jos alkuarvaus huono suppenemsen saa varmemmaks vvahaulla LM ehkä nästä kolmesta soveltuvn, robustmp kun GN

14 etolähteet J. Haataja: Optmonttehtäven ratkasemnen CSC eteellnen laskenta Oy, 1995,.panos. Suurten optmonttehtäven ratkasemnen, CSC eteellnen laskenta Oy, 1994 J.E Denns, JR ja R.B Schnabel: Numercal Methods for Unconstraned Optmzaton and Nonlnear Equatons, Prentce Hall Seres n Computatonal Mathematcs, 1983 Å. Björck: Numercal Methods for Least Squares Problems, Socety for Industral and Appled Mathematcs, 1996

15 Anesto Gaussn funkton testdata: Bucknell unversty, Department of Physcs and Astronomy, Models and fttng Kolmulottesen esmerkn testdata: Natonal Insttute of Standards and echnology, StrD Nonlnear Least Squares Regresson Datasets