MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 1 / 18
Esimerkki 1 Yritetään etsiä Lagrangen kertojien menetelmällä funktion f (x, y) = y minimi ehdolla g(x, y) = y 3 x 2 = 0. Selvästi nähdään, että minimi f (x, y) = 0 saavutetaan pisteessä (0, 0). Muodostetaan Lagrangen funktio Saadaan yhtälöt L(x, y, λ) = y + λ(y 3 x 2 ). 2λx = 0, 1 + 3λy 2 = 0, ja y 3 x 2 = 0. Nämä yhtälöt ovat keskenään ristiriidassa, joten ratkaisua ei ole. Huomaa, että g(0, 0) = 0. Tästä nähdään, että ehto g(0, 0) 0 on välttämätön menetelmän toimimisen kannalta. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 2 / 18
Esimerkki 2 1/3 Etsitään ääriarvot funktiolle f (x, y, z) = xy + 2z ehdoilla x + y + z = 0 ja x 2 + y 2 + z 2 = 24. Koska f on jatkuva ja annettujen leikkausjoukkojen leikkaus on ympyräviiva (eli rajoitettu), niin ääriarvot ovat olemassa. Muodostetaan Lagrangen funktio L(x, y, z, λ, µ) = xy + 2z + λ(x + y + z) + µ(x 2 + y 2 + z 2 24). Lagrangen funktion osittaisderivaatoista saadaan yhtälöt y + λ + 2µx = 0, x + λ + 2µy = 0, 2 + λ + 2µz = 0, z + y + z = 0, ja x 2 + y 2 + z 2 24 = 0. Kahden ensimmäisen yhtälön erotus johtaa yhtälöön (x y)(1 2µ) = 0, joten joko µ = 1/2 tai x = y. Tutkitaan molemmat tapaukset. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 3 / 18
Esimerkki 2 2/3 Tapaus I (µ = 1/2): Toisen ja kolmannen yhtälön perusteella x + λ + y = 0 ja 2 + λ + z = 0, siis x + y = 2 + z. Neljännestä yhtälöstä saadaan z = 1 ja x + y = 1. Viimeisen yhtälön perusteella x 2 + y 2 = 24 z 2 = 23. Koska x 2 + y 2 + 2xy = (x + y) 2 = 1, saadaan 2xy = 1 23 = 22 ja xy = 11. Nyt (x y) 2 = x 2 + y 2 2xy = 23 + 22 = 45, joten x y = ±3 5. Yhdessä yhtälön x + y = 1 tästä saadaan kaksi kriittistä pistettä P 1 = ( (1+3 5)/2, (1 3 5)/2, 1 ) ja P 2 = ( (1 3 5)/2, (1+3 5)/2, 1 ). Kummassakin pisteessä f (x, y, z) = 11 2 = 13. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 4 / 18
Esimerkki 2 3/3 Tapaus II (x = y): Neljännestä yhtälöstä nähdään, että z = 2x, ja viimeisen yhtälön perusteella 6x 2 = 24 eli x = ±2. Näin ollen, kriittiset pisteet ovat Saadaan P 3 = (2, 2, 4) ja P 4 = ( 2, 2, 4). f (2, 2, 4) = 4 8 = 4 ja f ( 2, 2, 4) = 4 + 8 = 12. Siten funktion f maksimi on 12 ja minimi 13. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 5 / 18
Regressio-ongelma Regressioanalyysissa pyritään valitsemaan regressiomallin parametrin β arvo siten, että kaikista virhetermeistä ε j tulee samanaikaisesti mahdollisimman pieniä. Pyritään siis valitsemaan parametri β siten, että käyrä y = f (x; β) kulkisi mahdollisimman läheltä jokaista havaintopistettä (x j, y j ) R 2, j = 1, 2,..., n. Erään ratkaisun tähän käyränsovitusongelmaan tarjoaa pienimmän neliösumman menetelmä. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 6 / 18
Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmässä pyritään minimoimaan regressiomallin y j = f (x j ; β) + ε j, j = 1, 2,..., n virhetermien ε j neliöden summaa muuttamalla parametrivektorin β = (β 0, β 1,..., β m ) arvoa eli funktiota F (β) = n ε 2 j = j=1 n ( yj f (x j ; β) ) 2. Optimaalinen β:n arvo on parametrin β pienimmän neliösumman estimaatti eli PNS-estimaatti. j=1 Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 7 / 18
PNS-sovitus ε j (x j,y j) PNS-estimaatin sovittaminen: Kuvassa vihreällä parametreista β j riippuva sovitettava funktio f (x; β) jollakin parametrin arvolla, datapisteet (x j, y j ) ja vastaavat virhetermit ε j. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 8 / 18
Minimin löytäminen lineaarisessa tapauksessa 1/2 Tarkastellaan funktiota F (β 0, β 1 ) = i (y i β 0 β 1 x i ) 2. Etsitään piste (β 0, β 1 ) siten, että Lasketaan osittaisderivaatta Ratkaistaan nollakohta F (β 0, β 1 ) = 0. β 0 F (β 0, β 1 ) = 2 ( β 1 xi + nβ 0 y i ). β 0 = 1 n yi β 1 n xi = ȳ β 1 x. Tässä x on vektorin x komponenttien aritmeettinen keskiarvo Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 9 / 18
Minimin löytäminen lineaarisessa tapauksessa 2/2 Lasketaan seuraavaksi osittaisderivaatta β 1 F (β 0, β 1 ) = 2 ( β 0 xi + β 1 x 2 i x i y i ). Sijoittamalla β 0 :n lauseke, saadaan Ratkaistaan nollakohta n xȳ nβ 1 x 2 + β 1 x 2 i x i y i = 0. β 1 = n xȳ x i y i n x 2 x 2 i = (xi x)(y i ȳ) (xi x) 2. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 10 / 18
Esimerkki 3 Sovitetaan PNS-suora dataan ja estimoidaan y, kun x = 5: x i 0.0 1.0 2.0 3.0 4.0 y i 2.10 1.92 1.84 1.71 1.64 Saadaan x = 2.0, ȳ = 1.842, ja β 1 = 1.13 10.0 = 0.113. Siten β 0 = 1.842 + 0.113 2.0 = 2.068. Näin ollen, y = 0.113x + 2.068, ja haluttu estimaatti pisteessä x = 5 on y = 0.113 5 + 2.068 = 1.503. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 11 / 18
Esimerkki 4: Toisen asteen sovitus 1/2 Tutkitaan lisäaineen määrän x vaikutusta kuivumisaikaan y. Eri lisäaineen määrillä x i (grammaa) saatiin kuivumisajat y i (tuntia), i = 1,..., 9: x i 0.0 1.0 2.0 3.0 4.0 5.0 6.0 7.0 8.0 y i 11.0 9.4 9.1 7.0 6.2 7.1 6.6 7.5 8.2 Huomataan, että kuivumisajan riippuvuus lisäaineen määrästä on epälineaarista. Minimikohdan estimoimiseksi sovitetaan havaintoihin paraabeli y = β 0 + β 1 x + β 2 x 2. Pienimmän neliösumman yhtälöryhmä mallille on β k (yi β 0 β 1 x i β 2 x 2 i ) 2 = 0, k = 0, 1, 2. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 12 / 18
Esimerkki 4: Toisen asteen sovitus 2/2 Näistä saadaan yhtälöryhmä nβ 0 + β 1 xi + β 2 x 2 i = y i, β 0 xi + β 1 x 2 i + β 2 x 3 i = x i y i β 0 x 2 i + β 1 x 3 i + β 2 x 4 i = xi 2y i. Laskemalla yhtälöryhmän kertoimet havainnoista saadaan 9β 0 + 36β 1 + 204β 2 = 72.1 36β 0 + 204β 1 + 1296β 2 = 266.6 204β 0 + 1296β 1 + 8772β 2 = 1515.4 Ratkaisuna ovat β 0 = 11.15, β 1 = 1.806 ja β 2 = 0.1803. Pienimmän neliösumman mielessä parhaiten havaintoihin liittyvä paraabeli on siis y = 11.15 1.806x + 0.1803x 2. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 13 / 18
Newtonin menetelmä Newtonin menetelmä on yksi käytetyimmistä numeerisen analyysin menetelmistä. Menetelmän avulla voidaan löytää funktion f : R R nollakohta eli yhtälön f (x) = 0 ratkaisu. Silloin kun menetelmä toimii, se yleensä suppenee hyvin nopeasti. Menetelmän idea on seuraava: Lähdetään liikkeelle jostakin pisteestä x 0, joka on alkuarvaus yhtälön ratkaisulle. Arvioidaan funktiota f sen tangenttisuoralla pisteessä, eli funktiolla l(x) = f (x 0 ) + f (x 0 )(x x 0 ). Ratkaistaan yhtälö l(x) = 0. Tämän yhtälön ratkaisu on seuraava alkuarvaus x 1. Toistetaan edellinen käyttäen alkuarvauksena lukua x 1. Tämä menettely johtaa algoritmiin, jossa iteraatioaskeleet saadaan kaavasta x n+1 = x n f (x n) f n = 0, 1, 2,.... (x n ) Menetelmä on toimiessaan nopea, mutta suppeneminen riippuu alkuarvauksesta. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 14 / 18
Esmerkki 5 Etsitään likiarvo luvulle 5. Selvästi 2 = 4 < 5 < 9 = 3. Valitaan x 0 = 2. Tässä f (x) = x 2 5, joten f (x) = 2x. Saadaan x 1 = x 0 f (2) f (2) = 2 4 5 2 2 = 9 4. x 2 = x 1 f (9/4) f (9/4) = 9 4 27/16 5 = 161 2 9/4 72 2.2361. Huomaa, että 5 2.236068, eli jo kahdella iteraatiolla saatiin varsin hyvä likiarvo. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 15 / 18
Esimerkki 6 Etsitään funktion f (x) = x 3 x + 1 nollakohdat. Piirtämällä kuvaaja voidaan havaita, että funktiolla on vain yksi nollakohta jossain pisteiden 2 ja 1 välissä. Asetetaan x 0 = 1. Koska f (x) = 3x 2 1 iteratioksi saadaan Saadaan x n+1 = x n x3 n x n + 1 3x 2 n 1. x 0 = 1, x 1 = 1.5, x 2 = 1.347826, x 3 = 1.325200. x 4 = 1.324718, x 5 = 1.324717,... Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 16 / 18
Newtonin menetelmä monen muuttujan tapauksessa Newtonin menetelmää voidaan käyttää myös funktion f : R n R n tapauksessa. Tällöin iteraatioaskeleeksi saadaan x n+1 = x n J f (x n ) 1 f(x n ), n = 0, 1, 2,.... Tässä J f (x n ) 1 tarkoittaa funktion f Jacobin matriisin käänteismatriisia. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 17 / 18
Esimerkki 7 Etsitään f(x) = 0, kun x 0 = (1, 0, 1) ja f(x, y, z) = (x 2 + y 2 + z 2 3)i + (x 2 + y 2 z 1)j + (x + y + z 3)k. Saadaan Voidaan laskea 2x 2y 2z J f (x, y, z) = 2x 2y 1. 1 1 1 x 1 = (3/2, 1/2, 1), x 2 = (5/4, 3/4, 1) ja x 2 = (9/8, 7/8, 1). Nähdään, että iteraatiot konvergoivat kohti pistettä (1, 1, 1), joka on tehtävän tarkka ratkaisu. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät 2016 18 / 18