Numeeriset menetelmät TIEA381. Luento 4. Kirsi Valjus. Jyväskylän yliopisto. Luento 4 () Numeeriset menetelmät / 44

Transkriptio

1 Numeeriset menetelmät TIEA381 Luento 4 Kirsi Valjus Jyväskylän yliopisto Luento 4 () Numeeriset menetelmät / 44

2 Luennon 4 sisältö Lineaarisen yhtälöryhmän ratkaisemisesta: Choleskyn menetelmä yhtälöryhmän ratkaisemiseen Nauhamaiset yhtälöryhmät Virhe- ja stabiilisuusanalyysiä Epälineaarisen yhtälöryhmän ratkaisemisesta Luento 4 () Numeeriset menetelmät / 44

3 3.3. Choleskyn menetelmä 3.3. Choleskyn menetelmä Edellä esitetty LU-hajotelma on tarkoitettu yleiselle yhtälöryhmälle Ax = b. Jos matriisilla A on erityisominaisuuksia, niitä hyödyntämällä saadaan usein tehokkaampia algoritmeja. Esimerkiksi A positiivisesti definiitti A nauhamatriisi Luento 4 () Numeeriset menetelmät / 44

4 3.3. Choleskyn menetelmä Positiivinen definiittisyys Matriisi A R n n on positiivisesti definiitti, jos se on symmetrinen ja x T Ax > 0 kaikille 0 x R n. Käytännössä annetusta matriisista on vaikea sanoa suoraan eo. määritelmän avulla onko se positiivisesti definiitti vai ei. Definiittisyys tiedetään yleensä yhtälöryhmään johtaneen lähtöprobleeman ominaisuuksista. Luento 4 () Numeeriset menetelmät / 44

5 3.3. Choleskyn menetelmä Positiivinen definiittisyys jatkuu Lause Jos matriisi A on positiivisesti definiitti, niin matriisin A suurin alkio on diagonaalilla ja diagonaalialkiot sekä ominaisarvot ovat > 0. matriisi A on kääntyvä, on olemassa yksikäsitteinen alakolmiomatriisi L, jonka diagonaalialkiot ovat aidosti positiivisia ja jolle pätee A = LL T. Positiivisesti definiitti matriisi A on kääntyvä ja siten yhtälöryhmällä Ax = b on aina yksikäsitteinen ratkaisu. Luento 4 () Numeeriset menetelmät / 44

6 Choleskyn menetelmä 3.3. Choleskyn menetelmä Oletetaan jatkossa, että yhtälöryhmän kerroinmatriisi A R n n on positiivisesti definiitti. Choleskyn menetelmässä muodostetaan kolmiohajotelma A = LL T ja yhtälöryhmä saadaan siten muotoon Ax = LL T x = L(L T x) = b. Yhtälöryhmät Ly = b ja L T x = y ratkaistaan etenevillä ja takenevilla sijoituksilla kuten LU-hajotelman yhteydessä. Luento 4 () Numeeriset menetelmät / 44

7 Choleskyn menetelmä jatkuu 3.3. Choleskyn menetelmä Matriisin L alkiot voidaan johtaa muodostamalla matriisitulo LL T ja vertaamalla vastinalkioihin matriisissa A. Matriisien kertolaskusäännön mukaan tulee olla n l ik l jk = k=1 j 1 j l ik l jk = l ij l jj + l ik l jk = a ij, k=1 k=1 josta saadaan matr. L diag. alapuolisille alkioille l ij esitys l ij = 1 j 1 (a ij l ik l jk ), i = 1,..., n, j = 1,..., i 1, i j. l jj k=1 Luento 4 () Numeeriset menetelmät / 44

8 Choleskyn menetelmä jatkuu 3.3. Choleskyn menetelmä Diagonaalialkioille asetetaan ao. kaavassa j = i ja saadaan j 1 l ij l jj + k=1 l ii = i 1 l ik l jk = a ij lii 2 + ( i 1 a ii k=1 l 2 ik k=1 l 2 ik = a ii ) 1 2, i = 1,.., n. (1) Luento 4 () Numeeriset menetelmät / 44

9 Choleskyn menetelmä jatkuu 3.3. Choleskyn menetelmä Alakolmiomatriisin alkiot l ij voidaan laskea esimerkiksi riveittäin: l 11 = (a 11 ) 1 2 l 21 = a 21 /l 11, l 22 = (a 22 l21) l 31 = a 31 /l 11, l 32 = (a 32 l 31 l 21 )/l 22, l 33 = (a 33 l31 2 l32) jne. Choleskyn menetelmä on tehokkaampi kuin LU-hajotelma, koska tarvitsee muodostaa vain kolmiomatriisi kokonaisen LU-matriisin sijaan. Luento 4 () Numeeriset menetelmät / 44

10 3.4 Nauhamaiset yhtälöryhmät 3.4 Nauhamaiset yhtälöryhmät Matriisi A on nauhamatriisi, jos a ij = 0, kun i j > m. - m on sivudiagonaalien lukumäärä - luku 2m + 1 on matriisin A nauhanleveys. m = 1 : tridiagonaalinen matriisi (nauhan leveys = 3). b 1 c 1 a 2 b 2 c 2 A = a 3 b 3 c a n 1 b n 1 c n 1 a n b n Luento 4 () Numeeriset menetelmät / 44

11 3.4 Nauhamaiset yhtälöryhmät Nauhamaiset yhtälöryhmät jatkuu jos A on nauhamatriisi, niin LU-hajotelman (ilman tuentaa eli rivien vaihtoa) kolmiotekijät L ja U ovat myös nauhamatriiseja, joilla on sama nauhanleveys kuin A:lla. Sama pätee hajotelmalle LL T (eli Choleskyn menetelmälle). matriiseista A, L ja U riittää tallentaa diagonaalin ympärillä olevat alkiot; matriisien sisältämä informaatio esitetään tiiviisti ja turha laskenta nollilla poistuu. Luento 4 () Numeeriset menetelmät / 44

12 3.4 Nauhamaiset yhtälöryhmät Esimerkki 3.2 Tarkastellaan toisen kertaluvun reuna-arvotehtävän { u (x) + u (x) = f (x), 0 < x < 1 u(0) = u(1) = 0 (2) ratkaisemista differenssimenetelmällä. Ratkaistaan tehtävä likimääräisesti pisteissä x i = i h, i = 1,..., n, h = 1 n + 1 (n + 1 osaväliä, lasketaan vain sisäpisteissä, koska u:n arvot kiinnitettyjä välin päätepisteissä). Luento 4 () Numeeriset menetelmät / 44

13 Esimerkki 3.2 jatkuu 3.4 Nauhamaiset yhtälöryhmät Korvataan derivaatat erotusosamäärillä (i = 1,..., n): u(x i + h) + 2u(x i ) u(x i h) + u(x i) u(x i h) h 2 h Merkitään x i+1 := x i + h, x i 1 := x i h = f (x i ). Tällöin saadaan ( 1 ( u(x h 2 i+1 ) + 2u(x i ) u(x i 1 ) + h u(x i ) u(x i 1 )) ) = f (x i ) ja edelleen (1 + h)u(x i 1 ) + (2 + h)u(x i ) u(x i+1 ) = h 2 f (x i ). Luento 4 () Numeeriset menetelmät / 44

14 Esimerkki 3.2 jatkuu 3.4 Nauhamaiset yhtälöryhmät Merkitään nyt Tällöin saadaan u i := u(x i ), f i := f (x i ) (1 + h)u i 1 + (2 + h)u i u i+1 = h 2 f i. Siten yhtälöt voidaan kirjoittaa matriisimuodossa h 1 (1 + h) 2 + h (1 + h) 2 + h (1 + h) 2 + h u 1 u 2. u n 1 u n 3 2 = h 2 f 1 h 2 f 2. h 2 f n 1 h 2 f n Luento 4 () Numeeriset menetelmät / 44

15 Tridiagonaalinen matriisi 3.4 Nauhamaiset yhtälöryhmät Yleinen tridiagonaalinen matriisi on siis muotoa b 1 c 1 a 2 b 2 c 2 A = a 3 b 3 c a n 1 b n 1 c n 1 a n b n Luento 4 () Numeeriset menetelmät / 44

16 Tridiagonaalinen matriisi jatkuu 3.4 Nauhamaiset yhtälöryhmät Oletetaan, että tridiagonaalisen matriisin A LU-hajotelma voidaan muodostaa numeerisesti stabiilisti ilman rivien vaihtoa. Tehdään arvaus, että kolmiotekijät ovat muotoa 1 β 2 1 L = β 3 1. β n 1 ω 1 α 1 ja U = missä vakiot ω i, α i ja β i ovat toistaiseksi tuntemattomia. ω 2 α 2.. α n 1 ω n, Luento 4 () Numeeriset menetelmät / 44

17 Tridiagonaalinen matriisi jatkuu 3.4 Nauhamaiset yhtälöryhmät Kertomalla kolmiotekijät L ja U keskenään, saadaan ω 1 α 1 β 2 ω 1 α 1 β 2 + ω 2 α 2 LU = β 3 ω 2 α 2 β 3 + ω 3 α , β n ω n 1 α n 1 β n + ω n eli matriisi LU on tridiagonaalinen. Luento 4 () Numeeriset menetelmät / 44

18 Tridiagonaalinen matriisi jatkuu 3.4 Nauhamaiset yhtälöryhmät Vertaamalla vastinalkioita matriiseissa A ja LU saadaan β i, ω i ja α i laskettua riveittäin: ω 1 = b 1, α 1 = c 1, β i = a i /ω i 1, ω i = b i α i 1 β i, α i = c i, i = 2, 3,..., n 1, β n = a n /ω n 1, ω n = b n α n 1 β n. Vastaavasti voidaan johtaa Choleskyn hajotelma positiivisesti definiitille tridiagonaalimatriisille. Luento 4 () Numeeriset menetelmät / 44

19 3.5 Virhe- ja stabiilisuusanalyysiä 3.5 Virhe- ja stabiilisuusanalyysiä periaatteessa Ax = b voidaan ratkaista tarkasti äärellisellä määrällä peruslaskutoimituksia käytännössä ratkaisu on aina likiarvo. - mallin parametrit A ja b sisältää mittaus ym. virheitä. - A ja b talletetaan liukulukuapproksimaatioina. - liukulukulaskennassa käytetyt aritmeettiset operaatiot ovat epätarkkoja Oletetaan jatkossa, että A on kääntyvä matriisi. Luento 4 () Numeeriset menetelmät / 44

20 Vektorinormeja Luku 3: Yhtälöryhmien ratkaisemisesta 3.5 Virhe- ja stabiilisuusanalyysiä ( n ) 1/p x p = x i p, 1 p < x 1 = i=1 ( n n ) 1/2 x i, x 2 = x i 2 i=1 x = max x i i i=1 Luento 4 () Numeeriset menetelmät / 44

21 3.5 Virhe- ja stabiilisuusanalyysiä Matriisinormeista Matriisin A ns. operaattorinormi määritellään vektorinormiin liittyen Ax A = sup x 0 x. Näin määritelty matriisinormi toteuttaa ehdon Ax A x x R n. Esim. Ax p A p = sup x 0 x p Luento 4 () Numeeriset menetelmät / 44

22 Matriisinormeista jatkuu 3.5 Virhe- ja stabiilisuusanalyysiä Usein käytettyjä matriisinormeja A 1 = max j n a ij (max sarakkeiden summista) i=1 A = max i n a ij (max rivien summista) j=1 Luento 4 () Numeeriset menetelmät / 44

23 3.5 Virhe- ja stabiilisuusanalyysiä Virhe- ja stabiilisuusanalyysiä Tarkastellaan aluksi vektorin b häiriöiden vaikutusta ratkaisuun x Oletetaan käytetyt aritmeettiset operaatiot tarkoiksi. Oletetaan, että A on kääntyvä matriisi. Luento 4 () Numeeriset menetelmät / 44

24 3.5 Virhe- ja stabiilisuusanalyysiä Virhe- ja stabiilisuusanalyysiä Alkuperäinen tehtävä Ax = b. Häiritään vektoria b tekijällä δb Aˆx = b + δb (ˆx häirityn tehtävän ratkaisu). Merkitään e = ˆx x. Saadaan Ae = Aˆx Ax = b + δb b = δb ( e = A 1 δb) ja edelleen e = A 1 δb A 1 δb e x A 1 δb. x : x Luento 4 () Numeeriset menetelmät / 44

25 3.5 Virhe- ja stabiilisuusanalyysiä Virhe- ja stabiilisuusanalyysiä Koska saadaan Ax = b { b = Ax A x x = A 1 b x = A 1 b A 1 b, x A 1 b A 1 A x : x b A 1 x A 1 A b Nyt edellisen kalvon alin lauseke + ylläoleva antaa e x A 1 δb x A A 1 δb b. Luento 4 () Numeeriset menetelmät / 44

26 3.5 Virhe- ja stabiilisuusanalyysiä Virhe- ja stabiilisuusanalyysiä Ratkaisun suhteellista virhettä voidaan siten arvioida oikean puolen suhteellisen virheen avulla: e x κ(a) δb b, missä lukua κ(a) = A A 1 kutsutaan matriisin A häiriöalttiudeksi (matrix condition number). Häiriöalttius κ(a) kertoo kuinka hyvää tarkkuutta ratkaisulta voidaan käytännössä odottaa. Jos esimerkiksi κ(a) = 10 3 ja oikean puolen tarkkuus on luokkaa 10 6, on ratkaisun virhe pahimmassa tapauksessa luokkaa = Luento 4 () Numeeriset menetelmät / 44

27 3.5 Virhe- ja stabiilisuusanalyysiä Virhe- ja stabiilisuusanalyysiä Häiriöalttiuden κ(a) numeerinen arvo riippuu käytetystä matriisinormista. (merkitään esim. κ (A) = A A 1 ) κ(a):n tarkan arvon laskeminen on kalliimpi operaatio kuin itse yhtälöryhmän ratkaiseminen. κ(a):n suuruusluokkaa voidaan arvioida LU-hajotelman avulla ja tämä on yleensä käytännössä riittävää. Luento 4 () Numeeriset menetelmät / 44

28 3.5 Virhe- ja stabiilisuusanalyysiä Esimerkki 3.3 Hilbertin matr. A R n n, a ij = 1 i+j 1 Kun n = 5, niin κ (A) on erittäin häiriöaltis. Olkoon b = A[ ] T, jolloin yhtälöryhmän Ax = b tarkan ratkaisun kaikki komponentit ovat ykkösiä. Jos vektoria b häiritään 10 7 verran yhdessä komponentissa, pätee ratkaisulle e x Edellä johdettu epäyhtälö antaa suhteelliselle virheelle ylärajan κ (A) δb b Luento 4 () Numeeriset menetelmät / 44

29 3.5 Virhe- ja stabiilisuusanalyysiä Lause 3.3. Olkoon x yhtälön Ax = b ratkaisu ja olkoon x + e häirityn yhtälön (A + δa)(x + e) = b + δb ratkaisu. Silloin e x κ(a) 1 κ(a) δa A ( δa A + δb ). b Luento 4 () Numeeriset menetelmät / 44

30 Huomautus 3.4. Luku 3: Yhtälöryhmien ratkaisemisesta 3.5 Virhe- ja stabiilisuusanalyysiä Jos det A = 0, niin määritellään κ(a) =. Yleisesti determinantin arvon perusteella ei voi sanoa mitään matriisin häiriöalttiudesta. Esim D n = , B n = det D n = 10 n 0, kun n, mutta κ(d n ) = 1 kaikilla n. det B n = 1 kaikilla n, mutta κ(b n ), kun n. 1 Luento 4 () Numeeriset menetelmät / 44

31 a posteriori -virhearvio 3.5 Virhe- ja stabiilisuusanalyysiä Edellä johdetut virhearviot ovat a priori -virhearvioita: Ratkaisematta tehtävää, ts. lähtötiedon perusteella arvioidaan sitä, kuinka hyvää tarkkuutta tehtävän ratkaisulta voidaan odottaa. Sen jälkeen, kun tehtävä on ratkaistu jollakin numeerisella menetelmällä, saadun ratkaisun tarkkuutta voidaan arvioida a posteriori -virhearviota käyttäen. a posteriori -virhearvio saadaan laskettua ns. residuaalia käyttäen. Luento 4 () Numeeriset menetelmät / 44

32 a posteriori -virhearvio 3.5 Virhe- ja stabiilisuusanalyysiä Olkoon ˆx yhtälöryhmän Ax = b numeerinen ratkaisu. Sen voidaan ajatella olevan häirityn yhtälöryhmän tarkka ratkaisu. (A + δa)ˆx = b + δb Tällöin yleensä δa, δb 0 ja ratkaisua ˆx vastaavalle residuaalille r = b Aˆx on voimassa r 0. Luento 4 () Numeeriset menetelmät / 44

33 a posteriori -virhearvio 3.5 Virhe- ja stabiilisuusanalyysiä Pelkkä residuaali on kuitenkin hyödytön ratkaisun tarkkuuden mittari: Tehtävän skaalaaminen vakiolla: αax = αb, α 0, ei muuta ratkaisua, mutta residuaali r tulee kerrotuksi samalla vakiolla. Skaalaamalla tehtävää residuaali saadaan mielivaltaisen pieneksi tai suureksi. Pyöristysvirheistä johtuvien häiriöiden δa ja δb normeille ei voi antaa yksinkertaisia yleisiä arvioita. Luento 4 () Numeeriset menetelmät / 44

34 3.5 Virhe- ja stabiilisuusanalyysiä a posteriori -virhearvio Johdetaan a posteriori -virhearvio ratkaisulle ˆx: b Ax = 0 x = A 1 b, b Aˆx = r ˆx = A 1 (b r) Nyt e := x ˆx = A 1 b A 1 (b r) = A 1 b A 1 b + A 1 r = A 1 r, mistä saadaan e A 1 r : x e x A 1 r. x Luento 4 () Numeeriset menetelmät / 44

35 a posteriori -virhearvio 3.5 Virhe- ja stabiilisuusanalyysiä Edellä saatiin e x A 1 r. x Käyttämällä hyväksi epäyhtälöä 1 A x b, saadaan virhearvio e x A 1 r x A A 1 r b κ(a) r b. Ts. pieni suht. residuaalin normi pieni suht. virhe ratkaisussa vain jos matriisin häiriöalttius on pieni. Luento 4 () Numeeriset menetelmät / 44

36 Esimerkki 3.4. Luku 3: Yhtälöryhmien ratkaisemisesta 3.5 Virhe- ja stabiilisuusanalyysiä Esimerkissä 3.3. tarkasteltiin Hilbertin matriisia A R n n, a ij = 1, ja tilannetta b = A[ i+j 1 1]T, jolloin yhtälöryhmän Ax = b tarkka ratkaisu on x = [ ] T. Ratk. sama yhtälöryhmä numeerisesti LU-hajotelman avulla käyttäen 64-bittistä liukulukuaritmetiikkaa. Tällöin edellä johdetun virhearvion antama yläraja on ja todellinen suhteellinen virhe on κ (A) r b e x Luento 4 () Numeeriset menetelmät / 44

37 3.5 Virhe- ja stabiilisuusanalyysiä Lineaarisen yhtälöryhmän ratkaiseminen Käsiteltiin suoria menetelmiä: Yhtälöryhmän tarkka ratkaisu saadaan äärellisellä määrällä peruslaskutoimituksia, kun käytetään tarkkaa aritmetiikkaa. Suorat menetelmät ok pienille tehtäville, mutta vaadittavien laskutoimitusten määrä kasvaa nopeasti suureksi, kun tehtävän koko n kasvaa. Iteratiiviset menetelmät monesti tehokkaampia suurten lineaaristen yhtälöryhmien ratkaisemiseen. Lähtien alkuarvauksesta x (0), muodostetaan likiratkaisujen jono {x (k) }, joka suppenee kohti ratkaisua x. Iteratiivisia menetelmiä ei käsitellä tällä kurssilla. Luento 4 () Numeeriset menetelmät / 44

38 3.7 Suosituksia algoritmien valintaan 3.7 Suosituksia algoritmien valintaan Lineaarisen yhtälöryhmän ratkaisemiseen on vapaasti saatavilla tehokkaita implementointeja suorista perusmenetelmistä, mm. LAPACK-kirjasto. (Myös Matlab käyttää LAPACK-rutiineja) yhtälöryhmän ratkaiseminen LAPACK-kirjaston tiheille matriiseille tarkoitetulla LU-aliohjelmalla käy hetkessä tavallisella kotimikrolla; tämän kokoisten tehtävien ratkaisemisessa ei kannata käyttää monimutkaisempia tietorakenteita tai menetelmiä. Suuremmille (realistisemmille) tehtäville iteratiiviset menetelmät ovat usein ainoa tapa saada tehtävä ratkaistua. Luento 4 () Numeeriset menetelmät / 44

39 3.8 Epälineaarisen yhtälöryhmän ratkaisemisesta 3.8 Epälineaarisen yhtälöryhmän ratkaisemisesta Tarkastellaan epälineaarisen yhtälöryhmän f 1 (x) f 2 (x) f (x) =. = 0, missä x = [ ] T x 1 x 2... x n f n (x) ja funktiot f i ovat epälineaarisia, numeerista ratkaisemista. Nyt siis f : R n R n on vektoriarvoinen funktio. Ratkaisumenetelmissä pyritään usein palauttamaan epälineaarinen yhtälöryhmä jonoksi lineaarisia yhtälöryhmiä. Luento 4 () Numeeriset menetelmät / 44

40 3.8.1 Newtonin menetelmä 3.8 Epälineaarisen yhtälöryhmän ratkaisemisesta Olkoon x (0) alkuarvaus yhtälöryhmän ratkaisulle. Muod. funktion f 1. kl Taylorin kehitelmä pisteessä x (0) : f (x (0) + h) = f (x (0) ) + J(x (0) ) h + O( h 2 ). Tässä J(x) = f 1 (x) x 1 f 2 (x) x 1. f n(x) x 1 f 1 (x) x 2... f 2 (x) f 1 (x) x n f 2 (x) x n x f n(x) x 2... f n(x) x n on funktion f jacobiaani pisteessä x. Luento 4 () Numeeriset menetelmät / 44

41 3.8 Epälineaarisen yhtälöryhmän ratkaisemisesta Newtonin menetelmä jatkuu Asetetaan funktion f lineaarinen approksimaatio nollaksi: f (x (0) ) + J(x (0) )h = 0 J(x (0) )h = f (x (0) ) h = J(x (0) ) 1 f (x (0) ). saatiin laskukaava korjausvektorille h. Uusi approksimaatio yhtälöryhmän ratkaisulle saadaan siten asettamalla x (1) = x (0) + h = x (0) J(x (0) ) 1 f (x (0) ). 1-ulotteisen Newton-askeleen yleistys useampiulotteiseen tapaukseen. Luento 4 () Numeeriset menetelmät / 44

42 Newtonin menetelmä jatkuu 3.8 Epälineaarisen yhtälöryhmän ratkaisemisesta Käytännössä Jacobiaanin käänteismatriisia ei muodosteta eksplisiittisesti vaan ratkaistaan h yhtälöryhmästä ja päivitetään J(x (k) )h = f (x (k) ) x (k+1) = x (k) + h. Luento 4 () Numeeriset menetelmät / 44

43 Lause 3.8 Luku 3: Yhtälöryhmien ratkaisemisesta 3.8 Epälineaarisen yhtälöryhmän ratkaisemisesta Olkoon x yhtälön f (x) = 0 ratkaisu. Oletetaan että det J(x ) 0 ja funktion f kaikki toisen kertaluvun osittaisderivaatat ovat jatkuvia. Tällöin on olemassa luku ε > 0 siten, että jos x (0) x ε, niin Newton-algoritmin generoima vektorijono {x (k) } konvergoi kohti ratkaisua x. Konvergenssin kertaluku on kaksi. Luento 4 () Numeeriset menetelmät / 44

44 3.8 Epälineaarisen yhtälöryhmän ratkaisemisesta Newtonin menetelmä jatkuu Newtonin menetelmän ongelmat: Alkuarvauksen on oltava hyvä, jotta menetelmä konvergoisi. Jacobiaani voi olla numeerisesti singulaarinen jossakin pisteessä. Askel, jossa ratkaistaan h on kallis, kun n on suuri. Luento 4 () Numeeriset menetelmät / 44