Numeeriset menetelmät TIEA381 Luento 3 Kirsi Valjus Jyväskylän yliopisto Luento 3 () Numeeriset menetelmät 20.3.2013 1 / 45
Luennon 3 sisältö Luku 2: Epälineaarisen yhtälön ratkaiseminen Polynomin reaaliset juuret Luku 3: Yhtälöryhmien ratkaisemisesta Gaussin eliminointimenetelmä Luento 3 () Numeeriset menetelmät 20.3.2013 2 / 45
Luku 2: Epälineaarisen yhtälön ratkaiseminen 2.6 Polynomin reaaliset juuret 2.6 Polynomin reaaliset juuret Mitä tahansa edellä esitettyä menetelmää voidaan käyttää polynomin juuren hakemiseen. p(x) = a 0 + a 1 x + a 2 x 2 + + a n x n, a n 0 Soveltamalla Hornerin menetelmää, polynomin arvo p(x) ja sen derivaatan arvo p (x) voidaan laskea tehokkaasti rekursiokaavoja käyttäen. Luento 3 () Numeeriset menetelmät 20.3.2013 3 / 45
Luku 2: Epälineaarisen yhtälön ratkaiseminen 2.6 Polynomin reaaliset juuret Hornerin menetelmä Polynomi p(x) = a 0 + a 1 x + a 2 x 2 + + a n x n, a n 0, voidaan esittää seuraavassa muodossa: p(x) = a 0 + x(a 1 + x(a 2 + + x(a n 2 + x(a n 1 + x a n ))... )). Hornerin menetelmä polynomin p arvon laskemiseksi pisteessä z voidaan esittää rekursiona jolloin p(z) = b 0. b n = a n, b k = a k + zb k+1, k = n 1, n 2,..., 0, Luento 3 () Numeeriset menetelmät 20.3.2013 4 / 45
Luku 2: Epälineaarisen yhtälön ratkaiseminen Hornerin menetelmä jatkuu 2.6 Polynomin reaaliset juuret Voidaan osoittaa, että polynomille q(x) = b 1 + b 2 x + + b n x n 1, jonka kertoimina ovat Hornerin menetelmän tuottamat luvut b 1,..., b n, pätee p (z) = q(z). Lisäksi voidaan osoittaa, että p(x) = b 0 + (x z)q(x) Jos z on polynomin p juuri (ts. p(z) = b 0 = 0), muita juuria voidaan etsiä polynomista q. Luento 3 () Numeeriset menetelmät 20.3.2013 5 / 45
Luku 2: Epälineaarisen yhtälön ratkaiseminen 2.6 Polynomin reaaliset juuret Newtonin menetelmä polynomille poly-newton sama alg. kuin newton aikaisemmin, p(x) ja p (x) vain lasketaan Hornerin rekursiokaavaa käyttäen. Syöte: p:n kertoimet a 0,..., a n, alkuarvaus x 0 (n, ε, δ, itmax) Tulos: juuri x, p (x):n kertoimet b 0,..., b n 1, virheind. error poly newton( {a 0,..., a n}, n, x 0, ε, δ, itmax, x, {b 0,..., b n 1 }, error) Kun yksi juuri on löytynyt, sovelletaan algoritmia astetta alempaan polynomiin, jonka kertoimet ovat vektorissa b ja haetaan seuraava juuri. Luento 3 () Numeeriset menetelmät 20.3.2013 6 / 45
poly-newton Luku 2: Epälineaarisen yhtälön ratkaiseminen 2.6 Polynomin reaaliset juuret poly newton( {a 0,..., a n}, n, x 0, ε, δ, itmax, x, {b 0,..., b n 1 }, error) do iter=1,...,itmax z := x 0, b n := a n, c := a n do k = n 1, n 2,..., 1 b k := a k + z b k+1 c := b k + z c end do if c δ then error := 2 return end if b 0 := a 0 + z b 1 x 1 := x 0 b 0 /c if x 1 x 0 ε x 1 and b 0 ε then error := 0 x := x 1 return end if x 0 := x 1 end do error := 1 x := x 1 Luento 3 () Numeeriset menetelmät 20.3.2013 7 / 45
3 Yhtälöryhmien ratkaisemisesta Lineaarisen yhtälöryhmän ratkaiseminen on keskeisimpiä tehtäviä numeriikassa. Numeeriset sääennustukset, rakenteiden lujuusanalyysi, kemianteollisuuden prosessien simulointi, jne. johtavat suuren lineaarisen yhtälöryhmän ratkaisemiseen. Lineaarinen yhtälöryhmä voidaan ratkaista äärellisellä määrällä laskutoimituksia, mutta se ei tarkoita sitä, että tehtävä olisi yleisesti ottaen triviaali. Uusien, tehokkaampien ratkaisumenetelmien kehittäminen on edelleen yksi numeerisen matematiikan keskeisimpiä tutkimusaiheita. Luento 3 () Numeeriset menetelmät 20.3.2013 8 / 45
3.1. Lineaarinen yhtälöryhmä 3.1. Lineaarinen yhtälöryhmä Esimerkki 3.1. Tarkastellaan kuvan mukaista ristikkorakennetta. Rakenne koostuu 13 sauvasta jotka on liitetty toisiinsa 8 nivelen avulla. Niveliin nro. 2,5 ja 6 kohdistuu 10, 15 ja 20 kn pystysuorat ulkoiset voimat. 3 4 4 8 7 1 5 3 7 11 12 9 1 2 6 8 2 6 5 10 13 10 15 20 Luento 3 () Numeeriset menetelmät 20.3.2013 9 / 45
Esimerkki 3.1. jatkuu 3.1. Lineaarinen yhtälöryhmä Jotta ristikko olisi tasapainossa, pitää jokaisessa nivelessä vaaka- ja pystysuorien voimakomponenttien summan olla nolla. Sauvoihin kohdistuvat aksiaaliset voimat f i, i = 1,..., 13 voidaan määrätä asettamalla kuhunkin niveleen vaikuttavien vaaka- ja pystyvoimien summat nolliksi. Koska niveliä on 8, tulee yhtälöiden lukumääräksi 16. Jotta yhtälöitä olisi yhtä monta kuin sauvoja, oletetaan nivelessä 1 vaaka- ja pystysuorat siirtymät estetyiksi sekä nivelessä 8 pystysuorat siirtymät estetyiksi. Luento 3 () Numeeriset menetelmät 20.3.2013 10 / 45
3.1. Lineaarinen yhtälöryhmä Esimerkki 3.1. jatkuu Jos merkitään α := 2/2, niin voimat saadaan laskettua yhtälöistä nivel 2: f 2 = f 6, f 3 = 10 nivel 3: αf 1 = f 4 + αf 5, αf 1 + f 3 + αf 5 = 0 nivel 4: f 4 = f 8, f 7 = 0 nivel 5: αf 5 + f 6 = αf 9 + f 10, αf 5 + f 7 + αf 9 = 15 nivel 6: f 10 = f 13, f 11 = 20 nivel 7: f 8 + αf 9 = αf 12, αf 9 + f 11 + αf 12 = 0 nivel 8: f 13 + αf 12 = 0. Siirtämällä tuntemattomat voimat yhtälöiden vas. puolelle ja tunnetut oik. puolelle, saadaan yhtälöryhmä muotoon Luento 3 () Numeeriset menetelmät 20.3.2013 11 / 45
3.1. Lineaarinen yhtälöryhmä Esimerkki 3.1. jatkuu f 7 = 0 αf 5 + f 6 αf 9 f 10 = 0 f 2 f 6 = 0 f 3 = 10 αf 1 f 4 αf 5 = 0 αf 1 + f 3 αf 5 = 0 f 4 f 8 = 0 αf 5 + f 7 + αf 9 = 15 f 10 f 13 = 0 f 11 = 20 f 8 + αf 9 αf 12 = 0 αf 9 + f 11 + αf 12 = 0 f 13 + αf 12 = 0. Luento 3 () Numeeriset menetelmät 20.3.2013 12 / 45
Esimerkki 3.1. jatkuu 3.1. Lineaarinen yhtälöryhmä Yhtälöryhmällä on kaksi ominaisuutta, jotka ovat tyypillisiä mm. rakenteiden mekaniikan simulointitehtävissä esiintuleville yhtälöryhmille: vaikka malli on erittäin yksinkertainen, niin yhtälöryhmä on melko suuri. yhtälöryhmä on harva, eli kussakin yhtälössä esiintyy vain muutama tuntematon. Luento 3 () Numeeriset menetelmät 20.3.2013 13 / 45
3.1. Lineaarinen yhtälöryhmä Yleinen lineaarinen yhtälöryhmä Yleinen n tuntematonta ja n yhtälöä sisältävä lineaarinen yhtälöryhmä on muotoa a 11 x 1 + a 12 x 2 +... + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2 missä. a n1 x 1 + a n2 x 2 +... + a nn x n = b n, kertoimet (a ij ) n i,j=1 tuntemattomat (x i ) n i=1 sekä oikeanpuolen alkiot (b i ) n i=1 ovat reaalilukuja. Luento 3 () Numeeriset menetelmät 20.3.2013 14 / 45
3.1. Lineaarinen yhtälöryhmä Yleinen lineaarinen yhtälöryhmä jatkuu Yhtälöryhmä voidaan kirjoittaa lyhyesti matriisimuodossa Ax = b, missä a 11 a 12... a 1n x 1 a 21 a 22... a 2n A =......, x = x 2. a n1 a n2... a nn x n b 1 b 2 ja b =.. b n Luento 3 () Numeeriset menetelmät 20.3.2013 15 / 45
3.1. Lineaarinen yhtälöryhmä Lause Olkoon A R n n reaalinen neliömatriisi. Tällöin seuraavat väittämät ovat ekvivalentteja: 1 Yhtälöryhmällä Ax = b on yksikäsitteinen ratkaisu kaikilla b R n. 2 Ax = 0 x = 0. 3 On olemassa käänteismatriisi A 1. 4 det(a) 0. Luento 3 () Numeeriset menetelmät 20.3.2013 16 / 45
Kolmiomatriiseista Jos A on ns. alakolmiomatriisi, niin yhtälöryhmä on muotoa a 11 0... 0 x 1 b 1 a 21 a 22... 0 x 2....... = b 2. a n1 a n2... a nn x n b n ja sen ratkaisu saadaan etenevillä sijoituksilla ( i 1 x i = b i a ij x j )/a ii, i = 1, 2,..., n j=1 (edellyttäen, että a ii 0, i = 1,..., n). Luento 3 () Numeeriset menetelmät 20.3.2013 17 / 45
Kolmiomatriiseista jatkuu Vastaavasti, jos A on yläkolmiomatriisi, a 11... a 1,n 1 a 1n x 1 b 1....... 0... a n 1,n 1 a n 1,n x n 1 =. b n 1 0... 0 a nn x n b n saadaan ratkaisu takenevilla sijoituksilla: ( n x i = b i a ij x j )/a ii, i = n, n 1,..., 1 j=i+1 (edellyttäen taas, että a ii 0, i = 1,..., n). Luento 3 () Numeeriset menetelmät 20.3.2013 18 / 45
Gaussin eliminointimenetelmässä on ideana saattaa yleinen lineaarinen yhtälöryhmä yläkolmiomuotoon äärellisellä määrällä seuraavia alkeisoperaatioita: kerrotaan jokin yhtälö nollasta eroavalla vakiolla, lisätään johonkin yhtälöön joku toinen yhtälö vakiolla kerrottuna, vaihdetaan kaksi yhtälöä keskenään. Sitten yhtälöryhmä ratkaistaan takenevilla sijoituksilla. Luento 3 () Numeeriset menetelmät 20.3.2013 19 / 45
Algoritmi 3.1 Gaussin eliminointimenetelmä do k = 1,..., n 1 do i = k + 1,..., n z := a ik /a kk a ik := 0 do j = k + 1,..., n a ij := a ij z a kj end do b i := b i z b k end do end do k: sarake, jota ollaan nollaamassa i: rivi, jonka 1. alkiota nollataan j käy läpi rivin i Algoritmi korvaa alkuperäisen yhtälöryhmän kerroinmatriisin ja oikean puolen vektorin vastaavan yläkolmioyhtälöryhmän matriisilla ja oikeanpuolen vektorilla. Luento 3 () Numeeriset menetelmät 20.3.2013 20 / 45
Huomautus 3.1. Luku 3: Yhtälöryhmien ratkaisemisesta tarkka ratkaisu saadaan äärellisellä määrällä peruslaskutoimituksia. algoritmin vaativuus on O(n 3 ) suuren lin. yht.ryhmän ratkaiseminen on edelleen erittäin haastava tehtävä. indeksejä i, j ja k vastaavien do-silmukoiden järjestystä voidaan vaihtaa, jolloin saadaan kuusi eri variaatiota algoritmista. Silmukoiden järjestys määrää sen missä järjestyksessä matriisialkioihin viitataan. klassisessa Gaussin elim.men. on oikean puolen vektori b tunnettava jo suoritettaessa matriisin kolmiointia. Yleisemmin käytetty versio Gaussin elim.men. perustuu ns. LU-hajotelman muodostamiseen. Luento 3 () Numeeriset menetelmät 20.3.2013 21 / 45
LU-hajotelma Luku 3: Yhtälöryhmien ratkaisemisesta Olkoon A (i) kerroinmatriisi i 1:n eliminaatioaskeleen jälkeen (A (1) := A). Tällöin A (i+1) = M i A (i), missä 1 0 0 0... 0 0 1 0 0... 0 0 0 1 0... 0 M i = 0 0 m i+1,i 1... 0...... 0 0 m n,i 0... 1, m ki = a(i) ki a (i) ii. Luento 3 () Numeeriset menetelmät 20.3.2013 22 / 45
LU-hajotelma jatkuu Kertomalla yhtälö A (i+1) = M i A (i) vasemmalta matriisilla M i 1 saadaan M 1 i A (i+1) = M 1 i M }{{} i A (i) = A (i), I josta saadaan induktiolla A = A (1) = M 1 } 1 M 1 2 M 1 {{} L n 1 A (n) }{{} U. matriisi U on yläkolmiomatriisi konstruktionsa perusteella. matriisi L on alakolmiomatriisi, jonka diagonaalialkiot ovat ykkösiä. Luento 3 () Numeeriset menetelmät 20.3.2013 23 / 45
LU-hajotelma jatkuu Matriisille A löydettiin edellä kolmiohajotelma A = LU, missä L on ala- ja U yläkolmiomatriisi. Vertaamalla vastinalkioita yhtälössä A = LU saadaan a ij = n l ik u kj, k=1 mistä voidaan johtaa eksplisiittiset kaavat kolmiomatriisien L ja U nollasta eroavien alkioiden laskemiseksi: Luento 3 () Numeeriset menetelmät 20.3.2013 24 / 45
Matriisin U alkiot a ij = = u ij = u ij = n l ik u kj k=1 i 1 l ik u kj + l ii u ij + k=1 n ( ) i 1 a ij l ik u kj / l ii k=1 l ik }{{} k=i+1 =0,i<k }{{} =1 { a ij i 1 k=1 l iku kj, i j. 0, i > j. u kj, i j. Luento 3 () Numeeriset menetelmät 20.3.2013 25 / 45
Matriisin L alkiot a ij = = l ij = n l ik u kj k=1 j 1 l ik u kj + l ij u jj + k=1 n k=j+1 l ik u kj }{{} =0,k>j ( a ij ) j 1 k=1 l iku kj /u jj, i > j 0, i < j 1, i = j. Luento 3 () Numeeriset menetelmät 20.3.2013 26 / 45
LU-hajotelma jatkuu Alkiot voidaan laskea esimerkiksi siten, että - ensin lasketaan matriisin U 1. rivi ja matriisin L 1. sarake, - sitten matriisin U 2. rivi, matriisin L 2. sarake jne., Näin laskemiseen tarvittavat alkiot ovat aina tiedossa. Luento 3 () Numeeriset menetelmät 20.3.2013 27 / 45
LU-hajotelma jatkuu Koska Ax = LUx = L(Ux), on yhtälöryhmä Ax = b nyt muotoa L(Ux) = b, joten alkuperäinen yhtälöryhmä palautuu kahdeksi kolmiomaiseksi yhtälöryhmäksi Ly = b, Ux = y. Ensin ratkaistaan vektori y ylemmästä yhtälöstä etenevillä sijoituksilla, sitten ratkaistaan vektori x alemmasta yhtälöstä takenevilla sijoituksilla. Luento 3 () Numeeriset menetelmät 20.3.2013 28 / 45
Huomautus LU-hajotelmaa ei aina voi muodostaa edellä esitetyllä tavalla, vaikka matriisi A olisikin kääntyvä (koska l ij :tä laskettaessa jakaja u jj voi olla nolla tai hyvin pieni). Esimerkiksi matriisille [ ] 0 2 A = 3 0 ei voida muodostaa LU-hajotelmaa edellä esitetyllä tavalla. Lisäksi numeerisen stabiilisuuden säilyttämiseksi olisi vältettävä hyvin pienellä luvulla jakamista. Luento 3 () Numeeriset menetelmät 20.3.2013 29 / 45
Permutaatiomatriisi Permutaatiomatriisi on matriisi P jolle pätee: kun matriisi A kerrotaan P:llä vasemmalta, matriisin A rivien järjestys muuttuu. oikealta, matriisin A sarakkeiden järjestys muuttuu. Toisin sanoen P:n jokaisella rivillä ja sarakkeella on täsmälleen yksi ykkönen ja muut alkiot ovat nollia. Luento 3 () Numeeriset menetelmät 20.3.2013 30 / 45
Permutaatiomatriisi jatkuu Lause Jokaiselle kääntyvälle matriisille A on olemassa permutaatiomatriisi P siten, että matriisille PA voidaan muodostaa LU-hajotelma edellä esitetyllä tavalla. Ko. permutaatio löydetään s.e. LU-hajotelman askeleella k etsitään rivi r, jolla a rk, k r n on suurin. Rivit k, r vaihdetaan keskenään. Syy: askeleella k jaetaan alkiolla a kk ; halutaan, että jakaja on mahdollisimman suuri. Luento 3 () Numeeriset menetelmät 20.3.2013 31 / 45
Permutaatiomatriisi jatkuu Rivien permutointi ei muuta tehtävää: Ax = b on ekvivalentti yhtälöryhmän PAx = ˆLÛUx = Pb kanssa. (ˆLÛU on hajotelma, joka saatu permutoidulle tehtävälle) matriisin P sisältämä informaatio voidaan tallentaa yhteen n-paikkaiseen kokonaislukuvektoriin p. Tällöin alkion p i arvo ilmoittaa sen sarakkeen, jossa rivillä i oleva matriisin P ykkösalkio esiintyy. 0 1 0 p = (2, 1, 3) P = 1 0 0 0 0 1 Luento 3 () Numeeriset menetelmät 20.3.2013 32 / 45
LU-hajotelman implementoinnista Koska alakolmiomatriisin L diagonaalialkiot tunnetaan (ykkösiä), niitä ei tarvitse tallentaa. Matriisit L ja U voidaan tallentaa matriisin A päälle. Monisteessa on esitetty algoritmit LU-hajotelman muodostamiseen ja lineaarisen yhtälöryhmän ratkaisemiseen LU-hajotelman avulla. Hajotelma tehdään matriisin A päälle. LU factor palauttaa kokonaislukuvektorin p, joka määrää permutaatiomatriisin P. Vektori p viedään ohjelmalle backsolve, jotta oikean puolen vektorin b alkiot saadaan permutoitua kuten A. Osittaistuenta tarkoittaa rivien uudelleen järjestelyä. Luento 3 () Numeeriset menetelmät 20.3.2013 33 / 45
LU-hajotelman implementoinnista missä A = LU, U := A (n) on yläkolmiomatriisi, joka saadaan Gaussin eliminoinnilla ja L := M 1 1 M 1 2 M 1 n 1 on alakolmiomatriisi. Luento 3 () Numeeriset menetelmät 20.3.2013 34 / 45
LU-hajotelman implementoinnista jatkuu M i = M 1 i = 1 0 0 0... 0 0 1 0 0... 0 0 0 1 0... 0 0 0 m i+1,i 1... 0, m ki = a(i) ki a (i) ii...... 0 0 m n,i 0... 1 1 0 0 0... 0 0 1 0 0... 0 0 0 1 0... 0 0 0 m i+1,i 1... 0...... 0 0 m n,i 0... 1 Luento 3 () Numeeriset menetelmät 20.3.2013 35 / 45
LU-hajotelman implementoinnista jatkuu L := M 1 1 M 1 2 M 1 n 1 = 1 0... 0... 0 m 2,1 1... 0... 0 m 3,1 m 3,2....... 0 m 4,1 m 4,2... 1... 0... m i+1,i... 0...... m n,1 m n,2... m n,i... m n,n 1 1 Luento 3 () Numeeriset menetelmät 20.3.2013 36 / 45
LU-hajotelman implementoinnista jatkuu LU factor (ilman osittaistuentaa) on lähes sama algoritmi kuin Gaussin eliminointi. Matriisin L diagonaalialkioita ei tallenneta (ykkösiä) Yläkolmio (i j): kuten Gaussin elimin. menetelmässä Alakolmio (i > j): Gaussin eliminointi: a ij = 0, LU factor: a ij = m ij, i > j i > j Luento 3 () Numeeriset menetelmät 20.3.2013 37 / 45
Huomautus 3.3 Luku 3: Yhtälöryhmien ratkaisemisesta Käänteismatriisia ei yleensä kannata laskea numeerisesti (kallis operaatio). Itse asiassa käänteismatriisin eksplisiittistä muodostamista ei yleensä edes tarvita: Esimerkiksi skalaarin α = c T A 1 d, A R n n, c, d R n arvo voidaan laskea seuraavasti: Ratkaise x yhtälöryhmästä Ax = d (x = A 1 d) laske α = c T x (= c T A 1 d). Luento 3 () Numeeriset menetelmät 20.3.2013 38 / 45