MS-C1340 Lineaarialgebra ja

Transkriptio

1 MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto

2 Matriisinormi

3 Matriisinormi Matriiseille ja lineaarikuvauksille voidaan myös määritellä normeja. Esimerkki 1 Tarkastellaan seuraavan matriisin esittämää lineaarikuvausta: [ ] A := Matriisi A liittää jokaiseen vektoriin x R 2 vektorin Ax R 2. Tätä voidaan visualisoida ainakin kahdella tavalla: / 20 R. Kangaslampi matriisiteoriaa

4 Matriisinormi Määritellään matriisille A operaattorinormi seuraavasti: Määritelmä 2 Olkoon A R m n ja olkoon jokin vektorinormi. Tätä vastaava operaattorinormi on A op := Ax max x R n,x 0 x. Operaattorinormi riippuu käytetystä vektorinormista. 1-, - ja 2-normien antamia operaattorinormeja merkitään 1,, 2. 2 / 20 R. Kangaslampi matriisiteoriaa

5 Matriisinormi Esimerkki 3 Avaruudessa R 2 operaattorinormi mittaa yksikköpallon maksimaalista venytystä, eli antaa kuvana muodostuvan ellipsin pidemmän puoliakselin pituuden. Edellisen esimerkin matriisin normi on siis hieman ykköstä suurempi, kun käytetään 2-normia (tavallista R 2 :n pituutta) vektoreille / 20 R. Kangaslampi matriisiteoriaa

6 Matriisinormi Kaikilla operaattorinormeilla on kaksi hyvin hyödyllistä ominaisuutta: Lemma 4 Olkoot A, B R m n ja vektorinormi ja vastaava operaattorinormi. Tällöin pätee AB A B ja Ax A x x R n. 4 / 20 R. Kangaslampi matriisiteoriaa

7 Matriisinormi Operaattorinormin arvon laskemiseksi tulee löytää max x Ax x 1. Normien 1, 2 ja indusoimille operaattorinormeille tämä voidaan löytää eksplisiittisesti, siksi niitä käytetäänkin lineaarialgebrassa paljon. 2-normi voidaan laskea seuraavan lemman nojalla: Lemma 5 Olkoon A R m n. Tällöin pätee A 2 2 := λ max (A T A) 5 / 20 R. Kangaslampi matriisiteoriaa

8 Matriisinormi 1-normin ja -normin indusoimat operaattorinormit voidaan laskea seuraavasti: Lemma 6 Olkoon A R m n. Tällöin ja A 1 = max 1 j n A = max 1 i m m a ij eli suurin sarakesumma i=1 n a ij eli suurin rivisumma. j=1 6 / 20 R. Kangaslampi matriisiteoriaa

9 Matriisinormi Kaikki operaattorinormit toteuttavat vastaavat normiominaisuudet kuin vektorinormitkin. Voidaankin määritellä matriiseille normi myös seuraavasti: Määritelmä 7 : R m n R on matriisinormi, jos kaikilla A, B R m n ja α R pätee i) A > 0 A 0 ja A = 0 A = 0, ii) A + B A + B. iii) αa = α A. 7 / 20 R. Kangaslampi matriisiteoriaa

10 Matriisinormi Esimerkki 8 Suoraan vaaditut ehdot täyttävinä funktioina R m n R määriteltyjä matriisinormeja ovat esim. Frobenius-normi A F = i,j 1/2 a ij 2, ja maksiminormi A max = max a ij. ij 8 / 20 R. Kangaslampi matriisiteoriaa

11 Matriisinormi Seuraavaa tulosta tullaan tarvitsemaan myöhemmin: Lause 9 Olkoon A C n n siten, että A < 1. Tällöin I A on kääntyvä ja (I A) A. Todistus. Jos I A ei ole kääntyvä, niin on olemassa x C n siten, että x = 1 ja (I A)x = 0. Tällöin A Ax = x = 1, mikä on ristiriita. Oletetaan, että I A on kääntyvä. Jos x = 1 ja v = (I A) 1 x, niin 1 = (I A)v v Av v A v = (1 A ) v. Siten v 1 1 A. 9 / 20 R. Kangaslampi matriisiteoriaa

12

13 Käytännön ongelmissa, joita kuvataan lineaarisilla malleilla Ax = b, on usein epätarkkuutta sekä datassa että mallissa, eli niin matriisin A kuin vektorin b kertoimissakin. Nyt halutaan tietää, millainen virhe voi aiheutua ratkaisuun x. Tarkastellaan ensin, miten δb :n suuruinen häiriö vektorissa b vaikuttaa ratkaisuun. Merkitään δx :llä ratkaisuvektorin muutosta. Vähentämällä yhtälöt Ax = b ja A(x + δx) = b + δb puolittain, saadaan δx = A 1 δb. Siten absoluuttisen virheen normille saadaan yläraja δx A 1 δb. 10 / 20 R. Kangaslampi matriisiteoriaa

14 Paremmin ratkaisun virhettä kuvaa kuitenkin suhteellinen virhe δx / x, sillä lineaarisen yhtälöryhmän ratkaisun voi kerroinmatriisia skaalaamalla saada pienemmäksi, jolloin myös absoluuttinen virhe pienenee. Koska b A x niin suhteelliselle virheelle saadaan yläraja-arvio δx x A A 1 δb b. 11 / 20 R. Kangaslampi matriisiteoriaa

15 Määritelmä 10 Matriisin häiriöalttius on κ(a) = A A 1. Suuri häiriöalttius merkitsee siten, että pienikin suhteellinen virhe b :ssä voi aiheuttaa ratkaisuun x suuren epävarmuuden. Aivan vastaavasti voidaan tarkastella matriisin A häiriön δa aiheuttamaa virhettä ratkaisuun, ja saadaan δx δa κ(a) x + δx A. 12 / 20 R. Kangaslampi matriisiteoriaa

16 Esimerkki 11 [ ] 1 ɛ Lasketaan κ 1 (A), kun A =, ɛ (0, 1). 1 ɛ [ ] Nyt A 1 = joten häiriöalttiudeksi saadaan 1/ɛ 1/ɛ κ 1 (A) = A 1 A 1 1 = 2 1 (1 + 1/ɛ) = 1 + 1/ɛ, 2 joka on suuri ɛ :n ollessa pieni. 13 / 20 R. Kangaslampi matriisiteoriaa

17 Normissa 2 häiriöalttius olisi hankalaa laskea annetun määritelmän perusteella, mutta onneksi se saadaan helposti singulaariarvojen avulla: Lemma 12 κ 2 (A) = σ max(a) σ min (A), missä σ max (A) on matriisin A suurin ja σ min (A) pienin singulaariarvo. Ei todisteta tällä kurssilla. Muistutus: Matriisin A singulaariarvot ovat matriisin A T A ominaisarvojen positiiviset neliöjuuret. 14 / 20 R. Kangaslampi matriisiteoriaa

18 Häiriöalttius riippuu (hieman) siitä, missä normissa asioita mitataan. Koska 1 = I = AA 1 A A 1, saadaan tosin κ(a) 1 jokaiselle kääntyvälle matriisille normista riippumatta. 15 / 20 R. Kangaslampi matriisiteoriaa

19 Tietokoneella laskemisesta: Kone-epsilon on suurin liukuluku eps> 0, joka lisättynä lukuun 1 antaa tulokseksi edelleen 1. Kyseessä on liukulukujärjestelmän suhteellisen tarkuuden mitta, jota myös pyöristysyksiköksi sanotaan. Kone-epsilon on tyypillisesti (esim. Matlab, double-tarkkuus) suuruusluokkaa Tästä seuraa, että jos κ(a) 10 16, annettua lineaarista yhtälöä ei voi ratkaista tietokoneella käyttäen kaksinkertaisen tarkkuuden laskentaa. Jopa pienet liukulukuvirheet monistuvat kertoimella κ(a) ja ovat siten merkittävän kokoisia. 16 / 20 R. Kangaslampi matriisiteoriaa

20 Esimerkki 13 (Paha esimerkki: Hilbert-matriisi) Klassinen esimerkki lineaarisesta systeemistä, jota ei voida ratkaista tietokoneella, liittyy approksimaatioteoriaan: Approksimoidaan funktiota f välillä (1, 0) käyttämällä n:n asteen polynomeja P n (0, 1) siten, että p ratkaisee minimointitehtävän min p P n p f 2 L 2 (0,1). Minimointitehtävä voidaan ratkaista melko helposti. Esitetään polynomit monomikannassa {x i } n i=0 eli n+1 p(x) := α i x i 1. i=1 17 / 20 R. Kangaslampi matriisiteoriaa

21 Esimerkki 13 (jatkuu) Minimointitehtävä on tällöin ekvivalentti sen kanssa, että etsitään kerroinvektoria α R n+1, jolle min n+1 α i x i 1 f 2 α R n+1 L 2 (0,1). i=1 Nyt minimi voidaan laskea ottamalla gradientti kerroinvektorin suhteen. Kaikilla k = 1,..., (n + 1) pätee α k 1 0 ( ) 2 α i x i f dx = i 1 0 ( ) 2 α i x i f x k dx i 18 / 20 R. Kangaslampi matriisiteoriaa

22 Esimerkki 13 (jatkuu) Gradientin nollakohdassa siis 1 0 x k ( i α i x i ) dx = 1 0 x k f dx k Syntyvät n + 1 lineaarista yhtälöä voidaan kerätä matriisimuotoon: etsi α R n+1 siten, että Hα = b, missä H ij = 1 0 x i x j dx ja b i = 1 0 fx i dx. Laskemalla integraalit saadaan 1 H ij = i + j / 20 R. Kangaslampi matriisiteoriaa

23 Esimerkki 13 (jatkuu) Näin syntyvän Hilbert-matriisin H häiriöalttius kasvaa hyvin nopeasti. Kun n = 15, häiriöalttius on jo niin suuri, että lineaarista systeemiä ei voida ratkaista tietokoneella (kts. Matlab, cond(hilb(15))). Huom: Alkuperäinen polynomiapproksimaatiotehtävä voidaan kyllä ratkaista tarkasti. Tällöin täytyy vain käyttää jotakin muuta kantaa kuin monomeja, esim. Legendren polynomeja. (Lisää aiheesta kurssilla Numeerinen matriisilaskenta.) 20 / 20 R. Kangaslampi matriisiteoriaa