MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto
Matriisinormi
Matriisinormi Matriiseille ja lineaarikuvauksille voidaan myös määritellä normeja. Esimerkki 1 Tarkastellaan seuraavan matriisin esittämää lineaarikuvausta: [ ] 1 0.2 A := 0.1 0.8 Matriisi A liittää jokaiseen vektoriin x R 2 vektorin Ax R 2. Tätä voidaan visualisoida ainakin kahdella tavalla: 1.5 1 0.5 0-0.5-1 -1.5-1.5-1 -0.5 0 0.5 1 1.5 1 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi Määritellään matriisille A operaattorinormi seuraavasti: Määritelmä 2 Olkoon A R m n ja olkoon jokin vektorinormi. Tätä vastaava operaattorinormi on A op := Ax max x R n,x 0 x. Operaattorinormi riippuu käytetystä vektorinormista. 1-, - ja 2-normien antamia operaattorinormeja merkitään 1,, 2. 2 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi Esimerkki 3 Avaruudessa R 2 operaattorinormi mittaa yksikköpallon maksimaalista venytystä, eli antaa kuvana muodostuvan ellipsin pidemmän puoliakselin pituuden. Edellisen esimerkin matriisin normi on siis hieman ykköstä suurempi, kun käytetään 2-normia (tavallista R 2 :n pituutta) vektoreille. 1.5 1 0.5 0-0.5-1 -1.5-1.5-1 -0.5 0 0.5 1 1.5 3 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi Kaikilla operaattorinormeilla on kaksi hyvin hyödyllistä ominaisuutta: Lemma 4 Olkoot A, B R m n ja vektorinormi ja vastaava operaattorinormi. Tällöin pätee AB A B ja Ax A x x R n. 4 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi Operaattorinormin arvon laskemiseksi tulee löytää max x Ax x 1. Normien 1, 2 ja indusoimille operaattorinormeille tämä voidaan löytää eksplisiittisesti, siksi niitä käytetäänkin lineaarialgebrassa paljon. 2-normi voidaan laskea seuraavan lemman nojalla: Lemma 5 Olkoon A R m n. Tällöin pätee A 2 2 := λ max (A T A) 5 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi 1-normin ja -normin indusoimat operaattorinormit voidaan laskea seuraavasti: Lemma 6 Olkoon A R m n. Tällöin ja A 1 = max 1 j n A = max 1 i m m a ij eli suurin sarakesumma i=1 n a ij eli suurin rivisumma. j=1 6 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi Kaikki operaattorinormit toteuttavat vastaavat normiominaisuudet kuin vektorinormitkin. Voidaankin määritellä matriiseille normi myös seuraavasti: Määritelmä 7 : R m n R on matriisinormi, jos kaikilla A, B R m n ja α R pätee i) A > 0 A 0 ja A = 0 A = 0, ii) A + B A + B. iii) αa = α A. 7 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi Esimerkki 8 Suoraan vaaditut ehdot täyttävinä funktioina R m n R määriteltyjä matriisinormeja ovat esim. Frobenius-normi A F = i,j 1/2 a ij 2, ja maksiminormi A max = max a ij. ij 8 / 20 R. Kangaslampi matriisiteoriaa
Matriisinormi Seuraavaa tulosta tullaan tarvitsemaan myöhemmin: Lause 9 Olkoon A C n n siten, että A < 1. Tällöin I A on kääntyvä ja (I A) 1 1 1 A. Todistus. Jos I A ei ole kääntyvä, niin on olemassa x C n siten, että x = 1 ja (I A)x = 0. Tällöin A Ax = x = 1, mikä on ristiriita. Oletetaan, että I A on kääntyvä. Jos x = 1 ja v = (I A) 1 x, niin 1 = (I A)v v Av v A v = (1 A ) v. Siten v 1 1 A. 9 / 20 R. Kangaslampi matriisiteoriaa
Käytännön ongelmissa, joita kuvataan lineaarisilla malleilla Ax = b, on usein epätarkkuutta sekä datassa että mallissa, eli niin matriisin A kuin vektorin b kertoimissakin. Nyt halutaan tietää, millainen virhe voi aiheutua ratkaisuun x. Tarkastellaan ensin, miten δb :n suuruinen häiriö vektorissa b vaikuttaa ratkaisuun. Merkitään δx :llä ratkaisuvektorin muutosta. Vähentämällä yhtälöt Ax = b ja A(x + δx) = b + δb puolittain, saadaan δx = A 1 δb. Siten absoluuttisen virheen normille saadaan yläraja δx A 1 δb. 10 / 20 R. Kangaslampi matriisiteoriaa
Paremmin ratkaisun virhettä kuvaa kuitenkin suhteellinen virhe δx / x, sillä lineaarisen yhtälöryhmän ratkaisun voi kerroinmatriisia skaalaamalla saada pienemmäksi, jolloin myös absoluuttinen virhe pienenee. Koska b A x niin suhteelliselle virheelle saadaan yläraja-arvio δx x A A 1 δb b. 11 / 20 R. Kangaslampi matriisiteoriaa
Määritelmä 10 Matriisin häiriöalttius on κ(a) = A A 1. Suuri häiriöalttius merkitsee siten, että pienikin suhteellinen virhe b :ssä voi aiheuttaa ratkaisuun x suuren epävarmuuden. Aivan vastaavasti voidaan tarkastella matriisin A häiriön δa aiheuttamaa virhettä ratkaisuun, ja saadaan δx δa κ(a) x + δx A. 12 / 20 R. Kangaslampi matriisiteoriaa
Esimerkki 11 [ ] 1 ɛ Lasketaan κ 1 (A), kun A =, ɛ (0, 1). 1 ɛ [ ] Nyt A 1 = 1 1 1 2 joten häiriöalttiudeksi saadaan 1/ɛ 1/ɛ κ 1 (A) = A 1 A 1 1 = 2 1 (1 + 1/ɛ) = 1 + 1/ɛ, 2 joka on suuri ɛ :n ollessa pieni. 13 / 20 R. Kangaslampi matriisiteoriaa
Normissa 2 häiriöalttius olisi hankalaa laskea annetun määritelmän perusteella, mutta onneksi se saadaan helposti singulaariarvojen avulla: Lemma 12 κ 2 (A) = σ max(a) σ min (A), missä σ max (A) on matriisin A suurin ja σ min (A) pienin singulaariarvo. Ei todisteta tällä kurssilla. Muistutus: Matriisin A singulaariarvot ovat matriisin A T A ominaisarvojen positiiviset neliöjuuret. 14 / 20 R. Kangaslampi matriisiteoriaa
Häiriöalttius riippuu (hieman) siitä, missä normissa asioita mitataan. Koska 1 = I = AA 1 A A 1, saadaan tosin κ(a) 1 jokaiselle kääntyvälle matriisille normista riippumatta. 15 / 20 R. Kangaslampi matriisiteoriaa
Tietokoneella laskemisesta: Kone-epsilon on suurin liukuluku eps> 0, joka lisättynä lukuun 1 antaa tulokseksi edelleen 1. Kyseessä on liukulukujärjestelmän suhteellisen tarkuuden mitta, jota myös pyöristysyksiköksi sanotaan. Kone-epsilon on tyypillisesti (esim. Matlab, double-tarkkuus) suuruusluokkaa 2.22 10 16. Tästä seuraa, että jos κ(a) 10 16, annettua lineaarista yhtälöä ei voi ratkaista tietokoneella käyttäen kaksinkertaisen tarkkuuden laskentaa. Jopa pienet liukulukuvirheet monistuvat kertoimella κ(a) ja ovat siten merkittävän kokoisia. 16 / 20 R. Kangaslampi matriisiteoriaa
Esimerkki 13 (Paha esimerkki: Hilbert-matriisi) Klassinen esimerkki lineaarisesta systeemistä, jota ei voida ratkaista tietokoneella, liittyy approksimaatioteoriaan: Approksimoidaan funktiota f välillä (1, 0) käyttämällä n:n asteen polynomeja P n (0, 1) siten, että p ratkaisee minimointitehtävän min p P n p f 2 L 2 (0,1). Minimointitehtävä voidaan ratkaista melko helposti. Esitetään polynomit monomikannassa {x i } n i=0 eli n+1 p(x) := α i x i 1. i=1 17 / 20 R. Kangaslampi matriisiteoriaa
Esimerkki 13 (jatkuu) Minimointitehtävä on tällöin ekvivalentti sen kanssa, että etsitään kerroinvektoria α R n+1, jolle min n+1 α i x i 1 f 2 α R n+1 L 2 (0,1). i=1 Nyt minimi voidaan laskea ottamalla gradientti kerroinvektorin suhteen. Kaikilla k = 1,..., (n + 1) pätee α k 1 0 ( ) 2 α i x i f dx = i 1 0 ( ) 2 α i x i f x k dx i 18 / 20 R. Kangaslampi matriisiteoriaa
Esimerkki 13 (jatkuu) Gradientin nollakohdassa siis 1 0 x k ( i α i x i ) dx = 1 0 x k f dx k Syntyvät n + 1 lineaarista yhtälöä voidaan kerätä matriisimuotoon: etsi α R n+1 siten, että Hα = b, missä H ij = 1 0 x i x j dx ja b i = 1 0 fx i dx. Laskemalla integraalit saadaan 1 H ij = i + j + 1. 19 / 20 R. Kangaslampi matriisiteoriaa
Esimerkki 13 (jatkuu) Näin syntyvän Hilbert-matriisin H häiriöalttius kasvaa hyvin nopeasti. Kun n = 15, häiriöalttius on jo niin suuri, että lineaarista systeemiä ei voida ratkaista tietokoneella (kts. Matlab, cond(hilb(15))). Huom: Alkuperäinen polynomiapproksimaatiotehtävä voidaan kyllä ratkaista tarkasti. Tällöin täytyy vain käyttää jotakin muuta kantaa kuin monomeja, esim. Legendren polynomeja. (Lisää aiheesta kurssilla Numeerinen matriisilaskenta.) 20 / 20 R. Kangaslampi matriisiteoriaa