Monissa käytännön ongelmissa ei matriisiyhtälölle Ax = b saada ratkaisua, mutta approksimaatio on silti käyttökelpoinen.

Transkriptio

1 Pns ratkaisu (Kr. 20.5, Lay 6.5 C-II/KP-II, 20, Kari Eloranta Monissa käytännön ongelmissa ei matriisiyhtälölle Ax = b saada ratkaisua, mutta approksimaatio on silti käyttökelpoinen. Määritelmä Jos A on m n matriisi ja b R m, niin yhtälön Ax = b paras pienimman neliösumman (pns ratkaisu on ˆx R n siten, että b Aˆx b Ax, x R n Ratkaisu tähän lähtee huomiosta, että Ax on aina vektori A:n sarakevektoreiden virittämässä aliavaruudessa. Näistä vektoreista pitää siis valita optimaalinen Aˆx eli se, joka on lähinnä b:ta. Tälläisellä vektorilla täytyy olla se ominaisuus, että vektorin b Aˆx:n on oltava kohtisuorassa sarakeavaruutta vastaan. Niinpä on vaadittava, että A T (b Aˆx = 0, josta saadaan

2 Pienimmän neliösumman ratkaisu 2 Lause Yhtälön Ax = b pns ratkaisu ˆx on täsmälleen normaaliyhtälön A T Aˆx = A T b ratkaisu.

3 Pienimmän neliösumman ratkaisu 2 Lause Yhtälön Ax = b pns ratkaisu ˆx on täsmälleen normaaliyhtälön A T Aˆx = A T b ratkaisu. Esimerkki: Yhtälön Ax = b, jossa A = , b = 2 0 pns ratkaisua ˆx varten lasketaan ( A T 9 b = (, A T 7 A = 5 ( (, josta A T 5 A = Näillä ratkaistaan A T Ax = A T b ja saadaan ( A ˆx = A A T T b = ( 2. Lause Pns ratkaisu ˆx on yksikäsitteinen joss A T A on kääntyvä.

4 Symmetristen matriisien ominaisuuksia (Kr. 8., Lay 7. Lause Symmetrisen matriisin ( A T = A eri ominaisarvoihin liittyvät ominaisvektorit ovat kohtisuorassa. Tod.: Olkoon λ λ 2 ja v i, i =,2 vastaavat ominaisvektorit. Silloin pätee λ v v 2 = (λ v T v 2 = (Av T v 2 = (v TAT v 2 = v T (Av 2 = v T (λ 2v 2 = λ 2 v v 2 eli (λ λ 2 v v 2 = 0, josta seuraa kohtisuoruus. QED Jos ortonormaaleja ominaisvektoreita on riittävästi, voidaan niistä muodostaa (sarakkeina diagonalisointiin A = PDP tarvittava kannanmuuttomatriisi P. Tällön sanotaan, että matriisi A on ortogonaalisesti diagonalisoituva ja pätee siis A = PDP T. Jos näin on, pätee A T = (PDP T T = P TT D T P T = PDP T = A eli A on symmetrinen! Itse asiassa käänteinenkin pätee: Lause Neliömatriisi on ortogonaalisesti diagonalisoituva joss se on symmetrinen.

5 Symmetristen matriisien ominaisuuksia 2 Esimerkki: Matriisin A = karakteristinen yhtälö on (λ 7 2 (λ+2 eli Ortogonaalisuuslause edellä ei välittömästi anna ortogonaalista matriisia P. Arvoa λ = 2 vastaava ominaisvektori v = (, 2, T on kohtisuorassa molempia λ = 7 vastaavia ominaisvektoreita v = (,0, T ja v 2 = ( 2,,0 T vastaan. Mutta jälkimmäiset eivät ole keskenaan kohtisuorassa. Korjataan tämä Gram-Schmidtillä: z 2 = v 2 v v 2 v = v v Nyt {v,z 2,v } on R :n ortogonaalikanta. Normalisoimalla kukin vektoreista ja muodostamalla niistä ortogonaalisen muunnosmatriisin P sarakkeet saadaan P = joille siis pätee A = PDP T ja D = , 0 0 2

6 Spektraalihajotelma (Lay 7. Jos patee A = PDP T, jossa ortogonaalisen P:n sarakkeina ovat A:n normeeratut ominaisvektorit {u i } ja D:n diagonaalina ominaisarvot {λ,...,λ n } (eli A:n spektri, saadaan λ 0 u A = PDP T = (u u n T 0 λ n un T u T = (λ u λ n u n. u T n = λ u u T + +λ n u n u T n. Tämä on A:n spektraalihajotelma. n n matriisit u i u T i ovat rangia olevia projektiomatriiseja: (u i u T i x on vektorin x ortogonaaliprojektio vektorin u i virittämälle -ulotteiselle aliavaruudelle. Jos osa ominaisarvoista on hyvin pieniä, kertoo spektraalihajotelma, mitkä projektiot oleellisesti kuvaavat A:n.

7 Spektraalihajotelma 2 (Lay 7. Esimerkki: Symmetrisen matriisin A = ominaisarvot ovat λ = 6, λ 2 = ja λ = 2. Vastaavat ominaisvektorit ovat (2,,, (,, ja (0,,. Normalisoimalla nämä saadaan ( 2 u = 6, 6, T (, u 2 =, 6, T ( ja u = 0,, 2 2 T. A:n spektraalihajotelma on siten i= λ iu i u T i. Koska u T i on A k :n ominaisarvoon λ k i liittyvä ominaisarvo, nähdään, että A k = i= λk i u iu T i kaikille k =,2,... Huomaa, että λ = 6 on dominoiva ominaisarvo, koska 6 > λ i, i = 2,. Siten A k ( 6 k u u T = eli projektiomatriisi u u T kuvaa asymptoottisesti Ak :n geometrian venytystä vaille.

8 Spektraalihajotelma (Lay 7. Entä jos dominoiva ominaisarvo on monikertainen, kuten edeltävän esimerkin matriisilla B = , 4 2 jossa λ = 7 oli kaksinkertainen ja 2 yksinkertainen? Tämäkin tilanne ratkeaa heti spektraaliesityksestä ja voidaan laskea, että B k ( 7 k 2,0, = T ( 2,0, 4 9 2, ( +, , joka ei ole projektiomatriisi, vaikka onkin kahden sellaisen summa. T (, , 8

9 Spektraalilause (Lay 7. Symmetrisillä matriiseilla on paljon hyviä ominaisuuksia, joista useat voidaan tiivistää seuraavasti Lause Symmetrisellä n n-matriisilla A on n reaalista ominaisarvoa, k-kertaista ominaisarvoa vastaava ominaisavaruus on k-ulotteinen, erillisiä ominaisarvoja vastaavat ominaisaliavaruudet ovat kohtisuorassa, on ortogonaalinen diagonalisointi. (Osa näistä ominaisuuksista on johdettu edellä, osa taas vaatii huomattavasti lisätyötä/löytyy kirjallisuudesta.

10 Neliömuodot (Kr. 8.4, Lay 7.2 Määritelmä Neliömuoto Q A (x on kuvaus R n R, joka määrittyy n n matriisista A: Q A (x = x T Ax. Koska A ja 2 (A+AT määrittelevät saman neliömuodon, voidaan keskittyä symmetristen matriisien antamien neliömuotojen analyysiin. Kun A on selvä, merkitään yksinkertaisesti Q(x. n n matriisin neliömuoto on aina toisen asteen polynomi n:n muuttujan suhteen.

11 Neliömuodot (Kr. 8.4, Lay 7.2 Määritelmä Neliömuoto Q A (x on kuvaus R n R, joka määrittyy n n matriisista A: Q A (x = x T Ax. Koska A ja 2 (A+AT määrittelevät saman neliömuodon, voidaan keskittyä symmetristen matriisien antamien neliömuotojen analyysiin. Kun A on selvä, merkitään yksinkertaisesti Q(x. n n matriisin neliömuoto on aina toisen asteen polynomi n:n muuttujan suhteen. Esimerkki: Matriisi ( 2 A = 2 7 määrittää neliömuodon ( 2 Q A (x = (x,x ( x x 2 = x 2 4x x 2 +7x 2 2.

12 Neliömuodot 2 Kääntyvä n n matriisi P voidaan tulkita koordinaatiston muunnosmatriisiksi R n :lla: x = Py. Jos siirrytään alkuperäisistä x-koordinaateista y-koordinaatteihin, muuntuu neliömuodon esitys Q(x = x T Ax = (Py T A(Py = y T (P T APy ( eli uudessa kannassa matriisi on P T AP. Koska kuitenkin A voidaan aina olettaa symmetriseksi ja symmetriset matriisit ovat ortogonaalisesti diagonalisoituvia, on nyt tarjolla ortogonaalinen koordinaatistonmuunnos. Sitä vastaten Q saa yksinkertaisimman mahdollisen esityksen, pääakselimuodon: Q(y = y T Dy = n i= λ i y 2 i. (2 Geometrisesti ( ja (2 ovat tietenkin täsmälleen samoja kuvauksia Q : R n R!

13 Neliömuodot Neliömuodon geometria on helpointa hahmottaa pääakselimuodosta. Yksinkertaisimmillaan, tasossa, yhtälö x T Ax = c määrittää joko ellipsin, hyperbelin, suoraparin, pisteen tai on tyhjä joukko. Käyrän orientaatio selviää välittömästi (kohtisuorista ominaisvektoreista, jotka antavat akselien suunnat. Esimerkki: ( Q(x = 5x 2 4x x 2 +5x = 48 (x,x ( T u = 2, 2 ja u2 = jossa ( x x 2 = 48. Matriisin ominaisavot ovat ja 7, joita vastaavat ortonormaalit ominaisvektori ovat (, 2 2 T. Siten koordinaatiston muunnos on x = Py, ( 2 P = ja vastaava pääakselimuoto y T Dy = y 2 +7y2 2. Q = 48 vastaa ellipsiä, jonka akselit ovat 45 asteen kulmassa alkuperäisten R 2 :n koordinaattiakselien suhteen.

14 Neliömuodot 4 Määritelmä Neliömuoto Q on positiividefiniitti jos Q(x > 0, x 0, positiivisemidefiniitti jos Q(x 0, x ja on olemassa x 0 siten että Q(x = 0, negatiividefiniitti jos Q(x < 0, x 0, negatiivisemidefiniitti jos Q(x 0, x ja on olemassa x 0 siten että Q(x = 0, indefiniitti jos Q saa sekä pos. että neg. arvoja.

15 Neliömuodot 5 Lause Neliömuoto x T Ax, A symmetrinen, on positiividefiniitti joss A:n ominaisarvot ovat positiiviset, positiivisemidefiniitti joss A:n ominaisarvot ovat ei-negatiiviset ja on olemassa häviävä ominaisarvo, negatiividefiniitti joss A:n ominaisarvot ovat negatiiviset, negatiivisemidefiniitti joss A:n ominaisarvot ovat ei-positiiviset ja on olemassa häviävä ominaisarvo, indefiniitti joss A:lla on sekä pos. että neg. ominaisarvoja.

16 Neliömuodot 6 Esimerkki: Muoto Q(x = x 2 +2x2 2 +x2 +4x x 2 +4x 2 x näyttää positiiviselta, mutta ei ole sitä. Vastaavan symmetrisen matriisin spektri on {5, 2, }. Q on siis indefiniitti neliömuoto (joka siis saa myös negatiivisia arvoja. Geometrisesti tasa-arvopinnat Q = vakio ovat yksi- tai kaksivaippaisia elliptisiä hyperboloideja R :ssa.

17 Singulaariarvot (Lay 7.4 Vaikkei diagonalisointi A = PDP olekaan mahdollinen mielivaltaiselle m n matriisille A, osoittautuu, että hieman yleisempi hajotelma A = QDP onnistuu. Ensin kuitenkin hiukan neliömuotojen ääriarvoista. A T A on symmetrinen n n matriisi, joten se on ortogonaalisesti diagonalisoituva. Olkoot {µ,...,µ n } sen ominaisarvot ja {v,...,v n } ortonormaalit ominaisvektorit. Siten 0 Av i 2 = (Av i T Av i = v T i A T Av i = v T i µ i v i = µ i. ( Olkoot nämä arvot laskevassa järjestyksessä µ i µ i+. Niiden juuret σ i = µ i ovat A:n singulaariarvot. Singulaariarvot antavat ( nojalla vektoreiden Av i pituudet. Huomaa, että Ax 2 maksimoituu samalla x:lla kuin Ax.

18 Singulaariarvot 2 (Lay 7.4 Lause Symmetriselle B, jonka spektri on µ µ 2..., µ = max{x T Bx x = } ja maksimi saavutetaan µ :tä vastaavalla yksikköominaisvektorilla. Esimerkki: Olkoon ( 4 4 A = 8 7 2, joten A T A = jonka ominaisarvot ovat {60, 90, 0}, josta edelleen A:n singulaariarvot: {6 0, 0,0}. A T A:n yksikköominaisvektorit ovat ( v =, 2, 2 T (, v 2 = 2,, 2 T ( 2 ja v =, 2, T. Ax maksimoituu edellä olevan nojalla v :n suuntaan ja sen maksimiarvo yksikköpallolla on siis Av = σ = 6 0. Voidaan osoittaa, että Ax :n maksimi v :n ortogonaalikomplementissa saavutetaan v 2 :n suuntaan ja on suuruudeltaan σ 2. (Tämä yleistyy edelleen, katso Lay 7. Lause 7 ja 7.4 Lause 9.,

19 Singulaariarvot Myös AA T on symmetrinen (m m matriisi, joten se on ortogonaalisesti diagonalisoituva. Olkoot {λ,...,λ m } sen ominaisarvot ja {u,...,u m } ortonormaalit ominaisvektorit. Siten 0 A T u i 2 = (A T u i T A T u i = u T i AA T u i = u T i λ i u i = λ i. (2 Olkoot nämä arvot laskevassa järjestyksessä λ i λ i+. Koska A T Av i = µ i v i, saadaan kertomalla vasemmalta A:lla AA T (Av i = µ i (Av i, joten nähdään, että µ i ja Av i ovat AA T :n ominaisarvo ja -vektoripari. Siten AA T :n ja A T A:n nollasta eroavat ominaisarvot ovat samat. { Jos r on A:n rangi, niin σ 2 µ i = i, i =,...,r 0, i = r +,...,n josta edelleen Av i = { σi u i, i =,...,r 0, i = r +,...,m

20 Singulaariarvot 4 {u i } m ovat A:n vasemmat singulaarivektorit ja {v i} n oikeat singulaarivektorit. Edellisen nojalla niille voidaan siis kirjoittaa A(v v r v r+ v n = (u u r u r+ u m Σ, jossa Σ = ( D = σ σ σ r on m n matriisi, jonka ainoat nollasta eroavat alkiot ovat singulaariarvot r r diagonaalimatriisissa D, r min{n, m}.

21 Singulaariarvohajotelma (Lay 7.4 Edellä oleva kehittely on oleellisesti kaikki mitä tarvitaan todistamaan singulaariarvohajotelma (engl. singular value decomposition, SVD. Lause Olkoon A m n matriisi, jonka rangi on r. Silloin on olemassa Σ kuten edellä ja siinä matriisi D, jonka diagonaalina ovat A:n singulaariarvot. Samoin on olemassa m m U ja n n V, molemmat ortogonaalisia, siten että A = UΣV T. Huomioita:. Matriisit U ja V eivät ole yksikäsitteisiä. 2. Jos A on n n neliömatriisi, ovat Σ, U ja V samaa kokoa ja kaksi viimeistä ortogonaalimatriiseja. Jos A on vieläpä symmetrinen tiedetään aiemmasta, että se on ortogonaalisesti diagonalisoituva, A = PDP T, joten voidaan siis valita U = V.

22 Singulaariarvohajotelma 2 (Lay 7.4 Esimerkki: Konstruoidaan singulaarihajoitelma edellisen esimerkin matriisille Nyt siis m = 2, n =. ( 4 4 A = Diagonalisoidaan A T A ja ratkaistaan singulaariarvot σ i kuten edellä: {6 0, 0,0} (siis r = 2. Ortonormaalit ominaisvektorit v i : ( v =, 2, 2 T (, v 2 = 2,, 2 T ( 2 ja v =, 2, T. 2. Määritellään -matriisi V = (v v 2 v ja edelleen ( ( σ D = = 0 σ ( ja Σ =

23 Singulaariarvohajotelma 2 (Lay 7.4. U:n r ensimmäistä saraketta ovat Av,...,Av r normalisoituna. Nyt r = 2 ja u = σ Av = 6 0 ( 8 6 u 2 = Av 2 = ( σ ( = 0 0 ( = 0 0 jotka ovat R 2 :n kanta ja siten U = (u u 2. Siten A:n singulaariarvohajotelma on, UΣV T = ( ( NB. Jos kävisi niin, että {Av i } ei antaisi kantaa kuten yllä, vaan vain k < m vektoria, niin silloin etsitään ortogonaalikannan loput vektorit tämän joukon ortogonaalikomplementista Gram-Schmidtia ja normalisointia käyttäen.