MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [ m m EM m m m Laske EME T (iii) Näytä, että m m m > ja etsi L R siten, että M LL T Ratkaisu: (i) Koska matriisi M R x on positiividefiniitti x T Mx >, jokaisella x [ [ [ m m Olkoon matriisi M Valitaan x m m ja x Saadaan [ T [ [ x T m m Mx m m m > ja x T Mx [ T [ m m m m [ m > [ e e (ii) Olkoon matriisi E Lasketaan tulo EM, jolloin saadaan e e [ [ e m EM + e m e m + e m m m e m + e m e m + e m m m m Ensimmäisen rivin alkioiden yhtäsuuruudesta saadaan e ja e Toisen rivin alkioiden yhtäsuuruudesta saadaan e ja e m m Saadaan siis [ E m m
MS-C34 Lineaarialgebra, II/7 (Jotta Gaussin eliminaatiolla saadaan (,)-alkioksi nolla, on ensimmäisen rivin alkio m kerrottava luvulla m m ennen ensimmäisen rivin lisäämistä toiseen riviin) Edelleen EME T [ [ m m m m m m m Matriisin M symmetrisyy- [ m m (iii) Olkoon matriisi M ja x m m den ja positiividefiniittisyyden nojalla [ x x x T Mx m x + m x x + m x > [ m m m m Tehdään tälle lausekkeelle neliön täydennys ja sievennetään, jolloin saadaan x + m ( ) x x + m x m m m + m x m m > ( x + m ) ( ) m x + m x m m m > Ensimmäinen termi on aina positiivinen (tai nolla) Myös jälkimmäisen termin täytyy olla positiivinen jotta positiividefiniitti ominaisuus olisi voimassa Eli pitää olla ( ) m m > m m m m > m Etsitään M:lle Choleskyn hajotelma M LL T, missä L on alakolmiomatriisi, [ l jolla on reaaliset ja positiiviset diagonaalialkiot Merkitään L l l Tällöin [ [ [ [ M LL T m m l l l l l l m m l l l l l l + l Tästä saadaan ehdot l m l m l l m l m m l m l + l m l m l m m m
MS-C34 Lineaarialgebra, II/7 eli L [ m m m m m m Vaihtoehtoinen tapa etsiä hajotelma M LL T : Koska EME T on diagonaalimatriisi, jonka molemmat diagonaalialkiot ovat positiivisia, voidaan kirjoittaa EME T D, missä siis [ m D (EME T ) / m m m Ratkaistaan M: EME T D M E D (E T ) (E D)(D(E ) T ) (E D)(E D) T LL T missä on käytetty hyväksi sitä, että D T siis laskea D, ja merkitty L E D Voidaan Mikä on sama L kuin edellä saatu L E D [ [ m m m m m m [ m m m m m m 3
MS-C34 Lineaarialgebra, II/7 Tehtävä : Olkoot A R m n, b R m,, : R n R n R jokin avaruuden R n sisätulo ja x x, x Tarkastellaan pienimmän neliösumman tehtävää : etsi x R n siten, että Ax b saa pienimmän arvonsa (i) Muunna tehtävä pienimmän neliösumman tehtäväksi -normissa Voit olettaa, että jokaiselle symmetriselle ja positiividefiniitille matriisille M R n n löytyy L R n n siten, että M LL T (ii) Olkoot A [ Ratkaise PNS - tehtävä -normissa ja b [ (iii) Olkoot lisäksi [ x, y x T y ratkaise PNS-tehtävä tämän sisätulon indusoimassa normissa Ratkaisu: (i) Olkoon vektori b ja N(A), N(A T A) Lasketaan Ax b pienin neliösumma -normissa: Ax b (Ax b) T (Ax b) x T A T Ax x T A T b + b T b Seuraavaksi derivoidaan saatu lauseke x:n suhteen (eli lasketaan gradientti) ja asetetaan se nollaksi (Tarkempi aukilasku, ks Harjoitus 5, Kotitehtävä 3) ( x T A T Ax x T A T b + b T b ) A T Ax A T b A T Ax A T b Siis ratkaisuksi saadaan x ( A T A ) A T b [ [ (ii) Sijoitetaan vektorit A ja b edellisen kohdan ratkaisuun x ( A T A ) ( [ [ ) ( A T [ [ ) b 5 3 3 5 4
MS-C34 Lineaarialgebra, II/7 [ (iii) Merkitään LL T Lasketaan Ax b :n pienin neliösumma annetun sisätulon indusoimassa normissa: Ax b Ax b, Ax b (Ax b) T LL T (Ax b) x T A T LL T Ax x T A T LL T b + b T LL T b Derivoidaan tämä x:n suhteen ja asetetaan se nollaksi ( x T A T LL T Ax x T A T LL T b + b T LL T b ), vastaavasti kuin (i)-kohdassa tämä antaa josta ratkaisuksi saadaan Annetuilla arvoilla A [ A T LL T Ax A T LL T b, x ( A T LL T A ) A T LL T b ja b [ saadaan x:ksi x ( A T LL T A ) A T LL T b ( [ [ [ 3 8 8 3 ) ( [ [ [ ) 5
MS-C34 Lineaarialgebra, II/7 Kotitehtävä 3: Tarkastellaan matriisia A (i) Muokkaa Gram-Schmidt prosessia siten, että voit etsiä sen avulla ortonormaalin kannan lineaarisesti riippuvalle vektorijoukolle (ii) Etsi kanta avaruudelle R(A) käyttämällä Gram-Schmidt prosessia vektorijoukkoon Ratkaisu: (i) Gram-Schmidt yleisesti: Merkitään alkuperäisen vektorijoukon vektoreita symbolein a, a,, a n, ortogonalisoituja vektoreita symbolein w, w,, w n ja ortonormeerattuja vektoreita symbolein q, q,, q n Ortonormeerattuja kantavektoreita q i saadaan kuitenkin n kappaletta vain jos alkuperäiset vektorit a i muodostavat lineaarisesti riippumattoman joukon Gram-Schmidt prosessin idea on seuraava: muodostetaan vektoreille q,, q k ortogonaalinen vektori w k vähentämällä vektorista a k sen vektoreiden q,, q k suuntaiset komponentit a k, q j q j, ja normeerataan w k jakamalla se omalla pituudellaan Kaavoin ilmaistuna: w a q w w w a a, q q q w w w 3 a 3 a 3, q q a 3, q q q 3 w 3 w 3 k w k a k a k, q j q j q k w k w k j Varsinainen vastaus tehtävänannon kysymykseen: Jos a,, a n ovat lineaarisesti riippumattomat, algoritmi päättyy kun kaikki n vektoria on käyty läpi Jos vektorijoukko a,, a n on lineaarisesti riippuva, jollakin k:n arvolla saadaan w k (mikä tarkoittaa, että a k on lineaarikombinaatio vektoreista a,, a k ), jolloin q k :ta laskettaessa jaettaisiin nollalla Tätä varten algoritmiin voidaan lisätä vaihe, jossa tarkastetaan onko w k, ja jos on, hylätään se, ja muodostetaan uusi w k käyttämällä a k :n sijaan seuraavaa vektoria a k+ Näin joukosta karsiutuvat pois lineaarisesti riippuvat vektorit, ja jäljelle jää joukon a,, a n ortonormaali kanta, jossa siis on vähemmän kuin n kappaleita vektoreita q i 6
MS-C34 Lineaarialgebra, II/7 (ii) R(A) on A:n sarakkeiden virittämä avaruus, eli alkuperäinen vektorijoukko on a, a ja a 3 (i)-kohdassa kuvatulla tavalla muokattua Gram-Schmidt prosessia käyttämällä saadaan: w a [ T q w w w a a, q q [ T ( [ T q w w [ T + + ( ) [ T + + ) [ T [ T (/) + + (/) [ T 3 3 [ T 4 w 3 a 3 a 3, q q a 3, q q ( ) ( ) 3 a 3 q q [ T [ T [ T 4 Saatiin w 3, joka siis hylätään kantavektorien joukosta (a 3 on lineaarisesti riippuva a ja a :sta) Jos alkuperäisessä vektorijoukossa olisi vielä vektori a 4, prosessia jatkettaisiin muodostamalla uusi w 3 kaavalla w 3 a 4 a 4, q q a 4, q q Kaikki sarakevektorit a i on kuitenkin nyt käsitelty ja prosessi päättyy Avaruuden R(A) ortonormaaliksi kannaksi saadaan 3 {q, q } 4, 3 3 7
MS-C34 Lineaarialgebra, II/7 Kotitehtävä 4: Olkoot A (i) Laske avaruuden range(a) ortonormaali kanta käyttämällä Modifioitua Gram- Schmidt prosessia (ii) Laske Matriisin A QR-hajotelma käyttämällä Modifioitua Gram-Schmidt prosessia Käytä apuna Matlabia Ratkaisu: Käyttämällä luentomonisteen koodia, lasketaan kohdassa (i) haluttu matriisi Q Kohtaa (ii) varten tarvitaan lisäksi matriisi R Luentomonisteen Matlabkoodi: function [Q,R my_gsmith(a) Q [ ; for i:size(a,) q A(:,i); for k:size(q,) R(k,i) q *Q(:,k); q q - R(k,i)*Q(:,k); end R(i,i) norm(q); Q(:,i) q/r(i,i); end (i) Q 36 798 47 36 75 83 635 584 47 635 45 5735 Avaruuden range(a) ortonormaali kanta koostuu matriisin Q sarakevektoreista (ii) R Näille matriiseille pätee A QR 363 846 598 3784 359 3765 8