Ratkaisuehdotukset LH 8 / vko 47 Tehtävä 1: Olkoot A R n n matriisi, jonka singulaariarvohajotelma on A [ ] [ ] Σ U 1 U r 0 [V1 ] T 2 V 0 0 2 Jossa Σ r on kääntyvä matriisi, [ U 1 U 2 ] ja [ V1 V 2 ] ovat unitaarisia matriiseja. Oletetaan lisäksi, että V 2 R n k. Matriisin A Moore-Penrose pseudoinverssi määritellään muodossa A V 1 Σ 1 r U T 1 Näytä, että (i) AA on ortogonaaliprojektio matriisin A rangille. (ii) x A b on eräs ratkaisu PNS-tehtävälle : Etsi x R n siten, että saa pienimmän arvonsa. Ax b 2 2 (iii) PNS-tehtävän kaikki ratkaisut saadaan muodossa A b + V 2 z, jossa z R k. Ratkaisu: (i) AA kuvautuu matriisin A rangille, sillä kaikilla x R n pätee (AA )x A(A x) R(A). AA on projektiomatriisi R(A):lle, jos se toteutaa (AA ) 2 AA ja se on ortogonaaliprojektio, jos se on kohtisuorassa (I AA ) nähden. Lasketaan ensin muutamia aputuloksia. Koska [ ] V 1 V 2 on unitaarinen, pätee I [ [ ] ] T [ ] V T V 1 V 2 V1 V 2 1 V 1 V1 T V 2 V2 T V 1 V2 T V 2 eli V1 T V 1 I (ja V2 T V 2 I, V1 T V 2 0 ja V2 T V 1 0). Vastaavat tulokset saadaan myös U 1 - ja U 2 -matriiseille. A sievenee muotoon A [ U 1 U 2 ] [ Σ r 0 0 0 ] [V1 ] T [ V 2 U1 Σ r 0 ] [ ] V T 1 V T 2 U 1 Σ r V T 1 1
ja siten AA U 1 Σ r V1 T V }{{} 1 Σ 1 r U1 T U 1 Σ r Σ 1 r U1 T U }{{} 1 U1 T. Tästä muodosta näkee myös sen, että AA on symmetrinen. Nyt voidaan helposti tarkastaa ortogonaaliprojektion ehdot. (AA ) 2 (U 1 U1 T ) 2 U 1 U1 T U }{{} 1 U1 T U 1 U1 T AA ja (AA ) T (I AA ) AA (I AA ) AA (AA ) 2 AA AA 0. (ii) Laskuharjoitus 7, Tehtävä 2(i):ssä on saatu tämän PNS-tehtävän ratkaisulle x ehto A T Ax A T b. Sijoitetaan tämän yhtälön vasemmalle puolelle x A b ja sievennetään: A T Ax A T (AA )b (U 1 Σ r V1 T ) T (U 1 U1 T )b V 1 Σ r U1 T U }{{} 1 U1 T b V 1 Σ r U1 T b (U 1 Σ r V1 T ) T b A T b eli annettu x on eräs ratkaisu PNS-tehtävälle. (iii) Olkoon x 1 yhtälöryhmän Bx c eräs ratkaisu, jolloin x 1 R(B). Näytetään, että yhtälöryhmän kaikki ratkaisut voidaan kirjoittaa muodossa {x Bx c} x 1 + N(B). Jos y kuuluu tähän joukkoon, niin y x 1 + z, missä z N(B), joten By Bx 1 + Bz Bx 1 + 0 c, eli y on myös yhtälöryhmän ratkaisu. Toisaalta, jos y on Bx c ratkaisu, niin kirjoitamme y x 1 + (y x 1 ). Koska nyt B(y x 1 ) By Bx 1 c c 0, niin y x 1 N(B) ja y x 1 + N(B). Nyt B A T A ja c A T b, ja (ii)-kohdassa on näytetty, että x 1 A b on yhtälöryhmän eräs ratkaisu. N(B) N(A T A) N(A), jonka vektoreille w pätee Aw U 1 Σ r V1 T w 0, joka [ ] V 1 V 2 :n unitaarisuuden perusteella pätee kun w V 2 z (yllä saatu tulos V1 T V 2 0), z R k. Siten A T Ax A T b kaikki ratkaisut ovat muotoa A b + V 2 z. 2
Tehtävä 2: Olkoot A R n n ja U, V R n n unitaarisia matriiseja. Käytetään matriisin A singulaariarvoista merkintää σ i, i 1,..., n. Näytä, että Frobenius-normille pätee (i) A T F A F (ii) A 2 F trace(at A), jossa tracea i a ii. (iii) UAV F A F (iv) A 2 F i σ2 i. Ratkaisu: Frobenius-normin määritelmä: ( A F ) 1/2 a ij 2 j1 (i) A T 2 F a ij 2 j1 a ij 2 A 2 F A T F A F j1 (ii) A T A:n alkioille pätee: (A T A) ij a T i a j, joten tr(a T A) a T i a i a i 2 2 a ji 2 A 2 F j1 (iii) Unitaarisille matriiseille pätee U T U I ja V V T tulosta. I. Käytetään (ii)-kohdan A 2 F tr(a T A) tr(a T U T UA) tr((ua) T (UA)) UA 2 F ja A 2 F A T 2 F tr(aa T ) tr(av V T A T ) tr((av )(AV ) T ) (AV ) T 2 F AV 2 F Saadaan A F UA F AV F UAV F. (iv) Olkoon σ 1,...σ n A:n singulaariarvot. Matriisin A singulaariarvohajotelma A USV T. A 2 (ii) F tr(a T A) tr(v S T U}{{ T U} SV T ) tr(v S T SV T ) tr((sv T ) T SV T ) (ii) SV T 2 F σ 2 i (iii) SV T V 2 F S 2 F (ii) tr(s T S) 3
Kotitehtävä 3: Olkoot A R n n. Näytä, että (i) A 2 σ max (A). (ii) A 1 2 σ min (A) 1. (iii) κ 2 (A) σ max σ 1 min. Ratkaisu: Olkoon A:n singulaariarvohajotelma A USV T. (i) Olkoon x R n. Ax 2 2 x T A T Ax x T V S U}{{ T U} SV T x x T V S 2 V T x Merkitään y V T x. Koska V on unitaarinen y 2 y T y x T V V T x xt x x 2. Saadaan Ax 2 2 x 2 2 yt S 2 y y T y n y iy i σ 2 i n y iy i Tämä saa maksimiarvonsa kun y sisältää ainoastaan σ max -komponentin ja muut y i 0. Tällöin saadaan A 2 2 σ 2 max. (ii) Olkoon matriisi A kääntyvä ja σ i > 0 kaikilla i 1,..., n. Tällöin (i)-kohdan tuloksen nojalla A 1 V T S 1 U 1 V diag(σ 1 1,..., σ 1 n )U T. A 1 2 σ max (A 1 ) max{σ 1 1,..., σ 1 n } σ min (A) 1. (iii) Määritelmän mukaan κ 2 (A) A 2 A 1 2 σ max σ 1 min. 4
Kotitehtävä 4: Muodosta Matlabissa matriisi X R 200 320 komennolla load clown. Matriisi liittyy kuvaan, jonka voit piirtää komennolla image(x). Palauta tehtävistä sekä koodi että tulokset. (i) Olkoot X UΣV T matriisin X singulaariarvohajotelma. Merkitään U [ ] u 1... u n ja V [ ] v 1... v n missä n on pienempi X:n dimensioista, ja oletetaan, että singulaariarvot on järjestetty suuruusjärjestykseen. Näytä, että X k σ i u i vi T 2 σk+1 2 2 (ii) muodosta matriisi X k k σ iu i v T i k:n arvoilla k 10, 15, 20 ja 30. Piirrä kukin matriisi X k komennolla image. Mitä havaitset? Ratkaisu: (i) Annetuilla merkinnöillä X UΣV T n σ iu i vi T. Merkitään vastaavasti X k k σ iu i vi T, jolloin X X k n ik+1 σ iu i vi T. Muodostetaan vektori v vektorien v 1,..., v n lineaarikombinaatiosta, eli v n j1 α jv j, missä v 2 n j1 α2 j 1. Näin saadaan (X X k )v σ i u i vi T α j v j 2 2 ik+1 j1 α i σ i u i vi T v i 2 ik+1 α i σ i u i 2 ik+1 ( ) 1/2 ik+1 Yllä on käytetty hyväksi sitä, että v T i v j 0, kun j i, ja v T i v i 1. Lauseke saa maksimiarvonsa kun α k+1 1 ja loput α i 0. Siis saadaan matriisinormille α 2 i σ 2 i X X k 2 2 σ 2 k+1. 5
(ii) Matlab-koodi: >> load clown >> [U,S,V] svd(x); % singulaariarvohajotelma >> for k[10 15 20 30]; HU(:,1:k)*S(1:k,1:k)*V(:,1:k) ; figure() image(h) % X_k kuva end % matriisi X_k >> figure() >> image(x) % alkuperäinen kuva Havaintoja: Xk ottaa huomioon kuvamatriisin X:n singulaariarvoista vain k suurinta. Koska X R 200 320, sillä on n 200 singulaariarvoa (jotka voivat olla yhtäsuuria tai nolla). Kun k 10 tämä näkyy selvästi huonona kuvanlaatuna, mutta mitä useampi singulaariarvo huomioidaan (eli kun k:n arvo kasvaa) sitä parempi kuvanlaatu saadaan. Kun k 30 kuvanlaatu on jo kohtalainen. Singulaariarvohajotelmaa käyttäen pienemmällä määrällä dataa saadaan joihinkin tarkoituksiin kelvollisen hyvä tulos. 6
Kuva 1: k10 Kuva 2: k15 Kuva 3: k20 Kuva 4: k30 Kuva 5: Alkuperäinen 7