1 Singulaariarvohajoitelma

1 Singulaariarvohajoitelma Tähän mennessä on tutkittu yhtälöryhmän Ax = y ratkaisuja ja törmätty tapauksiin joissa yhtälöryhmällä on yksikäsitteinen ratkaisu ("helppo"tapaus) yhtälöryhmällä on ääretön määrä ratkaisuja yhtälöryhmällä ei ole lainkaan ratkaisuja etsitään "paras kompromissi"(esim. pnstehtävät) yhtälöryhmän ratkaisu on herkkä y:n muutoksille Lisäksi on huomattu että ortonormaaliella kantavektoreilla on tiettyjä etuja. Tässä kappaleessa esitettävä singulaariarvohajoitelma on kätevä menetelmä kaikkien näiden tapausten käsittelyssä. 1.1 Singulaariarvohajotelman määritelmä Olkoon missä A = USV T (1) matriisin U R n n sarakevektorit ortonormaaleja (eli U T U = I) matriisin V R m m sarakevektorit ortonormaaleja (eli V T V = I) matriisi S R n m diagonaalinen, siten diagonaalialkioille pätee +i 0. Tätä kutsutaan matriisin A singulaariarvohajotelmaksi ja lukuja kutsutaan A:n singulaariarvoiksi. Matriisit U, V ja S ovat lähes yksikäsitteiset (joissain tapauksissa sarakkeiden järjestystä voidaan vaihtaa), mutta kuinka ne löydetään? Sopivat U, S ja V löydetään seuraavasti: matriisin S diagonaalialkioista (eli singulaariarvoista) ensimmäiset ovat matriisin AA T ominaisarvojen neliöjuuret ja loput ovat nollia. matriisin U sarakkeet ovat matriisin AA T ominaisvektorit matriisin V sarakkeet ovat matriisin A T A ominaisvektorit Mitäs kummaa näillä matriiseilla sitten tehdään? 1.2 SVD ja yhtälöryhmän ratkaisujen olemassaolo Merkitään nyt A = [ a 1 a m R n m ja vastaavasti U = [ u 1 u n R n n ja V = [ v1 v m R m m. Lisäksi olkoon r on A:n nollasta poikkeavien singulaariarvojen lukumäärä ja merkitään U 1,r = [ u 1 u r, V1,r = [ v 1 v r U 2,r = [ u r+1 u n, V2,r = [ v r+1 v m (2) (3)

Suoraviivaisella laskennalla voidaan osoittaa että Ax = σ j x T v j u j (4) j ja erityisesti tällöin Mietitään nyt yhtälön ratkaisuja. Av i = { σi u i, i min{n,m} 0, i > min{n,m} (5) Ax = y (6) Kirjoitetaan aluksi Ax = A ( a i v i + Tämä tarkoittaa että yhtälöllä (6) x = Va = a i v i + a i v i (7) a i v i ) = a i Av i + a i Av i = a i u i. (8) ratkaisuja vain jos ja vain jos y on muotoa y = c i u i eli y span{u 1,...,u r }. Ei ole olemasssa ratkaisua jos y / span{u 1,...,u r } eli y on muotoa y = i c i u i missä yksikin c i 0 kun i > r. mikäli yhtälöllä on ratkaisuja, niitä on ääretön määrä jos yksikin singulaariarvo on nolla. Eli kuvauksen A : R m R n arvojoukko on ja ydin eli nolla-avaruus on Col(A) := R (A) := span{u 1,...,u r } (9) Ker(A) := Null(A) := span{v r+1,...,v m } (10) 1.3 SVD ja yhtälöryhmän ratkaisujen herkkyys Mietitään taas yhtälöllä Ax = y. Jos oikean puolen vektori y esittää esim. mittaustuloksia niin voitaisiin ajatella että yhtälöllä on ainakin yksi ratkaisu mikäli mittaukset ovat luotettavia ja malli (eli matriisi A ) on muodostettu oikein. Jos nyt vektori y muuttuu hieman niin kuinka muuttuu yhtälön ratkaisu? Olkoon alkuperäinen epähomogeenisuusosa y = c 1 u 1 + + c r u r, (11) jolloin yhtälöllä on varmasti ratkaisu. Annetaan sitten tapahtua muutos y = ε 1 u 1 + + ε n u n (12) ja merkitään muutoksen jälkeistä epähomogeenisuusosaa symbolilla ỹ, eli ỹ = y + y = r i=0 (c i + ε i )u i + n i=r+1 ε i u i (13)

Muutoksen suuruudelle (neliöllisesti mitattuna) pätee nyt y 2 = n i=1ε 2 i (14) Nyt jos ε i 0 yhdellekin i > r niin yhtälöllä A x = ỹ ei ole lainkaan ratkaisua. Tässä mielessä yhtälön ratkaisu on kaikkein herkin y:n muutoksille vektoreiden u i suunnassa kun i > r. Oletetaan nyt että ε i = 0 kaikille i > r jolloin ratkaisu myös muuttunutta tilannetta kuvaavalle yhtälölle on A x = ỹ olemassa. Merkitään alkuperäisen ja muuttuneen yhtälön ratkaisuja ja Voimme kirjoittaa x = a i v i + a i v i (15) x = ã i v i + ã i v i. (16) Ax = A ( = ) a i v i + a i v i a i Av i + a i Av i = a i u i Koska vektorit u i ovat lineaarisesti riippumattomat, saadaan yhtälöistä ( 11) ja ( 17) kertoimia vertaamalla c i = a i eli (17) a i = c i, kaikille i r. (18) Samalla tavoin saadaan ã i = c i + ε i, kaikille i r. (19) Näinollen, vektoreiden v i ortonormaalisuutta hyväksi käyttäen, saadaan 2 x x 2 = (ã i a i )v i +(ã i a i )v i = (ã i a i ) 2 +(ã i a i ) 2 = ( c i + ε i c i ε = 2 i σ 2 i ) 2 + +(ã i a i ) 2 (ã i a i ) 2 (20) Erotusta analysoitaessa jälkimmäinen summa (ã i a i ) 2 ei ole mielenkiintoinen sillä sille saadaan mikä tahansa arvo koska kun i > r niin v i Null(A) eli kertoimet ã i ja a i jäävät vapaasti valittavaksi. Erotuksen minimoinnin kannalta tietysti on optimaalista valita a i = ã i. Sen sijaan huomataan että muutokset y:ssä pieniin singulaariarvoihin liittyvien vektoreiden u i suunnassa aiheuttavat väkisinkin suuria muutoksia ratkaisuun.

1.4 Approksimaatiot ja estimaatit Edellä olleiden tulosten mukaan U sisältää matriisin A sarakeavaruuden kantavektorit. Yhtälö A = USV T tarkoittaakin että i. sarake matriisista SV T sisältää koordinaatit vektorille a i kannassa U. Merkitään nyt S sellaista matriisia joka saadaan kun matriisin S diagonaalialkioista kaikki paitsi ensimmäiset k kappaletta pyöristetään nollaksi. Tämän avulla määritellään matriisi à = U SV T. Määritellään tavalliseen tapaan matriisinormi alkioiden neliöiden summan neliöjuurena, eli A = i, j a 2 i j. Tällöin suoraviivainen lasku tuottaa matriisien U ja V sarakevektoreiden ortonormaalisuuden perusteella tuloksen Siis, koska A à 2 = σ 2 i (21) i>k rank(ã) = k, (22) singulaariarvohajoitelma antaa tehokkaan tavan approksimoida matriisia alhaisen rankin matriisilla mikäli suurin osa singulaariarvoista on pieniä. Itseasiassa singulaariarvohajoitelman avulla saadaan appriksimaatiomielessä se kaikkein paras matriisi niiden kaikkien matriisien joukosta joiden rank on k. Tätä tulosta voidaan käyttää niin datan pakkauksessa, kohinan poistossa kuin luokittelussa hyväksi: Tallentaakseen matriisin à ei matriisista U tarvitse tallentaa kuin k saraketta, matriisista V tallentaa k riviä matriisista S tallentaa k alkiota. Siis yhteensä kn+km+k = k(n + m + 1) alkiota. Tämä on usein huomattavan vähän verrattuna matriisin A alkioiden määrään (joka on nm). Iso joukko satunnaisesta kohinasta muodostuvia vektoreita on vaikea esittää vain muutaman vektorin lineaarikombinaationa. Siten voidaan ajatella että todennäköisesti jos matriisin A sarakkeet sisältävä myös kohinakomponentin niin sen esittämiseksi tarvitaan paljon vektoreita. Nämä vektorit ovat tyypillisesti pieniin singulaariarvoihin liittyviä U:n sarakkeita. Tästä tulee idea että à voisi olla kohtuullinen approksimaatio A:lle ilman kohinaa, erityisesti jos kohina matriisin joka alkiossa on samasta jakaumasta generoitua. Jos pitäisi vertailla onko vektori b samankaltainen matriisin A sarakevektoreiden a i kanssa niin voidaan miettiä voisiko se olla lähellä avaruutta Col(A). Kuitenkin jos à on lähellä matriisia A niin sarakevektoreiden a i täytyy olla keskimäärin lähellä avaruutta span{u 1,...,u k } ja tästä tulee ajatus että voi riittää tutkia kuinka lähellä b on tätä avaruutta. Tämä on laskennallisesti tehokasta. Lisäksi voidaan tietysti vielä tehdä vertailuja erikseen niihin muutamiin vektoreihin a i jotka eivät ehkä ole lähellä avaruutta span{u 1,...,u k }. 1.5 SVD ja pseudoinversio Jos yhtälöryhmällä Ax = y ei ole ratkaisua ja pienimmän neliösumman menetelmässä esiintyvä matriisi A T A on singulaarinen (eli sillä ei ole käänteismatriisia) niin tällöin pnsratkaisu ei ole yksikäsitteinen. Singulaariarvohajotelman avulla on yksinkertaista käsitellä näitä ratkaisuja.

ASKEL 1: Jos merkitään A x = ỹ niin luonnollisena lähtökohtana on minimoida erotusta ỹ y. Tämä saadaan tietystikin ottamalla ortogonaaliprojektio y:stä avaruuteen Col(A) joka on matriisin U r avulla varsin helpoa: ỹ = U r U T r y. Yleensä riittää itseasiassa määrittää vain koordinaatit, eli U T r y joka on paljon kevyempi laskea. ASKEL 2: Nyt kun ỹ (tai sen koordinaatit) on etsitty niin ratkaistaan A x = ỹ, jolla on joko yksi tai ääretön määrä ratkaisuja: Herkkyysanalyysin kappaleessa olleeseen tapaa merkitsemällät ja ỹ = i c i u i (23) x = ã i v i + ã i v i, (24) saadaan että ã i = c i, kaikille i r. (25) ja muut kertoimet ã i jäävät täysin vapaaksi. Pseudoinversioksi kutsutaan ratkaisumallia jossa valitaan kaikista mahdollissista ratkaisuista sellainen x jolle x 2 = ã 2 i = i c 2 i σ 2 i + ã 2 i (26) on minimi, eli valitsemalla ã i = 0 kun i > r. Muitakin valintoja vapaaksi jääville parametreille tietysti voi tehdä, mutta pseudoinversiolla on varsin lyhyt ja ytimekäs yhden rivin esitys matriisien avulla 1.6 Katkaistu singulaariarvohajoitelma KAAVAA (27) Pseudoinversio ei poista millään tapaa ongelmaa yhtälöryhmän ratkaisun herkkyydestä vaikkakin se antaa näppärän tavan löytää PNS-tyyppinen ratkaisu silloin kun yhtälöryhmällä ei ole "oikeaa"ratkaisua.mitenkä ratkaisusta voitaisiin tehdä stabiilimpi? Usein tämä onnistuu yksinkertaisesti pyöristämällä pienet singulaariarvot nollaksi ja käsittelemällä näitä sitten ikään kuin ne olisivat aina nollia olleetkin. Mietitään alla vähän miksi näin voisi menetellä: Ajatellaan vektoria y = ε 1 u 1 + + ε n u n mittauksiin liittyvänä satunnaisuutena. Tietenkään emme käytännössä voi teitää mittausvirheidemme täsmällisiä arvoja (eli emme myöskään kertoimien ε i täsämällisiä arvoja) mutta niiden suuruusluokasta voi olla käsitys. Mikäli kerroin vektorin ỹ = y + y = i c i u i = r i=0 (c i + ε i )u i + n i=r+1 ε iu i kerroin c i on samaa suuruusluokkaa kuin kerroin ε i niin tällöin on aiheellsita kysyä antaako kerroin c i mitään lisäinformaatiota? Voihan tälöin hyvinkin olla esim. että oikea kerroin c i = 0, jolloin c i = ε i, eli havaittu kerroin onkin pelkkää mittausvirhettä. Erityisesti jos on pieni niin vaarana on että mittausvirhe tuottaa suhteellisestikin suuren muutoksen (PNS)-ratkaisuun x jonka laskemme. Voisi siis olla turvallisempaa että jos c i

on lähellä kohinatasoa, niin ratkaisun x määrääviä kertoimia ã i ei edes yritetä laskea kaavalla ã i = c i tälläisessä tapauksessa, koska tämä arvo on kaikkea muuta kuin luotettava. Usein paremman tuloksen antaakin kun tälläinen erityisen epäluotettava ã i jätetäänkin lähes vapaaksi, eli vaaditaan vain että se on suuruudeltaan c i luokkaa. Eli siihen suhtaudutaan hyvin samoin kuin niihin ã i arvoihin joille = 0 (nämähän jäävät täysin vapaaksi). Jollei muita (optimointi)kriteerejä vapaiksi jäävien ã i arvojen valitsemiseksi ole esittää, nämä valitaan sitten nolliksi, mikä tuottaa mahdollisimman lyhyen ratkaisu vektorin. Huom! Edellinen voidaan ajatella myös että approksimoitaisiin matriisia A uudella matriisilla à joka on sopivasti valittu alemman rankin matriisi, kuten "Approksimaatiot ja estimaatit" kappaleessa esitettiin. 1.7 SVD ja luokittelu 1.8 Singulaariarvohajotelmaa todistamassa Väite 1: Symmetrisen A R n n matriisin ominaisarvot ovat reaalisia. Todistus: Ominaiarvon λ ja ominaisvektorin x määritelmä on Ax = λx. Kertomalla tämä puolittain x:n kompleksikonjugaatin transpoosilla, saadaan x T Ax = λx T x. Toisaalta koska A = A T ja A on reaalinen, saadaan matriisitulon transpoosin laskusääntöä käyttäen Näinollen x T Ax = x T A T x = (Ax) T x = (Ax) T x = (λx) T x = (λx) T x = λx T x. λx T x = λx T x (λ λ)x T x = 0. (28) Koska x T x 0, on oltava λ = λ joka voi olla totta vain jos λ R. Väite 2: Olkoon A R n m ja B = A T A. Tällöin matriisin B ominaisarvot ovat positiivisia. Todistus: Ensinäkin B on selvästi reaalinen ja symmetrinen joten sen ominaisarvot ja ominaisvektorit ovat reaalisia. Yhtälö Bx = λx määrittelee matriisin B ominasarvot ja ominaisvektorit. Jos tämä yhtälö kerrotaan puolittain x T :llä, saadaan Toisaalta Koska x 0, saamme täten x T Bx = λx T x = λ x 2. x T Bx = x T A T Ax = (Ax) T Ax = Ax 2 λ = Ax 2 0. (29) 2 x Väite 3: Symmetrisellä matriisilla A R n n on aina n kappaletta lineaarisesti riippumattomia ominaisvektoreita. Lisäksi nämä ominaisvektorit ovat toisiaan vastaan kohtisuorassa.

Todistus: Matriisin ominaisarvot voivat olla moninkertaisia, mutta sillä kuitenkin on ainakin yksi ominaisarvo. Olkoon tämä λ 1. Koska A on reaalinen ja symmetrinen, tiedämme lisäksi että λ 1 R. Olkoon eräs tätä ominaisarvoa vastaava ominaisvektori x 1. Voimme huoletta myös olettaa että x 1 on valittu siten että sen pituus on 1. Mietitään seuraavaksi voisiko löytyä ominaisvektrio x jolle x x 1. Ensinäkin voimme ajatella että muodostamme ensin avaruudelle R n kannan {x 1, a 2,a 3,..., a n }. Esim. Gram-Smith ortogonalisointiprosessia käyttäen voimme ortonormalisoida tämän joukon. Olkoon näin saatu joukko {x 1, v 2,v 3,..., v n }. Nyt on selvää että x x 1 x span{v 2,v 3,..., v n } Siis oletamme nyt että x on muotoa x = n i=2 c iv i. Koska vektorit v i ovat ortonormaaleja, kertoimille pätee c i = x T v i. Merkitään nyt x:n koordinaatteja kannassa {v 2,v 3,..., v n } koordinaattivektorina c = [ c 2,...,c n T R n 1 ja V = [ v 2,...,v n. Tällöin x = Vc. Näitä merkintöjä käyttäen Ax = λx AVc = λvc V T AVc = λc, (30) koska V T V = I. Huomataan että matriisi B = V T AV on reaalinen ja symmetrinen, joten sillä on on olemassa reaalinen ominaisarvo. Olkoon B:n ominaisarvo λ = λ 2 ja tätä vastaava ominaisvektori c 2. Tällöin ekvivalenssin (30) mukaisesti x 2 = Vc 2 on matriisin A ominaisvektori ja λ 2 on sen ominaisarvo ja x 2 x 1 kuten haluttiinkin. Seuraavaksi mietittäisiin voisiko löytyä ominaisvektori x jolle x {x 1,x 2 }. Toistetaan käytännössä kaikki edellisen kohdan temput. Ainoat erot ovat että nyt c R n 2 ja V = [ v 3,...,v n. Tietystikin nyt Gram-Smith prosessi antaa todennäköisesti eri vektorit v i kuin edellä, mutta sillä ei ole mitään merkitystä: matriisilla B olisi taas reaalinen ominaisarvo, merkitään tätä λ 3 :lla ja tätä vastaavaa ominaisvektoria c 3 :lla. Tällöin A:lla on myös ominaisarvo λ 3 ja ominaisvektori x 3 = Vc 3 joka on kohtisuorassa vektoreita x 1 ja x 2 vastaan. Samaan tapaan voidaan jatkaa kunnes ollaan muodostettu n kappaletta ominaisvektoreita x i matriisille A. Väite 4 (singulaariarvohajotelma): Mille tahansa reaaliselle matriisille AR n m voidaan muodostaa singulaariarvohajotelma, eli A voidaan kirjoittaa muodossa A = USV T, missä U R n n, U T U = I, V R m m, V T V = I ja S R n m on diagonaalinen, siten diagonaalialkioille pätee +i 0. Todistus: Olkoon λ i, i = 1,...,m, matriisin A T A ominaisarvot ja v i näitä vastaavat ominaisvektorit, järjesteltynä siten että λ i+1 λ i. Koska A T A on symmetrinen ja reaalinen ovat kaikki ominaisarvot reaalisia ja positiivisia, ja lisäksi ominaisvektorit voidaan valita siten että ne ovat toisiaan vastaan kohtisuorassa. Oletetaan lisäksi että ominaisvektorit on valittu siten että niiden pituus on aina 1. Muodostetaan näistä vektoreista matriisi V = [ v 1,...,v n. Olkoon r nyt nollasta poikkeavien ominaisarvojen λ i määrä. Valitaan r kappaletta vektorit u i vektoreita seuraavasti u i = Av i λi eli λi u i = Av i (31)

Nämä ovat toisiaan vastaan kohtisuorassa olevia yksikkövektoreita sillä u T i u j = ( ) T Avi Av j = 1 v T i A T Av j = λ j v T i v j. λi λ j λi λ j λi λ j Jos r < n niin valitaan lisäksi n r kappaletta yksikkövektoreita siten että ne kohtisuorassa toisiaan ja edellä valittuja vektoireita vastaan. Tämä voidaan tehdä esim. Gram-Smith prosessia käyttäen. Merkitään näitä vektoreita u i, i = r +1,...,n. Näistä vektoreista muodostetaan matriisiu = [ u 1,...,u n. Tehdään vielä lisäksi huomio että Av i 2 = (Av i ) T Av i = v T i A T Av i = v T i λ i v i = λ i, eli Av i = 0 kun i > r. Valitsemalla vielä S R m n diagonaaliseksi matriisiksi, jossa diagonaalilla luvut λ i, saadaan AV = [ Av 1 Av r Av r+1 [ Av m = λ1 u 1 λr u r 0 0 = US. (32) Koska v i vektorit olivat ortonormaaleja ja V on neliömatriisi, VV T = I. Siis kertomalla (32) puolittain oikealta V T :llä, saadaan A = USV T.