48
Luku 4 Likimääräisratkaisut ja regularisaatio Ryhdytään tarkastelemaan klassisia approksimatiivisia ratkaisumenetelmiä huonosti asetetuille tai häiriöherkille äärellisulotteisille lineaarisille ongelmille 4 Pienimmän neliösumman menetelmä Huonosti asetettu lin äärellisulotteinen inversio-ongelma ( ) Olkoon M R m n Määrää sellainen x R n, että y Mx, kun y R m on annettu ja R m M(R n ) Esimerkki 9 Suoritetaan kaksi samanlaista mittausta tuntemattomasta suureesta x 0 R Mittaustapahtuma on epäideaalinen, jolloin kummatkin mittaukset sisältävät (mahdollisesti eri suuruisen) häiriön, joka oletetaan additiiviseksi Mittausarvot ovat ( ) ( ) ( ) y ε x y 0 + R ε ( ) Tällöin M ja M(R) {(x, x) : x R} R Nyt ongelma ( ) on huonosti asetettu, sillä ratkaisua ei löydy kun y y Vaikka inversio-ongelmalla ( ) ei ole ratkaisua, niin haluaisimme kuitenkin saada tietoa datan tuottaneesta tuntemattommasta x 0 häiriöisen datan y perusteella Kun ongelmalla ( ) ei ole ratkaisua, niin eräs tapa edetä on väljentää ratkaisun käsitettä siirtymällä likimääräisratkaisuihin, jotka eivät välttämättä toteuta yhtälöä y M x Pienimmän neliösumman menetelmässä (eng least squares method) valitaan yhtälön y Mx likimääräisratkaisuksi sellainen ˆx R n, jolla eli M ˆx y min Mx y (4) x Rn ˆx argmin Mx y x R n 49
Merkintä argmin tarkoittaa funktionaalin x M x y sitä argumenttia x, jolla minimi saavutetaan Vektorin x päällä käytetään matematiikassa hattua osoittamaan, että kyseesä ei välttämättä ole tuntemattoman tarkka arvo vaan ainoastaan arvio Määritelmä 0 Inversio-ongelman ( ) pienimmän neliösumman ratkaisu on vektori ˆx argmin Mx y x R n Huomautus 6 Funktionaalit x Mx y ja x Mx y saavuttavat miniminsä samoissa pisteissä x (sillä s s on aidosti kasvava välillä [0, )) Minimoitavan funktionaalin normi voidaan tarvittaessa neliöidä laskennan yksinkertaistamiseksi! ( ) 0 Esimerkki 0 Olkoon M ja annettu data y (, 0 0 ) Kun x (x 0, x ) R, niin minimoitava funktionaali on ( ) ( ) f(x, x ) Mx y 0 x 0 0 x ( 0 ) (x ) + ( ) 0 00 > 0 Funktionaalin minimikohdassa x ja x on vapaa parametri Toisin sanoen, pienimmän neliösumman likimääräisratkaisuja ovat vektorit ˆx (, x ), missä x R Ongelmalle, jolla ei ole ratkaisua, löytyy äärettömän monta likimääräisratkaisua (Tässä esimerkissä tarkka tuntematon on todellisuudessa x 0 (, 0) ja häiriö ε (0, 0 )) 4 PNS ratkaisun olemassaolo ja yksikäsitteisyys Huomautus 7 Jos yhtälöllä y Mx on ratkaisu x, niin x on myös pienimmän neliösumman ratkaisu, sillä ehdosta 0 Mx y seuraa Mx y 0, joka on ei-negatiivisen funktionaalin x M x y pienin mahdollinen arvo Jos pienimmän neliösummnan ratkaisu ˆx on sellainen, että M ˆx y > 0, niin yhtälöllä y Mx ei ole ratkaisua (Miksei?) Pienimmän neliösumman ratkaisu ˆx ei aina toteuta yhtälöä y M ˆx Seuraava lause palauttaa minimointiongelman ratkaisemisen lineaarisen yhtälöryhmän ratkaisemiseen! Tätä tulosta käytetään niin teoreettisissa tarkasteluissa kuin numeriikassakin Lause 7 Olkoon M R m n ja y R m Minimointiongelmalla on samat ratkaisut ˆx R n kuin yhtälöllä ˆx argmin x R n Mx y M T M ˆx M T y 50
Todistus Lasketaan ensin sisätulo f(x) Mx y (Mx y, Mx y) (Mx, Mx) (y, Mx) (Mx, y) + (y, y) (M T Mx, x) (M T y, x) + (y, y) (4) Funktionaalin f : R n R minimi, jos sellainen on, löytyy kriittisestä pisteestä Minimikohdan ˆx tulee toteuttaa siis ehto f(ˆx) 0 Lasketaan ensin osittaisderivaatat (M T y, x) n n (M T y) j x j (M T x j y) j (M T y) k (43) x k x k x k missä k,, n ja a (a,, a n ) R n Osittaisderivaattojen (M T Mx, x) n (M T Mx) j x j x k x k j laskemiseen käytetään tulon derivoimissääntöä Nimittäin n n (M T (M T Mx) j n Mx) j x j x j + (M T x j Mx) j x k x j j k x j k ( n ) n i (M T M) ji x i x j + (M T Mx) k x j k ( n ) (M T M) jk x j + (M T Mx) k (M T Mx) k (44) j matriisin M T M symmetrisyyden perusteella Jokaiselle funktion f minimikohdalle ˆx pätee 0 f(ˆx) j j (4) (M T M ˆx, ˆx) (M T y, ˆx) + (y, y) (43),(44) M T M ˆx M T y + 0 (45) Toisaalta, jos ˆx toteuttaa yhtälön M T M ˆx M T y, niin mille tahansa vektorille x R n pätee f(x) M(x ˆx) + M ˆx y M(x ˆx) + (M(x ˆx), M ˆx y) + M ˆx y M(x ˆx) + (x ˆx, M T M ˆx M T y) + M ˆx y M(x ˆx) + M ˆx y M ˆx y f(ˆx) Täten ˆx on funktionaalin f minimikohta Lähdetään selvittämään, onko pienimmän neliösumman ratkaisu aina olemassa Kerrataan hieman linaarialgebraa Aliavaruuden V R n ortogonaalinen komplementti on aliavaruus V {x R n : (x, y) 0 y V } Ortogonaaliselle komplementille pätee R n V V (eli jokainen x R n on muotoa x x + x, missä x V, x V ja pätee (x, x ) 0) Lisäksi (V ) V Käytetään merkittää R(A) A(R n ) matriiseille A R m n 5
Lemma 5 Matriisille A C m n pätee R(A ) N (A) Todistus Olkoon x R(A ) Silloin jokaisella y C m pätee 0 (A y, x) (y, Ax) (46) Valitsemalla yhtälössä (46) y Ax, nähdään että 0 Ax Tällöin Ax 0 eli x N (A) Siis R(A ) N (A) Toisaalta, jos x N (A), niin (A y, x) (y, Ax) 0 jokaisella y C m, joten x R(A ) Siis N (A) R(A ) Lause 8 Olkoon M R m n ja y R m Silloin löytyy pienimmän neliösumman ratkaisu ˆx argmin Mx y x R n Lisäksi pienimmän neliösumman ratkaisu on yksikäsitteinen jos ja vain jos N (M) {0} Muussa tapauksessa kahden pienimmän neliösumman ratkaisun ˆx ˆx erotus ˆx ˆx N (M) Todistus Lauseen 7 nojalla minimointiongelma on ekivalentti yhtälön M T M ˆx M T y kanssa Tutkitaan yhtälön M T Mx M T y yksikäsitteistä ratkeavuutta Näytetään ensin, että N (M) N (M T M) (47) Selvästi N (M) N (M T M) Lisäksi x N (M T M) eli M T Mx 0 jos ja vain jos 0 (M T Mx, z) (Mx, Mz) jokaisella z R n Erityisesti kun z x, saadaan Mx 0 eli x N (M) Toisin sanoen N (M T M) N (M) Siis (47) pätee, jolloin M T M on injektio jos ja vain jos M on injektio Näytetään seuraavaksi, että M T y R(M T M) Valitsemalla A M sekä A M T M lemmassa 5, saamme yhtälön (47) avulla R(M T ) N (M) N (M T M) R(M T M) Täten yhtälöllä M T Mx M T y on vähintään yksi ratkaisu ja ratkaisu on yksikäsitteinen jos ja vain jos N (M) {0} Lisäksi M T M(ˆx ˆx ) 0 kun ˆx ja ˆx ovat kaksi pienimmän neliösumman ratkaisua Esimerkki Tuntemattomasta x (x, x ) R on saatu seuraavat häiriöiset mittaukset: x + e 3 x + x + e 4 x + x + e 3 x + e 4 5
Etsi likimääräisratkaisu käyttämällä pienimmän neliösumman menetelmää Merkitään 0 e y 3 4, M ja e e e 3 0 e 4 Määrätään pienimmän neliösumman ratkaisu, kun y M x + e Lasketaan ( ) 0 ( ) 0 M T M 3 0 3 0 ja Saamme yhtälön M T y jonka ratkaisu on (ˆx, ˆx ) ( 6 5, 5 ) ( ) ( ) 0 3 8 0 4 9 ( ) ) 3 (ˆx M T M ˆx M T y 3 ˆx Esimerkki Tarkastellaan Esimerkin 8 ongelmaa, jossa ( ) 0 M 0 0 ( ) 8, 9 Esimerkissä 8 näytettiin, että N (M) {(x, x, x 3 ) R 3 : x x } Olkoon y (, ) Tällöin 0 ( ) 0 0 ( ) M T M 0 0 0 ja M T y 0 0 0 0 0 0 0 Nyt det(m T M) 0, joten matriisi M T M ei ole kääntyvä Yhtälöllä M T y M T M ˆx on kuitenkin äärettämän monta ratkaisua ˆx (x, x, ) missä x R Esim ˆx (0,, ) ja ˆx (5, 4, ) Miniminormiratkaisu Kaksi matemaatikkoa on itsenäisesti ratkaisemassa samaa yhtälöä pienimmän neliösumman menetelmällä He havaitsevat, että ratkaisu on epäyksikäsitteinen Kumpikin haluaa esittää (jonkin) pienimmän neliösumman ratkaisun graafisesti kuvan avulla ja verrata tuloksia toisiinsa Vertailu helpottuu, kun otetaan käyttöön yhteinen sääntö, jolla epäyksikäsitteisten ratkaisujen joukosta valitaan jokin tietty edustaja Yksi tapa on käyttää seuraavan määritelmää 53
Määritelmä Inversio-ongelman ( ) pienimmän neliösumman ratkaisua ˆx kutsutaan miniminormiratkaisuksi, jos ˆx min{ x : x R n, M T Mx M T y} Esimerkki 3 Esimerkissä 0 miniminormiratkaisu on (ˆx, ˆx ) (, 0) Seuraava lause näyttää, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun epätarkkuuden hinnalla) Lause 9 Ongelman ( ) pienimmän neliösumman miniminormiratkaisu on yksikäsitteinen Todistus Olkoon ˆx jokin ongelman ( ) pienimmän neliösumman ratkaisu Merkitään Q R(M T ) ortogonaaliprojektiota aliavaruudelle R(M T ) Lemman 5 nojalla avaruus R n R(M T ) N (M) ja yhtälön (47) nojalla M T M(Q R(M T )ˆx) M T M(Q R(M T )ˆx + Q N (M)ˆx) M T M ˆx M T y joten projektio Q R(M T )ˆx on eräs pienimmän neliösumman ratkaisu Lisäksi Q R(M T )ˆx < Q R(M T )ˆx + Q N (M)ˆx + z ˆx + z millä tahansa z N (M), joka ei ole Q N (M) x Huomautus 8 Yllä olevan todistuksen mukaan yhtälön ( ) pienimmän neliösumman miniminormiratkaisu on muotoa Singulaariarvohajotelma Q R(M T )ˆx Lemma 5 Q N (M) ˆx Kätevä tapa määrätä miniminormiratkaisu on käyttää singulaariarvohajotelmaa Määritelmä Matriisin M C m n singulaariarvohajotelma (eng singular value decompositions) on matriisin M esitys M UDV, missä U ja V ovat ortogonaalisia matriiseja (eli U U ja V V ) ja D ij σ j δ ij missä i,, m, j,, n ja luvut σ σ σ n ovat matriisin M singulaariarvot Määritelmä 3 Olkoon ei-triviaalilla matriisilla M C m n singulaariarvohajotelma M UDV, missä ( ) Dr r 0 D r (n r) 0 (m r) r 0 (m r) (n r) eräällä r {,, min(m, n)} ja D ii > 0 kun i, r Matriisia ( ) Dr r M + 0 V r (m r) U 0 (n r) r 0 (n r) (m r) kutsutaan matrisiin M Moore-Penrose pseudoinverssiksi (eng Moore-Penrose pseudoinverse) 54
Huomautus 9 ) Erityisesti M + V D + U ) Jos D on säännöllinen nelömatriisi, niin M + V D + U V D U M 4 0 0 Esimerkki 4 Kun M 0 3 0 0 0 0 0 0, niin M + 4 0 0 0 3 0 0 0 0 0 0 Lause 0 Olkoon M C m n ei-triviaali matriisi, jonka Moore-Penrose pseudoinverssi on M + Silloin Q R(M) MM + on ortogonaaliprojektio aliavaruudelle R(M) Q N (M) M + M on ortogonaaliprojektio aliavaruudelle N (M) 3 Q N (M) M + M + Q R(M) M + Todistus Olkoon M UDV matriisin M singulaariarvohajotelma, missä D ii > 0 jos ja vain jos i r Merkitään V (V V n ) Silloin D V D (x, V ) 0 Mx UDV x U 0 DV x D rr Vr x D rr (x, V r ) jos ja vain jos x n ir+ x iv i Siis 0 (m r) n 0 (m r) N (M) span{v r+,, V n } (48) Vastaavasti matriisille M V D U pätee N (M ) span{u r+,, U m } Lemman 5 nojalla R(M) N (M ) span{u,, U r } (49) Silloin MM + (UDV )(V D + U ) U(DD + )U ( ) U Ir r 0 U r (m r) U (U 0 (m r) r 0, U r ), (m r) (m r) joka on ortogonaaliprojektio kuva-avaruudelle yhtäsuuruuden (49) nojalla Väite seuraa vastaavalla tavalla (48):n nojalla Väite 3 seuraa käytämällä projektioille P ja Q yllä olevia esityksiä ja huomaamalla, että M + V ( D r r ) 0 r (m r) U (V V r ) 0 (n r) r 0 (n r) (m r) D U U r U r 55
Korollaari 3 Olkoon ei-triviaalin matriisin M R m n singulaariarvohajotelma M UDV T Silloin yhtälön y Mx pienimmän neliösumman miniminormiratkaisu on muotoa ˆx M + y Todistus Vektori ˆx M + y toteuttaa yhtälön M T M ˆx M T M(M + y) M T (MM + )y M T y, sillä MM + Q R(M) on Lauseen 0 nojalla ortogonaaliprojektio aliavaruudelle R(M), jolloin y Q R(M) y + (I Q R(M) )y Q R(M) y + Q N (M T )y lemman 5 nojalla Vektori ˆx on lisäksi miniminormiratkaisu, sillä Lauseen 9 todistuksessa näytettiin, että miniminormiratkaisu on muotoa Q R(M T )M + y Lemma 5 Q N (M) M + Lause 0 y M + y Esimerkki 5 Määrää yhtälön y M x pienimmän neliösumman miniminormiratkaisu, kun y (3, 4) ja matriisin M singulaariarvohajotelma on ( ) M UDV T, U V, D ( ) 0 0 0 Ratkaisu: ˆx M + y V D + U T ( ( ( 4 4 4 4 ) ( ) ( 0 0 ) ) ( 3 4 0 0 0 ) ( ( 7 4 7 4 ) ) (3 ) 4 ) (3 ) 4 4 Pienimmän neliösumman ratkaisun tarkkuus Kuinka lähellä yhtälön y Mx pienimmän neliösumman ratkaisu ˆx on datan y Mx 0 +ɛ tuottanutta tuntematonta x 0? Miniminormiratkaisun tapauksessa ˆx M + y M + Mx 0 + M + ε Q N (M) x 0 + M + Q R(M) ε Lauseen 0 nojalla Ero todelliseen tuntemattomaan on x 0 ˆx (I Q N (M) )x 0 M + Q R(M) ε Q N (M) x 0 M + Q R(M) ε Miniminormiratkaisu ˆx ei sisällä tuntemattoman x 0 niitä komponentteja, jotka kuuluvat matriisin M ytimeen Pienimmän neliösumman ratkaisu ˆx on immuuni häiriön ε niille komponenteille, jotka kuuluvat aliavaruuteen R(M) 56
Pienimmän neliösumman ratkaisuun vaikuttavat häiriön ε ne komponentit, jotka kuuluvat aliavaruuteen R(M) Kuinka paljon häiriötermit Q R(M) ε vaikuttavat miniminormiratkaisuun? Tarkastellaan tilannetta ehtolukujen avulla Matriisi M UDV T ei välttämättä ole kääntyvä, mutta otetaan käyttöön pienemmät lähtö- ja maaliavaruudet Kun ( ) V Dr r 0 M U r (m r) V T (U U r ) 0 (m r) r 0 D T, (m r) (m r) missä D on säännöllinen, niin valitaan lähtöavaruudeksi N (M) span{v, V r } ja maaliavaruudeksi R(M) span{u, U r } Tällöin lineaarikuvaus F : N (M) x Mx R(M) on kääntyvä ja sen matriisi kantojen {V, V r } ja {U, U r } suhteen on D Erityisesti D on säännöllinen ja sen ehtoluku V T r κ( D) D D rr, jolloin suhteelliselle virheelle saadaan yläraja M + ε Q N (M T )x 0 κ( D) Q R(M)ε Mx 0 Täten häiriön maksimaalinen vaikutus miniminormiratkaisuun riippuu matriisin D nollasta eroavista singulaariarvoista Ongelmia syntyy, jos matriisilla M on hyvin pieniä (verratttaessa matriisin normiin) nollasta eroavia singulaariarvoja 43 Regularisaatio Pienimmän neliösumman menetelmässä huonosti asetettu ongelma y M x korvataan sitä läheisesti muistuttavalla hyvin asetetulla ongelmalla M T Mx M T y Regularisaatio on yleisnimitys menetelmille, joissa häiriöherkkä ongelma korvataan sitä läheisesti muistuttavalla vähemmän häiriöherkällä ongelmalla Häiriöitä sisältävä lineearinen äärelliulotteinen inversio-ongelma muotoillaan usein seuraavassa muodossa Häiriöinen lin äärellisulotteinen inversio-ongelma ( ) Olkoon M R m n teoriamatriisi Arvioi tuntematonta x 0 R n, kun y Mx 0 + ε R m on annettu 44 Typistetty singulaariarvohajotelma Olkoon matriisilla M R m n singulaariarvohajotelma M UDV T ja annettu data y Mx 0 + ε 57
Jos tuntemattoman x 0 arvioksi valitaan yhtälön y Mx pienimmän neliösumman ratkaisu ˆx argmin y Mx, niin arvion ˆx häiriöherkkyyttä kuvaa ehtoluku x R n κ D D rr, missä D on matriisin M suurin singulaariarvo ja D rr on matriisin M pienin nollasta eroava singulaariarvo Yksinkertainen menelmä parantaa pienimmön neliösumman ratkaisun häiriönsietoa on korvata teoriamatriisin M pienimmät singulaariarvot nollilla Määritelmä 4 Olkoon ei-triviaalilla matriisilla M C m n singulaariarvohajotelma M UDV T, missä D D D rr > 0 ja D ij 0 muulloin Matriisin M typistetty singulaariarvohajotelma (eng truncated singular value decomposition) on matriisi M (k) UD (k) V T, missä k on jokin luvuista {,, r } ja (D (k) ) ii D ii kun i k ja (D (k) ) ij 0 muulloin Typistetyn singulaariarvohajotelmn avulla saadaan yhtälölle y M x regularisoitu vastine y M (k) x, (40) jonka pienimmän neliösumman ratkaisu on ˆx (k) M + (k) y (4) Yhtälön (40) häiriöherkkyys vähenee, sillä sen häiriöherkkyyttä kuvaa ehtoluku κ k D D kk κ Määritelmä 5 Typistetyn singulaariarvohajotelman avulla regularisoitu yhtälön y M x (likimääräis)ratkaisu on ˆx (k) M + (k) y Huomautus 0 Vähentyneen häiriöherkkyyden hinta on suurempi ydin N (M (k) ) Tämä heikentää arvion M + (k) y tarkkuutta Luvussa?? todettiin, että miniminormiratkaisu tässä M + (k) y ei sisällä komponentteja aliavaruudesta N (M (k)) Esimerkki 6 Olkoon matriisilla M singulaariarvohajotelma 0 0 0 0 M U 0 0 0 0 0 0 0 V T ja annettu data y Mx 0 + ε 0 0 0 0 0000 Silloin 0 0 0 0 M (3) U 0 0 0 0 0 0 0 V T ja M 3 + 0 0 0 0 0 58 0 0 0 0 V 0 0 0 0 0 0 0 0 U T 0 0 0 0
Tarkastellaan tilannetta, jossa ε 3 00 0 00 )T Silloin yhtälön y Mx ratkaisu on M y x 0 + V 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0000 Esimerkiksi häiriötermi voisi olla ε U( 00 U T U 00 00 3 00 00 0 x 0 + V 0 3 0 00 Nyt x 0 M y 00 Mutta typistetyllä singulaariarvohajotelmalla saadaan 0 0 0 0 00 M + (3) y M + (3) Mx 0 + V 0 0 0 0 0 0 0 0 U T U 00 3 00 0 0 0 0 00 0 0 0 0 V 0 0 0 0 0 0 V T x 0 + V 0 3 0 0 0 0 0 0 0 0 0 0 0 x 0 V 0 0 0 0 0 0 0 0 V T x 0 + V 0 3 0 0 0 0 0 jolloin x 0 V 4 V T 4 x 0 + V 0 0 3 0 0 ( x 0 M + (3) y (V 4, x 0 ) + 4 ) 00 00 Mikäli vektorin x 0 projektio vektorin V 4 suuntaan ei ole kovin suuri, niin typistetyn singulaariarvohajotelman avulla saadaan tarkempi arvio tuntemattomasta kuin käänteismatriisia käyttämällä Typistetyllä singulaariarvohajotelmalla regularisoidun ongelman likimääräisratkaisun tarkkuudelle pätee x 0 ˆx (k) x 0 M + (k) y x 0 M + (k) Mx 0 M + (k) ε On helppoa todeta, että M + (k) M M + (k) M (k), joka on Lauseen 0 nojalla ortogonaaliprojektio Q N (M(k) ) Tällöin x 0 ˆx (k) (I Q N (M(k) ) )x 0 M + (k) ε Q N (M(k) )x 0 M + (k) ε Q N (M(k) )x 0 (Q N (M(k) )x 0, M + (k) ε) + M + (k) ε Lause 0 Q N (M(k) )x 0 (Q N (M(k) )x 0, Q N (M(k) ) M (k)) + ε) + M + (k) ε Q N (M(k) )x 0 + M + (k) ε 59
Regularisoitu ratkaisu ˆx (k) ei sisällä tuntemattoman x 0 niitä komponentteja, jotka kuuluvat matriisin M (k) ytimeen span{v k+,, V n } Regularisoitu ratkaisu ˆx (k) on immuuni häiriön ε niille komponenteille, jotka kuuluvat aliavaruuteen R(M (k) ) span{u k+,, U m } Regularisoituun ratkaisuun ˆx (k) vaikuttavat häiriön ε ne komponentit, jotka kuuluvat aliavaruuteen R(M (k) ) span{u,, U k } 45 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx 0 + ε R m (4) annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu ˆx M + y Q N (M) x + M + ε voi sisältää suuria epätarkkuuksia M + ε, vaikka y M ˆx on mahdollisimman pieni Eräs tapa parantaa ongelman häiriönsietoa on etsiä likimääräisratkaisuja, joilla y M x on pieni, mutta normi x ei ole liian suuri Tikhonovin regularisaatiossa (eng Tikhonov s regularization) yhtälön y M x likimääräisratkaisuksi ˆx α otetaan Tikhonovin funktionaalin minimoija eli L α (x) : Mx y + α x, (43) ˆx α argmin x R n Mx y + α x Luku α > 0 on vakio, jota nimitetään regularisaatioparametriksi (eng regularization parameter) Huomautus Tikhonovin funktionaali eroaa pienimmän neliösumman funktionaalista penalisaatiolla (eng penalization) α x Penalisaation tarkoitus on auttaa hylkäämään ne vektorit x, jotka sisältävät hyvin suuria epätarkkuuksia Tikhonovin funktionaalin termit ovat normien neliöitä Seuraava lause osoittaa, että tämä on erittäin hyödyllinen valinta Lause antaa tavan etsiä Tikhonovin funktionaalin minimoija ratkaisemalla matriisiyhtälö Lause Olkoon α > 0 Minimointiongelmalla M ˆx α y + α ˆx α min x R n Mx y + α x on yksikäsitteinen ratkaisu ˆx α Ratkaisu ˆx α on myös yhtälön yksikäsitteinen ratkaisu (M T M + αi)ˆx α M T y 60
Todistus Kirjoitetaan Tikhonovin funktionaali muodossa ( ) ( ) Mx y + α x M αi y x, 0 joka johtaa pienimmän neliösumman minimointiin Voimme käyttää Lausetta 7, jonka nojalla Tikhonovin funktionaalin minimoija on olemassa ja toteuttaa yhtälön ( ) T ( ) ( ) T ( ) αi M αi M M ˆx αi y 0 eli (M T M + αi)ˆx α M T y Tämän yhtälön ratkaisu on yksikäsitteinen Lauseen 8 nojalla, sillä matriisin sisältää vain nollavektorin, sillä jos niin x 0 0 ( ) ( ) αi M Mx x, αx Huomautus Yllä näytettiin, että Tikhonovin regularisaatio vastaa yhtälön ( ) ( ) αi M y x 0 pienimmän neliösumman ratkaisua Esimerkki 7 Tarkastellaan edellisen luvun Esimerkin?? matriisia 0 4 M 3, 4 3 66 ( M αi ) ydin jonka ehtoluku 0 5 Olkoon y Mx 0 + ε R 3 annettu data Tarkastellaan tilannetta, jossa tuntematon x 0 (0, 0, ) ja ɛ (0, 0, 0) Silloin ja Totesimme Esimerkissä??, että Mx 0 ( 4 3 66 ) T y Mx 0 + ε ( 4 3 659 ) T M (Mx 0 + ɛ) x 0 + ( 68 3 0 84 3 0 6 0) T Ratkaistaan ongelma Tikhonovin regularisaatiolla Lasketaan ensin T 0 4 0 4 46 44 96 M T M 3 3 44 390 86 4 3 66 4 3 66 96 86 47 6
Valitaan α 00 ja lasketaan ˆx α (M T M + αi) M T y 460 44 96 44 3900 86 96 86 470 0003 0006 Wow! 00 4 4 0 4 3 3 4 3 66 659 Regularisaatioparametrin vallinta Lähdetään selvittelemään kuinka parametri α vaikuttaa ratkaisuun Voimme aluksi kysyä mitä ratkaisulle ˆx α tapahtuu, jos α 0 tai α Tällöin meidän tulee laskea rajaarvot lim (M T M + αi) M T y ja lim (M T M + αi) M T y, α 0+ α jos ne ovat olemassa Oletetaan yksinkertaisuuden vuoksi, että nolla ei ole matriisin M T M ominaisarvo Silloin käänteismatriisi (M T M) on olemassa ja voimme ryhtyä tutkimaan erotusta ˆx α ˆx (M T M + αi) M T y (M T M) M T y Kahden käänteismatriisin erotus voidaan kirjoittaa muodossa Erityisesti Silloin B C B (I BC ) B (C B)C (M T M + αi) (M T M) (M T M + αi) (αi)(m T M) (M T M + αi) M T y (M T M) M T y (M T M + αi) α (M T M) M T y Muistetaan, että (M T M + αi) on matriisin (M T M + αi) pienimmän ominaisarvon λ min käänteisluku Olkoon u min pienintä ominaisarvoa vastaava ominaisvektori, jolle u min Voimme arvioida pienintä ominaisarvoa seuraavasti: λ min ((M T M + αi)u min, u min ) ((M T M + αi)u min, u min ) (M T Mu min, u min ) λ min (M T M) Tällöin saadaan arvio (M T M + αi) M T y (M T M) M T y λ min (M T M) α (M T M) M T y, mistä voimme päätellä, että lim ˆx α (M T M + αi) M T y (M T M) M T y (44) α 0+ 6
Yleisemmässä tapauksessa pätee itse asiassa, että Samalla tekniikalla nähdään, että mistä seuraa, että lim ˆx α (M T M + αi) M T y M + y (45) α 0+ (M T M + αi) M T y α (/αm T M + I) M T y α λ min (I) M T y lim ˆx α (M T M + αi) M T y 0 (46) α Suurilla regularisaatioparametrin α arvoilla approksimatiivinen ratkaisu lähestyy nollavektoria Pienillä regularisaatioparametrin α arvoilla approksimatiivinen ratkaisu lähestyy pienimmän neliösumman menetelmän ratkaisua Parametrin α valintaan voidaan käyttää seuraavaa Määritelmä 6 Olkoon y Mx 0 + ε annettu data, missä ε e Morozovin diskrepanssiperiaatteen (eng Morozov s dicrepancy principle) mukaan regularisointiparametri α valitaan siten, että M ˆx α y e, mikäli tämä valinta on mahdollinen Morozovin diskrepanssiperiaatteen ideana on, että pyritään välttämään tilanne, jossa likimääräisratkaisu taipuu mukailemaan virhetermin ε käytöstä eikä todellista tarkkaa dataa Mx 0 Tavoitteenahan on, että ˆx α olisi hyvin lähellä tuntematonta vektoria x 0, jolloin M ˆx α y (M ˆx α Mx 0 ) ε ε Esimerkki 8 Tarkastellaan Morozonvin diskrepanssiperiaatetta yksinkertaisessa tapauksessa ( ) 0 M 0 Olkoon annettu data y Mx 0 + ε (, ), missä tiedetään että ε Mororozovin diskrepanssiperiaattessa parametria α ei ole vielä määrätty, vaan se on muuttuja 0 Tarkastellaan vektoriarvoista funktiota [0, ) α M ˆx α M(M T M + αi) M T y ( + α 0 0 + α ) ( ) Morozovin diskrepanssiperiaatteen mukaan pyritään löytämään sellainen α, että e M ˆx α y ( ) ( 0 +α ) +α ( ) ( ) + α + + α 5α + α 63 ( ) +α +α
Saadaan yhtälö ( + α) 0 (5)α α Tällöin ˆx α005 ( +005, +005) (90, 095) 0 5 005 Milloin Morozovin diskrepanssiperiaatetta on mahdollista käyttää? Olkoon matriisilla M R m n singulaariarvohajotelma M UDV T, missä U ja V ovat ortogonaalisia matriiseja ja D ij 0 jos i j Määrätään yhtälön y Mx 0 + ε approksimatiivinen ratkaisu Tikhonovin regularisaatiolla kun α > 0 Likimääräisratkaisuksi saadaan missä matriisin ˆx α (M T M + αi) M T y (M T M + αi) V D T U T UDV T + αi V D T DV T + αv V T V (D T D + αi)v T ominaisarvot D ii + α (tai α) ovat suurempia tai yhtä suuria kuin α Singulaariarvohajotelman avulla saamme Tällöin saa muodon ˆx α (V (D T D + αi)v T ) V D T U T y V (D T D + αi) D T U T y M ˆx α UDV T V (D T D + αi) D T U T y UD(D T D + αi) D T U T y (M ˆx α ) i Vektorin M ˆx α y normin neliö on f(α) : M ˆx α y m min(m,n) j jmin(m,n)+ m k U ij (U T y) j + D jj D jj + αu kjy k min(m,n) j ( ) α T Djj + α(u y) j Tutkitaan funktion f arvojoukkoa Voimme laskea funktion f derivaatan lausekkeesta f (α) min(m,n) j min(m,n) j min(m,n) j ( ) d α T dα Djj + α(u y) j ( ) ( α T Djj + α(u y) j αd jj (Djj + (U T y) α)3 j 0 D jj + α α (D jj + α) ) (U T y j ) Erityisesti jos y 0 on f (α) > 0, jolloin f on aidosti kasvava! Yhtälön (46) nojalla lim f(α) lim M(M T M + αi) M T y y y α α 64
ja yhtälön (45) nojalla lim f(α) α 0+ MM+ y y Lause 0 Q R(M) y Kun ε e, niin Morozovin diskrepanssiperiaatetta voidaan käyttää jos Q R(M) y e y (47) Tikhonov-regularisoidun ratkaisun tarkkuus Olkoon M R m n ja y Mx 0 + ε annettu data Tikhonovin regularisaatiolla saadun ratkaisun ˆx α tarkkuus x 0 ˆx α x 0 (M T M + α) M T Mx 0 (M T M + α) M T ε riippuu kahdesta eri tavoin α:n funktiona käyttäytyvästä vektoriarvoisesta funktiosta G (α) (I (M T M + α) M T M)x 0 ja G (α) M + ε Yhtälöistä (44)-(46) tiedetään, että lim G (α) (I M + M)x 0 (hyvä arvo) α 0 lim G (α) M + ɛ (huono arvo) α 0 lim G (α) x 0 (huono arvo) α lim G (α) 0 (hyvä arvo) α Tikhonov-regularisoitu ratkaisu on immuuni niille häiriön komponenteille, jotka kuuluvat aliavaruuteen R(M) Tikhonov-regularisoitu ratkaisuun vaikuttavat häriön ne komponentit jotka kuuluvat aliavaruuteen R(M) Mitä suurempi regularisaatioparametri α on, sitä pienempi on häiriön vaikutus regularisoituun ratkaisuun, mutta samalla penalisaatio vääristää ratkaisua voimakkaammin Penalisaatio vääristää ratkaisua, vaikka datassa ei olisi häiriötä Yleistyksiä Yleisemmin Tikhonovin regularisaatiolla tarkoitetaan minimointiongelmaa ˆx α argmin x R n Mx y + Bx missä B B n n on tavallisesti jokin sellainen matriisi, jonka singulaariarvot ovat (aidosti!) positiivisia Vektori Bx kuvaa jotakin tuntemattoman ei-toivottua ominaisuutta 65
Esimerkki 9 0 0 0 0 0 0 0 0 0 B 0 0 0 0 α 0 0 0 0 0 0 0 0 0 0 0 0 rankaisee vierekkäisten pisteiden erotuksia Tämä pakottaa likimääräisratkaisua sileämmäksi Regularisaatiossa voidaan käyttää myös normeja, jotka eivät liity sisätuloihin Esimerkiksi n ˆx α argmin Mx y + α x i, x R n missä penalisaatiotermi on niin kutsuttu l -normi Minimointiongelma ratkaistaan tällöin numeerisesti eri tavalla kuin Tikhonovin regularisaation tapauksessa i 4 Yhteenveto Pienimmän neliösumman menetelmä: antaa säännön likimääräisratkaisun etsimiseksi kun yhtälöllä ei ole ratkaisua pienimmän neliösumman ratkaisu on aina olemassa, mutta ei välttämättä yksikäsitteinen pienimmän neliösumman ratkaisu voi olla häiriöaltis Tkhonovin regularisaatio: Osattava: huonosti asetettu/häiriöaltis ongelma korvataan hieman erilaisella hyvin asetetulla ongelmalla antaa approksimatiivisen ratkaisun, joka sietää paremmin häiriöitä menetelmässä penalisoidaan jotakin tuntemattoman ei-toivottua ominaisuutta määritellä, mikä on pienimmän neliösumman ratkaisu määritellä, mikä on typistetyn singulaariarvohajotelman avulla regularisoitu ratkaisu määritellä mikä on Tikhonov-regularisoitu ratkaisu laskea pienimmän neliösumman ratkaisu 66
laskea typistetyn singulaariarvohajotelman avulla regularisoitu ratkaisu ja Tikhonovregularisoitu ratkaisu kun suoran teorian singulaariarvohajotelma on annettu määrätä regularisaatioparametri Morozovin diskrepanssiperiaatteella valita ongelmaan sopiva approksimatiivinen ratkaisumenetelmä yksinkertaisissa tapauksissa Ymmärrettävä: miksi likimääräisratkaisuja käytetään mitä eroa on likimääräisratkaisulla ja tavanomaisella ratkaisulla mitä eroa on pienimmän neliösumman menetelmällä ja regularisaatiolla miten regularisaatioparametrin α valinta vaikuttaa Tikhonov-regularisoituihin ratkaisuihin Tiedettävä millainen singulaariarvohajotelma on mikä on Morozovin diskrepanssiperiaate 67