Luku 3 Likimääräisratkaisut ja regularisaatio Käytännön inversio-ongelmissa annettu data y ei aina ole tarkkaa, vaan sisältää häiriöitä. Tuntemattomasta x on annettu häiriöinen data y F (x + }{{}}{{} ε. Tarkka data Häiriö Esimerkki 5. Tehdään kaksi havaintoa tuntemattomasta suureesta x 0 R mittaustapahtuman ollessa epäideaalinen. Kummatkin havainnot sisältävät (mahdollisesti eri suuruisen häiriön, joka oletetaan additiiviseksi. Mittausarvot ovat (.3 0.9 ( x 0 + ( ε ε 2 R 2. ( Tässä tapauksessa suoran teorian matriisi M ja M(R {(x, x : x R} R 2. Inversio-ongelma, jossa pyritään kääntämään tuntemattoman arvo x 0 annetuista havainnoista y ja y 2 on huonosti asetettu, sillä ratkaisua ei löydy kun y y 2. Vaikka inversioongelmalla ei ole ratkaisua, niin haluaisimme kuitenkin saada tietoa datan tuottaneesta tuntemattommasta x 0 häiriöisen datan y perusteella. Hyvin asetetussa inversio-ongelmassa suora teoria F on kääntyvä kuvaus ja voimme määrätä häiriöisen datan y F (x + ε perusteella ratkaisun x yhden likiarvon Likiarvon x suhteellista epätarkkuutta tuntematon {}}{ x x F (y x + F (ε : x. (3. määrätty likiarvo {}}{ x F ε x ε κ(m y ε rajoittaa häiriön suhteellinen voimakkuus sekä suoran teorian F matriisiesityksen M ehtoluku κ(m. Mikäli sekä häiriön suhteellinen voimakkuus että ehtoluku κ(m ovat pieniä, niin likiarvo x on lähellä todellista tuntemattoman arvoa. Huonosti asetetussa inversio-ongelmassa ei jatkuvaa käänteiskuvausta F ole käytettävissä, jolloin tuntemattoman x likiarvoa ei voi määrätä yhtälöllä (3.. 45
Häiriöherkässä inversio-ongelmassa likiarvo (3. voidaan laskea, mutta se on huono approksimaatio tuntemattomalle. Onko olemassa muita tapoja määrätä likiarvo x? Ryhdytään tarkastelemaan klassisia approksimatiivisia ratkaisumenetelmiä huonosti asetetuille sekä häiriöherkille äärellisulotteisille lineaarisille ongelmille. 3. Pienimmän neliösumman menetelmä Olkoon M R m n. Matriisiyhtälöllä y Mx (3.2 ei ole ratkaisua x V, kun annettu vektori y / M(V. Kun yhtälöllä (tai yhtälöryhmällä ei ole ratkaisua, niin eräs tapa edetä on väljentää ratkaisun käsitettä siirtymällä likimääräisratkaisuihin, jotka eivät välttämättä toteuta yhtälöä (3.2. Pienimmän neliösumman menetelmässä (eng. least squares method valitaan yhtälön (3.2 likimääräisratkaisuksi sellainen ˆx R n, joka on reaaliarvoisen funktion f(x Mx y minimikohta. Merkitään minimikohtaa x, jolloin Matemaattinen kirjoitustapa on M ˆx y min Mx y (3.3 x Rn ˆx argmin Mx y. Merkintä argmin tarkoittaa funktionaalin x M x y sitä argumenttia x, jolla minimi saavutetaan. Vektorin x päällä käytetään matematiikassa "hattua"osoittamaan, että kyseesä ei välttämättä ole tuntemattoman tarkka arvo vaan enemmän tai vähemmän tarkka likiarvo. Määritelmä 8. Yhtälön y M x pienimmän neliösumman ratkaisu on vektori ˆx argmin Mx y. Huomautus 9. Funktionaalit x Mx y ja x Mx y 2 saavuttavat miniminsä samoissa pisteissä x (sillä s s 2 on aidosti kasvava välillä [0,. Minimoitavan funktionaalin normi voidaan tarvittaessa neliöidä laskennan yksinkertaistamiseksi! ( 0 Esimerkki 6. Olkoon M ja annettu data y (, 0 0. Kun x (x 0, x 2 R 2, niin minimoitava funktionaali on 46
( ( f(x, x 2 Mx y 2 0 x 0 0 x 2 ( 0 2 (x 2 + ( 2 0 00 > 0. Funktionaalin minimikohdassa x ja x 2 on vapaa parametri. Toisin sanoen, pienimmän neliösumman likimääräisratkaisuja ovat vektorit ˆx (, x 2, missä x 2 R. Ongelmalle, jolla ei ole ratkaisua, löytyy äärettömän monta likimääräisratkaisua. (Tässä esimerkissä tarkka tuntematon on todellisuudessa x 0 (, 0 ja häiriö ε (0, 0. Huomautus 0. Jos yhtälöllä y Mx on ratkaisu x, niin x on myös pienimmän neliösumman ratkaisu, sillä ehdosta 0 Mx y seuraa Mx y 0, joka on ei-negatiivisen funktionaalin x M x y pienin mahdollinen arvo. Jos pienimmän neliösummnan ratkaisu ˆx on sellainen, että M ˆx y > 0, niin yhtälöllä y M x ei ole ratkaisua (Miksei?. Pienimmän neliösumman ratkaisu ˆx ei aina toteuta yhtälöä y M ˆx. 3.. PNS ratkaisun olemassaolo ja yksikäsitteisyys Seuraava lause palauttaa minimointiongelman ratkaisemisen lineaarisen yhtälöryhmän ratkaisemiseen! Tätä tulosta käytetään niin teoreettisissa tarkasteluissa kuin numeriikassakin. Lause 8. Olkoon M R m n ja y R m. Minimointiongelmalla on samat ratkaisut ˆx R n kuin yhtälöllä Todistus. Lasketaan ensin sisätulo ˆx argmin Mx y M T M ˆx M T y. f(x Mx y 2 (Mx y, Mx y (Mx, Mx (y, Mx (Mx, y + (y, y (M T Mx, x 2(M T y, x + (y, y. (3.4 Funktionaalin f : R n R minimi, jos sellainen on, löytyy kriittisestä pisteestä. Minimikohdan ˆx tulee toteuttaa siis ehto f(ˆx 0. Lasketaan ensin osittaisderivaatat (M T y, x (M T y j x j j 47 j (M T y j x j (M T y k (3.5
missä k,..., n ja a (a,..., a n R n. Osittaisderivaattojen (M T Mx, x (M T Mx j x j j laskemiseen käytetään tulon derivoimissääntöä. Nimittäin (M T (M T Mx j Mx j x j x j + (M T x j Mx j x j j k x j k ( n i (M T M ji x i x j + (M T Mx k x j k ( (M T M jk x j + (M T Mx k 2(M T Mx k (3.6 j matriisin M T M symmetrisyyden perusteella. Jokaiselle funktion f minimikohdalle ˆx pätee 0 f(ˆx (3.4 (M T M ˆx, ˆx 2 (M T y, ˆx + (y, y (3.5,(3.6 2M T M ˆx 2M T y + 0. (3.7 Toisaalta, jos ˆx toteuttaa yhtälön M T M ˆx M T y, niin mille tahansa vektorille x R n pätee f(x M(x ˆx + M ˆx y 2 M(x ˆx 2 + 2(M(x ˆx, M ˆx y + M ˆx y 2 M(x ˆx 2 + 2(x ˆx, M T M ˆx M T y + M ˆx y 2 M(x ˆx 2 + M ˆx y 2 M ˆx y 2 f(ˆx. Täten ˆx on funktionaalin f minimikohta. Lähdetään selvittämään, onko pienimmän neliösumman ratkaisu aina olemassa. Kerrataan hieman linaarialgebraa. Aliavaruuden V R n ortogonaalinen komplementti on aliavaruus V {x R n : (x, y 0 y V }. Ortogonaaliselle komplementille pätee R n V V (eli jokainen x R n on muotoa x x + x 2, missä x V, x 2 V ja pätee (x, x 2 0. Lisäksi (V V. Käytetään merkittää R(A A(R n matriiseille A R m n. Lemma 5. Matriisille A C m n pätee R(A N (A. Todistus. Olkoon x R(A. Silloin jokaisella y C m pätee 0 (A y, x (y, Ax. (3.8 48
Valitsemalla yhtälössä (3.8 y Ax, nähdään että 0 Ax 2. Tällöin Ax 0 eli x N (A. Siis R(A N (A. Toisaalta, jos x N (A, niin (A y, x (y, Ax 0 jokaisella y C m, joten x R(A. Siis N (A R(A. Lause 9. Olkoon M R m n ja y R m. Silloin löytyy pienimmän neliösumman ratkaisu ˆx argmin Mx y. Lisäksi pienimmän neliösumman ratkaisu on yksikäsitteinen jos ja vain jos N (M {0}. Muussa tapauksessa kahden pienimmän neliösumman ratkaisun ˆx ˆx 2 erotus ˆx ˆx 2 N (M. Todistus. Lauseen 8 nojalla minimointiongelma on ekvivalentti yhtälön M T M ˆx M T y kanssa. Tutkitaan yhtälön M T Mx M T y yksikäsitteistä ratkeavuutta. Näytetään ensin, että N (M N (M T M. (3.9 Selvästi N (M N (M T M. Lisäksi x N (M T M eli M T Mx 0 jos ja vain jos 0 (M T Mx, z (Mx, Mz jokaisella z R n. Erityisesti kun z x, saadaan Mx 0 eli x N (M. Toisin sanoen N (M T M N (M. Siis (3.9 pätee, jolloin M T M on injektio jos ja vain jos M on injektio. Näytetään seuraavaksi, että M T y R(M T M Valitsemalla A M sekä A M T M lemmassa 5, saamme yhtälön (3.9 avulla R(M T N (M N (M T M R(M T M. Täten yhtälöllä M T Mx M T y on vähintään yksi ratkaisu ja ratkaisu on yksikäsitteinen jos ja vain jos N (M {0}. Lisäksi M T M(ˆx ˆx 2 0 kun ˆx ja ˆx 2 ovat kaksi pienimmän neliösumman ratkaisua. Esimerkki 7. Tuntemattomasta x (x, x 2 R 2 on saatu seuraavat häiriöiset mittaukset: x + e 3 x + x 2 + e 2 4 x + x 2 + e 3 2 x 2 + e 4. Etsi likimääräisratkaisu käyttämällä pienimmän neliösumman menetelmää. Merkitään 0 e y 3 4, M ja e e 2 e 3. 2 0 e 4 49
Määrätään pienimmän neliösumman ratkaisu, kun y M x + e. Lasketaan ( 0 ( 0 M T M 3 2 0 2 3 0 ja Saamme yhtälön M T y jonka ratkaisu on (ˆx, ˆx 2 ( 6 5, 5. ( ( 0 3 8 0 4. 9 2 ( 3 2 (ˆx M T M ˆx M T y 2 3 ˆx 2 Esimerkki 8. Tarkastellaan Esimerkin ongelmaa, jossa ( 0 M. 0 0 ( 8, 9 Esimerkissä näytettiin, että N (M {(x, x 2, x 3 R 3 : x x 2 }. Olkoon y (,. Tällöin 0 ( M T M 0 0 0 0 0 0 0 0 ja M T y 0 0 0 0 ( Nyt det(m T M 0, joten matriisi M T M ei ole kääntyvä. Yhtälöllä M T y M T M ˆx on kuitenkin äärettämän monta ratkaisua ˆx (x, x, missä x R. Esim. ˆx (0,, ja ˆx (5, 4,. Miniminormiratkaisu Kaksi matemaatikkoa on itsenäisesti ratkaisemassa samaa yhtälöä pienimmän neliösumman menetelmällä. He havaitsevat, että ratkaisu on epäyksikäsitteinen. Kumpikin haluaa esittää (jonkin pienimmän neliösumman ratkaisun graafisesti kuvan avulla ja verrata tuloksia toisiinsa. Vertailu helpottuu, kun otetaan käyttöön yhteinen sääntö, jolla epäyksikäsitteisten ratkaisujen joukosta valitaan jokin tietty edustaja. Yksi tapa on käyttää seuraavan määritelmää. Määritelmä 9. Pienimmän neliösumman ratkaisua ˆx argmin Mx y kutsutaan miniminormiratkaisuksi, jos ˆx min{ ˆx : ˆx argmin Mx y }. 50