MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS
PNS-ongelma Olkoon V sisätuloavaruus, A sen äärellisdimensioinen aliavaruus ja v V. Tarkastellaan seuraavaa approksimointitehtävää: Etsi a A siten, että v a on pienin mahdollinen. Koska R n :ssä v a 2 = n j=1 (v j a j ) 2, tämän minimointia kutsutaan usein pienimmän neliösumman tehtäväksi. Tehtävän ratkaisussa käytetään usein ns. a. 2 / 18 R. Kangaslampi QR ja PNS
PNS-ongelma Lemma 1 Tällä tehtävällä on olemassa yksikäsitteinen ratkaisu a ja sille pätee: v a, u = 0 kaikilla u A. Todistus. Taululla: Osoitetaan, että jos ratkaisu on olemassa, se on yksikäsitteinen. Osoitetaan, että a = m j=1 v, q j q j on ratkaisu. 3 / 18 R. Kangaslampi QR ja PNS
PNS-ongelma Edellisen lemman vektoria a kutsutaan v :n kohtisuoraksi projektioksi aliavaruudelle A ja merkitään a = P A v. Kaavasta m PA v = v, q j q j j=1 ja sisätulon lineaarisuudesta nähdään myös, että PA lineaarikuvaus V A. on 4 / 18 R. Kangaslampi QR ja PNS
PNS-ongelma Olkoon nyt V = R n ja aliavaruus A = sp(a 1,..., a m ). Merkitään A = [a 1... a m ] R n m. Tällöin A = R(A) = { Ax x R m}. Etsitään ratkaisua muodossa a = Ac, missä c R m. Lemman mukaan ratkaisun on toteutettava eli v Ac, u = 0 kaikilla u R(A), (v Ac) T Ax = 0 kaikilla x R m. Tämä on mahdollista vain, jos (v Ac) T A = 0 eli A T (v Ac) = 0. Näin c :n on toteutettava A T A c = A T v. (tämä on ns. normaaliyhtälö) 5 / 18 R. Kangaslampi QR ja PNS
PNS-ongelma Esimerkki 2 Etsi pienimmän neliösumman ratkaisu yhtälölle Ax = b, kun 4 0 2 A = 0 2 ja b = 0. 1 1 11 (Eli: etsi x, joka antaa avaruudesta { Ax x R 2} sen alkion, jonka etäisyys b:stä on pienin.) 6 / 18 R. Kangaslampi QR ja PNS
PNS-ongelma Ratkaisu: Etsitään ratkaisu käyttäen normaaliyhtälöä A T Ax = A T b. Lasketaan siis ensin A T A ja A T b: [ ] 0 A T 4 0 1 A = 4 0 2 = 0 2 1 1 1 [ ] 2 A T 4 0 1 b = 0 = 0 2 1 11 Ratkaistavana on siis yhtälö [ ] [ ] 17 1 x1 = 1 5 x 2 [ ] 19. 11 [ ] 17 1 1 5 [ ] 19. 11 7 / 18 R. Kangaslampi QR ja PNS
PNS-ongelma Tämä voitaisiin ratkaista Gaussin algoritmin rivioperaatioin, mutta onnistuu myös käänteismatriisin avulla, koska A T A on kääntyvä: A T Ax = A T b x = (A T A) 1 A T b, joten x = [ ] 1 [ ] 17 1 19 1 5 11 = 1 84 [ 5 1 1 17 ] [ 19 11 ] = [ ] 1. 2 Huom. Mikään vektori ei toteuta yhtälöä Ax = b, siksi etsimme PNS-ratkaisua. Vastauksena saadaan, että se vektori, jolle Ax b on pienin, on x = (1, 2) T. Tämä vektori siis toteuttaa parhaiten alkuperäisen yhtälön. 8 / 18 R. Kangaslampi QR ja PNS
Tarkastellaan normaaliyhtälöä A T A c = A T v hieman lisää. Jos A T A on kääntyvä, tästä voidaan ratkaista c = (A T A) 1 A T v ja siten P A v = A (AT A) 1 A T v. Kun aliavaruuteen on asetettu ortonormaali kanta, kohtisuora projektio on helppo laskea aiemmalla kaavalla PA v = m j=1 v, q j q j. Mielivaltainen sisätuloavaruuden kantahan voidaan ortonormalisoida Gram-Schmidt -prosessilla. 9 / 18 R. Kangaslampi QR ja PNS
Olkoon matriisin A = [a 1... a m ] K n m sarakkeet lineaarisesti riippumattomat. Ortonormalisoidaan A :n sarakkeet (merkinnät kuten aiemmin Gram-Schmidt-prosessissa). Saadaan a 1 a 2, q 1... a m, q 1 A = [q 1 q 2... q m w 2... a m, q 2 ].... = Q R, w m missä yläkolmiomatriisin R K m m diagonaalilla on skaalaustekijät ja yläpuolella sisätulot r ij = a j, q i, i < j. Matriisin Q sarakkeet ovat ortonormaalit, joten Q Q = I. Tätä esitystä A = Q R kutsutaan A :n (suppeaksi) ksi. 10 / 18 R. Kangaslampi QR ja PNS
Sijoittamalla A :n kaavaan saadaan A T A c = A T v R Q QR c = R Q v eli R c = Q v, josta c on helppo ratkaista, koska R on yläkolmiomatriisi. Kohtisuora projektio R(A) :lle on nyt P R(A) v = QQ v. 11 / 18 R. Kangaslampi QR ja PNS
Huom: Täydentämällä {q 1,..., q m } koko K n :n ortonormaaliksi kannaksi saadaan unitaarinen (reaalisessa tapauksessa ortogonaalinen) neliömatriisi ˆQ = [q 1... q m q m+1... q n ] = [Q Q 2 ] ja A :lle laajempi hajotelma A = [Q Q 2 ] [ ] R = ˆQ ˆR. 0 Tätä kutsutaan A :n (varsinaiseksi) ksi ja ylempänä esiintynyttä A :n suppeaksi ksi. 12 / 18 R. Kangaslampi QR ja PNS
Esimerkki 3 Etsi n avulla pienimmän neliösumman ratkaisu yhtälölle Az = b, kun 2 3 7 A = 2 4, b = 3. 1 1 1 Ratkaisu: Ortonormeerataan ensin A:n sarakkeet, jotta saadaan : q 1 = a 1 / a 1 = (2/3, 2/3, 1/3) T q 2 = a 2 q 1, a 2 q 1 / a 2 q 1, a 2 q 1 = ( 1/3, 2/3, 2/3) T 13 / 18 R. Kangaslampi QR ja PNS
on Q = [ ] 2/3 1/3 q 1 q 2 = 2/3 2/3 1/3 2/3 [ ] a1 q R = 1, a 2 = 0 a 2 q 1, a 2 q 1 [ ] 3 5 0 1 PNS-ratkaisu saadaan yhtälöstä R z = Q b eli [ ] [ ] [ ] 3 5 z1 2/3 2/3 1/3 = 7 = 0 1 1/3 2/3 2/3 z 2 Ratkaisu on z = (4, 1) T. 14 / 18 R. Kangaslampi QR ja PNS 3 1 [ ] 7. 1
Pienimmän neliösumman tehtävä on tavallisimmillaan seuraava: mitattavan suureen y oletetaan noudattavan lineaarista mallia y = c 1 x 1 + + c n x n. Olkoon muuttujien arvoilla (x i1, x i2,..., x in ), mitattu arvot y i, i = 1,..., m. Millä kertoimilla c j malli kuvaisi parhaiten mittausaineistoa? Järjestetään data matriisiyhtälöksi y = A c, missä vektori y sisältää mitatut arvot y i, c tuntemattomat kertoimet ja matriisi A = (x ij ) R m n. Koska yleensä m > n, niin tehtävällä ei välttämättä ole ratkaisua, joten etsitään kertoimia, jotka minimoivat virheen y A c. 15 / 18 R. Kangaslampi QR ja PNS
Esimerkki 4 Edellisen esimerkin tehtävä etsiä pienimmän neliösumman ratkaisu yhtälölle 2 3 7 2 4 c = 3 1 1 1 voisi muodostua esimerkiksi tilanteessa, jossa sovitetaan mallia y = c 1 x 1 + c 2 x 2 mittausdataan, jossa arvoilla (x 1, x 2 ) = (2, 3) on saatu mittaustulos 7, arvoilla (2, 4) tulos 3 ja arvoilla (1, 1) tulos 1. Äsken saatiin ongelmalle PNS-ratkaisuksi (4, 1) T, joten tähän dataan parhaiten sopii siis malli y = 4x 1 x 2. 16 / 18 R. Kangaslampi QR ja PNS
Tuntemattomat a ja b voidaan nyt ratkaista normaaliyhtälöstä A T A(a, b) T = A T (1, 2, 3, 3) T tai n avulla yhtälöstä R (a, b) T = Q (1, 2, 3, 3) T. 17 / 18 R. Kangaslampi QR ja PNS Esimerkki 5 Etsitään yhtälöa sille suoralle, joka sopii (PNS-mielessä) parhaiten mittauspisteisiin (2, 1), (5, 2), (7, 3) ja (8, 3). Toisin sanoen, etsitään siis kertoimia a ja b siten, että mittauspisteet (x i, y i ) noudattavat mahdollisimman hyvin yhtälöä y = a + bx. Matriisimuodossa haetaan PNS-ratkaisua yhtälölle 1 x 1 [ ] 1 x 2 a 1 x 3 = b 1 x 4 y 1 y 2 y 2 y 4 eli 1 2 [ ] 1 1 5 a 1 7 = 2 b 3. 1 8 3
Esimerkki 6 Oletetaan, että mitatut datapisteet (x i, y i ) näyttävätkin sijoittuvan paremmin jollekin paraabelille. Yritetään siis etsiä kertoimia a, b ja c siten, että y = a + bx + cx 2 parhaiten kuvaa mittauspisteitä. Tällöin etsitään PNS-ratkaisua yhtälölle 1 x 1 x 2 1 y 1 1 x 2 x2 2 a y 2 1 x 3 x 2 3 b =... c 1 x n xn 2 y 3. y n. 18 / 18 R. Kangaslampi QR ja PNS