MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto
PNS-ongelma
PNS-ongelma Olkoon V sisätuloavaruus, A sen äärellisdimensioinen aliavaruus ja v V. Tarkastellaan seuraavaa approksimointitehtävää: Etsi a A siten, että v a on pienin mahdollinen. Koska R n :ssä v a 2 = n j=1 (v j a j ) 2, tämän minimointia kutsutaan usein pienimmän neliösumman tehtäväksi. Tehtävän ratkaisussa käytetään usein ns. QR-hajotelmaa. 1 / 17 R. Kangaslampi QR ja PNS
PNS-ongelma Lemma 1 Tällä tehtävällä on olemassa yksikäsitteinen ratkaisu a ja sille pätee: v a, u = 0 kaikilla u A. Todistus. Taululla: Osoitetaan, että jos ratkaisu on olemassa, se on yksikäsitteinen. Osoitetaan, että a = m j=1 v, q j q j on ratkaisu. 2 / 17 R. Kangaslampi QR ja PNS
PNS-ongelma Edellisen lemman vektoria a kutsutaan v :n kohtisuoraksi projektioksi aliavaruudelle A ja merkitään a = P A v. Kaavasta m PA v = v, q j q j j=1 ja sisätulon lineaarisuudesta nähdään myös, että PA lineaarikuvaus V A. on 3 / 17 R. Kangaslampi QR ja PNS
PNS-ongelma Olkoon nyt V = R n ja aliavaruus A = sp(a 1,..., a m ). Merkitään A = [a 1... a m ] R n m. Tällöin A = R(A) = { Ax x R m}. Etsitään ratkaisua muodossa a = Ac, missä c R m. Lemman mukaan ratkaisun on toteutettava eli v Ac, u = 0 kaikilla u R(A), (v Ac) T Ax = 0 kaikilla x R m. Tämä on mahdollista vain, jos (v Ac) T A = 0 eli A T (v Ac) = 0. Näin c :n on toteutettava A T A c = A T v. (tämä on ns. normaaliyhtälö) 4 / 17 R. Kangaslampi QR ja PNS
PNS-ongelma Esimerkki 2 Etsi pienimmän neliösumman ratkaisu yhtälölle Ax = b, kun 4 0 2 A = 0 2 ja b = 0. 1 1 11 (Eli: etsi x, joka antaa avaruudesta { Ax x R 2 } sen alkion, jonka etäisyys b:stä on pienin.) 5 / 17 R. Kangaslampi QR ja PNS
PNS-ongelma Ratkaisu: Etsitään ratkaisu käyttäen normaaliyhtälöä A T Ax = A T b. Lasketaan siis ensin A T A ja A T b: [ ] 4 0 [ ] A T 4 0 1 17 1 A = 0 2 = 0 2 1 1 5 1 1 [ ] 2 [ ] A T 4 0 1 19 b = 0 =. 0 2 1 11 11 Ratkaistavana on siis yhtälö [ ] [ 17 1 1 5 x 1 x 2 ] [ ] 19 =. 11 6 / 17 R. Kangaslampi QR ja PNS
PNS-ongelma Tämä voitaisiin ratkaista Gaussin algoritmin rivioperaatioin, mutta onnistuu myös käänteismatriisin avulla, koska A T A on kääntyvä: A T Ax = A T b x = (A T A) 1 A T b, joten x = [ 17 1 1 5 ] 1 [ ] 19 11 [ = 1 84 5 1 1 17 ] [ ] 19 11 [ ] 1 =. 2 Huom. Mikään vektori ei toteuta yhtälöä Ax = b, siksi etsimme PNS-ratkaisua. Vastauksena saadaan, että se vektori, jolle Ax b on pienin, on x = (1, 2) T. Tämä vektori siis toteuttaa parhaiten alkuperäisen yhtälön. 7 / 17 R. Kangaslampi QR ja PNS
QR-hajotelma
QR-hajotelma Tarkastellaan normaaliyhtälöä A T A c = A T v hieman lisää. Jos A T A on kääntyvä, tästä voidaan ratkaista c = (A T A) 1 A T v ja siten P A v = A (AT A) 1 A T v. Kun aliavaruuteen on asetettu ortonormaali kanta, kohtisuora projektio on helppo laskea aiemmalla kaavalla P A v = m j=1 v, q j q j. Mielivaltainen sisätuloavaruuden kantahan voidaan ortonormalisoida Gram-Schmidt -prosessilla. 8 / 17 R. Kangaslampi QR ja PNS
QR-hajotelma Olkoon matriisin A = [a 1... a m ] K n m sarakkeet lineaarisesti riippumattomat. Ortonormalisoidaan A :n sarakkeet (merkinnät kuten aiemmin Gram-Schmidt-prosessissa). Saadaan a 1 a 2, q 1... a m, q 1 A = [q 1 q 2... q m w ] 2... a m, q 2.... = Q R, w m missä yläkolmiomatriisin R K m m diagonaalilla on skaalaustekijät ja yläpuolella sisätulot r ij = a j, q i, i < j. Matriisin Q sarakkeet ovat ortonormaalit, joten Q Q = I. Tätä esitystä A = Q R kutsutaan A :n (suppeaksi) QR-hajotelmaksi. 9 / 17 R. Kangaslampi QR ja PNS
QR-hajotelma Sijoittamalla A :n QR-hajotelma kaavaan A T A c = A T v saadaan R Q QR c = R Q v eli R c = Q v, josta c on helppo ratkaista, koska R on yläkolmiomatriisi. Kohtisuora projektio R(A) :lle on nyt P R(A) v = QQ v. 10 / 17 R. Kangaslampi QR ja PNS
QR-hajotelma Huom: Täydentämällä {q 1,..., q m } koko K n :n ortonormaaliksi kannaksi saadaan unitaarinen (reaalisessa tapauksessa ortogonaalinen) neliömatriisi ˆQ = [q 1... q m q m+1... q n ] = [Q Q 2 ] ja A :lle laajempi hajotelma [ ] R A = [Q Q 2 ] = ˆQˆR. 0 Tätä kutsutaan A :n (varsinaiseksi) QR-hajotelmaksi ja ylempänä esiintynyttä A :n suppeaksi QR-hajotelmaksi. 11 / 17 R. Kangaslampi QR ja PNS
PNS-menetelmä
PNS-menetelmä Esimerkki 3 Etsi QR-hajotelman avulla pienimmän neliösumman ratkaisu yhtälölle Az = b, kun 2 3 7 A = 2 4, b = 3. 1 1 1 Ratkaisu: Ortonormeerataan ensin A:n sarakkeet, jotta saadaan QR-hajotelma: q 1 = a 1 / a 1 = (2/3, 2/3, 1/3) T q 2 = (a 2 q 1, a 2 q 1 )/ a 2 q 1, a 2 q 1 = ( 1/3, 2/3, 2/3) T 12 / 17 R. Kangaslampi QR ja PNS
PNS-menetelmä QR-hajotelma on Q = R = ] 2/3 1/3 [q 1 q 2 = 2/3 2/3 1/3 2/3 [ ] [ ] a 1 q 1, a 2 3 5 = 0 a 2 q 1, a 2 q 1 0 1 PNS-ratkaisu saadaan yhtälöstä R z = Q b eli [ ] [ ] [ ] 7 [ ] 3 5 z 1 2/3 2/3 1/3 7 = 3 =. 0 1 z 2 1/3 2/3 2/3 1 1 Ratkaisu on z = (4, 1) T. 13 / 17 R. Kangaslampi QR ja PNS
PNS-menetelmä Pienimmän neliösumman tehtävä on tavallisimmillaan seuraava: mitattavan suureen y oletetaan noudattavan lineaarista mallia y = c 1 x 1 + + c n x n. Olkoon muuttujien arvoilla (x i1, x i2,..., x in ), mitattu arvot y i, i = 1,..., m. Millä kertoimilla c j malli kuvaisi parhaiten mittausaineistoa? Järjestetään data matriisiyhtälöksi y = A c, missä vektori y sisältää mitatut arvot y i, c tuntemattomat kertoimet ja matriisi A = (x ij ) R m n. Koska yleensä m > n, niin tehtävällä ei välttämättä ole ratkaisua, joten etsitään kertoimia, jotka minimoivat virheen y A c. 14 / 17 R. Kangaslampi QR ja PNS
PNS-menetelmä Esimerkki 4 Edellisen esimerkin tehtävä etsiä pienimmän neliösumman ratkaisu yhtälölle 2 3 7 2 4 c = 3 1 1 1 voisi muodostua esimerkiksi tilanteessa, jossa sovitetaan mallia y = c 1 x 1 + c 2 x 2 mittausdataan, jossa arvoilla (x 1, x 2 ) = (2, 3) on saatu mittaustulos 7, arvoilla (2, 4) tulos 3 ja arvoilla (1, 1) tulos 1. Äsken saatiin ongelmalle PNS-ratkaisuksi (4, 1) T, joten tähän dataan parhaiten sopii siis malli y = 4x 1 x 2. 15 / 17 R. Kangaslampi QR ja PNS
Tuntemattomat a ja b voidaan nyt ratkaista normaaliyhtälöstä A T A(a, b) T = A T (1, 2, 3, 3) T tai QR-hajotelman avulla yhtälöstä R (a, b) T = Q (1, 2, 3, 3) T. 16 / 17 R. Kangaslampi QR ja PNS PNS-menetelmä Esimerkki 5 Etsitään yhtälöä sille suoralle, joka sopii (PNS-mielessä) parhaiten mittauspisteisiin (2, 1), (5, 2), (7, 3) ja (8, 3). Toisin sanoen, etsitään siis kertoimia a ja b siten, että mittauspisteet (x i, y i ) noudattavat mahdollisimman hyvin yhtälöä y = a + bx. Matriisimuodossa haetaan PNS-ratkaisua yhtälölle 1 x 1 [ ] 1 x 2 a = 1 x 3 b 1 x 4 y 1 y 2 y 2 y 4 eli 1 2 [ ] 1 1 5 a 2 = 1 7 b 3. 1 8 3
PNS-menetelmä Esimerkki 6 Oletetaan, että mitatut datapisteet (x i, y i ) näyttävätkin sijoittuvan paremmin jollekin paraabelille. Yritetään siis etsiä kertoimia a, b ja c siten, että y = a + bx + cx 2 parhaiten kuvaa mittauspisteitä. Tällöin etsitään PNS-ratkaisua yhtälölle 1 x 1 x 2 1 y 1 1 x 2 x2 2 a y 2 1 x 3 x3 2 b = y 3.... c. 1 x n x 2 n y n 17 / 17 R. Kangaslampi QR ja PNS