Julkinen opetusnäyte Yliopisto-opettajan tehtävä, matematiikka Klo 8:55-9:15 TkT Simo Ali-Löytty Aihe: Lineaarisen yhtälöryhmän pienimmän neliösumman ratkaisu Kohdeyleisö: toisen vuoden teekkari 1 y y By Ax By 10 8 6 y= 2.8+2.2x Linearisointipiste Estimaatti 4 2 0 2 0 1 2 3 4 5 6 04/12/11
Tehtävänanto: Olkoon vektori y R n ja matriisi A R n m.oletetaan,ettämatriisin 2 Apystyrivitovatlineaarisestiriippumattomiats.Az = 0 täsmälleen silloin kun z = 0. Ratkaistaan ongelma argmin x y Ax 2 (1) Visualisointi: y y By Ax By
Ratkaisu: Mikäli ˆx olisi ongelman ratkaisu täytyy residuaalin y Aˆx kuulua matriisin A kuva-avaruuden ortogonaali komplementtiin R (A).Tiedetään,ettäR (A) = N (A T ), joten 3 A T (y Aˆx)=0 A T Aˆx = A T y ol. ja HT 1 ˆx = ( A T A ) 1 Kuva 1: Tehtävänannon (1) visualisointi. Haetaan matriisinakuva-avaruudestar (A) (kuvassa vihreä taso) sellainen vektori (kuvassa sininen vektori By), joka on mahdollisimman lähellä vektoria y (kuvassa musta vektori y). Mahdollisimman lähellä tarkoittaa tässäsitä, että residuaalin (kuvassapunainenvektori y By)norminneliö y By 2 on mahdollisimman pieni. Lopuksi vektori ˆx s.e. By = Aˆx. Ratkaisu: Mikäli ˆx olisi ongelman ratkaisu täytyy residuaalin y Aˆx kuulua matriisin A kuva-avaruuden ortogonaali komplementtiin R (A).Tiedetään,ettäR (A) = N (A T ), joten A T (y Aˆx)=0 A T Aˆx = A T y ol. ja HT 1 ˆx = ( A T A ) 1 Huomautus: MatLab:ssa komento: A\y Harjoitustehtävä 1: Osoita, että jos matriisin A pystyrivit ovat lineaarisesti riippumattomia, niin matriisi A T Aonkääntyvä.
Ratkaisu: Mikäli ˆx olisi ongelman ratkaisu täytyy residuaalin y Aˆx kuulua matriisin A kuva-avaruuden ortogonaali komplementtiin R (A).Tiedetään,ettäR (A) = N (A T ), joten 4 A T (y Aˆx)=0 A T Aˆx = A T y ol. ja HT 1 ˆx = ( A T A ) 1 Kuva 1: Tehtävänannon (1) visualisointi. Haetaan matriisinakuva-avaruudestar (A) Huomautus: MatLab:ssa komento: A\y (kuvassa vihreä taso) sellainen vektori (kuvassa sininen vektori By), joka on mahdollisimman lähellä vektoria y (kuvassa musta vektori y). Mahdollisimman lähellä tarkoittaa tässäsitä, että residuaalin (kuvassapunainenvektori y By)norminneliö y By 2 on mahdollisimman pieni. Lopuksi vektori ˆx s.e. By = Aˆx. Ratkaisu: Mikäli ˆx olisi ongelman ratkaisu täytyy residuaalin y Aˆx kuulua matriisin A kuva-avaruuden ortogonaali komplementtiin R (A).Tiedetään,ettäR (A) = N (A T ), joten A T (y Aˆx)=0 A T Aˆx = A T y ol. ja HT 1 ˆx = ( A T A ) 1 Huomautus: MatLab:ssa komento: A\y Harjoitustehtävä 1: Osoita, että jos matriisin A pystyrivit ovat lineaarisesti riippumattomia, niin matriisi A T Aonkääntyvä.
Ratkaisu: Mikäli ˆx olisi ongelman ratkaisu täytyy residuaalin y Aˆx kuulua matriisin A kuva-avaruuden ortogonaali komplementtiin R (A).Tiedetään,ettäR (A) = N (A T ), joten 5 A T (y Aˆx)=0 A T Aˆx = A T y ol. ja HT 1 ˆx = ( A T A ) 1 Kuva 1: Tehtävänannon (1) visualisointi. Haetaan matriisinakuva-avaruudestar (A) Huomautus: MatLab:ssa komento: A\y (kuvassa vihreä taso) sellainen vektori (kuvassa sininen vektori By), joka on Todistus: mahdollisimman lähellä vektoria y (kuvassa musta vektori y). Mahdollisimman lähellä Idea: tarkoittaa kirjoitetaan tässäsitä, Pythagoraan että residuaalin lauseen(kuvassapunainenvektori tavoin vektorin y Ax (tässä y By)norminneliö x on mielivaltainen) normin neliö y By kahden 2 onvektorin mahdollisimman normin neliön pieni. Lopuksi summana, vektori joistaˆx toinen s.e. By on = vektori Aˆx. y By, missä matriisi B = A ( A T A ) 1 A T. Ratkaisu: Aputuloksia: Mikäli Matriisi ˆx olisi B = ongelman A ( A T A ) 1ratkaisu A T on sekä täytyy residuaalin y Aˆx kuulua matriisin A ( kuva-avaruuden ortogonaali komplementtiin R (A).Tiedetään,ettäR (A) = N (A T ), symmetrinen: B T = A ( A T A ) ) 1 T ( A T = A T ) ( T ( A T A ) ) 1 T A T = A ( A T A ) 1 A T = B, että joten idempotenttinen: BB = A ( A T A ) 1 A T A ( A T A ) 1 A T = A ( A T A ) 1 A T T (y Aˆx)=0 A T Aˆx = A T ol. ja HT 1 y ˆx = ( A T A ) = B. 1 Lisäksi BA = A ( A T A ) 1 A T A = A. Huomautus: MatLab:ssa Symmetristä komento: ja idempotenttista A\y matriisi kutsutaan projektiomatriisiksi. Harjoitustehtävä 1: Osoita, että jos matriisin A pystyrivit ovat lineaarisesti riippumattomia, niin Nyt matriisi A T Aonkääntyvä. 2 2 2 T
Taulu: 6 y Ax 2 = y By + By Ax 2 = u + v 2 =(u + v) T (u + v) = u T u + u T v + v T u + v T v = u 2 + v 2 + 2u T v = u 2 + v 2 + 2(y By) T (By Ax) = u 2 + v 2 + 2 ( y T By y T Ax y T B T By + y T B T Ax ) aputulokset = u 2 + v 2 + 2 ( y T By y T Ax y T By + y T Ax ) = u 2 + v 2 = y By 2 + By Ax 2, (2) Tässä on käytetty lyhennysmerkintöjä u = y By ja v = By Ax. Yhtälön (2) perusteella y Ax 2 y By 2 ja yhtäsuuruus saavutetaan kun (A By Ax 2 = 0 By Ax = 0 A( T A ) ) 1 A T y x = 0 ol. ( A T A ) 1 A T y x = 0 x = ( A T A ) 1 A T y Edellisen perusteella saimme todistettua, että ongelman (1) ratkaisu on argmin x y Ax 2 = ( A T A ) 1
Edellisen perusteella saimme todistettua, että ongelman (1) ratkaisu on 7 argmin x y Ax 2 = ( A T A ) 1 Huomautus: Mikäli matriisi A on kääntyvä niin ratkaisu sievenee tuttuun muotoon A 1 y. Matriisia ( A T A ) 1 A T (Moore-Penrose) pseudoinverssiksi. Vaihtoehtoinen todistus: funktion f (x) = y Ax 2 derivaatta f (x) =2x T A T A 2yA on nollavektori täsmälleen kun x = ( A T A ) 1 Tämäkriittinenpisteon(globaali)minimipiste, koska funktion f Hessen matriisi 2A T A on aina positiivisesti definiitti, joten argmin x y Ax 2 = ( A T A ) 1
Esimerkki 1: Haetaan suora joka kuvaa mahdollisimman hyvin pistejoukkoa(kuva2) 8 {(1,0),(2,1),(3,4),(4,5),(5,9)} 10 8 6 4 2 0 2 0 1 2 3 4 5 6 Kuva 2: Annettu pistejoukko {(1,0),(2,1),(3,4),(4,5),(5,9)}
Esimerkki 1: Haetaan suora joka kuvaa mahdollisimman hyvin pistejoukkoa(kuva2) 9 {(1,0),(2,1),(3,4),(4,5),(5,9)} Ratkaistaan suoran y = a + bx parametrit a ja b siten että virhe! 5 i=1 (y i a bx i ) 2 minimoituu. Tässä pistejoukon pisteet ovat muotoa (x i,y i ), missä i {1,2,3,4,5}. Ongelma voidaan esittää matriisimuodossa seuraavasti missä y = 0 1 4 5 9 argmin x y Ax 2 (pisteiden y-koordinaatit) ja A = 1 1 1 2 1 3 1 4 1 5 (ensimmäisessä sarakkeessa on ykkösiä ja toisessa sarakkeessa pisteiden x-koordinaatit) Aikaisemman perusteella tiedämme, että
Esimerkki 1: Haetaan suora joka kuvaa mahdollisimman hyvin pistejoukkoa(kuva2) 10 {(1,0),(2,1),(3,4),(4,5),(5,9)} Ratkaistaan suoran y = a + bx parametrit a ja b siten että virhe! 5 i=1 (y i a bx i ) 2 minimoituu. Tässä pistejoukon pisteet ovat muotoa (x i,y i ), missä i {1,2,3,4,5}. Ongelma voidaan esittää matriisimuodossa seuraavasti missä y = 0 1 4 5 9 argmin x y Ax 2 (pisteiden y-koordinaatit) ja A = 1 1 1 2 1 3 1 4 1 5 (ensimmäisessä sarakkeessa on ykkösiä ja toisessa sarakkeessa pisteiden x-koordinaatit) Aikaisemman perusteella tiedämme, että argmin x y Ax 2 = ( A T A ) 1 A T y = 1 [ ][ ] 11 3 19 = 1 [ ] 28 10 3 1 79 10 22 Joten pienimmän neliösumman suora on muotoa (Kuva 3): y = 2.8 + 2.2x
11 Kohdassa on käytetty hyödyksi seuraavia laskuja. A T A = [ 1 1 1 1 1 1 2 3 4 5 ( A T A ) 1 = [ 5 15 15 55 A T y = ] 1 = [ 1 1 1 1 1 1 2 3 4 5 ] 1 1 1 2 1 3 1 4 1 5 1 275 225 0 ] 1 4 5 = 9 = [ 5 15 15 55 [ 55 15 15 5 [ 19 79 ] ], ] = 1 [ 11 3 10 3 1 ]
10 8 y= 2.8+2.2x 12 6 4 2 0 2 0 1 2 3 4 5 6 Kuva 3: Annettuun pistejoukkoon {(1,0),(2,1),(3,4),(4,5),(5,9)} sovitettu pienimmän neliösumman suora y = 2.8 + 2.2x. Huomioita pienimmän neliösumman suorasta: 1. Koska residuaali e = y By kuuluu matriisin A T nolla-avaruuteen niin residuaalikomponenttien summa! n i=1 e i = 0 ja x-koordinaateilla painotettu summa! n i=1 x ie i = 0 ovat nollia. 2. Koska ȳ = 1 n n! y i = 1 1 R i=1 n yt (A) 1 = 1 n yt A ( A T A ) ( 1 (A A T 1 = T A ) ) [ 1 T A T y 1 1 n!n i=1 x i ] = â+ ˆb x niin pienimmän neliösumman suora kulkee massakeskipisteen ( x, ȳ) kautta.
Linearisointipiste Estimaatti 13
Luennon materiaalit ja lisätietoa löytyy osoitteesta: http://math.tut.fi/~aliloytt/ argmin x y Ax 2 = ( A T A ) 1 MatLab:ssa komento: A\y 14 y y By Ax By 10 8 6 y= 2.8+2.2x Linearisointipiste Estimaatti 4 2 0 2 0 1 2 3 4 5 6