Likimääräisratkaisut ja regularisaatio

Koko: px
Aloita esitys sivulta:

Download "Likimääräisratkaisut ja regularisaatio"

Transkriptio

1 48

2 Luku 4 Likimääräisratkaisut ja regularisaatio Ryhdytään tarkastelemaan klassisia approksimatiivisia ratkaisumenetelmiä huonosti asetetuille tai häiriöherkille äärellisulotteisille lineaarisille ongelmille 4 Pienimmän neliösumman menetelmä Huonosti asetettu lin äärellisulotteinen inversio-ongelma ( ) Olkoon M R m n Määrää sellainen x R n, että y Mx, kun y R m on annettu ja R m M(R n ) Esimerkki 9 Suoritetaan kaksi samanlaista mittausta tuntemattomasta suureesta x 0 R Mittaustapahtuma on epäideaalinen, jolloin kummatkin mittaukset sisältävät (mahdollisesti eri suuruisen) häiriön, joka oletetaan additiiviseksi Mittausarvot ovat ( ) ( ) ( ) y ε x y 0 + R ε ( ) Tällöin M ja M(R) {(x, x) : x R} R Nyt ongelma ( ) on huonosti asetettu, sillä ratkaisua ei löydy kun y y Vaikka inversio-ongelmalla ( ) ei ole ratkaisua, niin haluaisimme kuitenkin saada tietoa datan tuottaneesta tuntemattommasta x 0 häiriöisen datan y perusteella Kun ongelmalla ( ) ei ole ratkaisua, niin eräs tapa edetä on väljentää ratkaisun käsitettä siirtymällä likimääräisratkaisuihin, jotka eivät välttämättä toteuta yhtälöä y M x Pienimmän neliösumman menetelmässä (eng least squares method) valitaan yhtälön y Mx likimääräisratkaisuksi sellainen ˆx R n, jolla eli M ˆx y min Mx y (4) x Rn ˆx argmin Mx y x R n 49

3 Merkintä argmin tarkoittaa funktionaalin x M x y sitä argumenttia x, jolla minimi saavutetaan Vektorin x päällä käytetään matematiikassa hattua osoittamaan, että kyseesä ei välttämättä ole tuntemattoman tarkka arvo vaan ainoastaan arvio Määritelmä 0 Inversio-ongelman ( ) pienimmän neliösumman ratkaisu on vektori ˆx argmin Mx y x R n Huomautus 6 Funktionaalit x Mx y ja x Mx y saavuttavat miniminsä samoissa pisteissä x (sillä s s on aidosti kasvava välillä [0, )) Minimoitavan funktionaalin normi voidaan tarvittaessa neliöidä laskennan yksinkertaistamiseksi! ( ) 0 Esimerkki 0 Olkoon M ja annettu data y (, 0 0 ) Kun x (x 0, x ) R, niin minimoitava funktionaali on ( ) ( ) f(x, x ) Mx y 0 x 0 0 x ( 0 ) (x ) + ( ) 0 00 > 0 Funktionaalin minimikohdassa x ja x on vapaa parametri Toisin sanoen, pienimmän neliösumman likimääräisratkaisuja ovat vektorit ˆx (, x ), missä x R Ongelmalle, jolla ei ole ratkaisua, löytyy äärettömän monta likimääräisratkaisua (Tässä esimerkissä tarkka tuntematon on todellisuudessa x 0 (, 0) ja häiriö ε (0, 0 )) 4 PNS ratkaisun olemassaolo ja yksikäsitteisyys Huomautus 7 Jos yhtälöllä y Mx on ratkaisu x, niin x on myös pienimmän neliösumman ratkaisu, sillä ehdosta 0 Mx y seuraa Mx y 0, joka on ei-negatiivisen funktionaalin x M x y pienin mahdollinen arvo Jos pienimmän neliösummnan ratkaisu ˆx on sellainen, että M ˆx y > 0, niin yhtälöllä y Mx ei ole ratkaisua (Miksei?) Pienimmän neliösumman ratkaisu ˆx ei aina toteuta yhtälöä y M ˆx Seuraava lause palauttaa minimointiongelman ratkaisemisen lineaarisen yhtälöryhmän ratkaisemiseen! Tätä tulosta käytetään niin teoreettisissa tarkasteluissa kuin numeriikassakin Lause 7 Olkoon M R m n ja y R m Minimointiongelmalla on samat ratkaisut ˆx R n kuin yhtälöllä ˆx argmin x R n Mx y M T M ˆx M T y 50

4 Todistus Lasketaan ensin sisätulo f(x) Mx y (Mx y, Mx y) (Mx, Mx) (y, Mx) (Mx, y) + (y, y) (M T Mx, x) (M T y, x) + (y, y) (4) Funktionaalin f : R n R minimi, jos sellainen on, löytyy kriittisestä pisteestä Minimikohdan ˆx tulee toteuttaa siis ehto f(ˆx) 0 Lasketaan ensin osittaisderivaatat (M T y, x) n n (M T y) j x j (M T x j y) j (M T y) k (43) x k x k x k missä k,, n ja a (a,, a n ) R n Osittaisderivaattojen (M T Mx, x) n (M T Mx) j x j x k x k j laskemiseen käytetään tulon derivoimissääntöä Nimittäin n n (M T (M T Mx) j n Mx) j x j x j + (M T x j Mx) j x k x j j k x j k ( n ) n i (M T M) ji x i x j + (M T Mx) k x j k ( n ) (M T M) jk x j + (M T Mx) k (M T Mx) k (44) j matriisin M T M symmetrisyyden perusteella Jokaiselle funktion f minimikohdalle ˆx pätee 0 f(ˆx) j j (4) (M T M ˆx, ˆx) (M T y, ˆx) + (y, y) (43),(44) M T M ˆx M T y + 0 (45) Toisaalta, jos ˆx toteuttaa yhtälön M T M ˆx M T y, niin mille tahansa vektorille x R n pätee f(x) M(x ˆx) + M ˆx y M(x ˆx) + (M(x ˆx), M ˆx y) + M ˆx y M(x ˆx) + (x ˆx, M T M ˆx M T y) + M ˆx y M(x ˆx) + M ˆx y M ˆx y f(ˆx) Täten ˆx on funktionaalin f minimikohta Lähdetään selvittämään, onko pienimmän neliösumman ratkaisu aina olemassa Kerrataan hieman linaarialgebraa Aliavaruuden V R n ortogonaalinen komplementti on aliavaruus V {x R n : (x, y) 0 y V } Ortogonaaliselle komplementille pätee R n V V (eli jokainen x R n on muotoa x x + x, missä x V, x V ja pätee (x, x ) 0) Lisäksi (V ) V Käytetään merkittää R(A) A(R n ) matriiseille A R m n 5

5 Lemma 5 Matriisille A C m n pätee R(A ) N (A) Todistus Olkoon x R(A ) Silloin jokaisella y C m pätee 0 (A y, x) (y, Ax) (46) Valitsemalla yhtälössä (46) y Ax, nähdään että 0 Ax Tällöin Ax 0 eli x N (A) Siis R(A ) N (A) Toisaalta, jos x N (A), niin (A y, x) (y, Ax) 0 jokaisella y C m, joten x R(A ) Siis N (A) R(A ) Lause 8 Olkoon M R m n ja y R m Silloin löytyy pienimmän neliösumman ratkaisu ˆx argmin Mx y x R n Lisäksi pienimmän neliösumman ratkaisu on yksikäsitteinen jos ja vain jos N (M) {0} Muussa tapauksessa kahden pienimmän neliösumman ratkaisun ˆx ˆx erotus ˆx ˆx N (M) Todistus Lauseen 7 nojalla minimointiongelma on ekivalentti yhtälön M T M ˆx M T y kanssa Tutkitaan yhtälön M T Mx M T y yksikäsitteistä ratkeavuutta Näytetään ensin, että N (M) N (M T M) (47) Selvästi N (M) N (M T M) Lisäksi x N (M T M) eli M T Mx 0 jos ja vain jos 0 (M T Mx, z) (Mx, Mz) jokaisella z R n Erityisesti kun z x, saadaan Mx 0 eli x N (M) Toisin sanoen N (M T M) N (M) Siis (47) pätee, jolloin M T M on injektio jos ja vain jos M on injektio Näytetään seuraavaksi, että M T y R(M T M) Valitsemalla A M sekä A M T M lemmassa 5, saamme yhtälön (47) avulla R(M T ) N (M) N (M T M) R(M T M) Täten yhtälöllä M T Mx M T y on vähintään yksi ratkaisu ja ratkaisu on yksikäsitteinen jos ja vain jos N (M) {0} Lisäksi M T M(ˆx ˆx ) 0 kun ˆx ja ˆx ovat kaksi pienimmän neliösumman ratkaisua Esimerkki Tuntemattomasta x (x, x ) R on saatu seuraavat häiriöiset mittaukset: x + e 3 x + x + e 4 x + x + e 3 x + e 4 5

6 Etsi likimääräisratkaisu käyttämällä pienimmän neliösumman menetelmää Merkitään 0 e y 3 4, M ja e e e 3 0 e 4 Määrätään pienimmän neliösumman ratkaisu, kun y M x + e Lasketaan ( ) 0 ( ) 0 M T M ja Saamme yhtälön M T y jonka ratkaisu on (ˆx, ˆx ) ( 6 5, 5 ) ( ) ( ) ( ) ) 3 (ˆx M T M ˆx M T y 3 ˆx Esimerkki Tarkastellaan Esimerkin 8 ongelmaa, jossa ( ) 0 M 0 0 ( ) 8, 9 Esimerkissä 8 näytettiin, että N (M) {(x, x, x 3 ) R 3 : x x } Olkoon y (, ) Tällöin 0 ( ) 0 0 ( ) M T M ja M T y Nyt det(m T M) 0, joten matriisi M T M ei ole kääntyvä Yhtälöllä M T y M T M ˆx on kuitenkin äärettämän monta ratkaisua ˆx (x, x, ) missä x R Esim ˆx (0,, ) ja ˆx (5, 4, ) Miniminormiratkaisu Kaksi matemaatikkoa on itsenäisesti ratkaisemassa samaa yhtälöä pienimmän neliösumman menetelmällä He havaitsevat, että ratkaisu on epäyksikäsitteinen Kumpikin haluaa esittää (jonkin) pienimmän neliösumman ratkaisun graafisesti kuvan avulla ja verrata tuloksia toisiinsa Vertailu helpottuu, kun otetaan käyttöön yhteinen sääntö, jolla epäyksikäsitteisten ratkaisujen joukosta valitaan jokin tietty edustaja Yksi tapa on käyttää seuraavan määritelmää 53

7 Määritelmä Inversio-ongelman ( ) pienimmän neliösumman ratkaisua ˆx kutsutaan miniminormiratkaisuksi, jos ˆx min{ x : x R n, M T Mx M T y} Esimerkki 3 Esimerkissä 0 miniminormiratkaisu on (ˆx, ˆx ) (, 0) Seuraava lause näyttää, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun epätarkkuuden hinnalla) Lause 9 Ongelman ( ) pienimmän neliösumman miniminormiratkaisu on yksikäsitteinen Todistus Olkoon ˆx jokin ongelman ( ) pienimmän neliösumman ratkaisu Merkitään Q R(M T ) ortogonaaliprojektiota aliavaruudelle R(M T ) Lemman 5 nojalla avaruus R n R(M T ) N (M) ja yhtälön (47) nojalla M T M(Q R(M T )ˆx) M T M(Q R(M T )ˆx + Q N (M)ˆx) M T M ˆx M T y joten projektio Q R(M T )ˆx on eräs pienimmän neliösumman ratkaisu Lisäksi Q R(M T )ˆx < Q R(M T )ˆx + Q N (M)ˆx + z ˆx + z millä tahansa z N (M), joka ei ole Q N (M) x Huomautus 8 Yllä olevan todistuksen mukaan yhtälön ( ) pienimmän neliösumman miniminormiratkaisu on muotoa Singulaariarvohajotelma Q R(M T )ˆx Lemma 5 Q N (M) ˆx Kätevä tapa määrätä miniminormiratkaisu on käyttää singulaariarvohajotelmaa Määritelmä Matriisin M C m n singulaariarvohajotelma (eng singular value decompositions) on matriisin M esitys M UDV, missä U ja V ovat ortogonaalisia matriiseja (eli U U ja V V ) ja D ij σ j δ ij missä i,, m, j,, n ja luvut σ σ σ n ovat matriisin M singulaariarvot Määritelmä 3 Olkoon ei-triviaalilla matriisilla M C m n singulaariarvohajotelma M UDV, missä ( ) Dr r 0 D r (n r) 0 (m r) r 0 (m r) (n r) eräällä r {,, min(m, n)} ja D ii > 0 kun i, r Matriisia ( ) Dr r M + 0 V r (m r) U 0 (n r) r 0 (n r) (m r) kutsutaan matrisiin M Moore-Penrose pseudoinverssiksi (eng Moore-Penrose pseudoinverse) 54

8 Huomautus 9 ) Erityisesti M + V D + U ) Jos D on säännöllinen nelömatriisi, niin M + V D + U V D U M Esimerkki 4 Kun M , niin M Lause 0 Olkoon M C m n ei-triviaali matriisi, jonka Moore-Penrose pseudoinverssi on M + Silloin Q R(M) MM + on ortogonaaliprojektio aliavaruudelle R(M) Q N (M) M + M on ortogonaaliprojektio aliavaruudelle N (M) 3 Q N (M) M + M + Q R(M) M + Todistus Olkoon M UDV matriisin M singulaariarvohajotelma, missä D ii > 0 jos ja vain jos i r Merkitään V (V V n ) Silloin D V D (x, V ) 0 Mx UDV x U 0 DV x D rr Vr x D rr (x, V r ) jos ja vain jos x n ir+ x iv i Siis 0 (m r) n 0 (m r) N (M) span{v r+,, V n } (48) Vastaavasti matriisille M V D U pätee N (M ) span{u r+,, U m } Lemman 5 nojalla R(M) N (M ) span{u,, U r } (49) Silloin MM + (UDV )(V D + U ) U(DD + )U ( ) U Ir r 0 U r (m r) U (U 0 (m r) r 0, U r ), (m r) (m r) joka on ortogonaaliprojektio kuva-avaruudelle yhtäsuuruuden (49) nojalla Väite seuraa vastaavalla tavalla (48):n nojalla Väite 3 seuraa käytämällä projektioille P ja Q yllä olevia esityksiä ja huomaamalla, että M + V ( D r r ) 0 r (m r) U (V V r ) 0 (n r) r 0 (n r) (m r) D U U r U r 55

9 Korollaari 3 Olkoon ei-triviaalin matriisin M R m n singulaariarvohajotelma M UDV T Silloin yhtälön y Mx pienimmän neliösumman miniminormiratkaisu on muotoa ˆx M + y Todistus Vektori ˆx M + y toteuttaa yhtälön M T M ˆx M T M(M + y) M T (MM + )y M T y, sillä MM + Q R(M) on Lauseen 0 nojalla ortogonaaliprojektio aliavaruudelle R(M), jolloin y Q R(M) y + (I Q R(M) )y Q R(M) y + Q N (M T )y lemman 5 nojalla Vektori ˆx on lisäksi miniminormiratkaisu, sillä Lauseen 9 todistuksessa näytettiin, että miniminormiratkaisu on muotoa Q R(M T )M + y Lemma 5 Q N (M) M + Lause 0 y M + y Esimerkki 5 Määrää yhtälön y M x pienimmän neliösumman miniminormiratkaisu, kun y (3, 4) ja matriisin M singulaariarvohajotelma on ( ) M UDV T, U V, D ( ) Ratkaisu: ˆx M + y V D + U T ( ( ( ) ( ) ( 0 0 ) ) ( ) ( ( ) ) (3 ) 4 ) (3 ) 4 4 Pienimmän neliösumman ratkaisun tarkkuus Kuinka lähellä yhtälön y Mx pienimmän neliösumman ratkaisu ˆx on datan y Mx 0 +ɛ tuottanutta tuntematonta x 0? Miniminormiratkaisun tapauksessa ˆx M + y M + Mx 0 + M + ε Q N (M) x 0 + M + Q R(M) ε Lauseen 0 nojalla Ero todelliseen tuntemattomaan on x 0 ˆx (I Q N (M) )x 0 M + Q R(M) ε Q N (M) x 0 M + Q R(M) ε Miniminormiratkaisu ˆx ei sisällä tuntemattoman x 0 niitä komponentteja, jotka kuuluvat matriisin M ytimeen Pienimmän neliösumman ratkaisu ˆx on immuuni häiriön ε niille komponenteille, jotka kuuluvat aliavaruuteen R(M) 56

10 Pienimmän neliösumman ratkaisuun vaikuttavat häiriön ε ne komponentit, jotka kuuluvat aliavaruuteen R(M) Kuinka paljon häiriötermit Q R(M) ε vaikuttavat miniminormiratkaisuun? Tarkastellaan tilannetta ehtolukujen avulla Matriisi M UDV T ei välttämättä ole kääntyvä, mutta otetaan käyttöön pienemmät lähtö- ja maaliavaruudet Kun ( ) V Dr r 0 M U r (m r) V T (U U r ) 0 (m r) r 0 D T, (m r) (m r) missä D on säännöllinen, niin valitaan lähtöavaruudeksi N (M) span{v, V r } ja maaliavaruudeksi R(M) span{u, U r } Tällöin lineaarikuvaus F : N (M) x Mx R(M) on kääntyvä ja sen matriisi kantojen {V, V r } ja {U, U r } suhteen on D Erityisesti D on säännöllinen ja sen ehtoluku V T r κ( D) D D rr, jolloin suhteelliselle virheelle saadaan yläraja M + ε Q N (M T )x 0 κ( D) Q R(M)ε Mx 0 Täten häiriön maksimaalinen vaikutus miniminormiratkaisuun riippuu matriisin D nollasta eroavista singulaariarvoista Ongelmia syntyy, jos matriisilla M on hyvin pieniä (verratttaessa matriisin normiin) nollasta eroavia singulaariarvoja 43 Regularisaatio Pienimmän neliösumman menetelmässä huonosti asetettu ongelma y M x korvataan sitä läheisesti muistuttavalla hyvin asetetulla ongelmalla M T Mx M T y Regularisaatio on yleisnimitys menetelmille, joissa häiriöherkkä ongelma korvataan sitä läheisesti muistuttavalla vähemmän häiriöherkällä ongelmalla Häiriöitä sisältävä lineearinen äärelliulotteinen inversio-ongelma muotoillaan usein seuraavassa muodossa Häiriöinen lin äärellisulotteinen inversio-ongelma ( ) Olkoon M R m n teoriamatriisi Arvioi tuntematonta x 0 R n, kun y Mx 0 + ε R m on annettu 44 Typistetty singulaariarvohajotelma Olkoon matriisilla M R m n singulaariarvohajotelma M UDV T ja annettu data y Mx 0 + ε 57

11 Jos tuntemattoman x 0 arvioksi valitaan yhtälön y Mx pienimmän neliösumman ratkaisu ˆx argmin y Mx, niin arvion ˆx häiriöherkkyyttä kuvaa ehtoluku x R n κ D D rr, missä D on matriisin M suurin singulaariarvo ja D rr on matriisin M pienin nollasta eroava singulaariarvo Yksinkertainen menelmä parantaa pienimmön neliösumman ratkaisun häiriönsietoa on korvata teoriamatriisin M pienimmät singulaariarvot nollilla Määritelmä 4 Olkoon ei-triviaalilla matriisilla M C m n singulaariarvohajotelma M UDV T, missä D D D rr > 0 ja D ij 0 muulloin Matriisin M typistetty singulaariarvohajotelma (eng truncated singular value decomposition) on matriisi M (k) UD (k) V T, missä k on jokin luvuista {,, r } ja (D (k) ) ii D ii kun i k ja (D (k) ) ij 0 muulloin Typistetyn singulaariarvohajotelmn avulla saadaan yhtälölle y M x regularisoitu vastine y M (k) x, (40) jonka pienimmän neliösumman ratkaisu on ˆx (k) M + (k) y (4) Yhtälön (40) häiriöherkkyys vähenee, sillä sen häiriöherkkyyttä kuvaa ehtoluku κ k D D kk κ Määritelmä 5 Typistetyn singulaariarvohajotelman avulla regularisoitu yhtälön y M x (likimääräis)ratkaisu on ˆx (k) M + (k) y Huomautus 0 Vähentyneen häiriöherkkyyden hinta on suurempi ydin N (M (k) ) Tämä heikentää arvion M + (k) y tarkkuutta Luvussa?? todettiin, että miniminormiratkaisu tässä M + (k) y ei sisällä komponentteja aliavaruudesta N (M (k)) Esimerkki 6 Olkoon matriisilla M singulaariarvohajotelma M U V T ja annettu data y Mx 0 + ε Silloin M (3) U V T ja M V U T

12 Tarkastellaan tilannetta, jossa ε )T Silloin yhtälön y Mx ratkaisu on M y x 0 + V Esimerkiksi häiriötermi voisi olla ε U( 00 U T U x 0 + V Nyt x 0 M y 00 Mutta typistetyllä singulaariarvohajotelmalla saadaan M + (3) y M + (3) Mx 0 + V U T U V V T x 0 + V x 0 V V T x 0 + V jolloin x 0 V 4 V T 4 x 0 + V ( x 0 M + (3) y (V 4, x 0 ) + 4 ) Mikäli vektorin x 0 projektio vektorin V 4 suuntaan ei ole kovin suuri, niin typistetyn singulaariarvohajotelman avulla saadaan tarkempi arvio tuntemattomasta kuin käänteismatriisia käyttämällä Typistetyllä singulaariarvohajotelmalla regularisoidun ongelman likimääräisratkaisun tarkkuudelle pätee x 0 ˆx (k) x 0 M + (k) y x 0 M + (k) Mx 0 M + (k) ε On helppoa todeta, että M + (k) M M + (k) M (k), joka on Lauseen 0 nojalla ortogonaaliprojektio Q N (M(k) ) Tällöin x 0 ˆx (k) (I Q N (M(k) ) )x 0 M + (k) ε Q N (M(k) )x 0 M + (k) ε Q N (M(k) )x 0 (Q N (M(k) )x 0, M + (k) ε) + M + (k) ε Lause 0 Q N (M(k) )x 0 (Q N (M(k) )x 0, Q N (M(k) ) M (k)) + ε) + M + (k) ε Q N (M(k) )x 0 + M + (k) ε 59

13 Regularisoitu ratkaisu ˆx (k) ei sisällä tuntemattoman x 0 niitä komponentteja, jotka kuuluvat matriisin M (k) ytimeen span{v k+,, V n } Regularisoitu ratkaisu ˆx (k) on immuuni häiriön ε niille komponenteille, jotka kuuluvat aliavaruuteen R(M (k) ) span{u k+,, U m } Regularisoituun ratkaisuun ˆx (k) vaikuttavat häiriön ε ne komponentit, jotka kuuluvat aliavaruuteen R(M (k) ) span{u,, U k } 45 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx 0 + ε R m (4) annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu ˆx M + y Q N (M) x + M + ε voi sisältää suuria epätarkkuuksia M + ε, vaikka y M ˆx on mahdollisimman pieni Eräs tapa parantaa ongelman häiriönsietoa on etsiä likimääräisratkaisuja, joilla y M x on pieni, mutta normi x ei ole liian suuri Tikhonovin regularisaatiossa (eng Tikhonov s regularization) yhtälön y M x likimääräisratkaisuksi ˆx α otetaan Tikhonovin funktionaalin minimoija eli L α (x) : Mx y + α x, (43) ˆx α argmin x R n Mx y + α x Luku α > 0 on vakio, jota nimitetään regularisaatioparametriksi (eng regularization parameter) Huomautus Tikhonovin funktionaali eroaa pienimmän neliösumman funktionaalista penalisaatiolla (eng penalization) α x Penalisaation tarkoitus on auttaa hylkäämään ne vektorit x, jotka sisältävät hyvin suuria epätarkkuuksia Tikhonovin funktionaalin termit ovat normien neliöitä Seuraava lause osoittaa, että tämä on erittäin hyödyllinen valinta Lause antaa tavan etsiä Tikhonovin funktionaalin minimoija ratkaisemalla matriisiyhtälö Lause Olkoon α > 0 Minimointiongelmalla M ˆx α y + α ˆx α min x R n Mx y + α x on yksikäsitteinen ratkaisu ˆx α Ratkaisu ˆx α on myös yhtälön yksikäsitteinen ratkaisu (M T M + αi)ˆx α M T y 60

14 Todistus Kirjoitetaan Tikhonovin funktionaali muodossa ( ) ( ) Mx y + α x M αi y x, 0 joka johtaa pienimmän neliösumman minimointiin Voimme käyttää Lausetta 7, jonka nojalla Tikhonovin funktionaalin minimoija on olemassa ja toteuttaa yhtälön ( ) T ( ) ( ) T ( ) αi M αi M M ˆx αi y 0 eli (M T M + αi)ˆx α M T y Tämän yhtälön ratkaisu on yksikäsitteinen Lauseen 8 nojalla, sillä matriisin sisältää vain nollavektorin, sillä jos niin x 0 0 ( ) ( ) αi M Mx x, αx Huomautus Yllä näytettiin, että Tikhonovin regularisaatio vastaa yhtälön ( ) ( ) αi M y x 0 pienimmän neliösumman ratkaisua Esimerkki 7 Tarkastellaan edellisen luvun Esimerkin?? matriisia 0 4 M 3, ( M αi ) ydin jonka ehtoluku 0 5 Olkoon y Mx 0 + ε R 3 annettu data Tarkastellaan tilannetta, jossa tuntematon x 0 (0, 0, ) ja ɛ (0, 0, 0) Silloin ja Totesimme Esimerkissä??, että Mx 0 ( ) T y Mx 0 + ε ( ) T M (Mx 0 + ɛ) x 0 + ( ) T Ratkaistaan ongelma Tikhonovin regularisaatiolla Lasketaan ensin T M T M

15 Valitaan α 00 ja lasketaan ˆx α (M T M + αi) M T y Wow! Regularisaatioparametrin vallinta Lähdetään selvittelemään kuinka parametri α vaikuttaa ratkaisuun Voimme aluksi kysyä mitä ratkaisulle ˆx α tapahtuu, jos α 0 tai α Tällöin meidän tulee laskea rajaarvot lim (M T M + αi) M T y ja lim (M T M + αi) M T y, α 0+ α jos ne ovat olemassa Oletetaan yksinkertaisuuden vuoksi, että nolla ei ole matriisin M T M ominaisarvo Silloin käänteismatriisi (M T M) on olemassa ja voimme ryhtyä tutkimaan erotusta ˆx α ˆx (M T M + αi) M T y (M T M) M T y Kahden käänteismatriisin erotus voidaan kirjoittaa muodossa Erityisesti Silloin B C B (I BC ) B (C B)C (M T M + αi) (M T M) (M T M + αi) (αi)(m T M) (M T M + αi) M T y (M T M) M T y (M T M + αi) α (M T M) M T y Muistetaan, että (M T M + αi) on matriisin (M T M + αi) pienimmän ominaisarvon λ min käänteisluku Olkoon u min pienintä ominaisarvoa vastaava ominaisvektori, jolle u min Voimme arvioida pienintä ominaisarvoa seuraavasti: λ min ((M T M + αi)u min, u min ) ((M T M + αi)u min, u min ) (M T Mu min, u min ) λ min (M T M) Tällöin saadaan arvio (M T M + αi) M T y (M T M) M T y λ min (M T M) α (M T M) M T y, mistä voimme päätellä, että lim ˆx α (M T M + αi) M T y (M T M) M T y (44) α 0+ 6

16 Yleisemmässä tapauksessa pätee itse asiassa, että Samalla tekniikalla nähdään, että mistä seuraa, että lim ˆx α (M T M + αi) M T y M + y (45) α 0+ (M T M + αi) M T y α (/αm T M + I) M T y α λ min (I) M T y lim ˆx α (M T M + αi) M T y 0 (46) α Suurilla regularisaatioparametrin α arvoilla approksimatiivinen ratkaisu lähestyy nollavektoria Pienillä regularisaatioparametrin α arvoilla approksimatiivinen ratkaisu lähestyy pienimmän neliösumman menetelmän ratkaisua Parametrin α valintaan voidaan käyttää seuraavaa Määritelmä 6 Olkoon y Mx 0 + ε annettu data, missä ε e Morozovin diskrepanssiperiaatteen (eng Morozov s dicrepancy principle) mukaan regularisointiparametri α valitaan siten, että M ˆx α y e, mikäli tämä valinta on mahdollinen Morozovin diskrepanssiperiaatteen ideana on, että pyritään välttämään tilanne, jossa likimääräisratkaisu taipuu mukailemaan virhetermin ε käytöstä eikä todellista tarkkaa dataa Mx 0 Tavoitteenahan on, että ˆx α olisi hyvin lähellä tuntematonta vektoria x 0, jolloin M ˆx α y (M ˆx α Mx 0 ) ε ε Esimerkki 8 Tarkastellaan Morozonvin diskrepanssiperiaatetta yksinkertaisessa tapauksessa ( ) 0 M 0 Olkoon annettu data y Mx 0 + ε (, ), missä tiedetään että ε Mororozovin diskrepanssiperiaattessa parametria α ei ole vielä määrätty, vaan se on muuttuja 0 Tarkastellaan vektoriarvoista funktiota [0, ) α M ˆx α M(M T M + αi) M T y ( + α α ) ( ) Morozovin diskrepanssiperiaatteen mukaan pyritään löytämään sellainen α, että e M ˆx α y ( ) ( 0 +α ) +α ( ) ( ) + α + + α 5α + α 63 ( ) +α +α

17 Saadaan yhtälö ( + α) 0 (5)α α Tällöin ˆx α005 ( +005, +005) (90, 095) Milloin Morozovin diskrepanssiperiaatetta on mahdollista käyttää? Olkoon matriisilla M R m n singulaariarvohajotelma M UDV T, missä U ja V ovat ortogonaalisia matriiseja ja D ij 0 jos i j Määrätään yhtälön y Mx 0 + ε approksimatiivinen ratkaisu Tikhonovin regularisaatiolla kun α > 0 Likimääräisratkaisuksi saadaan missä matriisin ˆx α (M T M + αi) M T y (M T M + αi) V D T U T UDV T + αi V D T DV T + αv V T V (D T D + αi)v T ominaisarvot D ii + α (tai α) ovat suurempia tai yhtä suuria kuin α Singulaariarvohajotelman avulla saamme Tällöin saa muodon ˆx α (V (D T D + αi)v T ) V D T U T y V (D T D + αi) D T U T y M ˆx α UDV T V (D T D + αi) D T U T y UD(D T D + αi) D T U T y (M ˆx α ) i Vektorin M ˆx α y normin neliö on f(α) : M ˆx α y m min(m,n) j jmin(m,n)+ m k U ij (U T y) j + D jj D jj + αu kjy k min(m,n) j ( ) α T Djj + α(u y) j Tutkitaan funktion f arvojoukkoa Voimme laskea funktion f derivaatan lausekkeesta f (α) min(m,n) j min(m,n) j min(m,n) j ( ) d α T dα Djj + α(u y) j ( ) ( α T Djj + α(u y) j αd jj (Djj + (U T y) α)3 j 0 D jj + α α (D jj + α) ) (U T y j ) Erityisesti jos y 0 on f (α) > 0, jolloin f on aidosti kasvava! Yhtälön (46) nojalla lim f(α) lim M(M T M + αi) M T y y y α α 64

18 ja yhtälön (45) nojalla lim f(α) α 0+ MM+ y y Lause 0 Q R(M) y Kun ε e, niin Morozovin diskrepanssiperiaatetta voidaan käyttää jos Q R(M) y e y (47) Tikhonov-regularisoidun ratkaisun tarkkuus Olkoon M R m n ja y Mx 0 + ε annettu data Tikhonovin regularisaatiolla saadun ratkaisun ˆx α tarkkuus x 0 ˆx α x 0 (M T M + α) M T Mx 0 (M T M + α) M T ε riippuu kahdesta eri tavoin α:n funktiona käyttäytyvästä vektoriarvoisesta funktiosta G (α) (I (M T M + α) M T M)x 0 ja G (α) M + ε Yhtälöistä (44)-(46) tiedetään, että lim G (α) (I M + M)x 0 (hyvä arvo) α 0 lim G (α) M + ɛ (huono arvo) α 0 lim G (α) x 0 (huono arvo) α lim G (α) 0 (hyvä arvo) α Tikhonov-regularisoitu ratkaisu on immuuni niille häiriön komponenteille, jotka kuuluvat aliavaruuteen R(M) Tikhonov-regularisoitu ratkaisuun vaikuttavat häriön ne komponentit jotka kuuluvat aliavaruuteen R(M) Mitä suurempi regularisaatioparametri α on, sitä pienempi on häiriön vaikutus regularisoituun ratkaisuun, mutta samalla penalisaatio vääristää ratkaisua voimakkaammin Penalisaatio vääristää ratkaisua, vaikka datassa ei olisi häiriötä Yleistyksiä Yleisemmin Tikhonovin regularisaatiolla tarkoitetaan minimointiongelmaa ˆx α argmin x R n Mx y + Bx missä B B n n on tavallisesti jokin sellainen matriisi, jonka singulaariarvot ovat (aidosti!) positiivisia Vektori Bx kuvaa jotakin tuntemattoman ei-toivottua ominaisuutta 65

19 Esimerkki B α rankaisee vierekkäisten pisteiden erotuksia Tämä pakottaa likimääräisratkaisua sileämmäksi Regularisaatiossa voidaan käyttää myös normeja, jotka eivät liity sisätuloihin Esimerkiksi n ˆx α argmin Mx y + α x i, x R n missä penalisaatiotermi on niin kutsuttu l -normi Minimointiongelma ratkaistaan tällöin numeerisesti eri tavalla kuin Tikhonovin regularisaation tapauksessa i 4 Yhteenveto Pienimmän neliösumman menetelmä: antaa säännön likimääräisratkaisun etsimiseksi kun yhtälöllä ei ole ratkaisua pienimmän neliösumman ratkaisu on aina olemassa, mutta ei välttämättä yksikäsitteinen pienimmän neliösumman ratkaisu voi olla häiriöaltis Tkhonovin regularisaatio: Osattava: huonosti asetettu/häiriöaltis ongelma korvataan hieman erilaisella hyvin asetetulla ongelmalla antaa approksimatiivisen ratkaisun, joka sietää paremmin häiriöitä menetelmässä penalisoidaan jotakin tuntemattoman ei-toivottua ominaisuutta määritellä, mikä on pienimmän neliösumman ratkaisu määritellä, mikä on typistetyn singulaariarvohajotelman avulla regularisoitu ratkaisu määritellä mikä on Tikhonov-regularisoitu ratkaisu laskea pienimmän neliösumman ratkaisu 66

20 laskea typistetyn singulaariarvohajotelman avulla regularisoitu ratkaisu ja Tikhonovregularisoitu ratkaisu kun suoran teorian singulaariarvohajotelma on annettu määrätä regularisaatioparametri Morozovin diskrepanssiperiaatteella valita ongelmaan sopiva approksimatiivinen ratkaisumenetelmä yksinkertaisissa tapauksissa Ymmärrettävä: miksi likimääräisratkaisuja käytetään mitä eroa on likimääräisratkaisulla ja tavanomaisella ratkaisulla mitä eroa on pienimmän neliösumman menetelmällä ja regularisaatiolla miten regularisaatioparametrin α valinta vaikuttaa Tikhonov-regularisoituihin ratkaisuihin Tiedettävä millainen singulaariarvohajotelma on mikä on Morozovin diskrepanssiperiaate 67

3.2.2 Tikhonovin regularisaatio

3.2.2 Tikhonovin regularisaatio 3 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx + ε R m (316 annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu x M + y Q N (M x + M

Lisätiedot

Likimääräisratkaisut ja regularisaatio

Likimääräisratkaisut ja regularisaatio Luku 3 Likimääräisratkaisut ja regularisaatio Käytännön inversio-ongelmissa annettu data y ei aina ole tarkkaa, vaan sisältää häiriöitä. Tuntemattomasta x on annettu häiriöinen data y F (x + }{{}}{{} ε.

Lisätiedot

Esimerkki 19. Esimerkissä 16 miniminormiratkaisu on (ˆx 1, ˆx 2 ) = (1, 0).

Esimerkki 19. Esimerkissä 16 miniminormiratkaisu on (ˆx 1, ˆx 2 ) = (1, 0). Esimerkki 9 Esimerkissä 6 miniminormiratkaisu on (ˆx, ˆx (, 0 Seuraavaksi näytetään, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun

Lisätiedot

Inversio-ongelmien laskennallinen peruskurssi Luento 2

Inversio-ongelmien laskennallinen peruskurssi Luento 2 Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +

Lisätiedot

Inversio-ongelmien laskennallinen peruskurssi Luento 7 8

Inversio-ongelmien laskennallinen peruskurssi Luento 7 8 Inversio-ongelmien laskennallinen peruskurssi Luento 7 8 Kevät 2011 1 Iteratiivisista menetelmistä Tähän mennessä on tarkasteltu niin sanottuja suoria menetelmiä, joissa (likimääräinen) ratkaisu saadaan

Lisätiedot

P (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.

P (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx. Yhteenveto: Satunnaisvektorit ovat kuvauksia tn-avaruudelta seillaiselle avaruudelle, johon sisältyy satunnaisvektorin kaikki mahdolliset reaalisaatiot. Satunnaisvektorin realisaatio eli otos on jokin

Lisätiedot

MS-C1340 Lineaarialgebra ja

MS-C1340 Lineaarialgebra ja MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto PNS-ongelma PNS-ongelma

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma

Lisätiedot

i=1 Tarkastellaan ensin inversio-ongelman injektiivisyys: Kun vaaditaan, että 0 = M x x 2

i=1 Tarkastellaan ensin inversio-ongelman injektiivisyys: Kun vaaditaan, että 0 = M x x 2 Lemma 1. Olkoon V R n lineaarinen aliavaruus. Lineaarisen kuvauksen F : V R m kuvajoukko F (V R m on lineaarinen aliavaruus, joka koostuu lineaarisen kuvauksen F matriisin M pystyvektorien {M i : i 1,...

Lisätiedot

Kohdeyleisö: toisen vuoden teekkari

Kohdeyleisö: toisen vuoden teekkari Julkinen opetusnäyte Yliopisto-opettajan tehtävä, matematiikka Klo 8:55-9:15 TkT Simo Ali-Löytty Aihe: Lineaarisen yhtälöryhmän pienimmän neliösumman ratkaisu Kohdeyleisö: toisen vuoden teekkari 1 y y

Lisätiedot

MS-C1340 Lineaarialgebra ja

MS-C1340 Lineaarialgebra ja MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille

Lisätiedot

Päättelyn voisi aloittaa myös edellisen loppupuolelta ja näyttää kuten alkupuolella, että välttämättä dim W < R 1 R 1

Päättelyn voisi aloittaa myös edellisen loppupuolelta ja näyttää kuten alkupuolella, että välttämättä dim W < R 1 R 1 Lineaarialgebran kertaustehtävien b ratkaisuista. Määritä jokin kanta sille reaalikertoimisten polynomien lineaariavaruuden P aliavaruudelle, jonka virittää polynomijoukko {x, x+, x x }. Ratkaisu. Olkoon

Lisätiedot

Määritelmä 1. Olkoot V ja W lineaariavaruuksia kunnan K yli. Kuvaus L : V. Termejä: Lineaarikuvaus, Lineaarinen kuvaus.

Määritelmä 1. Olkoot V ja W lineaariavaruuksia kunnan K yli. Kuvaus L : V. Termejä: Lineaarikuvaus, Lineaarinen kuvaus. 1 Lineaarikuvaus 1.1 Määritelmä Määritelmä 1. Olkoot V ja W lineaariavaruuksia kunnan K yli. Kuvaus L : V W on lineaarinen, jos (a) L(v + w) = L(v) + L(w); (b) L(λv) = λl(v) aina, kun v, w V ja λ K. Termejä:

Lisätiedot

Ortogonaaliprojektio äärellisulotteiselle aliavaruudelle

Ortogonaaliprojektio äärellisulotteiselle aliavaruudelle Ortogonaaliprojektio äärellisulotteiselle aliavaruudelle Olkoon X sisätuloavaruus ja Y X äärellisulotteinen aliavaruus. Tällöin on olemassa lineaarisesti riippumattomat vektorit y 1, y 2,..., yn, jotka

Lisätiedot

802320A LINEAARIALGEBRA OSA III

802320A LINEAARIALGEBRA OSA III 802320A LINEAARIALGEBRA OSA III Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 56 Määritelmä Määritelmä 1 Olkoot V ja W lineaariavaruuksia kunnan K yli. Kuvaus L : V

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 14 R. Kangaslampi matriisiteoriaa Matriisinormi

Lisätiedot

Ortogonaalisen kannan etsiminen

Ortogonaalisen kannan etsiminen Ortogonaalisen kannan etsiminen Lause 94 (Gramin-Schmidtin menetelmä) Oletetaan, että B = ( v 1,..., v n ) on sisätuloavaruuden V kanta. Merkitään V k = span( v 1,..., v k ) ja w 1 = v 1 w 2 = v 2 v 2,

Lisätiedot

1 Sisätulo- ja normiavaruudet

1 Sisätulo- ja normiavaruudet 1 Sisätulo- ja normiavaruudet 1.1 Sisätuloavaruus Määritelmä 1. Olkoon V reaalinen vektoriavaruus. Kuvaus : V V R on reaalinen sisätulo eli pistetulo, jos (a) v w = w v (symmetrisyys); (b) v + u w = v

Lisätiedot

Ominaisvektoreiden lineaarinen riippumattomuus

Ominaisvektoreiden lineaarinen riippumattomuus Ominaisvektoreiden lineaarinen riippumattomuus Lause 17 Oletetaan, että A on n n -matriisi. Oletetaan, että λ 1,..., λ m ovat matriisin A eri ominaisarvoja, ja oletetaan, että v 1,..., v m ovat jotkin

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35 Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen

Lisätiedot

3.4 Käänteiskuvauslause ja implisiittifunktiolause

3.4 Käänteiskuvauslause ja implisiittifunktiolause 3.4 Käänteiskuvauslause ja implisiittifunktiolause Tässä luvussa käsitellään kahta keskeistä vektorianalyysin lausetta. Esitellään aluksi kyseiset lauseet ja tutustutaan niiden käyttötapoihin. Lause 3.4.1

Lisätiedot

4.3.6 Eräitä diskreettejä Markov-kenttiä

4.3.6 Eräitä diskreettejä Markov-kenttiä 0.4 0.35 Gauss l1 Cauchy 0.3 0.25 0.2 0.15 0.1 0.05 0 10 8 6 4 2 0 2 4 6 8 10 Kuva 4.20: L2-priorin tnft, Cauchy-priorin tntf kun α = α = 2. 2π π 2π ja L1-priorin tntf kun 4.3.6 Eräitä diskreettejä Markov-kenttiä

Lisätiedot

1 Lineaariavaruus eli Vektoriavaruus

1 Lineaariavaruus eli Vektoriavaruus 1 Lineaariavaruus eli Vektoriavaruus 1.1 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä V epätyhjä joukko. Oletetaan, että joukossa V on määritelty laskutoimitus

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi

Lisätiedot

Paikannuksen matematiikka MAT

Paikannuksen matematiikka MAT TA M P E R E U N I V E R S I T Y O F T E C H N O L O G Y M a t h e m a t i c s Paikannuksen matematiikka MAT-45800 4..008. p.1/4 Käytännön järjestelyt Kotisivu: http://math.tut.fi/courses/mat-45800/ Luennot:

Lisätiedot

Pienimmän neliösumman menetelmä (PNS)

Pienimmän neliösumman menetelmä (PNS) neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1

Lisätiedot

Pienimmän neliösumman menetelmä (PNS)

Pienimmän neliösumman menetelmä (PNS) neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1

Lisätiedot

Pienimmän neliösumman menetelmä (PNS)

Pienimmän neliösumman menetelmä (PNS) neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1

Lisätiedot

Tehtäväsarja I Kerrataan lineaarikuvauksiin liittyviä todistuksia ja lineaarikuvauksen muodostamista. Sarjaan liittyvät Stack-tehtävät: 1 ja 2.

Tehtäväsarja I Kerrataan lineaarikuvauksiin liittyviä todistuksia ja lineaarikuvauksen muodostamista. Sarjaan liittyvät Stack-tehtävät: 1 ja 2. HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2016 Harjoitus 3 Ratkaisut palautettava viimeistään maanantaina 29.8.2016 klo 13.15. Tehtäväsarja I Kerrataan lineaarikuvauksiin liittyviä

Lisätiedot

Matriisiteoria Harjoitus 1, kevät Olkoon. cos α sin α A(α) = . sin α cos α. Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on?

Matriisiteoria Harjoitus 1, kevät Olkoon. cos α sin α A(α) = . sin α cos α. Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on? Harjoitus 1, kevät 007 1. Olkoon [ ] cos α sin α A(α) =. sin α cos α Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on?. Olkoon a x y A = 0 b z, 0 0 c missä a, b, c 0. Määrää käänteismatriisi

Lisätiedot

1 Kertaus. Lineaarinen optimointitehtävä on muotoa:

1 Kertaus. Lineaarinen optimointitehtävä on muotoa: 1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n

Lisätiedot

Kertausta: avaruuden R n vektoreiden pistetulo

Kertausta: avaruuden R n vektoreiden pistetulo Kertausta: avaruuden R n vektoreiden pistetulo Määritelmä Vektoreiden v R n ja w R n pistetulo on v w = v 1 w 1 + v 2 w 2 + + v n w n. Huom. Pistetulo v w on reaaliluku! LM2, Kesä 2012 227/310 Kertausta:

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos: 8 Kanta Tässä luvussa tarkastellaan aliavaruuden virittäjävektoreita, jotka muodostavat lineaarisesti riippumattoman jonon. Merkintöjen helpottamiseksi oletetaan luvussa koko ajan, että W on vektoreiden

Lisätiedot

(1.1) Ae j = a k,j e k.

(1.1) Ae j = a k,j e k. Lineaarikuvauksen determinantti ja jälki 1. Lineaarikuvauksen matriisi. Palautetaan mieleen, mikä lineaarikuvauksen matriisi annetun kannan suhteen on. Olkoot V äärellisulotteinen vektoriavaruus, n = dim

Lisätiedot

Ominaisarvo ja ominaisvektori

Ominaisarvo ja ominaisvektori Määritelmä Ominaisarvo ja ominaisvektori Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka

Lisätiedot

12. Hessen matriisi. Ääriarvoteoriaa

12. Hessen matriisi. Ääriarvoteoriaa 179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä

Lisätiedot

Luento 8: Epälineaarinen optimointi

Luento 8: Epälineaarinen optimointi Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään

Lisätiedot

Iteratiiviset ratkaisumenetelmät

Iteratiiviset ratkaisumenetelmät Iteratiiviset ratkaisumenetelmät Keijo Ruotsalainen Division of Mathematics Yleinen iteraatio Lineaarisen yhtälöryhmän iteratiivinen ratkaisumenetelmä voidaan esittää muodossa: Anna alkuarvaus: x 0 R n

Lisätiedot

Pienimmän Neliösumman menetelmä (PNS)

Pienimmän Neliösumman menetelmä (PNS) neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1

Lisätiedot

Luento 8: Epälineaarinen optimointi

Luento 8: Epälineaarinen optimointi Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään

Lisätiedot

MS-C1340 Lineaarialgebra ja

MS-C1340 Lineaarialgebra ja MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Lineaarikuvaukset Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Lineaarikuvaukset Lineaarikuvaus Olkoot U ja V

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Lineaarikuvaukset Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 16 R. Kangaslampi Vektoriavaruudet Lineaarikuvaus

Lisätiedot

Sisätuloavaruudet. 4. lokakuuta 2006

Sisätuloavaruudet. 4. lokakuuta 2006 Sisätuloavaruudet 4. lokakuuta 2006 Tässä esityksessä vektoriavaruudet V ja W ovat kompleksisia ja äärellisulotteisia. Käydään ensin lyhyesti läpi määritelmiä ja perustuloksia. Merkitään L(V, W ) :llä

Lisätiedot

Kuvaus. Määritelmä. LM2, Kesä /160

Kuvaus. Määritelmä. LM2, Kesä /160 Kuvaus Määritelmä Oletetaan, että X ja Y ovat joukkoja. Kuvaus eli funktio joukosta X joukkoon Y on sääntö, joka liittää jokaiseen joukon X alkioon täsmälleen yhden alkion, joka kuuluu joukkoon Y. Merkintä

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Määritelmä Olkoon T i L (V i, W i ), 1 i m. Yksikäsitteisen lineaarikuvauksen h L (V 1 V 2 V m, W 1 W 2 W m )

Määritelmä Olkoon T i L (V i, W i ), 1 i m. Yksikäsitteisen lineaarikuvauksen h L (V 1 V 2 V m, W 1 W 2 W m ) Määritelmä 519 Olkoon T i L V i, W i, 1 i m Yksikäsitteisen lineaarikuvauksen h L V 1 V 2 V m, W 1 W 2 W m h v 1 v 2 v m T 1 v 1 T 2 v 2 T m v m 514 sanotaan olevan kuvausten T 1,, T m indusoima ja sitä

Lisätiedot

x = y x i = y i i = 1, 2; x + y = (x 1 + y 1, x 2 + y 2 ); x y = (x 1 y 1, x 2 + y 2 );

x = y x i = y i i = 1, 2; x + y = (x 1 + y 1, x 2 + y 2 ); x y = (x 1 y 1, x 2 + y 2 ); LINEAARIALGEBRA Harjoituksia, Syksy 2016 1. Olkoon n Z +. Osoita, että (R n, +, ) on lineaariavaruus, kun vektoreiden x = (x 1,..., x n ), y = (y 1,..., y n ) identtisyys, yhteenlasku ja reaaliluvulla

Lisätiedot

Lineaarialgebra ja matriisilaskenta II. LM2, Kesä /141

Lineaarialgebra ja matriisilaskenta II. LM2, Kesä /141 Lineaarialgebra ja matriisilaskenta II LM2, Kesä 2012 1/141 Kertausta: avaruuden R n vektorit Määritelmä Oletetaan, että n {1, 2, 3,...}. Avaruuden R n alkiot ovat jonoja, joissa on n kappaletta reaalilukuja.

Lisätiedot

Lineaarikuvauksen R n R m matriisi

Lineaarikuvauksen R n R m matriisi Lineaarikuvauksen R n R m matriisi Lauseessa 21 osoitettiin, että jokaista m n -matriisia A vastaa lineaarikuvaus L A : R n R m, jolla L A ( v) = A v kaikilla v R n. Osoitetaan seuraavaksi käänteinen tulos:

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33

Numeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33 Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden

Lisätiedot

Vektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on

Vektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on 13 Pistetulo Avaruuksissa R 2 ja R 3 on totuttu puhumaan vektorien pituuksista ja vektoreiden välisistä kulmista. Kuten tavallista, näiden käsitteiden yleistäminen korkeampiulotteisiin avaruuksiin ei onnistu

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 10 1 Lokaalit ääriarvot Yhden muuttujan funktion f (x) lokaali maksimi on piste x 0, jossa f (x) on suurempi kuin muualle pisteen x 0 ympäristössä, eli kun f (x 0 )

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2

Lisätiedot

Alkeismuunnokset matriisille, sivu 57

Alkeismuunnokset matriisille, sivu 57 Lineaarialgebra (muut ko) p. 1/88 Alkeismuunnokset matriisille, sivu 57 AM1: Kahden vaakarivin vaihto AM2: Vaakarivin kertominen skalaarilla c 0 AM3: Vaakarivin lisääminen toiseen skalaarilla c kerrottuna

Lisätiedot

ARMA(p, q)-prosessin tapauksessa maksimikohdan määrääminen on moniulotteinen epälineaarinen optimointiongelma.

ARMA(p, q)-prosessin tapauksessa maksimikohdan määrääminen on moniulotteinen epälineaarinen optimointiongelma. missä µ = c φ ja C j,k = Γj k) = σ 2 φj k φ 2. ARMAp, q)-prosessin tapauksessa maksimikohdan määrääminen on moniulotteinen epälineaarinen optimointiongelma. Käytännösssä optimointi tehdään numeerisesti

Lisätiedot

Matriisilaskenta, LH4, 2004, ratkaisut 1. Hae seuraavien R 4 :n aliavaruuksien dimensiot, jotka sisältävät vain

Matriisilaskenta, LH4, 2004, ratkaisut 1. Hae seuraavien R 4 :n aliavaruuksien dimensiot, jotka sisältävät vain Matriisilaskenta LH4 24 ratkaisut 1 Hae seuraavien R 4 :n aliavaruuksien dimensiot jotka sisältävät vain a) Kaikki muotoa (a b c d) olevat vektorit joilla d a + b b) Kaikki muotoa (a b c d) olevat vektorit

Lisätiedot

6. OMINAISARVOT JA DIAGONALISOINTI

6. OMINAISARVOT JA DIAGONALISOINTI 0 6 OMINAISARVOT JA DIAGONALISOINTI 6 Ominaisarvot ja ominaisvektorit Olkoon V äärellisulotteinen vektoriavaruus, dim(v ) = n ja L : V V lineaarikuvaus Määritelmä 6 Skalaari λ R on L:n ominaisarvo, jos

Lisätiedot

Lineaarialgebra ja matriisilaskenta II Syksy 2009 Laskuharjoitus 1 ( ) Ratkaisuehdotuksia Vesa Ala-Mattila

Lineaarialgebra ja matriisilaskenta II Syksy 2009 Laskuharjoitus 1 ( ) Ratkaisuehdotuksia Vesa Ala-Mattila Lineaarialgebra ja matriisilaskenta II Syksy 29 Laskuharjoitus (9. - 3..29) Ratkaisuehdotuksia Vesa Ala-Mattila Tehtävä. Olkoon V vektoriavaruus. Todistettava: jos U V ja W V ovat V :n aliavaruuksia, niin

Lisätiedot

Harjoitusten 5 vastaukset

Harjoitusten 5 vastaukset Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin

Lisätiedot

Monissa käytännön ongelmissa ei matriisiyhtälölle Ax = b saada ratkaisua, mutta approksimaatio on silti käyttökelpoinen.

Monissa käytännön ongelmissa ei matriisiyhtälölle Ax = b saada ratkaisua, mutta approksimaatio on silti käyttökelpoinen. Pns ratkaisu (Kr. 20.5, Lay 6.5 C-II/KP-II, 20, Kari Eloranta Monissa käytännön ongelmissa ei matriisiyhtälölle Ax = b saada ratkaisua, mutta approksimaatio on silti käyttökelpoinen. Määritelmä Jos A on

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi A. Lepistö alepisto@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2016 M. Hirvensalo V. Junnila A. Lepistö

Lisätiedot

. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1

. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1 TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-.39 Optimointioppi Kimmo Berg 8. harjoitus - ratkaisut. a)huomataan ensinnäkin että kummankin jonon raja-arvo r on nolla. Oletetaan lisäksi että

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 3 Ti 13.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 3 Ti 13.9.2011 p. 1/37 p. 1/37 Epälineaariset yhtälöt Newtonin menetelmä: x n+1 = x n f(x n) f (x n ) Sekanttimenetelmä:

Lisätiedot

Bijektio. Voidaan päätellä, että kuvaus on bijektio, jos ja vain jos maalin jokaiselle alkiolle kuvautuu tasan yksi lähdön alkio.

Bijektio. Voidaan päätellä, että kuvaus on bijektio, jos ja vain jos maalin jokaiselle alkiolle kuvautuu tasan yksi lähdön alkio. Määritelmä Bijektio Oletetaan, että f : X Y on kuvaus. Sanotaan, että kuvaus f on bijektio, jos se on sekä injektio että surjektio. Huom. Voidaan päätellä, että kuvaus on bijektio, jos ja vain jos maalin

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot

Lisätiedot

2.5. Matriisin avaruudet ja tunnusluvut

2.5. Matriisin avaruudet ja tunnusluvut 2.5. Matriisin avaruudet ja tunnusluvut m n-matriisi A Lineaarikuvaus A : V Z, missä V ja Z ovat sopivasti valittuja, dim V = n, dim Z = m (yleensä V = R n tai C n ja Z = R m tai C m ) Kuva-avaruus ja

Lisätiedot

Talousmatematiikan perusteet: Luento 10. Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi

Talousmatematiikan perusteet: Luento 10. Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi Talousmatematiikan perusteet: Luento 10 Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi Lineaarikuvaus Esim. Yritys tekee elintarviketeollisuuden käyttämää puolivalmistetta, jossa käytetään

Lisätiedot

Konjugaattigradienttimenetelmä

Konjugaattigradienttimenetelmä Konjugaattigradienttimenetelmä Keijo Ruotsalainen Division of Mathematics Konjugaattigradienttimenetelmä Oletukset Matriisi A on symmetrinen: A T = A Positiivisesti definiitti: x T Ax > 0 kaikille x 0

Lisätiedot

Lineaarialgebra ja matriisilaskenta I

Lineaarialgebra ja matriisilaskenta I Lineaarialgebra ja matriisilaskenta I 6.6.2013 HY / Avoin yliopisto Jokke Häsä, 1/22 Kertausta: Kääntyvien matriisien lause Lause 1 Oletetaan, että A on n n -neliömatriisi. Seuraavat ehdot ovat yhtäpitäviä.

Lisätiedot

Pienimmän neliösumman menetelmä

Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmä Keijo Ruotsalainen Division of Mathematics Funktion sovitus Datapisteet (x 1,...,x n ) Annettu data y i = f(x i )+η i, missä f(x) on tuntematon funktio ja η i mittaukseen

Lisätiedot

Ominaisarvo ja ominaisvektori

Ominaisarvo ja ominaisvektori Ominaisarvo ja ominaisvektori Määritelmä Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka

Lisätiedot

1 Rajoittamaton optimointi

1 Rajoittamaton optimointi Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y

Lisätiedot

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0. Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +

Lisätiedot

Lineaarialgebra ja matriisilaskenta I

Lineaarialgebra ja matriisilaskenta I Lineaarialgebra ja matriisilaskenta I 30.5.2013 HY / Avoin yliopisto Jokke Häsä, 1/19 Käytännön asioita Kurssi on suunnilleen puolessa välissä. Kannattaa tarkistaa tavoitetaulukosta, mitä on oppinut ja

Lisätiedot

6 MATRIISIN DIAGONALISOINTI

6 MATRIISIN DIAGONALISOINTI 6 MATRIISIN DIAGONALISOINTI Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T Muistutus: vektorien a ja b pistetulo (skalaaritulo,

Lisätiedot

Taustatietoja ja perusteita

Taustatietoja ja perusteita Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1 Avoin pallo:

Lisätiedot

5.1. Normi ja suppeneminen Vektoriavaruus V on normiavaruus, jos siinä on määritelty normi : V R + = [0, ) jolla on ominaisuudet:

5.1. Normi ja suppeneminen Vektoriavaruus V on normiavaruus, jos siinä on määritelty normi : V R + = [0, ) jolla on ominaisuudet: 5.. Normi ja suppeneminen Vektoriavaruus V on normiavaruus, jos siinä on määritelty normi : V R + = [, ) jolla on ominaisuudet: x = x = x + y x + y, x, y V a x = a x, x V, a K (= R tai C) Esimerkki 5..

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M Hirvensalo mikhirve@utufi V Junnila viljun@utufi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M Hirvensalo mikhirve@utufi V Junnila viljun@utufi Luentokalvot 5 1

Lisätiedot

Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja

Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja 7 NELIÖMATRIISIN DIAGONALISOINTI. Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T () Muistutus: Kokoa n olevien vektorien

Lisätiedot

Lineaarialgebra ja matriisilaskenta I

Lineaarialgebra ja matriisilaskenta I Lineaarialgebra ja matriisilaskenta I 4.6.2013 HY / Avoin yliopisto Jokke Häsä, 1/19 Käytännön asioita Viimeiset harjoitukset on palautettava torstaina 13.6. Laskaripisteensä ja läsnäolonsa voi kukin tarkistaa

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21

Lisätiedot

4.2.2 Uskottavuusfunktio f Y (y 0 X = x)

4.2.2 Uskottavuusfunktio f Y (y 0 X = x) Kuva 4.6: Elektroniikassa esiintyvän lämpökohinan periaate. Lämpökohinaa ε mallinnetaan additiivisella häiriöllä y = Mx + ε. 4.2.2 Uskottavuusfunktio f Y (y 0 X = x) Tarkastellaan tilastollista inversio-ongelmaa,

Lisätiedot

2. Teoriaharjoitukset

2. Teoriaharjoitukset 2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien

Lisätiedot

1 Singulaariarvohajoitelma

1 Singulaariarvohajoitelma 1 Singulaariarvohajoitelma Tähän mennessä on tutkittu yhtälöryhmän Ax = y ratkaisuja ja törmätty tapauksiin joissa yhtälöryhmällä on yksikäsitteinen ratkaisu ("helppo"tapaus) yhtälöryhmällä on ääretön

Lisätiedot

HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina klo

HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina klo HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina 10.8.2015 klo 16.15. Tehtäväsarja I Tutustu lukuun 15, jossa vektoriavaruuden

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33

Numeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33 Numeeriset menetelmät TIEA381 Luento 12 Kirsi Valjus Jyväskylän yliopisto Luento 12 () Numeeriset menetelmät 25.4.2013 1 / 33 Luennon 2 sisältö Tavallisten differentiaaliyhtälöiden numeriikasta Rungen

Lisätiedot

Singulaariarvohajotelma ja pseudoinverssi

Singulaariarvohajotelma ja pseudoinverssi HELSINGIN YLIOPISTO Pro gradu -tutkielma Niko Kaitarinne Singulaariarvohajotelma ja pseudoinverssi Matematiikan ja tilastotieteen laitos Matematiikka Helmikuu 01 Helsingin yliopisto Matematiikan ja tilastotieteen

Lisätiedot

Talousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu

Talousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Talousmatematiikan perusteet: Luento 13 Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Viime luennolla Aloimme tarkastella yleisiä, usean muuttujan funktioita

Lisätiedot

y x1 σ t 1 = c y x 1 σ t 1 = y x 2 σ t 2 y x 2 x 1 y = σ(t 2 t 1 ) x 2 x 1 y t 2 t 1

y x1 σ t 1 = c y x 1 σ t 1 = y x 2 σ t 2 y x 2 x 1 y = σ(t 2 t 1 ) x 2 x 1 y t 2 t 1 1. Tarkastellaan funktiota missä σ C ja y (y 1,..., y n ) R n. u : R n R C, u(x, t) e i(y x σt), (a) Miksi funktiota u(x, t) voidaan kutsua tasoaalloksi, jonka aaltorintama on kohtisuorassa vektorin y

Lisätiedot

Tehtäväsarja I Seuraavat tehtävät liittyvät kurssimateriaalin lukuun 7 eli vapauden käsitteeseen ja homogeenisiin

Tehtäväsarja I Seuraavat tehtävät liittyvät kurssimateriaalin lukuun 7 eli vapauden käsitteeseen ja homogeenisiin HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta I, kesä 2014 Harjoitus 4 Ratkaisujen viimeinen palautuspäivä: pe 662014 klo 1930 Tehtäväsarja I Seuraavat tehtävät liittyvät kurssimateriaalin lukuun

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 9 1 Implisiittinen derivointi Tarkastellaan nyt yhtälöä F(x, y) = c, jossa x ja y ovat muuttujia ja c on vakio Esimerkki tällaisesta yhtälöstä on x 2 y 5 + 5xy = 14

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 5. Kirsi Valjus. Jyväskylän yliopisto. Luento 5 () Numeeriset menetelmät / 28

Numeeriset menetelmät TIEA381. Luento 5. Kirsi Valjus. Jyväskylän yliopisto. Luento 5 () Numeeriset menetelmät / 28 Numeeriset menetelmät TIEA381 Luento 5 Kirsi Valjus Jyväskylän yliopisto Luento 5 () Numeeriset menetelmät 3.4.2013 1 / 28 Luennon 5 sisältö Luku 4: Ominaisarvotehtävistä Potenssiinkorotusmenetelmä QR-menetelmä

Lisätiedot

Funktion raja-arvo ja jatkuvuus Reaali- ja kompleksifunktiot

Funktion raja-arvo ja jatkuvuus Reaali- ja kompleksifunktiot 3. Funktion raja-arvo ja jatkuvuus 3.1. Reaali- ja kompleksifunktiot 43. Olkoon f monotoninen ja rajoitettu välillä ]a,b[. Todista, että raja-arvot lim + f (x) ja lim x b f (x) ovat olemassa. Todista myös,

Lisätiedot

1 Määrittelyjä ja aputuloksia

1 Määrittelyjä ja aputuloksia 1 Määrittelyjä ja aputuloksia 1.1 Supremum ja infimum Aluksi kerrataan pienimmän ylärajan (supremum) ja suurimman alarajan (infimum) perusominaisuuksia ja esitetään muutamia myöhemmissä todistuksissa tarvittavia

Lisätiedot

Luku 4. Derivoituvien funktioiden ominaisuuksia.

Luku 4. Derivoituvien funktioiden ominaisuuksia. 1 MAT-1343 Laaja matematiikka 3 TTY 1 Risto Silvennoinen Luku 4 Derivoituvien funktioiden ominaisuuksia Derivaatan olemassaolosta seuraa funktioille eräitä säännöllisyyksiä Näistä on jo edellisessä luvussa

Lisätiedot

Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44

Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Tehtävät 1-3 lasketaan alkuviikon harjoituksissa, verkkotehtävien dl on lauantaina aamuyöllä. Tehtävät 4 ja 5 lasketaan loppuviikon harjoituksissa.

Lisätiedot

Insinöörimatematiikka D

Insinöörimatematiikka D Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot

Lisätiedot

(0 desimaalia, 2 merkitsevää numeroa).

(0 desimaalia, 2 merkitsevää numeroa). NUMEERISET MENETELMÄT DEMOVASTAUKSET SYKSY 20.. (a) Absoluuttinen virhe: ε x x ˆx /7 0.4 /7 4/00 /700 0.004286. Suhteellinen virhe: ρ x x ˆx x /700 /7 /00 0.00 0.%. (b) Kahden desimaalin tarkkuus x ˆx

Lisätiedot