MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

Vektoriavaruudet MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Vektoriavaruus Vektoriavaruus on matemaattinen struktuuri, joka on lineaarialgebran peruskäsite. Vektoriavaruuksia käytetään paljon erityisesti matriisilaskennassa ja funktionaalianalyysissa. Vektoriavaruutta ajatellaan joukkona, johon on määritelty kaksi laskutoimitusta: alkioiden summa ja ns. skalaarilla kertominen. Skalaarit kuuluvat tiettyyn kerroinkuntaan K, esim. R tai C. Vektoriavaruuden alkioita kutsutaan vektoreiksi (vaikka ne siis eivät ollenkaan aina ole perinteisiä vektoreita). 2 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Vektoriavaruus Määritelmä 1 Joukkoa V sanotaan vektoriavaruudeksi, jos V :n alkioille on määritelty yhteenlasku + : V V V ja skalaarilla kertominen : K V V siten, että (1) (u + v) + w = u + (v + w) u, v, w V (liitäntälaki) (2) On olemassa alkio 0 V, (nolla-alkio) s.e. v + 0 = v v V (3) jokaisella v V on olemassa v V s.e. (vasta-alkio) v + ( v) = 0 (4) u + v = v + u u, v V (vaihdantalaki) (5) α (u + v) = α u + α v α K, u, v V (osittelulaki) (6) (α + β) v = α v + β v α, β K, v V (osittelulaki) (7) α (β v) = (α β) v α, β K, v V (liitäntälaki) (8) 1 v = v v V. (yksikköalkio) 3 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Vektoriavaruus Esimerkki 2 (Vektoriavaruuksia) R, R 2, R n varustettuna tutuilla kerto- ja yhteenlaskuilla V = {v R 2 v 2 = mv 1 }, tavalliset tason vektorien yhteenlasku ja reaaliluvulla kertominen Kaikkien reaalisten m n -matriisien muodostama joukko R m n, matriisien yhteenlasku ja reaaliluvulla kertominen Korkeintaan toista astetta olevien x :n polynomien joukko P 2 = {p p(x) = a 0 + a 1 x + a 2 x 2, a 0, a 1, a 2 C}, polynomien yhteenlasku ja skalaarilla kertominen samoin P n, P välillä [a, b] jatkuvien reaaliarvoisten funktioiden joukko C[a, b] 4 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Vektoriavaruus Esimerkki 3 (Eivät vektoriavaruuksia) V = {v R 2 v 2 = mv 1 1}, eli ne tason vektorit, jotka muodostavat suoran y = mx 1. V ei voi olla vektoriavaruus koska 0 V. W = {(x, sin(x)) x R} normaalein vektorien laskusäännöin ei ole vektoriavaruus, sillä (π/2, sin(π/2)) + (π, sin π) = (3π/2, 1) (3π/2, sin(3π/2)). 5 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Vektorialiavaruus Määritelmä 4 K -kertoimisen vektoriavaruuden V ei-tyhjä osajoukko S V on V :n aliavaruus, jos pätee a) u, v S u + v S, b) v S, α K α v S, kun käytetään V :ssä määriteltyjä laskutoimituksia. Ehdot a) ja b) voidaan kirjoittaa yhteen ekvivalentiksi ehdoksi: u, v S, α, β K α u + β v S. 6 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Vektorialiavaruus Esimerkki 5 Vektoriavaruuden R 3 kaikki vektorialiavaruudet ovat triviaaliavaruus {(0, 0, 0)} origon kautta kulkevat suorat origon kautta kulkevat tasot avaruus R 3 itse Esimerkki 6 Onko S = {v R 2 v 1 0} vektoriavaruuden R 2 aliavaruus? Ei, sillä S ei ole skalaarilla kertomisen suhteen suljettu: esim. 1 (1, 1) / S. 7 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Vektorialiavaruus Määritelmä 7 Ei-tyhjän joukon S V viritelmä (engl. span) sp(s) on kaikkien S :n alkioista muodostettujen lineaarikombinaatioiden joukko eli sp(s) = { u V u = n a i s i, a i K, s i S, 1 n < }. i=1 Viritelmä on aina alkuperäisen joukon aliavaruus. Jos U = sp(v 1,..., v k ), vektorijoukko {v 1,..., v k } virittää U :n. 8 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kanta Määritelmä 8 Vektoriavaruuden osajoukko {v 1, v 2,..., v n } on lineaarisesti riippumaton, jos nollavektori voidaan esittää näiden lineaarikombinaationa vain siten, että kaikki kertoimet ovat nollia, eli kun c 1 = c 2 = = c n = 0 on yhtälön c 1 v 1 + c 2 v 2 +... + c n v n = 0 ainoa ratkaisu. Jos muitakin ratkaisuja on, niin joukkoa {v 1, v 2,..., v n } sanotaan lineaarisesti riippuvaksi. 9 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kanta Lause 9 Vektorijoukko {v 1, v 2,..., v n } on lineaarisesti riippuva jos ja vain jos jokin vektoreista voidaan esittää muiden vektoreiden lineaarikombinaationa. Esimerkki 10 Olkoon p 1 (t) = 1, p 2 (t) = t, p 3 (t) = 4 t. Joukko {p 1, p 2, p 3 } P 1 on lineaarisesti riippuva, sillä p 3 = 4p 1 p 2. 10 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kanta Määritelmä 11 Vektoriavaruuden V äärellistä osajoukkoa B = {b 1, b 2,..., b n } sanotaan V :n kannaksi, jos se on lineaarisesti riippumaton ja virittää V :n. Vektoriavaruuden V dimensio, dim(v ), on V :n kantavektoreiden lukumäärä. Dimension määritelmä on järkevä: vaikka kantavektorit voidaan valita monella tavalla, niitä on aina sama määrä! Tämä nähdään seuraavasta: Lause 12 Olkoon V vektoriavaruus. Jos joukko {w 1, w 2,..., w n } virittää V :n ja {v 1, v 2,..., v k } V on lineaarisesti riippumaton joukko, niin n k. 11 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kanta Sanotaan, että vektoriavaruus V on ääretönulotteinen, dim(v ) =, jos on olemassa vektorijono {v 1, v 2,... } V siten, että joukko {v 1,..., v n } on lineaarisesti riippumaton kaikilla n N. Esimerkki 13 Ääretönulotteisia vektoriavaruuksia ovat esim. kaikkien rajoitettujen lukujonojen joukko l kaikkien polynomien muodostama avaruus P kaikkien välillä [a, b] jatkuvien funktioiden vektoriavaruus C[a, b] 12 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kanta Lause 14 Jos dim(v ) = n ja {v 1,..., v n } V on lineaarisesti riippumaton, niin se on V :n kanta. Lause 15 Jos B = {b 1, b 2,..., b n } on vektoriavaruuden V kanta, niin jokainen vektori v V voidaan esittää muodossa v = c 1 b 1 + c 2 b 2 + + c n b n täsmälleen yhdellä tavalla. 13 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kannanvaihto Ongelma: tunnetaan vektorin esitys kannassa B = {b 1, b 2,..., b n } ja halutaan vaihtaa toiseen kantaan U = {u 1, u 2,..., u n }. Merkitään vektorin v koordinaatteja näissä kannoissa [v] B = (β 1,..., β n ) ja [v] U = (η 1,..., η n ). Jos b j = n i=1 s ij u i, j = 1,..., n, niin v = n η i u i = i=1 n β j b j = j=1 n j=1 β j n s ij u i = i=1 n ( n ) s ij β j u i. i=1 j=1 Vektorin koordinaatit (kannassa U ) ovat yksikäsitteiset, joten η i = n j=1 s ij β j, i = 1,..., n. 14 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kannanvaihto s 11... s 1n Merkitään S =... s n1... s nn Tällöin koordinaattien välinen yhtälö on [v] U = S [v] B. Matriisia S kutsutaan kannanvaihtomatriisiksi. Se on aina kääntyvä, joten vanhat koordinaatit saadaan uusista vastaavasti [v] B = S 1 [v] U. 15 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kannanvaihto Esimerkki 16 Tarkastellaan R 2 :n kantoja B = {b 1, b 2 } ja C = {c 1, c 2 }, missä b 1 = [ ] 9, b 1 2 = [ ] [ ] [ ] 5 1 3, c 1 1 =, c 4 2 =. 5 Etsi kannanvaihtomatriisi kannasta B kantaan C. Ratkaisu: Halutaan siis löytää kertoimet, joilla B:n kantavektorit voidaan esittää C:n kantavektorien avulla, eli kertoimet x 1, x 2, y 1, y 2 siten, että [ ] [ ] x c1 c 1 2 x 2 = b 1 ja [ ] [ ] y c1 c 1 2 = b y 2. 2 16 / 17 R. Kangaslampi Vektoriavaruudet

Vektoriavaruudet Kannanvaihto Yhtälöt voidaan ratkaista kerralla tekemällä liittomatriisi [ c1 c 2 b 1 b 2 ] ja käyttämällä siihen Gaussin algoritmia. Saadaan [ ] 1 3 9 5 4 5 1 1 [ ] 1 0 6 4. 0 1 5 3 [ ] 6 4 Kannanvaihtomatriisi B:stä C:hen on siis. 5 3 [ ] [ ] [ ] 1 6 4 1 Esimerkiksi, jos [v] B =, niin [v] 0 C = = 5 3 0 [ ] 6. 5 17 / 17 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Lineaarikuvaukset Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Olkoot U ja V K -kertoimisia vektoriavaruuksia. Määritelmä 1 Kuvaus T : U V on lineaarikuvaus, jos kaikilla x, y U ja α, β K pätee T (α x + β y) = α T (x) + β T (y). Lineaarikuvaus tunnetaan, jos tiedetään, miten se kuvaa kantavektorit. 2 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Esimerkki 2 (Lineaarikuvauksia) projektio jatkuvien kuvausten integrointi derivoituvien kuvausten derivointi matriisilla kertominen 3 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Lineaarikuvaus voidaan aina esittää matriisilla: T (x) = Ax eräällä matriisilla A. Tämän matriisin sarakkeet muodostuvat lähtöavaruuden kantavektorien kuvien koordinaattivektoreista. On siis muistettava, että lineaarikuvauksen matriisiesitys riippuu valituista kannoista! Kun halutaan korostaa sitä, missä avaruuksien U ja V kannoissa B U ja B V matriisi on määritelty, merkitään: A = [T ] BU,B V. 4 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Esimerkki 3 Olkoon T : P 3 P 3 lineaarikuvaus T (p)(x) = p(2 x). Olkoon P 3 :ssa kanta B = {p 1, p 2, p 3, p 4 } = {1, x, x 2, x 3 }. Saadaan T (p 1 )(x) = 1 = p 1 (x) T (p 2 )(x) = 2 x = (2p 1 p 2 )(x) T (p 3 )(x) = (2 x) 2 = 4 4x + x 2 = (4p 1 4p 2 + p 3 )(x) T (p 4 )(x) = (2 x) 3 = (8p 1 12p 2 + 6p 3 p 4 )(x) Siispä T :n matriisiksi kannassa B saadaan 1 2 4 8 [T ] B = 0 1 4 12 0 0 1 6. 0 0 0 1 5 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Esimerkki 4 Lasketaan edellisen esimerkin lineaarikuvauksen matriisi kannan ˆB = {ˆp 1, ˆp 2, ˆp 3, ˆp 4 } = {1, 1 x, (1 x) 2, (1 x) 3 } suhteen: T (ˆp 1 )(x) = 1 = ˆp 1 (x) T (ˆp 2 )(x) = 1 (2 x) = x 1 = ˆp 2 (x) T (ˆp 3 )(x) = (1 (2 x)) 2 = (x 1) 2 = ˆp 3 (x) T (ˆp 4 )(x) = (1 (2 x)) 3 = (x 1) 3 = ˆp 4 (x), joten T :n matriisi tässä kannassa on lävistäjämatriisi 1 [T ] ˆB = 1 1. 1 6 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Olkoot T : U V ja S : V W lineaarikuvauksia. Tällöin yhdistetty kuvaus ST : U W määritellään (ST )(u) = S(T (u)). Se on myös lineaarikuvaus. Olkoon avaruuksissa U, V ja W kannat B U, B V ja B W. Yhdistetun kuvauksen matriisi saadaan kertomalla kuvausten matriisit keskenään, eli [ST ] BU,B W = [S] BV,B W [T ] BU,B V. 7 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Kuva-avaruus ja nolla-avaruus Määritelmä 5 Olkoon T lineaarikuvaus U V. T :n nolla-avaruus (eli ydin) on N(T ) = {u U T u = 0} U. T :n kuva-avaruus on R(T ) = {T u u U} V. Lause 6 Olkoon T : U V lineaarikuvaus. Tällöin a) N(T ) on U :n aliavaruus ja b) R(T ) on V :n aliavaruus. 8 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Kuva-avaruus ja nolla-avaruus Matriisiin A = [a 1... a n ] R m n liittyvän lineaarikuvauksen L A : R n R m : L A (x) = A x kuva-avaruus on sen sarakkeiden viritelmä: Lause 7 R(L A ) = sp(a 1,..., a n ). Esimerkki 8 Projektiokuvauksen T : R 3 R 2, T (x) = (x 1, x 2 ) nolla-avaruus on selvästi N(T ) = {x = (0, 0, x 3 ) x 3 R} eli kantavektorin e 3 suuntaiset vektorit. T :n kuva R(T ) taas on koko R 2. 9 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Kuva-avaruus ja nolla-avaruus Määritelmä 9 Olkoon T : U V lineaarikuvaus. Määritellään T :n nulliteetti: ν(t ) = dim(n(t )). T :n rangi r(t ) = dim(r(t )). Nämä voivat olla äärellisiä tai äärettömiä. Matriisilaskussa matriisin rangi määritellään A :n sarakeavaruuden dimensioksi. Edellä olevan lauseen mukaan se on myös A :han liittyvän lineaarikuvauksen L A rangi. 10 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Lause 10 (Lineaarialgebran peruslause eli dimensiolause) Olkoon U äärellisulotteinen ja T : U V lineaarikuvaus. Tällöin r(t ) + ν(t ) = dim(u). Todistuksen idea taululla. Esimerkki 11 Neliömatriisille A C n n r(a) = n ν(a) = 0, joten kumpi tahansa näistä ehdoista takaa, että A on kääntyvä. 11 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Fakta 1: Matriisin A kuva-avaruuden kannan muodostavat ne sarakevektorit, joiden kohdalle redusoidussa porrasmuodossa on pivot-alkio. Fakta 2: Matriisin A nulliteetti on redusoidun porrasmuodon niiden sarakkeiden lukumäärä, joissa ei ole pivot-alkiota. Fakta 1:stä voi vakuuttua tarkastelemalla redusoitua porrasmuotoa: selvästi pivot-alkiolliset sarakkeet ovat lineaarisesti riippumattomat ja muut voidaan muodostaa lineaarikombinaationa niistä. Fakta 2 pohjautuu siihen, että ratkaistaessa ydintä eli yhtälöä Ax = 0 pivot-alkiottomat sarakkeet vastaavat vapaita muuttujia, ja niiden lukumäärä on ytimen dimensio. 12 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Esimerkki 12 3 6 1 1 7 Etsi matriisin A = 1 2 2 3 1 kuva-avaruus, ydin, 2 4 5 8 4 rangi ja nulliteetti. Ratkaisu: Saatetaan matriisi redusoituun porrasmuotoon Gaussin eliminaatiolla. Saadaan 1 2 2 3 1 A 0 0 1 2 2. 0 0 0 0 0 Näin ollen R(A) = sp{( 3, 1, 2) T, ( 1, 2, 5) T )} ja r(a) = 2. 13 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause (jatkuu) Ytimen dimension on ν(a) = 3. Vapaita muuttujia ovat x 2, x 4 ja x 5 ja loput ratkeavat yhtälöparista { x 1 2x 2 + 2x 3 + 3x 4 x 5 = 0, x 3 + 2x 4 2x 5 = 0. Ytimeksi saadaan 2 1 3 1 N(A) = {x 2 0 0 0 4 2 1 + x 0 5 2 0 x 2, x 4, x 5 R}. 0 0 1 14 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Lause 13 Olkoon A R n n. Tällöin seuraavat väitteet ovat yhtäpitäviä sen kanssa, että A:lla on olemassa käänteismatriisi: A:n sarakkeet muodostavan R n :n kannan Col A = R n dim Col A = n r(a) = n N(A) = {0} dim N(A) = 0 15 / 16 R. Kangaslampi Vektoriavaruudet

Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Lause 14 Olkoon T : U V lineaarikuvaus. Tällöin a) Jos vektorit u 1,..., u n ovat lineaarisesti riippuvat, niin T u 1,..., T u n ovat myös. b) Jos u 1,..., u n ovat lineaarisesti riippumattomat ja N(T ) = {0} (eli T on injektio), niin T u 1,..., T u n lineaarisesti riippumattomat. ovat Todistus taululla, jos ehditään. 16 / 16 R. Kangaslampi Vektoriavaruudet

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Normi ja sisätulo Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 1 R. Kangaslampi Normi ja sisätulo

Vektoriavaruuden laskutoimitukset Vektoriavaruudessa on aina määritelty yhteenlasku ja skalaarilla kertominen. Usein voidaan määritellä myös muita laskutoimituksia. Normiavaruus on vektoriavaruus, jossa vektoreille on määritelty pituusfunktio eli normi. Sisätuloavaruus on normiavaruus, jossa lisäksi kulmien mittaaminen on mahdollista, eli erityisesti ortogonaalisuus on määritelty. 2 / 1 R. Kangaslampi Normi ja sisätulo

Normi Määritelmä 1 Olkoon V K -kertoiminen vektoriavaruus. Kuvaus : V R on normi, jos se toteuttaa (1) v 0 v V. (2) v = 0 = v = 0. (3) u + v u + v u, v V. (4) α v = α v α K, v V. 3 / 1 R. Kangaslampi Normi ja sisätulo

Normi Esimerkki 2 Vektoriavaruudessa R n tavallisin normi on nk. euklidinen normi ( n ) x 2 = x i 2 1 2 i=1. Muita usein käytettyjä normeja R n :ssä ovat x 1 = n i=1 x i ja x = max 1 i n x i. Samoja käytetään avaruudessa C n. 4 / 1 R. Kangaslampi Normi ja sisätulo

Normi Esimerkki 3 Piirrä joukot {x R 2 x 2 1}, {x R 2 x 1 1}, {x R 2 x 1}. (Vastaus: kiekko, vinoneliö ja neliö.) 5 / 1 R. Kangaslampi Normi ja sisätulo

Normi Normin avulla myös määritellään alkioiden välinen etäisyys: d(u, v) := u v. Esimerkki 4 Laske vektoreiden u = (1, 0, 1) T ja v = (0, 2, 1) T R 3 etäisyys normeissa 2, 1 ja. d(u, v) 2 = u v 2 = (1, 2, 2) T 2 = 1 2 + ( 2) 2 + 2 2 = 3 d(u, v) 1 = u v 1 = (1, 2, 2) T 1 = 1 + 2 + 2 = 5 d(u, v) = u v = (1, 2, 2) T = 2 6 / 1 R. Kangaslampi Normi ja sisätulo

Normi Etäisyyden { avulla saadaan vektorijonojen suppeneminen: x k } V suppenee kohti vektoria x V, jos k=1 lim k xk x = 0. Normiavaruuksien välisten kuvausten jatkuvuus määritellään: F : U V on jatkuva pisteessä u 0 U, jos ɛ > 0 δ > 0 s.e. u u 0 U < δ = F (u) F (u 0 ) V < ɛ. 7 / 1 R. Kangaslampi Normi ja sisätulo

Sisätulo Määritelmä 5 Olkoon V K -kertoiminen vektoriavaruus. Kuvaus, : V V K on sisätulo, jos se toteuttaa ehdot (1) v, v 0 kaikilla v V. (2) v, v = 0 = v = 0. (3) u + v, w = u, w + v, w kaikilla u, v, w V. (4) αu, v = α u, v kaikilla α K, u, v V. (5) v, u = u, v kaikilla u, v V. 8 / 1 R. Kangaslampi Normi ja sisätulo

Sisätulo Huomioita: Vektoriavaruudesta R n tuttu vektoreiden välinen pistetulo toteuttaa sisätulon ehdot. C n :n vektoreille määritellään x, y = x T y = n i=1 x i y i. Ominaisuudet (3) ja (4) sanovat, että sisätulo on lineaarinen ensimmäisen argumentin suhteen. Toisen argumentin suhteen sisätulo on konjugoidusti lineaarinen: skalaarit saadaan ulos kompleksikonjugaatteina. Reaalisessa tapauksessa sisätulo on siten lineaarinen myös toisen argumentin suhteen. 9 / 1 R. Kangaslampi Normi ja sisätulo

Sisätulo Sisätulon avulla voidaan aina määritellä avaruuteen normi: jos V on sisätuloavaruus, asetetaan v = v, v. Sisätulon ehdoista saadaan normin ehdot (1),(2) ja (4) helposti.(3) eli kolmioepäyhtälö vaatii hieman laskemista. Se voidaan osoittaa Schwarzin epäyhtälön u, v u v avulla. (Schwarzin ey:n todistus luentomonisteessa.) 10 / 1 R. Kangaslampi Normi ja sisätulo

Sisätulo Sisätulon avulla voidaan reaalikertoimisessa avaruudessa määritellä vektoreiden väliset kulmat. Schwarzin epäyhtälön mukaan 1 u, v u v 1, joten voidaan määritellä vektoreiden u 0 ja v 0 välinen kulma ( u, v ) <) (u, v) = arccos. u v Vektorit u ja v ovat ortogonaaliset, kun <) (u, v) = π/2 eli kun u, v = 0. Ortogonaalisuus määritellään samoin kompleksikertoimisissa vektoriavaruuksissa. 11 / 1 R. Kangaslampi Normi ja sisätulo

Sisätulo Esimerkki 6 Tarkastellaan avaruutta P 2 sisätulolla p, q = 1 1 p(x)q(x) dx. Polynomit p 1 (x) = x ja p 2 (x) = x 2 ovat ortogonaaliset, sillä p 1, p 2 = 1 1 x x 2 dx = 0. Samoin p 0 (x) = 1 on ortogonaalinen p 1 :n kanssa. Sen sijaan p 0, p 2 = 1 1 x 2 dx = 2/3. Valitsemalla p 2 :n sijaan ˆp 2 (x) = x 2 1/3, saadaan ortogonaalinen joukko {p 0, p 1, ˆp 2 }. 12 / 1 R. Kangaslampi Normi ja sisätulo

Sisätulo Sisätuloavaruuden vektorijoukkoa S = {v 1,..., v k } sanotaan ortogonaaliseksi, jos kaikki sen vektorit ovat keskenään ortogonaaliset. Jos ortogonaalisen joukon vektorit ovat lisäksi pituudeltaan ykkösiä kutsutaan joukkoa ortonormaaliksi. Kanta, jonka vektorit ovat ortonormaaleja, on luonnollisesti ortonormaali kanta. 13 / 1 R. Kangaslampi Normi ja sisätulo

Sisätulo Esimerkki 7 Lasketaan edellisen esimerkin ortogonaalisten polynomien normit: p 0 2 = p 0, p 0 = 1, 1 = 1 1 1 dx = 2 p 0 = 2 p 1 2 = x, x = 1 1 x 2 dx = 2 3 p 1 = 2/3 ˆp 2 2 = x 2 1 3, x 2 3 1 1 = 1 (x 2 1 3 )2 dx = 8 45 ˆp 2 = 8/45. Täten { 1 2, 3 2 x, 3 2 5 2 (x 2 1 3 )} on ortonormaali joukko. Se on lineaarisesti riippumaton ja, koska dim(p 2 ) = 3, se on P 2 :n ortonormaali kanta. 14 / 1 R. Kangaslampi Normi ja sisätulo

Gram-Schmidt Ortonormaaleja kantoja voidaan muodostaa nk. Gram Schmidtin prosessilla. Olkoon (v 1, v 2,... ) (äärellinen tai ääretön) jono lineaarisesti riippumattomia sisätuloavaruuden vektoreita. Muodostetaan yhtä pitkä jono (q 1, q 2,... ) ortonormaaleja vektoreita seuraavasti: q 1 = v 1 / v 1, w k = v k k 1 j=1 q k = w k / w k. v k, q j q j, } k = 2, 3,... Tässä keskimmäisellä rivillä v k :sta poistetaan sen komponentit jo muodostetuilla suunnilla q 1,..., q k 1. Viimeisellä rivillä jäljelle jäävä osa normeerataan ykkösen pituiseksi. 15 / 1 R. Kangaslampi Normi ja sisätulo

Gram-Schmidt Lause 8 Edellä esitetylle Gram-Schmidtin prosessille pätee: a) (q 1, q 2,... ) on ortonormaali. b) sp(q 1,..., q k ) = sp(v 1,..., v k ) kaikilla k 1. Erityisesti, jos V on äärellisdimensioinen ja {v 1,..., v n } on sen kanta, niin {q 1,..., q n } on V :n ortonormaali kanta. Esimerkki 9 Taululla / luentomonisteessa. 16 / 1 R. Kangaslampi Normi ja sisätulo

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 1 R. Kangaslampi QR ja PNS

PNS-ongelma Olkoon V sisätuloavaruus, A sen äärellisdimensioinen aliavaruus ja v V. Tarkastellaan seuraavaa approksimointitehtävää: Etsi a A siten, että v a on pienin mahdollinen. Koska R n :ssä v a 2 = n j=1 (v j a j ) 2, tämän minimointia kutsutaan usein pienimmän neliösumman tehtäväksi. Tehtävän ratkaisussa käytetään usein ns. QR-hajotelmaa. 2 / 1 R. Kangaslampi QR ja PNS

PNS-ongelma Lemma 1 Tällä tehtävällä on olemassa yksikäsitteinen ratkaisu a ja sille pätee: v a, u = 0 kaikilla u A. Todistus. Taululla: Osoitetaan, että jos ratkaisu on olemassa, se on yksikäsitteinen. Osoitetaan, että a = m j=1 v, q j q j on ratkaisu. 3 / 1 R. Kangaslampi QR ja PNS

PNS-ongelma Edellisen lemman vektoria a kutsutaan v :n kohtisuoraksi projektioksi aliavaruudelle A ja merkitään a = P A v. Kaavasta m PA v = v, q j q j j=1 ja sisätulon lineaarisuudesta nähdään myös, että PA lineaarikuvaus V A. on 4 / 1 R. Kangaslampi QR ja PNS

PNS-ongelma Olkoon nyt V = R n ja aliavaruus A = sp(a 1,..., a m ). Merkitään A = [a 1... a m ] R n m. Tällöin A = R(A) = { Ax x R m}. Etsitään ratkaisua muodossa a = Ac, missä c R m. Lemman mukaan ratkaisun on toteutettava eli v Ac, u = 0 kaikilla u R(A), (v Ac) T Ax = 0 kaikilla x R m. Tämä on mahdollista vain, jos (v Ac) T A = 0 eli A T (v Ac) = 0. Näin c :n on toteutettava A T A c = A T v. (tämä on ns. normaaliyhtälö) 5 / 1 R. Kangaslampi QR ja PNS

PNS-ongelma Esimerkki 2 Etsi pienimmän neliösumman ratkaisu yhtälölle Ax = b, kun 4 0 2 A = 0 2 ja b = 0. 1 1 11 (Eli: etsi x, joka antaa avaruudesta { Ax x R 2} sen alkion, jonka etäisyys b:stä on pienin.) 6 / 1 R. Kangaslampi QR ja PNS

PNS-ongelma Ratkaisu: Etsitään ratkaisu käyttäen normaaliyhtälöä A T Ax = A T b. Lasketaan siis ensin A T A ja A T b: [ ] 0 A T 4 0 1 A = 4 0 2 = 0 2 1 1 1 [ ] 2 A T 4 0 1 b = 0 = 0 2 1 11 Ratkaistavana on siis yhtälö [ ] [ ] 17 1 x1 = 1 5 x 2 [ ] 19. 11 [ ] 17 1 1 5 [ ] 19. 11 7 / 1 R. Kangaslampi QR ja PNS

PNS-ongelma Tämä voitaisiin ratkaista Gaussin algoritmin rivioperaatioin, mutta onnistuu myös käänteismatriisin avulla, koska A T A on kääntyvä: A T Ax = A T b x = (A T A) 1 A T b, joten x = [ ] 1 [ ] 17 1 19 1 5 11 = 1 84 [ 5 1 1 17 ] [ 19 11 ] = [ ] 1. 2 Huom. Mikään vektori ei toteuta yhtälöä Ax = b, siksi etsimme PNS-ratkaisua. Vastauksena saadaan, että se vektori, jolle Ax b on pienin, on x = (1, 2) T. Tämä vektori siis toteuttaa parhaiten alkuperäisen yhtälön. 8 / 1 R. Kangaslampi QR ja PNS

QR-hajotelma Tarkastellaan normaaliyhtälöä A T A c = A T v hieman lisää. Jos A T A on kääntyvä, tästä voidaan ratkaista c = (A T A) 1 A T v ja siten P A v = A (AT A) 1 A T v. Kun aliavaruuteen on asetettu ortonormaali kanta, kohtisuora projektio on helppo laskea aiemmalla kaavalla PA v = m j=1 v, q j q j. Mielivaltainen sisätuloavaruuden kantahan voidaan ortonormalisoida Gram-Schmidt -prosessilla. 9 / 1 R. Kangaslampi QR ja PNS

QR-hajotelma Olkoon matriisin A = [a 1... a m ] K n m sarakkeet lineaarisesti riippumattomat. Ortonormalisoidaan A :n sarakkeet (merkinnät kuten aiemmin Gram-Schmidt-prosessissa). Saadaan a 1 a 2, q 1... a m, q 1 A = [q 1 q 2... q m w 2... a m, q 2 ].... = Q R, w m missä yläkolmiomatriisin R K m m diagonaalilla on skaalaustekijät ja yläpuolella sisätulot r ij = a j, q i, i < j. Matriisin Q sarakkeet ovat ortonormaalit, joten Q Q = I. Tätä esitystä A = Q R kutsutaan A :n (suppeaksi) QR-hajotelmaksi. 10 / 1 R. Kangaslampi QR ja PNS

QR-hajotelma Sijoittamalla A :n QR-hajotelma kaavaan saadaan A T A c = A T v R Q QR c = R Q v eli R c = Q v, josta c on helppo ratkaista, koska R on yläkolmiomatriisi. Kohtisuora projektio R(A) :lle on nyt P R(A) v = QQ v. 11 / 1 R. Kangaslampi QR ja PNS

QR-hajotelma Huom: Täydentämällä {q 1,..., q m } koko K n :n ortonormaaliksi kannaksi saadaan unitaarinen (reaalisessa tapauksessa ortogonaalinen) neliömatriisi ˆQ = [q 1... q m q m+1... q n ] = [Q Q 2 ] ja A :lle laajempi hajotelma A = [Q Q 2 ] [ ] R = ˆQ ˆR. 0 Tätä kutsutaan A :n (varsinaiseksi) QR-hajotelmaksi ja ylempänä esiintynyttä A :n suppeaksi QR-hajotelmaksi. 12 / 1 R. Kangaslampi QR ja PNS

PNS-menetelmä Esimerkki 3 Etsi QR-hajotelman avulla pienimmän neliösumman ratkaisu yhtälölle Az = b, kun 2 3 7 A = 2 4, b = 3. 1 1 1 Ratkaisu: Ortonormeerataan ensin A:n sarakkeet, jotta saadaan QR-hajotelma: q 1 = a 1 / a 1 = (2/3, 2/3, 1/3) T q 2 = (a 2 q 1, a 2 q 1 )/ a 2 q 1, a 2 q 1 = ( 1/3, 2/3, 2/3) T 13 / 1 R. Kangaslampi QR ja PNS

PNS-menetelmä QR-hajotelma on Q = [ ] 2/3 1/3 q 1 q 2 = 2/3 2/3 1/3 2/3 [ ] a1 q R = 1, a 2 = 0 a 2 q 1, a 2 q 1 [ ] 3 5 0 1 PNS-ratkaisu saadaan yhtälöstä R z = Q b eli [ ] [ ] [ ] 3 5 z1 2/3 2/3 1/3 = 7 = 0 1 1/3 2/3 2/3 z 2 Ratkaisu on z = (4, 1) T. 3 1 [ ] 7. 1 14 / 1 R. Kangaslampi QR ja PNS

PNS-menetelmä Pienimmän neliösumman tehtävä on tavallisimmillaan seuraava: mitattavan suureen y oletetaan noudattavan lineaarista mallia y = c 1 x 1 + + c n x n. Olkoon muuttujien arvoilla (x i1, x i2,..., x in ), mitattu arvot y i, i = 1,..., m. Millä kertoimilla c j malli kuvaisi parhaiten mittausaineistoa? Järjestetään data matriisiyhtälöksi y = A c, missä vektori y sisältää mitatut arvot y i, c tuntemattomat kertoimet ja matriisi A = (x ij ) R m n. Koska yleensä m > n, niin tehtävällä ei välttämättä ole ratkaisua, joten etsitään kertoimia, jotka minimoivat virheen y A c. 15 / 1 R. Kangaslampi QR ja PNS

PNS-menetelmä Esimerkki 4 Edellisen esimerkin tehtävä etsiä pienimmän neliösumman ratkaisu yhtälölle 2 3 7 2 4 c = 3 1 1 1 voisi muodostua esimerkiksi tilanteessa, jossa sovitetaan mallia y = c 1 x 1 + c 2 x 2 mittausdataan, jossa arvoilla (x 1, x 2 ) = (2, 3) on saatu mittaustulos 7, arvoilla (2, 4) tulos 3 ja arvoilla (1, 1) tulos 1. Äsken saatiin ongelmalle PNS-ratkaisuksi (4, 1) T, joten tähän dataan parhaiten sopii siis malli y = 4x 1 x 2. 16 / 1 R. Kangaslampi QR ja PNS

PNS-menetelmä Esimerkki 5 Etsitään yhtälöa sille suoralle, joka sopii (PNS-mielessä) parhaiten mittauspisteisiin (2, 1), (5, 2), (7, 3) ja (8, 3). Toisin sanoen, etsitään siis kertoimia a ja b siten, että mittauspisteet (x i, y i ) noudattavat mahdollisimman hyvin yhtälöä y = a + bx. Matriisimuodossa haetaan PNS-ratkaisua yhtälölle 1 x 1 [ ] 1 x 2 a 1 x 3 = b 1 x 4 y 1 y 2 y 2 y 4 eli 1 2 [ ] 1 1 5 a 1 7 = 2 b 3. 1 8 3 Tuntemattomat a ja b voidaan nyt ratkaista normaaliyhtälöstä A T A(a, b) T = A T (1, 2, 3, 3) T tai QR-hajotelman avulla yhtälöstä R (a, b) T = Q (1, 2, 3, 3) T. 17 / 1 R. Kangaslampi QR ja PNS

PNS-menetelmä Esimerkki 6 Oletetaan, että mitatut datapisteet (x i, y i ) näyttävätkin sijoittuvan paremmin jollekin paraabelille. Yritetään siis etsiä kertoimia a, b ja c siten, että y = a + bx + cx 2 parhaiten kuvaa mittauspisteitä. Tällöin etsitään PNS-ratkaisua yhtälölle 1 x 1 x 2 1 y 1 1 x 2 x2 2 a y 2 1 x 3 x 2 3 b =... c 1 x n xn 2 y 3. y n. 18 / 1 R. Kangaslampi QR ja PNS

Matriisinormi Häiriöalttius MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Matriisinormi Vektorin normi mittaa vektorin pituutta. Matriiseille ja lineaarikuvauksille voidaan myös määritellä normeja. Olkoon jokin vektorinormi (esim. 2 tai ). Mitataan matriisin kokoa sillä, kuinka pitkiksi vektoreiksi matriisilla kerrottaessa yksikkövektorit saattavat kuvautua. Matriisille A C m n asetetaan A = max x =1 Ax. Tässä siis oikealla puolella esiintyy vektoreiden x C n ja Ax C m normeja. Näin määritelty A toteuttaa normin määritelmän 4 ehtoa. 2 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Matriisinormi Kun halutaan korostaa, minkä vektorinormin avulla matriisinormi on, määritelty käytetään vastaavaa merkkiä. Esimerkiksi A 1 = max x 1 =1 Ax 1 ja A 2 = max x 2 =1 Ax 2. Esimerkki 1 1 0 0 Matriisin A = 0 1 0 matriisinormi 2 on A 2 = 4, sillä 0 0 4 matriisi kuvaa yksikköpallon ellipsoidiksi, jonka pisimmän puoliakselin pituus on 4. 3 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Matriisinormi Matriisinormin laskeminen voi, normista riippuen, olla hyvinkin hankalaa. 1- ja -normit ovat laskuissa monesti käteviä: Lause 2 Olkoon A C m n. Tällöin ja A 1 = max 1 j n A = max 1 i m m a ij eli suurin sarakesumma i=1 n a ij eli suurin rivisumma. j=1 4 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Matriisinormi Kaikki eri matriisinormit ovat kuitenkin keskenään ekvivalentteja: Lause 3 Olkoot p ja q kaksi matriisinormia. Tällöin on olemassa positiiviset vakiot c 1 (p, q) ja c 2 (p, q) siten, että kaikilla A C m n. c 1 A p A q c 2 A p Matriisinormit siis poikkeavat toisistaan vain vakiolla: jos q-normissa A q < B q, niin p-normissa A p < c B p, missä c on normeista riippuva vakio. (Todistus: G. Zielke, Some remarks on matrix norms, condition numbers, and error estimates for linear equations, Linear Algebra and its Applications, Vol. 110 (1988), pp 29-41.) 5 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Matriisinormi Matriisinormin ominaisuuksia: Ax A x, AB A B, A k A k, k = 1, 2,.... Seuraavaa tulosta tullaan tarvitsemaan myöhemmin: 6 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Matriisinormi Lause 4 Olkoon A C n n siten, että A < 1. Tällöin I A on kääntyvä ja (I A) 1 1 1 A. Todistus. Jos I A ei ole kääntyvä, niin on olemassa x C n siten, että x = 1 ja (I A)x = 0. Tällöin A Ax = x = 1, mikä on ristiriita. Oletetaan, että I A on kääntyvä. Jos x = 1 ja v = (I A) 1 x, niin 1 = (I A)v v Av v A v = (1 A ) v. Siten v 1 1 A. 7 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Häiriöalttius Käytännön ongelmissa, joita kuvataan lineaarisilla malleilla Ax = b, on usein epätarkkuutta sekä datassa että mallissa, eli niin matriisin A kuin vektorin b kertoimissakin. Nyt halutaan tietää, millainen virhe voi aiheutua ratkaisuun x. Tarkastellaan ensin, miten δb :n suuruinen häiriö vektorissa b vaikuttaa ratkaisuun. Merkitään δx :llä ratkaisuvektorin muutosta. Vähentämällä yhtälöt Ax = b ja A(x + δx) = b + δb puolittain, saadaan δx = A 1 δb. Siten absoluuttisen virheen normille saadaan yläraja δx A 1 δb. 8 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Häiriöalttius Paremmin ratkaisun virhettä kuvaa kuitenkin suhteellinen virhe δx / x, sillä lineaarisen yhtälöryhmän ratkaisun voi kerroinmatriisia skaalaamalla saada pienemmäksi, jolloin myös absoluuttinen virhe pienenee. Koska b A x niin suhteelliselle virheelle saadaan yläraja-arvio δx x A A 1 δb b. 9 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Häiriöalttius Määritelmä 5 Matriisin häiriöalttius on κ(a) = A A 1. Suuri häiriöalttius merkitsee siten, että pienikin suhteellinen virhe b :ssä voi aiheuttaa ratkaisuun x suuren epävarmuuden. Aivan vastaavasti voidaan tarkastella matriisin A häiriön δa aiheuttamaa virhettä ratkaisuun, ja saadaan δx δa κ(a) x + δx A. 10 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Häiriöalttius Esimerkki 6 [ ] 1 ɛ Lasketaan κ 1 (A), kun A =, ɛ (0, 1). 1 ɛ [ ] Nyt A 1 = 1 1 1 2 joten häiriöalttiudeksi saadaan 1/ɛ 1/ɛ κ 1 (A) = A 1 A 1 1 = 2 1 (1 + 1/ɛ) = 1 + 1/ɛ, 2 joka on suuri ɛ :n ollessa pieni. 11 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Häiriöalttius Normissa 2 häiriöalttius olisi hankalaa laskea annetun määritelmän perusteella, mutta onneksi se saadaan helposti singulaariarvojen avulla: Lemma 7 κ 2 (A) = σ max(a) σ min (A), missä σ max (A) on matriisin A suurin ja σ min (A) pienin singulaariarvo. Ei todisteta tällä kurssilla. Muistutus: Matriisin A singulaariarvot ovat matriisin A T A ominaisarvojen positiiviset neliöjuuret. 12 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Häiriöalttius Häiriöalttius riippuu (hieman) siitä, missä normissa asioita mitataan. Koska 1 = I = AA 1 A A 1, saadaan tosin κ(a) 1 jokaiselle kääntyvälle matriisille normista riippumatta. Kuten normit, myös häiriöalttiudet eri normeissa mitattuna ovat ekvivalentteja, eli poikkeavat toisistaan vain vakiokertoimella. Tämä nähdään seuraavasta lauseesta: 13 / 14 R. Kangaslampi matriisiteoriaa

Matriisinormi Häiriöalttius Häiriöalttius Lause 8 Olkoot häiriöalttiudet κ p (A) = A p A 1 p ja κ q (A) = A q A 1 q. Tällöin on olemassa positiiviset vakiot c 1 (p, q) ja c 2 (p, q) siten, että kaikilla A C m n. c 1 κ p (A) κ q (A) c 2 κ p (A) (Todistus: G. Zielke, Some remarks on matrix norms, condition numbers, and error estimates for linear equations, Linear Algebra and its Applications, Vol. 110 (1988), pp 29-41.) 14 / 14 R. Kangaslampi matriisiteoriaa

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Ominaisarvoteoriaa Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: ominaisarvot Määritelmä 1 Jos n n-matriisille A pätee Ax = λx jollakin vektorilla x C n \ {0} ja skalaarilla λ C, niin λ on matriisin A ominaisarvo ja x sitä vastaava ominaisvektori. Ominaisyhtälö Ax = λx on yhtäpitävästi (A λi )x = 0, missä I on identtinen matriisi. Tälle löytyy nollasta eroava ratkaisu x täsmälleen silloin, kun det(a λi ) = 0 jollekin λ R. 2 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: ominaisarvot Huomioita reaalisia ominaisvektoreita ei aina ole olemassa ominaisvektori on määritelmän mukaan nollasta eroava ominaisarvo voi olla nolla Ax = λx A(tx) = λ(tx) kaikilla t R, joten ominaisvektorin x sijaan voidaan puhua x:n suuntaisesta ominaissuorasta {tx t R}. (Kulkee origon kautta.) Jos lineaarikuvauksen A R n n ominaisarvo λ 0, niin vastaava ominaissuora kuvautuu itselleen ja ominaisarvo λ ilmoittaa ominaissuoran suuntaisen venytyksen. Jos λ < 0, niin suunnistus ominaissuoralla kääntyy, ts. venytyksen lisäksi lineaarikuvaus peilaa ominaissuoran normaalin suhteen. Jos λ = 0, niin kuvaus litistää ominaissuoran origoksi. 3 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: ominaisarvot Ominaisarvot ja -vektorit lasketaan siis seuraavasti: Muodosta karakteristinen polynomi p(λ) = det(a λi ). Etsi karakteristisen polynomin nollakohdat p(λ) = 0, nämä ovat ominaisarvot. Ratkaise kullakin ominaisarvolla λ i sitä vastaava ominaisvektori/suora yhtälöstä (A λ i I )x = 0. 4 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: ominaisarvot Määritelmä 2 Polynomin det(a λi ) juuren kertaluku on kyseisen ominaisarvon λ algebrallinen kertaluku m a (λ). Ominaisarvon λ geometrinen kertaluku m g (λ) on sitä vastaavan ominaisavaruuden dimensio, eli lineaarisesti riippumattomien ominaisvektorien lukumäärä. Huom: Geometrinen kertaluku ei koskaan voi olla suurempi kuin algebrallinen kertaluku, m g (λ) m a (λ). 5 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: ominaisarvot Esimerkki 3 Etsi matriisin A = 1 0 2 0 3 0 2 0 1 ominaisarvojen algebralliset ja geometriset kertaluvut. Ratkaisu: Lasketaan ominaisarvot karakteristisen polynomin nollakohtina: det(a λi ) =... = (3 λ) 2 (λ + 1) = 0, joten ominaisarvon λ = 3 algebrallinen kertaluku on 2 ja ominaisarvon λ = 1 on 1. Lasketaan sitten ominaisvektorit: 6 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: ominaisarvot Kun λ = 1, yhtälö on (A + 1I )x = 0, ja saadaan x 2 = 0 ja x 3 = x 1, eli ominaissuora {t(1, 0, 1) t R}. Näin ollen geometrinen kertaluku on m g ( 1) = m a ( 1) = 1. Arvolle λ = 3 saadaan yhtälöstä (A 3I )x = 0 ehdot x 2 R ja x 3 = x 1, joten tätä ominaisarvoa vastaten saadaankin ominaistaso {s(1, 0, 1) + t(0, 1, 0) s, t R}. (Lineaarisesti riippumattomat ominaisvektorit esim. (1, 0, 1) ja (0, 1, 0)). Geometrinen kertaluku on siis m g (3) = 2. 7 / 1 R. Kangaslampi matriisiteoriaa

Ominaisarvot Ominaisarvoista voidaan puhua myös yleisemmin lineaarikuvauksille, ei vain matriiseille: Määritelmä 4 Olkoon V K -kertoiminen vektoriavaruus. Lineaarikuvausta avaruudelta itselleen: T : V V kutsutaan tavallisesti (lineaari-)operaattoriksi. Jos on olemassa λ K ja vektori v V \ {0} siten, että T v = λ v, niin sanotaan, että λ on T :n ominaisarvo ja vektori v on tähän liittyvä T :n ominaisvektori. 8 / 1 R. Kangaslampi matriisiteoriaa

Ominaisarvot Esimerkki 5 Tarkastellaan polynomeja {ˆp 1, ˆp 2, ˆp 3, ˆp 4 } = {1, 1 x, (1 x) 2, (1 x) 3 } ja lineaarikuvausta Tp(x) = p(2 x) polynomiavaruudessa P 3.Tällöin pätee T ˆp 1 = ˆp 1, T ˆp 2 = ˆp 2, T ˆp 3 = ˆp 3 ja T ˆp 4 = ˆp 4. Täten T :llä on ominaisarvot 1 ja 1. Ominaisarvoa 1 vastaavat ominaisvektorit ovat polynomit 1 ja (1 x) 2, ominaisarvoa 1 vastaavia ominaisvektoreita ovat 1 x ja (1 x) 3. 9 / 1 R. Kangaslampi matriisiteoriaa

Ominaisarvot Jos u ja v ovat lineaarikuvauksen T samaan ominaisarvoon λ liittyviä ominaisvektoreita, niin T (α u + β v) = α T u + β T v = α λ u + β λ v = λ (α u + β v), joten niiden lineaarikombinaatiokin on λ :aan liittyvä ominaisvektori (jos 0). Yhteen ominaisarvoon λ liittyvät ominaisvektorit muodostavatkin nollan kanssa ominaisavaruuden E T (λ) = { v V T v = λ v } = N(T λi ). 10 / 1 R. Kangaslampi matriisiteoriaa

Ominaisarvot Huom: Ominaisarvon geometrinen kertaluku on siis ominaisavaruuden dimensio: m g (λ) = dim(e A (λ)). Matriisin A K n n ominaisarvojen joukkoa eli spektriä merkitään Λ(A) :lla. Tämä on K :n ei-tyhjä osajoukko, jossa on korkeintaan n alkiota. A :n spektraalisäde ρ(a) on suurin A :n ominaisarvojen itseisarvoista eli ρ(a) = max λ. λ Λ(A) 11 / 1 R. Kangaslampi matriisiteoriaa

Ominaisarvot Esimerkki 6 Matriisille A = 1 0 2 0 3 0 2 0 1 laskettiin aiemmin ominaisarvoiksi λ = 3 ja λ = 1. Arvolle λ = 1 saatiin ominaisvektori (1, 0, 1) T ja arvolle λ = 3 ominaisvektorit (1, 0, 1) T ja (0, 1, 0) T. Nyt siis spektri on Λ(A) = { 1, 3} ja spektraalisäde on ρ(a) = max λ Λ(A) λ = 3. Ominaisavaruudet ovat { E A ( 1) = N(A + I ) = α(1, 0, 1) T } α R, { E A (3) = N(A 3I ) = α(1, 0, 1) T + β(0, 1, 0) T } α, β R. 12 / 1 R. Kangaslampi matriisiteoriaa

Ominaisarvot Seuraava, jo mahdollisesti tuttu tulos, on avuksi muodostettaessa ominaisvektoreista kantoja: Lause 7 Olkoot λ 1,..., λ n lineaarikuvauksen T : V V erisuuria ominaisarvoja ja v 1,..., v n näitä vastaavia ominaisvektoreita. Tällöin v 1,..., v n ovat lineaarisesti riippumattomat. (Todistettu Matriisilaskenta-kurssilla) 13 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: Diagonalisointi Neliömatriisi A, joilla on n riippumatonta ominaisvektoria, voidaan diagonalisoida. Tämä tarkoittaa, että matriisi A voidaan kirjoittaa muodossa A = SΛS 1, missä matriisin S sarakkeet ovat matriisin A ominaisvektorit, ja matriisi Λ on diagonaalimatriisi, jossa kussakin sarakkeessa on matriisissa S samassa sarakkeessa olevaan ominaisvektoriin liittyvä ominaisarvo. Huom n n-matriisi diagonalisoituu, jos sillä on n lineaarisesti riippumatonta ominaisvektoria. Erityisesti tämä tapahtuu silloin, kun matriisilla on n erisuurta ominaisarvoa, mutta voi siis tapahtua muulloinkin! 14 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: Diagonalisointi Esimerkki 8 ( ) 1 2 Matriisin A = ominaisarvoa 1 vastaa ominaisvektori 2 1 ( ) ( ) 1 1 ja ominaisarvoa 3 vastaa. Diagonalisoi A. 1 1 Vastaus: A = SΛS 1 = ( 1 1 1 1 ) ( 1 0 0 3 ) ( 1/2 1/2 1/2 1/2 ) 15 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: Diagonalisointi Jos matriisi on diagonalisoituva, sen potensseja on hyvin näppärä laskea: A 2 = SΛ } S 1 {{ S} ΛS 1 = SΛ 2 S 1 =I A 3 = SΛ } S 1 {{ S} Λ } S 1 {{ S} ΛS 1 = SΛ 3 S 1 =I =I A k = SΛ k S 1 Diagonaalimatriisin potenssit ovat helppoja: Λ k = λ 1 0 0 0... 0 0 0 λ n k = λ k 1 0 0 0... 0 0 0 λ k n. 16 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: Diagonalisointi Käänteismatriisin löytäminenkin on diagonalisoidulle matriisille helppoa: A 1 = (SΛS 1 ) 1 = SΛ 1 S 1. missä diagonaalimatriisi kääntyy näppärästi, λ 1 0 0 Λ 1 =. 0.. 0 0 0 λ n 1 λ 1 1 0 0 =. 0.. 0. 0 0 λ 1 n 17 / 1 R. Kangaslampi matriisiteoriaa

Kertaus: Diagonalisointi Esimerkki 9 Laske A 2014, kun A = ( 5 1 0 4 ) Vastaus: A = SΛS 1 = ( 1 1 0 1 ) ( 5 0 0 4 ) ( 1 1 0 1 ), A 2014 = = ( ) ( 1 1 5 2014 0 0 1 0 4 2014 ( 5 2014 5 2014 4 2014 ) 0 4 2014 ) ( 1 1 0 1 ) 18 / 1 R. Kangaslampi matriisiteoriaa

Similaarisuus Neliömatriisi A on similaarinen matriisin B kanssa, jos on olemassa säännöllinen matriisi S siten, että B = SAS 1. Tällöin merkitään A B. Muotoa SAS 1 olevaa matriisia kutsutaan A :n similaarimuunnokseksi. Esimerkki 10 Diagonalisoituva matriisi A on similaarinen sellaisen diagonaalimatriisin kanssa, jossa diagonaalilla ovat A:n ominaisarvot. Lineaarioperaattorin matriisiesitykset eri kantojen suhteen ovat keskenään similaariset. 19 / 1 R. Kangaslampi matriisiteoriaa

Similaarisuus Lause 11 Matriisien similaarisuus eli on ekvivalenssirelaatio, eli sillä on ominaisuudet: [Refleksiivisyys:] A A kaikilla A K n n. [Symmetrisyys:] A B = B A. [Transitiivisuus:] A B ja B C = A C. Todistus. Harjoitustehtävä 20 / 1 R. Kangaslampi matriisiteoriaa

Similaarisuus Similaarisilla matriiseilla on monia yhteisiä ominaisuuksia. Lause 12 Keskenään similaarisilla matriiseilla on sama karakteristinen polynomi ja siten myös samat ominaisarvot samoine algebrallisine kertalukuineen. Myös ominaisarvojen geometriset kertaluvut ovat samat. Todistus. Taululla. 21 / 1 R. Kangaslampi matriisiteoriaa

Similaarisuus Lause 13 Matriisi on similaarinen diagonaalimatriisin kanssa täsmälleen silloin, kun sen ominaisvektoreista voidaan muodostaa kanta. Näin on erityisesti silloin, kun ominaisarvot ovat erisuuret. Lause 14 Matriisi on similaarinen diagonaalimatriisin kanssa täsmälleen silloin, kun kaikille ominaisarvoille pätee m g (λ) = m a (λ). 22 / 1 R. Kangaslampi matriisiteoriaa

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisihajotelmat: Schur ja Jordan Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Schurin hajotelma Kaikki matriisit eivät diagonalisoidu. Kuitenkin, jokainen neliömatriisi on similaarinen yläkolmiomatriisin kanssa, vieläpä niin, että tämän similaarimuunnoksen suorittava matriisi on unitaarinen. Tämä nk. Schurin hajotelma on lähtökohta moniin muihin käyttökelpoisiin hajotelmiin. Lause 1 (Schurin hajotelma) Jokaiselle A C n n on olemassa unitaarinen matriisi Q siten, että S = Q AQ on yläkolmiomatriisi. S :n diagonaalialkiot ovat A :n ominaisarvot. Esitystä A = QSQ ( = QSQ 1 ) kutsutaan A :n Schurin hajotelmaksi. Käytännössä se lasketaan QR-hajotelman avulla iteratiivisesti, lisää aiheesta kurssilla Numeerinen matriisilaskenta. 2 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Schurin hajotelma Schurin hajotelman avulla saadaan kätevästi todistettua monia hyödyllisiä tuloksia, esimerkiksi: Lause 2 Matriisin determinantti on sen ominaisarvojen tulo. Todistus. Schurin hajotelmasta A = QSQ saadaan: det(a) = det(qsq ) = det(q) det(s) det(q ) = det(q) det(q ) det(s) = det(qq ) det(s) = det(s) ja koska S on yläkolmiomatriisi, niin tämä on S :n diagonaalialkioiden eli A :n ominaisarvojen tulo. 3 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Kaikki matriisit eivät diagonalisoidu, mutta kaikki matriisit ovat siis similaarisia yläkolmiomatriisin kanssa. Kysymys kuuluukin, kuinka yksinkertaiseen muotoon tämä yläkolmiomatriisi voidaan saattaa? Yksinkertaisin mahdollinen on ns. Jordanin muoto, jota nyt lähdetään etsimään. 4 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Tutkitaan aluksi Jordan-matriisia µ 1 0 0 0... 0 0 µ 1 0 0... 0 0 0 µ 1 0... 0 J(µ, r) :=...... C r r 0... 0 0 0 µ 1 0 0... 0 0 0 0 µ 1 0... 0 0 0 0 0 µ Tämä karakteristinen polynomi on P J(µ,r) (λ) = (µ λ) r, eli ainoa ominaisarvo on λ = µ ja se algebrallinen kertaluku on m a (µ) = r. 5 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Ominaisarvoa µ vastaa kuitenkin vain yksi ominaissuunta: E µ (J(µ, r)) = {(α, 0, 0,..., 0) T α C}, eli geometrinen kertaluku on m g (µ) = 1. Jordan-matriisi ei siis todellakaan diagonalisoidu, vaan se on eräänlainen ääritapaus diagonalisoitumattomuudesta! Milloin matriisi on similaarinen Jordan-matriisin kanssa? Eli milloin A = V J(µ, r) V 1 jollakin V? 6 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Kirjoitetaan matriisi V muodossa V = [ v 1 v 2... v r ] ja katsotaan, millaisia ehtoja saadaan pystyvektoreille v i. A = V J(µ, r) V 1 A [ v 1... v r ] = [ v1... v r ] J(µ, r) Koska [ v1... v r ] J(µ, r) = [ µv1 v 1 + µv 2 v 2 + µv 3... v r 1 + µv r ] ja toisaalta A [ v 1... v r ] = [ Av1 Av 2 Av 3... Av r ], niin yhtälön A = V J(µ, r) V 1 pätemiseksi täytyy päteä 7 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Av 1 = µv 1 (A µi )v 1 = 0 Av 2 = v 1 + µv 2 (A µi )v 2 = v 1 Av 3 = v 2 + µv 3 eli (A µi )v 3 = v 2.. Av r = v r 1 + µv r (A µi )v r = v r 1 Kertomalla näitä edelleen (A µi ):n potensseilla, saadaan. 8 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto (A µi )v 1 = 0 (A µi ) 2 v 2 = (A µi )v 1 = 0 (A µi ) 3 v 3 = (A µi ) 2 v 2 = 0. (A µi ) r v r = (A µi ) r 1 v r 1 = 0 eli (A µi )v 1 = 0 (A µi ) 2 v 2 = 0 (A µi ) 3 v 3 = 0. (A µi ) r v r = 0 Vektorit v 1, v 2,... v r saadaan siis ratkaisemalla ensin (A µi )v 1 = 0, sen jälkeen (A µi ) 2 v 2 = 0 jne. Tästä syystä vektoreita v 1, v 2,... v r kutsutaankin usein yleistetyiksi ominaisarvoiksi. 9 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Huom: Myös v 1 ratkaisee yhtälön (A µi ) 2 v 2 = 0, joten v 2 on löydettävä siten, että se on lineaarisesti riippumaton vektorista v 1. Vastaavasti myös seuraaville vektoreille: niiden on aina oltava lineaarisesti riippumattomia edellisistä. Käsin laskettaessa onkin yleensä helpompaa laskea vektorit v 1, v 2,... v r suoraan aiemmasta yhtälöryhmästä (A µi )v 1 = 0 (A µi )v 2 = v 1 (A µi )v 3 = v 2. (A µi )v r = v r 1. 10 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Edetään tällä periaatteella, eli askeleella j etsitään yhtälölle (A µi )v j = v j 1 ratkaisu v j, joka on lineaarisesti riippumaton vektoreista v 1, v 2,..., v j 1. Mikäli algoritmi ei katkea ennen loppua, saadaan V = [ v 1 v 2... v r ] C r r siten, että A = V J(µ, r)v 1. Tietenkään yleinen A C r r ei ole similaarinen Jordan-matriisin kanssa (A:lla esim. useita ominaisarvoja). Seuraava kuitenkin pätee: 11 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Lause 3 Jokainen A C n n on similaarinen jonkin Jordanin kanonisen muodon kanssa, eli A = V JV 1, missä J(λ 1, r 1 ) J(λ 2, r 2 ) J =... Cn n, J(λl, rl) r 1 +... + r l = n. Tässä λ 1,..., λ l ovat matriisin A ominaisarvot (voi olla λ j = λ i, vaikka j i), ja J(λ j, r j ) ovat Jordan-lohkoja. 12 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Huom: Matriisin A Jordanin kanoninen muoto on lohkojen järjestystä vaille yksikäsitteinen, mutta muunnosmatriisi V ei ole. Esimerkki 4 Laske Jordanin hajotelma matriisille 6 3 1 A = 31 14 4. 37 15 3 13 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Ratkaisu: Lasketaan ensin matriisin A ominaisarvot: p λ (A) = det(a λi ) =... = (λ 1)(λ 2) 2 = 0, josta saadaan λ 1 = 1, λ 2 = 2. Lasketaan ominaisvektori ominaisarvolle λ 1 = 1, ja saadaan esim. u 1 = (1, 3, 2) T. Laskettaessa ominaisvektoreita ominaisarvolle λ 2 = 2 huomataan, että kaikki ominaisvektorit ovat muotoa v = (0, α, 3α) T, eli kahta lineaarisesti riippumatonta ominaisvektoria ei löydy. Matriisi A ei siis diagonalisoidu. Jordanin hajotelma voidaan toki silti tehdä. Valitaan sitä varten ominaisvektoreista yksi, esim. v 1 = (0, 1, 3) T. 14 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Hajotelmasta puuttuva kolmas vektori (eli toinen vektori ominaisarvon 2 lohkoon) voidaan ratkaistava yhtälöstä (A λ 2 I )v 2 = v 1. Tämän ratkaisut ovat muotoa ( 1, α, 8 3α) T, α R. Valitaan v 2 = ( 1, 0, 8) T. Näin ollen V = [ ] 1 0 1 v 1 v 2 v 3 = 3 1 0. 2 3 8 15 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Hajotelmaan varten täytyy vielä laskea V 1. Tämän jälkeen saadaan lopulta tulos: 1 0 1 1 0 0 8 3 1 A = V JV 1 = 3 1 0 0 2 1 24 10 3. 2 3 8 0 0 2 7 3 1 16 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Jos matriisissa A on moninkertaisia ominaisarvoja, tai se on lähellä matriisia, jolla on moninkertaisia ominaisarvoja, niin sen Jordanin kanoninen muoto on hyvin herkkä pienille muutoksille. Esimerkki 5 [ ] 1 1 Olkoon A =. ɛ 1 Jos ɛ = [ 0, niin ] A:n Jordanin kanoninen muoto on se itse, eli 1 1 J A =. 0 1 [ ] 1 + ɛ 0 Jos kuitenkin ɛ 0, niin J A = 0 1. ɛ 17 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Jordanin muoto Jordanin muodon häiriöalttius tekee hyvin vaikeaksi rakentaa tarkkoja ja toimivia algorimeja sen laskemiseen. Tästä syystä Jordanin muotoa ei juurikaan käytetä numeerisessa analyysissä. Numeerisesti stabiili Schurin hajotelma on paljon parempi vaihtoehto. 18 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

Matriisieksponentti MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisieksponentti Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 13 R. Kangaslampi Matriisihajotelmista

Matriisieksponentti Matriisieksponentti Differentiaaliyhtälöitä ratkaistaessa tyypillinen yrite on muotoa y(t) = e rt. Differentiaaliyhtälösysteemeissä tyyppiä x = Ax tarvitaan puolestaan matriisieksponenttia e At. Seuraavaksi selvitetäänkin, miten tällaisia voidaan laskea. Sarjateoriasta tiedetään, että eksponenttifunktion potenssisarja e x = 0 xk k! suppenee x C. Tämän analogian perusteella voidaan määritellä neliömatriisin eksponenttifunktio kaavalla e A = k=0 1 k! Ak. 2 / 13 R. Kangaslampi Matriisihajotelmista

Matriisieksponentti Matriisieksponentti Esimerkki 1 Diagonaalimatriisin D = diag(d 1, d 2,..., d n ), potenssit ovat muotoa D k = diag(d k 1, d k 2,..., d k n ), joten e D = k=0 1 k! Dk = diag ( k=0 d 1 k k!,..., k=0 d k n k! ) = diag( e d 1,..., e dn ). 3 / 13 R. Kangaslampi Matriisihajotelmista

Matriisieksponentti Matriisieksponentti Esimerkki 2 Laske e N, kun 0 1 0 N = 0 0 1. 0 0 0 0 0 1 Potensseja laskettaessa todetaan, että N 2 = 0 0 0 ja 0 0 0 N 3 = 0. Näin ollen myös kaikki korkeammat potenssit N k = 0, kun k 3. Siten 1 1 1 e N = I + N + 1 2 2 N2 = 0 1 1. 0 0 1 4 / 13 R. Kangaslampi Matriisihajotelmista