MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

Transkriptio

1 Vektoriavaruudet MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 17 R. Kangaslampi Vektoriavaruudet

2 Vektoriavaruudet Vektoriavaruus Vektoriavaruus on matemaattinen struktuuri, joka on lineaarialgebran peruskäsite. Vektoriavaruuksia käytetään paljon erityisesti matriisilaskennassa ja funktionaalianalyysissa. Vektoriavaruutta ajatellaan joukkona, johon on määritelty kaksi laskutoimitusta: alkioiden summa ja ns. skalaarilla kertominen. Skalaarit kuuluvat tiettyyn kerroinkuntaan K, esim. R tai C. Vektoriavaruuden alkioita kutsutaan vektoreiksi (vaikka ne siis eivät ollenkaan aina ole perinteisiä vektoreita). 2 / 17 R. Kangaslampi Vektoriavaruudet

3 Vektoriavaruudet Vektoriavaruus Määritelmä 1 Joukkoa V sanotaan vektoriavaruudeksi, jos V :n alkioille on määritelty yhteenlasku + : V V V ja skalaarilla kertominen : K V V siten, että (1) (u + v) + w = u + (v + w) u, v, w V (liitäntälaki) (2) On olemassa alkio 0 V, (nolla-alkio) s.e. v + 0 = v v V (3) jokaisella v V on olemassa v V s.e. (vasta-alkio) v + ( v) = 0 (4) u + v = v + u u, v V (vaihdantalaki) (5) α (u + v) = α u + α v α K, u, v V (osittelulaki) (6) (α + β) v = α v + β v α, β K, v V (osittelulaki) (7) α (β v) = (α β) v α, β K, v V (liitäntälaki) (8) 1 v = v v V. (yksikköalkio) 3 / 17 R. Kangaslampi Vektoriavaruudet

4 Vektoriavaruudet Vektoriavaruus Esimerkki 2 (Vektoriavaruuksia) R, R 2, R n varustettuna tutuilla kerto- ja yhteenlaskuilla V = {v R 2 v 2 = mv 1 }, tavalliset tason vektorien yhteenlasku ja reaaliluvulla kertominen Kaikkien reaalisten m n -matriisien muodostama joukko R m n, matriisien yhteenlasku ja reaaliluvulla kertominen Korkeintaan toista astetta olevien x :n polynomien joukko P 2 = {p p(x) = a 0 + a 1 x + a 2 x 2, a 0, a 1, a 2 C}, polynomien yhteenlasku ja skalaarilla kertominen samoin P n, P välillä [a, b] jatkuvien reaaliarvoisten funktioiden joukko C[a, b] 4 / 17 R. Kangaslampi Vektoriavaruudet

5 Vektoriavaruudet Vektoriavaruus Esimerkki 3 (Eivät vektoriavaruuksia) V = {v R 2 v 2 = mv 1 1}, eli ne tason vektorit, jotka muodostavat suoran y = mx 1. V ei voi olla vektoriavaruus koska 0 V. W = {(x, sin(x)) x R} normaalein vektorien laskusäännöin ei ole vektoriavaruus, sillä (π/2, sin(π/2)) + (π, sin π) = (3π/2, 1) (3π/2, sin(3π/2)). 5 / 17 R. Kangaslampi Vektoriavaruudet

6 Vektoriavaruudet Vektorialiavaruus Määritelmä 4 K -kertoimisen vektoriavaruuden V ei-tyhjä osajoukko S V on V :n aliavaruus, jos pätee a) u, v S u + v S, b) v S, α K α v S, kun käytetään V :ssä määriteltyjä laskutoimituksia. Ehdot a) ja b) voidaan kirjoittaa yhteen ekvivalentiksi ehdoksi: u, v S, α, β K α u + β v S. 6 / 17 R. Kangaslampi Vektoriavaruudet

7 Vektoriavaruudet Vektorialiavaruus Esimerkki 5 Vektoriavaruuden R 3 kaikki vektorialiavaruudet ovat triviaaliavaruus {(0, 0, 0)} origon kautta kulkevat suorat origon kautta kulkevat tasot avaruus R 3 itse Esimerkki 6 Onko S = {v R 2 v 1 0} vektoriavaruuden R 2 aliavaruus? Ei, sillä S ei ole skalaarilla kertomisen suhteen suljettu: esim. 1 (1, 1) / S. 7 / 17 R. Kangaslampi Vektoriavaruudet

8 Vektoriavaruudet Vektorialiavaruus Määritelmä 7 Ei-tyhjän joukon S V viritelmä (engl. span) sp(s) on kaikkien S :n alkioista muodostettujen lineaarikombinaatioiden joukko eli sp(s) = { u V u = n a i s i, a i K, s i S, 1 n < }. i=1 Viritelmä on aina alkuperäisen joukon aliavaruus. Jos U = sp(v 1,..., v k ), vektorijoukko {v 1,..., v k } virittää U :n. 8 / 17 R. Kangaslampi Vektoriavaruudet

9 Vektoriavaruudet Kanta Määritelmä 8 Vektoriavaruuden osajoukko {v 1, v 2,..., v n } on lineaarisesti riippumaton, jos nollavektori voidaan esittää näiden lineaarikombinaationa vain siten, että kaikki kertoimet ovat nollia, eli kun c 1 = c 2 = = c n = 0 on yhtälön c 1 v 1 + c 2 v c n v n = 0 ainoa ratkaisu. Jos muitakin ratkaisuja on, niin joukkoa {v 1, v 2,..., v n } sanotaan lineaarisesti riippuvaksi. 9 / 17 R. Kangaslampi Vektoriavaruudet

10 Vektoriavaruudet Kanta Lause 9 Vektorijoukko {v 1, v 2,..., v n } on lineaarisesti riippuva jos ja vain jos jokin vektoreista voidaan esittää muiden vektoreiden lineaarikombinaationa. Esimerkki 10 Olkoon p 1 (t) = 1, p 2 (t) = t, p 3 (t) = 4 t. Joukko {p 1, p 2, p 3 } P 1 on lineaarisesti riippuva, sillä p 3 = 4p 1 p / 17 R. Kangaslampi Vektoriavaruudet

11 Vektoriavaruudet Kanta Määritelmä 11 Vektoriavaruuden V äärellistä osajoukkoa B = {b 1, b 2,..., b n } sanotaan V :n kannaksi, jos se on lineaarisesti riippumaton ja virittää V :n. Vektoriavaruuden V dimensio, dim(v ), on V :n kantavektoreiden lukumäärä. Dimension määritelmä on järkevä: vaikka kantavektorit voidaan valita monella tavalla, niitä on aina sama määrä! Tämä nähdään seuraavasta: Lause 12 Olkoon V vektoriavaruus. Jos joukko {w 1, w 2,..., w n } virittää V :n ja {v 1, v 2,..., v k } V on lineaarisesti riippumaton joukko, niin n k. 11 / 17 R. Kangaslampi Vektoriavaruudet

12 Vektoriavaruudet Kanta Sanotaan, että vektoriavaruus V on ääretönulotteinen, dim(v ) =, jos on olemassa vektorijono {v 1, v 2,... } V siten, että joukko {v 1,..., v n } on lineaarisesti riippumaton kaikilla n N. Esimerkki 13 Ääretönulotteisia vektoriavaruuksia ovat esim. kaikkien rajoitettujen lukujonojen joukko l kaikkien polynomien muodostama avaruus P kaikkien välillä [a, b] jatkuvien funktioiden vektoriavaruus C[a, b] 12 / 17 R. Kangaslampi Vektoriavaruudet

13 Vektoriavaruudet Kanta Lause 14 Jos dim(v ) = n ja {v 1,..., v n } V on lineaarisesti riippumaton, niin se on V :n kanta. Lause 15 Jos B = {b 1, b 2,..., b n } on vektoriavaruuden V kanta, niin jokainen vektori v V voidaan esittää muodossa v = c 1 b 1 + c 2 b c n b n täsmälleen yhdellä tavalla. 13 / 17 R. Kangaslampi Vektoriavaruudet

14 Vektoriavaruudet Kannanvaihto Ongelma: tunnetaan vektorin esitys kannassa B = {b 1, b 2,..., b n } ja halutaan vaihtaa toiseen kantaan U = {u 1, u 2,..., u n }. Merkitään vektorin v koordinaatteja näissä kannoissa [v] B = (β 1,..., β n ) ja [v] U = (η 1,..., η n ). Jos b j = n i=1 s ij u i, j = 1,..., n, niin v = n η i u i = i=1 n β j b j = j=1 n j=1 β j n s ij u i = i=1 n ( n ) s ij β j u i. i=1 j=1 Vektorin koordinaatit (kannassa U ) ovat yksikäsitteiset, joten η i = n j=1 s ij β j, i = 1,..., n. 14 / 17 R. Kangaslampi Vektoriavaruudet

15 Vektoriavaruudet Kannanvaihto s s 1n Merkitään S =... s n1... s nn Tällöin koordinaattien välinen yhtälö on [v] U = S [v] B. Matriisia S kutsutaan kannanvaihtomatriisiksi. Se on aina kääntyvä, joten vanhat koordinaatit saadaan uusista vastaavasti [v] B = S 1 [v] U. 15 / 17 R. Kangaslampi Vektoriavaruudet

16 Vektoriavaruudet Kannanvaihto Esimerkki 16 Tarkastellaan R 2 :n kantoja B = {b 1, b 2 } ja C = {c 1, c 2 }, missä b 1 = [ ] 9, b 1 2 = [ ] [ ] [ ] 5 1 3, c 1 1 =, c 4 2 =. 5 Etsi kannanvaihtomatriisi kannasta B kantaan C. Ratkaisu: Halutaan siis löytää kertoimet, joilla B:n kantavektorit voidaan esittää C:n kantavektorien avulla, eli kertoimet x 1, x 2, y 1, y 2 siten, että [ ] [ ] x c1 c 1 2 x 2 = b 1 ja [ ] [ ] y c1 c 1 2 = b y / 17 R. Kangaslampi Vektoriavaruudet

17 Vektoriavaruudet Kannanvaihto Yhtälöt voidaan ratkaista kerralla tekemällä liittomatriisi [ c1 c 2 b 1 b 2 ] ja käyttämällä siihen Gaussin algoritmia. Saadaan [ ] [ ] [ ] 6 4 Kannanvaihtomatriisi B:stä C:hen on siis. 5 3 [ ] [ ] [ ] Esimerkiksi, jos [v] B =, niin [v] 0 C = = [ ] / 17 R. Kangaslampi Vektoriavaruudet

18 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Lineaarikuvaukset Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 16 R. Kangaslampi Vektoriavaruudet

19 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Olkoot U ja V K -kertoimisia vektoriavaruuksia. Määritelmä 1 Kuvaus T : U V on lineaarikuvaus, jos kaikilla x, y U ja α, β K pätee T (α x + β y) = α T (x) + β T (y). Lineaarikuvaus tunnetaan, jos tiedetään, miten se kuvaa kantavektorit. 2 / 16 R. Kangaslampi Vektoriavaruudet

20 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Esimerkki 2 (Lineaarikuvauksia) projektio jatkuvien kuvausten integrointi derivoituvien kuvausten derivointi matriisilla kertominen 3 / 16 R. Kangaslampi Vektoriavaruudet

21 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Lineaarikuvaus voidaan aina esittää matriisilla: T (x) = Ax eräällä matriisilla A. Tämän matriisin sarakkeet muodostuvat lähtöavaruuden kantavektorien kuvien koordinaattivektoreista. On siis muistettava, että lineaarikuvauksen matriisiesitys riippuu valituista kannoista! Kun halutaan korostaa sitä, missä avaruuksien U ja V kannoissa B U ja B V matriisi on määritelty, merkitään: A = [T ] BU,B V. 4 / 16 R. Kangaslampi Vektoriavaruudet

22 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Esimerkki 3 Olkoon T : P 3 P 3 lineaarikuvaus T (p)(x) = p(2 x). Olkoon P 3 :ssa kanta B = {p 1, p 2, p 3, p 4 } = {1, x, x 2, x 3 }. Saadaan T (p 1 )(x) = 1 = p 1 (x) T (p 2 )(x) = 2 x = (2p 1 p 2 )(x) T (p 3 )(x) = (2 x) 2 = 4 4x + x 2 = (4p 1 4p 2 + p 3 )(x) T (p 4 )(x) = (2 x) 3 = (8p 1 12p 2 + 6p 3 p 4 )(x) Siispä T :n matriisiksi kannassa B saadaan [T ] B = / 16 R. Kangaslampi Vektoriavaruudet

23 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Esimerkki 4 Lasketaan edellisen esimerkin lineaarikuvauksen matriisi kannan ˆB = {ˆp 1, ˆp 2, ˆp 3, ˆp 4 } = {1, 1 x, (1 x) 2, (1 x) 3 } suhteen: T (ˆp 1 )(x) = 1 = ˆp 1 (x) T (ˆp 2 )(x) = 1 (2 x) = x 1 = ˆp 2 (x) T (ˆp 3 )(x) = (1 (2 x)) 2 = (x 1) 2 = ˆp 3 (x) T (ˆp 4 )(x) = (1 (2 x)) 3 = (x 1) 3 = ˆp 4 (x), joten T :n matriisi tässä kannassa on lävistäjämatriisi 1 [T ] ˆB = / 16 R. Kangaslampi Vektoriavaruudet

24 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Lineaarikuvaus Olkoot T : U V ja S : V W lineaarikuvauksia. Tällöin yhdistetty kuvaus ST : U W määritellään (ST )(u) = S(T (u)). Se on myös lineaarikuvaus. Olkoon avaruuksissa U, V ja W kannat B U, B V ja B W. Yhdistetun kuvauksen matriisi saadaan kertomalla kuvausten matriisit keskenään, eli [ST ] BU,B W = [S] BV,B W [T ] BU,B V. 7 / 16 R. Kangaslampi Vektoriavaruudet

25 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Kuva-avaruus ja nolla-avaruus Määritelmä 5 Olkoon T lineaarikuvaus U V. T :n nolla-avaruus (eli ydin) on N(T ) = {u U T u = 0} U. T :n kuva-avaruus on R(T ) = {T u u U} V. Lause 6 Olkoon T : U V lineaarikuvaus. Tällöin a) N(T ) on U :n aliavaruus ja b) R(T ) on V :n aliavaruus. 8 / 16 R. Kangaslampi Vektoriavaruudet

26 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Kuva-avaruus ja nolla-avaruus Matriisiin A = [a 1... a n ] R m n liittyvän lineaarikuvauksen L A : R n R m : L A (x) = A x kuva-avaruus on sen sarakkeiden viritelmä: Lause 7 R(L A ) = sp(a 1,..., a n ). Esimerkki 8 Projektiokuvauksen T : R 3 R 2, T (x) = (x 1, x 2 ) nolla-avaruus on selvästi N(T ) = {x = (0, 0, x 3 ) x 3 R} eli kantavektorin e 3 suuntaiset vektorit. T :n kuva R(T ) taas on koko R 2. 9 / 16 R. Kangaslampi Vektoriavaruudet

27 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Kuva-avaruus ja nolla-avaruus Määritelmä 9 Olkoon T : U V lineaarikuvaus. Määritellään T :n nulliteetti: ν(t ) = dim(n(t )). T :n rangi r(t ) = dim(r(t )). Nämä voivat olla äärellisiä tai äärettömiä. Matriisilaskussa matriisin rangi määritellään A :n sarakeavaruuden dimensioksi. Edellä olevan lauseen mukaan se on myös A :han liittyvän lineaarikuvauksen L A rangi. 10 / 16 R. Kangaslampi Vektoriavaruudet

28 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Lause 10 (Lineaarialgebran peruslause eli dimensiolause) Olkoon U äärellisulotteinen ja T : U V lineaarikuvaus. Tällöin r(t ) + ν(t ) = dim(u). Todistuksen idea taululla. Esimerkki 11 Neliömatriisille A C n n r(a) = n ν(a) = 0, joten kumpi tahansa näistä ehdoista takaa, että A on kääntyvä. 11 / 16 R. Kangaslampi Vektoriavaruudet

29 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Fakta 1: Matriisin A kuva-avaruuden kannan muodostavat ne sarakevektorit, joiden kohdalle redusoidussa porrasmuodossa on pivot-alkio. Fakta 2: Matriisin A nulliteetti on redusoidun porrasmuodon niiden sarakkeiden lukumäärä, joissa ei ole pivot-alkiota. Fakta 1:stä voi vakuuttua tarkastelemalla redusoitua porrasmuotoa: selvästi pivot-alkiolliset sarakkeet ovat lineaarisesti riippumattomat ja muut voidaan muodostaa lineaarikombinaationa niistä. Fakta 2 pohjautuu siihen, että ratkaistaessa ydintä eli yhtälöä Ax = 0 pivot-alkiottomat sarakkeet vastaavat vapaita muuttujia, ja niiden lukumäärä on ytimen dimensio. 12 / 16 R. Kangaslampi Vektoriavaruudet

30 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Esimerkki Etsi matriisin A = kuva-avaruus, ydin, rangi ja nulliteetti. Ratkaisu: Saatetaan matriisi redusoituun porrasmuotoon Gaussin eliminaatiolla. Saadaan A Näin ollen R(A) = sp{( 3, 1, 2) T, ( 1, 2, 5) T )} ja r(a) = / 16 R. Kangaslampi Vektoriavaruudet

31 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause (jatkuu) Ytimen dimension on ν(a) = 3. Vapaita muuttujia ovat x 2, x 4 ja x 5 ja loput ratkeavat yhtälöparista { x 1 2x 2 + 2x 3 + 3x 4 x 5 = 0, x 3 + 2x 4 2x 5 = 0. Ytimeksi saadaan N(A) = {x x x 2, x 4, x 5 R} / 16 R. Kangaslampi Vektoriavaruudet

32 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Lause 13 Olkoon A R n n. Tällöin seuraavat väitteet ovat yhtäpitäviä sen kanssa, että A:lla on olemassa käänteismatriisi: A:n sarakkeet muodostavan R n :n kannan Col A = R n dim Col A = n r(a) = n N(A) = {0} dim N(A) = 0 15 / 16 R. Kangaslampi Vektoriavaruudet

33 Lineaarikuvaukset Kuva-avaruus ja nolla-avaruus Dimensiolause Dimensiolause Lause 14 Olkoon T : U V lineaarikuvaus. Tällöin a) Jos vektorit u 1,..., u n ovat lineaarisesti riippuvat, niin T u 1,..., T u n ovat myös. b) Jos u 1,..., u n ovat lineaarisesti riippumattomat ja N(T ) = {0} (eli T on injektio), niin T u 1,..., T u n lineaarisesti riippumattomat. ovat Todistus taululla, jos ehditään. 16 / 16 R. Kangaslampi Vektoriavaruudet

34 MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Normi ja sisätulo Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 1 R. Kangaslampi Normi ja sisätulo

35 Vektoriavaruuden laskutoimitukset Vektoriavaruudessa on aina määritelty yhteenlasku ja skalaarilla kertominen. Usein voidaan määritellä myös muita laskutoimituksia. Normiavaruus on vektoriavaruus, jossa vektoreille on määritelty pituusfunktio eli normi. Sisätuloavaruus on normiavaruus, jossa lisäksi kulmien mittaaminen on mahdollista, eli erityisesti ortogonaalisuus on määritelty. 2 / 1 R. Kangaslampi Normi ja sisätulo

36 Normi Määritelmä 1 Olkoon V K -kertoiminen vektoriavaruus. Kuvaus : V R on normi, jos se toteuttaa (1) v 0 v V. (2) v = 0 = v = 0. (3) u + v u + v u, v V. (4) α v = α v α K, v V. 3 / 1 R. Kangaslampi Normi ja sisätulo

37 Normi Esimerkki 2 Vektoriavaruudessa R n tavallisin normi on nk. euklidinen normi ( n ) x 2 = x i i=1. Muita usein käytettyjä normeja R n :ssä ovat x 1 = n i=1 x i ja x = max 1 i n x i. Samoja käytetään avaruudessa C n. 4 / 1 R. Kangaslampi Normi ja sisätulo

38 Normi Esimerkki 3 Piirrä joukot {x R 2 x 2 1}, {x R 2 x 1 1}, {x R 2 x 1}. (Vastaus: kiekko, vinoneliö ja neliö.) 5 / 1 R. Kangaslampi Normi ja sisätulo

39 Normi Normin avulla myös määritellään alkioiden välinen etäisyys: d(u, v) := u v. Esimerkki 4 Laske vektoreiden u = (1, 0, 1) T ja v = (0, 2, 1) T R 3 etäisyys normeissa 2, 1 ja. d(u, v) 2 = u v 2 = (1, 2, 2) T 2 = ( 2) = 3 d(u, v) 1 = u v 1 = (1, 2, 2) T 1 = = 5 d(u, v) = u v = (1, 2, 2) T = 2 6 / 1 R. Kangaslampi Normi ja sisätulo

40 Normi Etäisyyden { avulla saadaan vektorijonojen suppeneminen: x k } V suppenee kohti vektoria x V, jos k=1 lim k xk x = 0. Normiavaruuksien välisten kuvausten jatkuvuus määritellään: F : U V on jatkuva pisteessä u 0 U, jos ɛ > 0 δ > 0 s.e. u u 0 U < δ = F (u) F (u 0 ) V < ɛ. 7 / 1 R. Kangaslampi Normi ja sisätulo

41 Sisätulo Määritelmä 5 Olkoon V K -kertoiminen vektoriavaruus. Kuvaus, : V V K on sisätulo, jos se toteuttaa ehdot (1) v, v 0 kaikilla v V. (2) v, v = 0 = v = 0. (3) u + v, w = u, w + v, w kaikilla u, v, w V. (4) αu, v = α u, v kaikilla α K, u, v V. (5) v, u = u, v kaikilla u, v V. 8 / 1 R. Kangaslampi Normi ja sisätulo

42 Sisätulo Huomioita: Vektoriavaruudesta R n tuttu vektoreiden välinen pistetulo toteuttaa sisätulon ehdot. C n :n vektoreille määritellään x, y = x T y = n i=1 x i y i. Ominaisuudet (3) ja (4) sanovat, että sisätulo on lineaarinen ensimmäisen argumentin suhteen. Toisen argumentin suhteen sisätulo on konjugoidusti lineaarinen: skalaarit saadaan ulos kompleksikonjugaatteina. Reaalisessa tapauksessa sisätulo on siten lineaarinen myös toisen argumentin suhteen. 9 / 1 R. Kangaslampi Normi ja sisätulo

43 Sisätulo Sisätulon avulla voidaan aina määritellä avaruuteen normi: jos V on sisätuloavaruus, asetetaan v = v, v. Sisätulon ehdoista saadaan normin ehdot (1),(2) ja (4) helposti.(3) eli kolmioepäyhtälö vaatii hieman laskemista. Se voidaan osoittaa Schwarzin epäyhtälön u, v u v avulla. (Schwarzin ey:n todistus luentomonisteessa.) 10 / 1 R. Kangaslampi Normi ja sisätulo

44 Sisätulo Sisätulon avulla voidaan reaalikertoimisessa avaruudessa määritellä vektoreiden väliset kulmat. Schwarzin epäyhtälön mukaan 1 u, v u v 1, joten voidaan määritellä vektoreiden u 0 ja v 0 välinen kulma ( u, v ) <) (u, v) = arccos. u v Vektorit u ja v ovat ortogonaaliset, kun <) (u, v) = π/2 eli kun u, v = 0. Ortogonaalisuus määritellään samoin kompleksikertoimisissa vektoriavaruuksissa. 11 / 1 R. Kangaslampi Normi ja sisätulo

45 Sisätulo Esimerkki 6 Tarkastellaan avaruutta P 2 sisätulolla p, q = 1 1 p(x)q(x) dx. Polynomit p 1 (x) = x ja p 2 (x) = x 2 ovat ortogonaaliset, sillä p 1, p 2 = 1 1 x x 2 dx = 0. Samoin p 0 (x) = 1 on ortogonaalinen p 1 :n kanssa. Sen sijaan p 0, p 2 = 1 1 x 2 dx = 2/3. Valitsemalla p 2 :n sijaan ˆp 2 (x) = x 2 1/3, saadaan ortogonaalinen joukko {p 0, p 1, ˆp 2 }. 12 / 1 R. Kangaslampi Normi ja sisätulo

46 Sisätulo Sisätuloavaruuden vektorijoukkoa S = {v 1,..., v k } sanotaan ortogonaaliseksi, jos kaikki sen vektorit ovat keskenään ortogonaaliset. Jos ortogonaalisen joukon vektorit ovat lisäksi pituudeltaan ykkösiä kutsutaan joukkoa ortonormaaliksi. Kanta, jonka vektorit ovat ortonormaaleja, on luonnollisesti ortonormaali kanta. 13 / 1 R. Kangaslampi Normi ja sisätulo

47 Sisätulo Esimerkki 7 Lasketaan edellisen esimerkin ortogonaalisten polynomien normit: p 0 2 = p 0, p 0 = 1, 1 = dx = 2 p 0 = 2 p 1 2 = x, x = 1 1 x 2 dx = 2 3 p 1 = 2/3 ˆp 2 2 = x 2 1 3, x = 1 (x )2 dx = 8 45 ˆp 2 = 8/45. Täten { 1 2, 3 2 x, (x )} on ortonormaali joukko. Se on lineaarisesti riippumaton ja, koska dim(p 2 ) = 3, se on P 2 :n ortonormaali kanta. 14 / 1 R. Kangaslampi Normi ja sisätulo

48 Gram-Schmidt Ortonormaaleja kantoja voidaan muodostaa nk. Gram Schmidtin prosessilla. Olkoon (v 1, v 2,... ) (äärellinen tai ääretön) jono lineaarisesti riippumattomia sisätuloavaruuden vektoreita. Muodostetaan yhtä pitkä jono (q 1, q 2,... ) ortonormaaleja vektoreita seuraavasti: q 1 = v 1 / v 1, w k = v k k 1 j=1 q k = w k / w k. v k, q j q j, } k = 2, 3,... Tässä keskimmäisellä rivillä v k :sta poistetaan sen komponentit jo muodostetuilla suunnilla q 1,..., q k 1. Viimeisellä rivillä jäljelle jäävä osa normeerataan ykkösen pituiseksi. 15 / 1 R. Kangaslampi Normi ja sisätulo

49 Gram-Schmidt Lause 8 Edellä esitetylle Gram-Schmidtin prosessille pätee: a) (q 1, q 2,... ) on ortonormaali. b) sp(q 1,..., q k ) = sp(v 1,..., v k ) kaikilla k 1. Erityisesti, jos V on äärellisdimensioinen ja {v 1,..., v n } on sen kanta, niin {q 1,..., q n } on V :n ortonormaali kanta. Esimerkki 9 Taululla / luentomonisteessa. 16 / 1 R. Kangaslampi Normi ja sisätulo

50 MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 1 R. Kangaslampi QR ja PNS

51 PNS-ongelma Olkoon V sisätuloavaruus, A sen äärellisdimensioinen aliavaruus ja v V. Tarkastellaan seuraavaa approksimointitehtävää: Etsi a A siten, että v a on pienin mahdollinen. Koska R n :ssä v a 2 = n j=1 (v j a j ) 2, tämän minimointia kutsutaan usein pienimmän neliösumman tehtäväksi. Tehtävän ratkaisussa käytetään usein ns. QR-hajotelmaa. 2 / 1 R. Kangaslampi QR ja PNS

52 PNS-ongelma Lemma 1 Tällä tehtävällä on olemassa yksikäsitteinen ratkaisu a ja sille pätee: v a, u = 0 kaikilla u A. Todistus. Taululla: Osoitetaan, että jos ratkaisu on olemassa, se on yksikäsitteinen. Osoitetaan, että a = m j=1 v, q j q j on ratkaisu. 3 / 1 R. Kangaslampi QR ja PNS

53 PNS-ongelma Edellisen lemman vektoria a kutsutaan v :n kohtisuoraksi projektioksi aliavaruudelle A ja merkitään a = P A v. Kaavasta m PA v = v, q j q j j=1 ja sisätulon lineaarisuudesta nähdään myös, että PA lineaarikuvaus V A. on 4 / 1 R. Kangaslampi QR ja PNS

54 PNS-ongelma Olkoon nyt V = R n ja aliavaruus A = sp(a 1,..., a m ). Merkitään A = [a 1... a m ] R n m. Tällöin A = R(A) = { Ax x R m}. Etsitään ratkaisua muodossa a = Ac, missä c R m. Lemman mukaan ratkaisun on toteutettava eli v Ac, u = 0 kaikilla u R(A), (v Ac) T Ax = 0 kaikilla x R m. Tämä on mahdollista vain, jos (v Ac) T A = 0 eli A T (v Ac) = 0. Näin c :n on toteutettava A T A c = A T v. (tämä on ns. normaaliyhtälö) 5 / 1 R. Kangaslampi QR ja PNS

55 PNS-ongelma Esimerkki 2 Etsi pienimmän neliösumman ratkaisu yhtälölle Ax = b, kun A = 0 2 ja b = (Eli: etsi x, joka antaa avaruudesta { Ax x R 2} sen alkion, jonka etäisyys b:stä on pienin.) 6 / 1 R. Kangaslampi QR ja PNS

56 PNS-ongelma Ratkaisu: Etsitään ratkaisu käyttäen normaaliyhtälöä A T Ax = A T b. Lasketaan siis ensin A T A ja A T b: [ ] 0 A T A = = [ ] 2 A T b = 0 = Ratkaistavana on siis yhtälö [ ] [ ] 17 1 x1 = 1 5 x 2 [ ] [ ] [ ] / 1 R. Kangaslampi QR ja PNS

57 PNS-ongelma Tämä voitaisiin ratkaista Gaussin algoritmin rivioperaatioin, mutta onnistuu myös käänteismatriisin avulla, koska A T A on kääntyvä: A T Ax = A T b x = (A T A) 1 A T b, joten x = [ ] 1 [ ] = 1 84 [ ] [ ] = [ ] 1. 2 Huom. Mikään vektori ei toteuta yhtälöä Ax = b, siksi etsimme PNS-ratkaisua. Vastauksena saadaan, että se vektori, jolle Ax b on pienin, on x = (1, 2) T. Tämä vektori siis toteuttaa parhaiten alkuperäisen yhtälön. 8 / 1 R. Kangaslampi QR ja PNS

58 QR-hajotelma Tarkastellaan normaaliyhtälöä A T A c = A T v hieman lisää. Jos A T A on kääntyvä, tästä voidaan ratkaista c = (A T A) 1 A T v ja siten P A v = A (AT A) 1 A T v. Kun aliavaruuteen on asetettu ortonormaali kanta, kohtisuora projektio on helppo laskea aiemmalla kaavalla PA v = m j=1 v, q j q j. Mielivaltainen sisätuloavaruuden kantahan voidaan ortonormalisoida Gram-Schmidt -prosessilla. 9 / 1 R. Kangaslampi QR ja PNS

59 QR-hajotelma Olkoon matriisin A = [a 1... a m ] K n m sarakkeet lineaarisesti riippumattomat. Ortonormalisoidaan A :n sarakkeet (merkinnät kuten aiemmin Gram-Schmidt-prosessissa). Saadaan a 1 a 2, q 1... a m, q 1 A = [q 1 q 2... q m w 2... a m, q 2 ].... = Q R, w m missä yläkolmiomatriisin R K m m diagonaalilla on skaalaustekijät ja yläpuolella sisätulot r ij = a j, q i, i < j. Matriisin Q sarakkeet ovat ortonormaalit, joten Q Q = I. Tätä esitystä A = Q R kutsutaan A :n (suppeaksi) QR-hajotelmaksi. 10 / 1 R. Kangaslampi QR ja PNS

60 QR-hajotelma Sijoittamalla A :n QR-hajotelma kaavaan saadaan A T A c = A T v R Q QR c = R Q v eli R c = Q v, josta c on helppo ratkaista, koska R on yläkolmiomatriisi. Kohtisuora projektio R(A) :lle on nyt P R(A) v = QQ v. 11 / 1 R. Kangaslampi QR ja PNS

61 QR-hajotelma Huom: Täydentämällä {q 1,..., q m } koko K n :n ortonormaaliksi kannaksi saadaan unitaarinen (reaalisessa tapauksessa ortogonaalinen) neliömatriisi ˆQ = [q 1... q m q m+1... q n ] = [Q Q 2 ] ja A :lle laajempi hajotelma A = [Q Q 2 ] [ ] R = ˆQ ˆR. 0 Tätä kutsutaan A :n (varsinaiseksi) QR-hajotelmaksi ja ylempänä esiintynyttä A :n suppeaksi QR-hajotelmaksi. 12 / 1 R. Kangaslampi QR ja PNS

62 PNS-menetelmä Esimerkki 3 Etsi QR-hajotelman avulla pienimmän neliösumman ratkaisu yhtälölle Az = b, kun A = 2 4, b = Ratkaisu: Ortonormeerataan ensin A:n sarakkeet, jotta saadaan QR-hajotelma: q 1 = a 1 / a 1 = (2/3, 2/3, 1/3) T q 2 = (a 2 q 1, a 2 q 1 )/ a 2 q 1, a 2 q 1 = ( 1/3, 2/3, 2/3) T 13 / 1 R. Kangaslampi QR ja PNS

63 PNS-menetelmä QR-hajotelma on Q = [ ] 2/3 1/3 q 1 q 2 = 2/3 2/3 1/3 2/3 [ ] a1 q R = 1, a 2 = 0 a 2 q 1, a 2 q 1 [ ] PNS-ratkaisu saadaan yhtälöstä R z = Q b eli [ ] [ ] [ ] 3 5 z1 2/3 2/3 1/3 = 7 = 0 1 1/3 2/3 2/3 z 2 Ratkaisu on z = (4, 1) T. 3 1 [ ] / 1 R. Kangaslampi QR ja PNS

64 PNS-menetelmä Pienimmän neliösumman tehtävä on tavallisimmillaan seuraava: mitattavan suureen y oletetaan noudattavan lineaarista mallia y = c 1 x c n x n. Olkoon muuttujien arvoilla (x i1, x i2,..., x in ), mitattu arvot y i, i = 1,..., m. Millä kertoimilla c j malli kuvaisi parhaiten mittausaineistoa? Järjestetään data matriisiyhtälöksi y = A c, missä vektori y sisältää mitatut arvot y i, c tuntemattomat kertoimet ja matriisi A = (x ij ) R m n. Koska yleensä m > n, niin tehtävällä ei välttämättä ole ratkaisua, joten etsitään kertoimia, jotka minimoivat virheen y A c. 15 / 1 R. Kangaslampi QR ja PNS

65 PNS-menetelmä Esimerkki 4 Edellisen esimerkin tehtävä etsiä pienimmän neliösumman ratkaisu yhtälölle c = voisi muodostua esimerkiksi tilanteessa, jossa sovitetaan mallia y = c 1 x 1 + c 2 x 2 mittausdataan, jossa arvoilla (x 1, x 2 ) = (2, 3) on saatu mittaustulos 7, arvoilla (2, 4) tulos 3 ja arvoilla (1, 1) tulos 1. Äsken saatiin ongelmalle PNS-ratkaisuksi (4, 1) T, joten tähän dataan parhaiten sopii siis malli y = 4x 1 x / 1 R. Kangaslampi QR ja PNS

66 PNS-menetelmä Esimerkki 5 Etsitään yhtälöa sille suoralle, joka sopii (PNS-mielessä) parhaiten mittauspisteisiin (2, 1), (5, 2), (7, 3) ja (8, 3). Toisin sanoen, etsitään siis kertoimia a ja b siten, että mittauspisteet (x i, y i ) noudattavat mahdollisimman hyvin yhtälöä y = a + bx. Matriisimuodossa haetaan PNS-ratkaisua yhtälölle 1 x 1 [ ] 1 x 2 a 1 x 3 = b 1 x 4 y 1 y 2 y 2 y 4 eli 1 2 [ ] a 1 7 = 2 b Tuntemattomat a ja b voidaan nyt ratkaista normaaliyhtälöstä A T A(a, b) T = A T (1, 2, 3, 3) T tai QR-hajotelman avulla yhtälöstä R (a, b) T = Q (1, 2, 3, 3) T. 17 / 1 R. Kangaslampi QR ja PNS

67 PNS-menetelmä Esimerkki 6 Oletetaan, että mitatut datapisteet (x i, y i ) näyttävätkin sijoittuvan paremmin jollekin paraabelille. Yritetään siis etsiä kertoimia a, b ja c siten, että y = a + bx + cx 2 parhaiten kuvaa mittauspisteitä. Tällöin etsitään PNS-ratkaisua yhtälölle 1 x 1 x 2 1 y 1 1 x 2 x2 2 a y 2 1 x 3 x 2 3 b =... c 1 x n xn 2 y 3. y n. 18 / 1 R. Kangaslampi QR ja PNS

68 Matriisinormi Häiriöalttius MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 14 R. Kangaslampi matriisiteoriaa

69 Matriisinormi Häiriöalttius Matriisinormi Vektorin normi mittaa vektorin pituutta. Matriiseille ja lineaarikuvauksille voidaan myös määritellä normeja. Olkoon jokin vektorinormi (esim. 2 tai ). Mitataan matriisin kokoa sillä, kuinka pitkiksi vektoreiksi matriisilla kerrottaessa yksikkövektorit saattavat kuvautua. Matriisille A C m n asetetaan A = max x =1 Ax. Tässä siis oikealla puolella esiintyy vektoreiden x C n ja Ax C m normeja. Näin määritelty A toteuttaa normin määritelmän 4 ehtoa. 2 / 14 R. Kangaslampi matriisiteoriaa

70 Matriisinormi Häiriöalttius Matriisinormi Kun halutaan korostaa, minkä vektorinormin avulla matriisinormi on, määritelty käytetään vastaavaa merkkiä. Esimerkiksi A 1 = max x 1 =1 Ax 1 ja A 2 = max x 2 =1 Ax 2. Esimerkki Matriisin A = matriisinormi 2 on A 2 = 4, sillä matriisi kuvaa yksikköpallon ellipsoidiksi, jonka pisimmän puoliakselin pituus on 4. 3 / 14 R. Kangaslampi matriisiteoriaa

71 Matriisinormi Häiriöalttius Matriisinormi Matriisinormin laskeminen voi, normista riippuen, olla hyvinkin hankalaa. 1- ja -normit ovat laskuissa monesti käteviä: Lause 2 Olkoon A C m n. Tällöin ja A 1 = max 1 j n A = max 1 i m m a ij eli suurin sarakesumma i=1 n a ij eli suurin rivisumma. j=1 4 / 14 R. Kangaslampi matriisiteoriaa

72 Matriisinormi Häiriöalttius Matriisinormi Kaikki eri matriisinormit ovat kuitenkin keskenään ekvivalentteja: Lause 3 Olkoot p ja q kaksi matriisinormia. Tällöin on olemassa positiiviset vakiot c 1 (p, q) ja c 2 (p, q) siten, että kaikilla A C m n. c 1 A p A q c 2 A p Matriisinormit siis poikkeavat toisistaan vain vakiolla: jos q-normissa A q < B q, niin p-normissa A p < c B p, missä c on normeista riippuva vakio. (Todistus: G. Zielke, Some remarks on matrix norms, condition numbers, and error estimates for linear equations, Linear Algebra and its Applications, Vol. 110 (1988), pp ) 5 / 14 R. Kangaslampi matriisiteoriaa

73 Matriisinormi Häiriöalttius Matriisinormi Matriisinormin ominaisuuksia: Ax A x, AB A B, A k A k, k = 1, 2,.... Seuraavaa tulosta tullaan tarvitsemaan myöhemmin: 6 / 14 R. Kangaslampi matriisiteoriaa

74 Matriisinormi Häiriöalttius Matriisinormi Lause 4 Olkoon A C n n siten, että A < 1. Tällöin I A on kääntyvä ja (I A) A. Todistus. Jos I A ei ole kääntyvä, niin on olemassa x C n siten, että x = 1 ja (I A)x = 0. Tällöin A Ax = x = 1, mikä on ristiriita. Oletetaan, että I A on kääntyvä. Jos x = 1 ja v = (I A) 1 x, niin 1 = (I A)v v Av v A v = (1 A ) v. Siten v 1 1 A. 7 / 14 R. Kangaslampi matriisiteoriaa

75 Matriisinormi Häiriöalttius Häiriöalttius Käytännön ongelmissa, joita kuvataan lineaarisilla malleilla Ax = b, on usein epätarkkuutta sekä datassa että mallissa, eli niin matriisin A kuin vektorin b kertoimissakin. Nyt halutaan tietää, millainen virhe voi aiheutua ratkaisuun x. Tarkastellaan ensin, miten δb :n suuruinen häiriö vektorissa b vaikuttaa ratkaisuun. Merkitään δx :llä ratkaisuvektorin muutosta. Vähentämällä yhtälöt Ax = b ja A(x + δx) = b + δb puolittain, saadaan δx = A 1 δb. Siten absoluuttisen virheen normille saadaan yläraja δx A 1 δb. 8 / 14 R. Kangaslampi matriisiteoriaa

76 Matriisinormi Häiriöalttius Häiriöalttius Paremmin ratkaisun virhettä kuvaa kuitenkin suhteellinen virhe δx / x, sillä lineaarisen yhtälöryhmän ratkaisun voi kerroinmatriisia skaalaamalla saada pienemmäksi, jolloin myös absoluuttinen virhe pienenee. Koska b A x niin suhteelliselle virheelle saadaan yläraja-arvio δx x A A 1 δb b. 9 / 14 R. Kangaslampi matriisiteoriaa

77 Matriisinormi Häiriöalttius Häiriöalttius Määritelmä 5 Matriisin häiriöalttius on κ(a) = A A 1. Suuri häiriöalttius merkitsee siten, että pienikin suhteellinen virhe b :ssä voi aiheuttaa ratkaisuun x suuren epävarmuuden. Aivan vastaavasti voidaan tarkastella matriisin A häiriön δa aiheuttamaa virhettä ratkaisuun, ja saadaan δx δa κ(a) x + δx A. 10 / 14 R. Kangaslampi matriisiteoriaa

78 Matriisinormi Häiriöalttius Häiriöalttius Esimerkki 6 [ ] 1 ɛ Lasketaan κ 1 (A), kun A =, ɛ (0, 1). 1 ɛ [ ] Nyt A 1 = joten häiriöalttiudeksi saadaan 1/ɛ 1/ɛ κ 1 (A) = A 1 A 1 1 = 2 1 (1 + 1/ɛ) = 1 + 1/ɛ, 2 joka on suuri ɛ :n ollessa pieni. 11 / 14 R. Kangaslampi matriisiteoriaa

79 Matriisinormi Häiriöalttius Häiriöalttius Normissa 2 häiriöalttius olisi hankalaa laskea annetun määritelmän perusteella, mutta onneksi se saadaan helposti singulaariarvojen avulla: Lemma 7 κ 2 (A) = σ max(a) σ min (A), missä σ max (A) on matriisin A suurin ja σ min (A) pienin singulaariarvo. Ei todisteta tällä kurssilla. Muistutus: Matriisin A singulaariarvot ovat matriisin A T A ominaisarvojen positiiviset neliöjuuret. 12 / 14 R. Kangaslampi matriisiteoriaa

80 Matriisinormi Häiriöalttius Häiriöalttius Häiriöalttius riippuu (hieman) siitä, missä normissa asioita mitataan. Koska 1 = I = AA 1 A A 1, saadaan tosin κ(a) 1 jokaiselle kääntyvälle matriisille normista riippumatta. Kuten normit, myös häiriöalttiudet eri normeissa mitattuna ovat ekvivalentteja, eli poikkeavat toisistaan vain vakiokertoimella. Tämä nähdään seuraavasta lauseesta: 13 / 14 R. Kangaslampi matriisiteoriaa

81 Matriisinormi Häiriöalttius Häiriöalttius Lause 8 Olkoot häiriöalttiudet κ p (A) = A p A 1 p ja κ q (A) = A q A 1 q. Tällöin on olemassa positiiviset vakiot c 1 (p, q) ja c 2 (p, q) siten, että kaikilla A C m n. c 1 κ p (A) κ q (A) c 2 κ p (A) (Todistus: G. Zielke, Some remarks on matrix norms, condition numbers, and error estimates for linear equations, Linear Algebra and its Applications, Vol. 110 (1988), pp ) 14 / 14 R. Kangaslampi matriisiteoriaa

82 MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Ominaisarvoteoriaa Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 1 R. Kangaslampi matriisiteoriaa

83 Kertaus: ominaisarvot Määritelmä 1 Jos n n-matriisille A pätee Ax = λx jollakin vektorilla x C n \ {0} ja skalaarilla λ C, niin λ on matriisin A ominaisarvo ja x sitä vastaava ominaisvektori. Ominaisyhtälö Ax = λx on yhtäpitävästi (A λi )x = 0, missä I on identtinen matriisi. Tälle löytyy nollasta eroava ratkaisu x täsmälleen silloin, kun det(a λi ) = 0 jollekin λ R. 2 / 1 R. Kangaslampi matriisiteoriaa

84 Kertaus: ominaisarvot Huomioita reaalisia ominaisvektoreita ei aina ole olemassa ominaisvektori on määritelmän mukaan nollasta eroava ominaisarvo voi olla nolla Ax = λx A(tx) = λ(tx) kaikilla t R, joten ominaisvektorin x sijaan voidaan puhua x:n suuntaisesta ominaissuorasta {tx t R}. (Kulkee origon kautta.) Jos lineaarikuvauksen A R n n ominaisarvo λ 0, niin vastaava ominaissuora kuvautuu itselleen ja ominaisarvo λ ilmoittaa ominaissuoran suuntaisen venytyksen. Jos λ < 0, niin suunnistus ominaissuoralla kääntyy, ts. venytyksen lisäksi lineaarikuvaus peilaa ominaissuoran normaalin suhteen. Jos λ = 0, niin kuvaus litistää ominaissuoran origoksi. 3 / 1 R. Kangaslampi matriisiteoriaa

85 Kertaus: ominaisarvot Ominaisarvot ja -vektorit lasketaan siis seuraavasti: Muodosta karakteristinen polynomi p(λ) = det(a λi ). Etsi karakteristisen polynomin nollakohdat p(λ) = 0, nämä ovat ominaisarvot. Ratkaise kullakin ominaisarvolla λ i sitä vastaava ominaisvektori/suora yhtälöstä (A λ i I )x = 0. 4 / 1 R. Kangaslampi matriisiteoriaa

86 Kertaus: ominaisarvot Määritelmä 2 Polynomin det(a λi ) juuren kertaluku on kyseisen ominaisarvon λ algebrallinen kertaluku m a (λ). Ominaisarvon λ geometrinen kertaluku m g (λ) on sitä vastaavan ominaisavaruuden dimensio, eli lineaarisesti riippumattomien ominaisvektorien lukumäärä. Huom: Geometrinen kertaluku ei koskaan voi olla suurempi kuin algebrallinen kertaluku, m g (λ) m a (λ). 5 / 1 R. Kangaslampi matriisiteoriaa

87 Kertaus: ominaisarvot Esimerkki 3 Etsi matriisin A = ominaisarvojen algebralliset ja geometriset kertaluvut. Ratkaisu: Lasketaan ominaisarvot karakteristisen polynomin nollakohtina: det(a λi ) =... = (3 λ) 2 (λ + 1) = 0, joten ominaisarvon λ = 3 algebrallinen kertaluku on 2 ja ominaisarvon λ = 1 on 1. Lasketaan sitten ominaisvektorit: 6 / 1 R. Kangaslampi matriisiteoriaa

88 Kertaus: ominaisarvot Kun λ = 1, yhtälö on (A + 1I )x = 0, ja saadaan x 2 = 0 ja x 3 = x 1, eli ominaissuora {t(1, 0, 1) t R}. Näin ollen geometrinen kertaluku on m g ( 1) = m a ( 1) = 1. Arvolle λ = 3 saadaan yhtälöstä (A 3I )x = 0 ehdot x 2 R ja x 3 = x 1, joten tätä ominaisarvoa vastaten saadaankin ominaistaso {s(1, 0, 1) + t(0, 1, 0) s, t R}. (Lineaarisesti riippumattomat ominaisvektorit esim. (1, 0, 1) ja (0, 1, 0)). Geometrinen kertaluku on siis m g (3) = 2. 7 / 1 R. Kangaslampi matriisiteoriaa

89 Ominaisarvot Ominaisarvoista voidaan puhua myös yleisemmin lineaarikuvauksille, ei vain matriiseille: Määritelmä 4 Olkoon V K -kertoiminen vektoriavaruus. Lineaarikuvausta avaruudelta itselleen: T : V V kutsutaan tavallisesti (lineaari-)operaattoriksi. Jos on olemassa λ K ja vektori v V \ {0} siten, että T v = λ v, niin sanotaan, että λ on T :n ominaisarvo ja vektori v on tähän liittyvä T :n ominaisvektori. 8 / 1 R. Kangaslampi matriisiteoriaa

90 Ominaisarvot Esimerkki 5 Tarkastellaan polynomeja {ˆp 1, ˆp 2, ˆp 3, ˆp 4 } = {1, 1 x, (1 x) 2, (1 x) 3 } ja lineaarikuvausta Tp(x) = p(2 x) polynomiavaruudessa P 3.Tällöin pätee T ˆp 1 = ˆp 1, T ˆp 2 = ˆp 2, T ˆp 3 = ˆp 3 ja T ˆp 4 = ˆp 4. Täten T :llä on ominaisarvot 1 ja 1. Ominaisarvoa 1 vastaavat ominaisvektorit ovat polynomit 1 ja (1 x) 2, ominaisarvoa 1 vastaavia ominaisvektoreita ovat 1 x ja (1 x) 3. 9 / 1 R. Kangaslampi matriisiteoriaa

91 Ominaisarvot Jos u ja v ovat lineaarikuvauksen T samaan ominaisarvoon λ liittyviä ominaisvektoreita, niin T (α u + β v) = α T u + β T v = α λ u + β λ v = λ (α u + β v), joten niiden lineaarikombinaatiokin on λ :aan liittyvä ominaisvektori (jos 0). Yhteen ominaisarvoon λ liittyvät ominaisvektorit muodostavatkin nollan kanssa ominaisavaruuden E T (λ) = { v V T v = λ v } = N(T λi ). 10 / 1 R. Kangaslampi matriisiteoriaa

92 Ominaisarvot Huom: Ominaisarvon geometrinen kertaluku on siis ominaisavaruuden dimensio: m g (λ) = dim(e A (λ)). Matriisin A K n n ominaisarvojen joukkoa eli spektriä merkitään Λ(A) :lla. Tämä on K :n ei-tyhjä osajoukko, jossa on korkeintaan n alkiota. A :n spektraalisäde ρ(a) on suurin A :n ominaisarvojen itseisarvoista eli ρ(a) = max λ. λ Λ(A) 11 / 1 R. Kangaslampi matriisiteoriaa

93 Ominaisarvot Esimerkki 6 Matriisille A = laskettiin aiemmin ominaisarvoiksi λ = 3 ja λ = 1. Arvolle λ = 1 saatiin ominaisvektori (1, 0, 1) T ja arvolle λ = 3 ominaisvektorit (1, 0, 1) T ja (0, 1, 0) T. Nyt siis spektri on Λ(A) = { 1, 3} ja spektraalisäde on ρ(a) = max λ Λ(A) λ = 3. Ominaisavaruudet ovat { E A ( 1) = N(A + I ) = α(1, 0, 1) T } α R, { E A (3) = N(A 3I ) = α(1, 0, 1) T + β(0, 1, 0) T } α, β R. 12 / 1 R. Kangaslampi matriisiteoriaa

94 Ominaisarvot Seuraava, jo mahdollisesti tuttu tulos, on avuksi muodostettaessa ominaisvektoreista kantoja: Lause 7 Olkoot λ 1,..., λ n lineaarikuvauksen T : V V erisuuria ominaisarvoja ja v 1,..., v n näitä vastaavia ominaisvektoreita. Tällöin v 1,..., v n ovat lineaarisesti riippumattomat. (Todistettu Matriisilaskenta-kurssilla) 13 / 1 R. Kangaslampi matriisiteoriaa

95 Kertaus: Diagonalisointi Neliömatriisi A, joilla on n riippumatonta ominaisvektoria, voidaan diagonalisoida. Tämä tarkoittaa, että matriisi A voidaan kirjoittaa muodossa A = SΛS 1, missä matriisin S sarakkeet ovat matriisin A ominaisvektorit, ja matriisi Λ on diagonaalimatriisi, jossa kussakin sarakkeessa on matriisissa S samassa sarakkeessa olevaan ominaisvektoriin liittyvä ominaisarvo. Huom n n-matriisi diagonalisoituu, jos sillä on n lineaarisesti riippumatonta ominaisvektoria. Erityisesti tämä tapahtuu silloin, kun matriisilla on n erisuurta ominaisarvoa, mutta voi siis tapahtua muulloinkin! 14 / 1 R. Kangaslampi matriisiteoriaa

96 Kertaus: Diagonalisointi Esimerkki 8 ( ) 1 2 Matriisin A = ominaisarvoa 1 vastaa ominaisvektori 2 1 ( ) ( ) 1 1 ja ominaisarvoa 3 vastaa. Diagonalisoi A. 1 1 Vastaus: A = SΛS 1 = ( ) ( ) ( 1/2 1/2 1/2 1/2 ) 15 / 1 R. Kangaslampi matriisiteoriaa

97 Kertaus: Diagonalisointi Jos matriisi on diagonalisoituva, sen potensseja on hyvin näppärä laskea: A 2 = SΛ } S 1 {{ S} ΛS 1 = SΛ 2 S 1 =I A 3 = SΛ } S 1 {{ S} Λ } S 1 {{ S} ΛS 1 = SΛ 3 S 1 =I =I A k = SΛ k S 1 Diagonaalimatriisin potenssit ovat helppoja: Λ k = λ λ n k = λ k λ k n. 16 / 1 R. Kangaslampi matriisiteoriaa

98 Kertaus: Diagonalisointi Käänteismatriisin löytäminenkin on diagonalisoidulle matriisille helppoa: A 1 = (SΛS 1 ) 1 = SΛ 1 S 1. missä diagonaalimatriisi kääntyy näppärästi, λ Λ 1 = λ n 1 λ = λ 1 n 17 / 1 R. Kangaslampi matriisiteoriaa

99 Kertaus: Diagonalisointi Esimerkki 9 Laske A 2014, kun A = ( ) Vastaus: A = SΛS 1 = ( ) ( ) ( ), A 2014 = = ( ) ( ( ) ) ( ) 18 / 1 R. Kangaslampi matriisiteoriaa

100 Similaarisuus Neliömatriisi A on similaarinen matriisin B kanssa, jos on olemassa säännöllinen matriisi S siten, että B = SAS 1. Tällöin merkitään A B. Muotoa SAS 1 olevaa matriisia kutsutaan A :n similaarimuunnokseksi. Esimerkki 10 Diagonalisoituva matriisi A on similaarinen sellaisen diagonaalimatriisin kanssa, jossa diagonaalilla ovat A:n ominaisarvot. Lineaarioperaattorin matriisiesitykset eri kantojen suhteen ovat keskenään similaariset. 19 / 1 R. Kangaslampi matriisiteoriaa

101 Similaarisuus Lause 11 Matriisien similaarisuus eli on ekvivalenssirelaatio, eli sillä on ominaisuudet: [Refleksiivisyys:] A A kaikilla A K n n. [Symmetrisyys:] A B = B A. [Transitiivisuus:] A B ja B C = A C. Todistus. Harjoitustehtävä 20 / 1 R. Kangaslampi matriisiteoriaa

102 Similaarisuus Similaarisilla matriiseilla on monia yhteisiä ominaisuuksia. Lause 12 Keskenään similaarisilla matriiseilla on sama karakteristinen polynomi ja siten myös samat ominaisarvot samoine algebrallisine kertalukuineen. Myös ominaisarvojen geometriset kertaluvut ovat samat. Todistus. Taululla. 21 / 1 R. Kangaslampi matriisiteoriaa

103 Similaarisuus Lause 13 Matriisi on similaarinen diagonaalimatriisin kanssa täsmälleen silloin, kun sen ominaisvektoreista voidaan muodostaa kanta. Näin on erityisesti silloin, kun ominaisarvot ovat erisuuret. Lause 14 Matriisi on similaarinen diagonaalimatriisin kanssa täsmälleen silloin, kun kaikille ominaisarvoille pätee m g (λ) = m a (λ). 22 / 1 R. Kangaslampi matriisiteoriaa

104 MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisihajotelmat: Schur ja Jordan Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

105 Schurin hajotelma Kaikki matriisit eivät diagonalisoidu. Kuitenkin, jokainen neliömatriisi on similaarinen yläkolmiomatriisin kanssa, vieläpä niin, että tämän similaarimuunnoksen suorittava matriisi on unitaarinen. Tämä nk. Schurin hajotelma on lähtökohta moniin muihin käyttökelpoisiin hajotelmiin. Lause 1 (Schurin hajotelma) Jokaiselle A C n n on olemassa unitaarinen matriisi Q siten, että S = Q AQ on yläkolmiomatriisi. S :n diagonaalialkiot ovat A :n ominaisarvot. Esitystä A = QSQ ( = QSQ 1 ) kutsutaan A :n Schurin hajotelmaksi. Käytännössä se lasketaan QR-hajotelman avulla iteratiivisesti, lisää aiheesta kurssilla Numeerinen matriisilaskenta. 2 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

106 Schurin hajotelma Schurin hajotelman avulla saadaan kätevästi todistettua monia hyödyllisiä tuloksia, esimerkiksi: Lause 2 Matriisin determinantti on sen ominaisarvojen tulo. Todistus. Schurin hajotelmasta A = QSQ saadaan: det(a) = det(qsq ) = det(q) det(s) det(q ) = det(q) det(q ) det(s) = det(qq ) det(s) = det(s) ja koska S on yläkolmiomatriisi, niin tämä on S :n diagonaalialkioiden eli A :n ominaisarvojen tulo. 3 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

107 Jordanin muoto Kaikki matriisit eivät diagonalisoidu, mutta kaikki matriisit ovat siis similaarisia yläkolmiomatriisin kanssa. Kysymys kuuluukin, kuinka yksinkertaiseen muotoon tämä yläkolmiomatriisi voidaan saattaa? Yksinkertaisin mahdollinen on ns. Jordanin muoto, jota nyt lähdetään etsimään. 4 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

108 Jordanin muoto Tutkitaan aluksi Jordan-matriisia µ µ µ J(µ, r) := C r r µ µ µ Tämä karakteristinen polynomi on P J(µ,r) (λ) = (µ λ) r, eli ainoa ominaisarvo on λ = µ ja se algebrallinen kertaluku on m a (µ) = r. 5 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

109 Jordanin muoto Ominaisarvoa µ vastaa kuitenkin vain yksi ominaissuunta: E µ (J(µ, r)) = {(α, 0, 0,..., 0) T α C}, eli geometrinen kertaluku on m g (µ) = 1. Jordan-matriisi ei siis todellakaan diagonalisoidu, vaan se on eräänlainen ääritapaus diagonalisoitumattomuudesta! Milloin matriisi on similaarinen Jordan-matriisin kanssa? Eli milloin A = V J(µ, r) V 1 jollakin V? 6 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

110 Jordanin muoto Kirjoitetaan matriisi V muodossa V = [ v 1 v 2... v r ] ja katsotaan, millaisia ehtoja saadaan pystyvektoreille v i. A = V J(µ, r) V 1 A [ v 1... v r ] = [ v1... v r ] J(µ, r) Koska [ v1... v r ] J(µ, r) = [ µv1 v 1 + µv 2 v 2 + µv 3... v r 1 + µv r ] ja toisaalta A [ v 1... v r ] = [ Av1 Av 2 Av 3... Av r ], niin yhtälön A = V J(µ, r) V 1 pätemiseksi täytyy päteä 7 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

111 Jordanin muoto Av 1 = µv 1 (A µi )v 1 = 0 Av 2 = v 1 + µv 2 (A µi )v 2 = v 1 Av 3 = v 2 + µv 3 eli (A µi )v 3 = v 2.. Av r = v r 1 + µv r (A µi )v r = v r 1 Kertomalla näitä edelleen (A µi ):n potensseilla, saadaan. 8 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

112 Jordanin muoto (A µi )v 1 = 0 (A µi ) 2 v 2 = (A µi )v 1 = 0 (A µi ) 3 v 3 = (A µi ) 2 v 2 = 0. (A µi ) r v r = (A µi ) r 1 v r 1 = 0 eli (A µi )v 1 = 0 (A µi ) 2 v 2 = 0 (A µi ) 3 v 3 = 0. (A µi ) r v r = 0 Vektorit v 1, v 2,... v r saadaan siis ratkaisemalla ensin (A µi )v 1 = 0, sen jälkeen (A µi ) 2 v 2 = 0 jne. Tästä syystä vektoreita v 1, v 2,... v r kutsutaankin usein yleistetyiksi ominaisarvoiksi. 9 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

113 Jordanin muoto Huom: Myös v 1 ratkaisee yhtälön (A µi ) 2 v 2 = 0, joten v 2 on löydettävä siten, että se on lineaarisesti riippumaton vektorista v 1. Vastaavasti myös seuraaville vektoreille: niiden on aina oltava lineaarisesti riippumattomia edellisistä. Käsin laskettaessa onkin yleensä helpompaa laskea vektorit v 1, v 2,... v r suoraan aiemmasta yhtälöryhmästä (A µi )v 1 = 0 (A µi )v 2 = v 1 (A µi )v 3 = v 2. (A µi )v r = v r / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

114 Jordanin muoto Edetään tällä periaatteella, eli askeleella j etsitään yhtälölle (A µi )v j = v j 1 ratkaisu v j, joka on lineaarisesti riippumaton vektoreista v 1, v 2,..., v j 1. Mikäli algoritmi ei katkea ennen loppua, saadaan V = [ v 1 v 2... v r ] C r r siten, että A = V J(µ, r)v 1. Tietenkään yleinen A C r r ei ole similaarinen Jordan-matriisin kanssa (A:lla esim. useita ominaisarvoja). Seuraava kuitenkin pätee: 11 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

115 Jordanin muoto Lause 3 Jokainen A C n n on similaarinen jonkin Jordanin kanonisen muodon kanssa, eli A = V JV 1, missä J(λ 1, r 1 ) J(λ 2, r 2 ) J =... Cn n, J(λl, rl) r r l = n. Tässä λ 1,..., λ l ovat matriisin A ominaisarvot (voi olla λ j = λ i, vaikka j i), ja J(λ j, r j ) ovat Jordan-lohkoja. 12 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

116 Jordanin muoto Huom: Matriisin A Jordanin kanoninen muoto on lohkojen järjestystä vaille yksikäsitteinen, mutta muunnosmatriisi V ei ole. Esimerkki 4 Laske Jordanin hajotelma matriisille A = / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

117 Jordanin muoto Ratkaisu: Lasketaan ensin matriisin A ominaisarvot: p λ (A) = det(a λi ) =... = (λ 1)(λ 2) 2 = 0, josta saadaan λ 1 = 1, λ 2 = 2. Lasketaan ominaisvektori ominaisarvolle λ 1 = 1, ja saadaan esim. u 1 = (1, 3, 2) T. Laskettaessa ominaisvektoreita ominaisarvolle λ 2 = 2 huomataan, että kaikki ominaisvektorit ovat muotoa v = (0, α, 3α) T, eli kahta lineaarisesti riippumatonta ominaisvektoria ei löydy. Matriisi A ei siis diagonalisoidu. Jordanin hajotelma voidaan toki silti tehdä. Valitaan sitä varten ominaisvektoreista yksi, esim. v 1 = (0, 1, 3) T. 14 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

118 Jordanin muoto Hajotelmasta puuttuva kolmas vektori (eli toinen vektori ominaisarvon 2 lohkoon) voidaan ratkaistava yhtälöstä (A λ 2 I )v 2 = v 1. Tämän ratkaisut ovat muotoa ( 1, α, 8 3α) T, α R. Valitaan v 2 = ( 1, 0, 8) T. Näin ollen V = [ ] v 1 v 2 v 3 = / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

119 Jordanin muoto Hajotelmaan varten täytyy vielä laskea V 1. Tämän jälkeen saadaan lopulta tulos: A = V JV 1 = / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

120 Jordanin muoto Jos matriisissa A on moninkertaisia ominaisarvoja, tai se on lähellä matriisia, jolla on moninkertaisia ominaisarvoja, niin sen Jordanin kanoninen muoto on hyvin herkkä pienille muutoksille. Esimerkki 5 [ ] 1 1 Olkoon A =. ɛ 1 Jos ɛ = [ 0, niin ] A:n Jordanin kanoninen muoto on se itse, eli 1 1 J A =. 0 1 [ ] 1 + ɛ 0 Jos kuitenkin ɛ 0, niin J A = 0 1. ɛ 17 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

121 Jordanin muoto Jordanin muodon häiriöalttius tekee hyvin vaikeaksi rakentaa tarkkoja ja toimivia algorimeja sen laskemiseen. Tästä syystä Jordanin muotoa ei juurikaan käytetä numeerisessa analyysissä. Numeerisesti stabiili Schurin hajotelma on paljon parempi vaihtoehto. 18 / 1 R. Kangaslampi Matriisihajotelmat: Schur ja Jordan

122 Matriisieksponentti MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisieksponentti Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto / 13 R. Kangaslampi Matriisihajotelmista

123 Matriisieksponentti Matriisieksponentti Differentiaaliyhtälöitä ratkaistaessa tyypillinen yrite on muotoa y(t) = e rt. Differentiaaliyhtälösysteemeissä tyyppiä x = Ax tarvitaan puolestaan matriisieksponenttia e At. Seuraavaksi selvitetäänkin, miten tällaisia voidaan laskea. Sarjateoriasta tiedetään, että eksponenttifunktion potenssisarja e x = 0 xk k! suppenee x C. Tämän analogian perusteella voidaan määritellä neliömatriisin eksponenttifunktio kaavalla e A = k=0 1 k! Ak. 2 / 13 R. Kangaslampi Matriisihajotelmista

124 Matriisieksponentti Matriisieksponentti Esimerkki 1 Diagonaalimatriisin D = diag(d 1, d 2,..., d n ), potenssit ovat muotoa D k = diag(d k 1, d k 2,..., d k n ), joten e D = k=0 1 k! Dk = diag ( k=0 d 1 k k!,..., k=0 d k n k! ) = diag( e d 1,..., e dn ). 3 / 13 R. Kangaslampi Matriisihajotelmista

125 Matriisieksponentti Matriisieksponentti Esimerkki 2 Laske e N, kun N = Potensseja laskettaessa todetaan, että N 2 = ja N 3 = 0. Näin ollen myös kaikki korkeammat potenssit N k = 0, kun k 3. Siten e N = I + N N2 = / 13 R. Kangaslampi Matriisihajotelmista