Kurssimateriaalia K3/P3-kursille syksyllä 003. 8.0.003 Heikki Apiola Sisältää otteita Timo Eirolan L3-kurssin lineaarialgebramonisteesta, jonka lähdekoodin Timo on ystävällisesti antanut käyttööni.. Normi ja sisätulo Vektoriavaruuden määritelmässä riitti olettaa, että joukon alkioille on määritelty aksioomat toteuttavat yhteenlasku ja skalaarilla kertominen. Kuitenkin monissa vektoriavaruuksissa voidaan tunnetusti tehdä muitakin laskutoimituksia. Esim. R :ssa tai R 3 :ssa voidaan laskea vektoreiden pituuksia, välisiä kulmia ja pistetuloja. Jatkuvia funktioita voidaan kertoa keskenään, integroida, niiden maksimeja voi etsiä jne. Normiavaruus on sellainen vektoriavaruus, jossa vektoreille on määritelty pituusfunktio, jota kutsutaan normiksi. Sisätuloavaruus on puolestaan normiavaruus, jossa lisäksi kulmien mittaaminen on mahdollista ja erityisesti kohtisuoruus eli ortogonaalisuus on määritelty. Seuraavassa tarkastellaan lähemmin, miten tällaisia pituus- ja kulmafunktioita voidaan määritellä. Määritelmä.. Olkoon V normi, jos se toteuttaa K -kertoiminen vektoriavaruus. Kuvaus : V R on () v 0 v V. () v = 0 = v = 0. (3) u + v u + v u, v V. (4) α v = α v α K, v V. Vektoriavaruutta, jossa on määritelty jokin normi kutsutaan normiavaruudeksi. Esimerkki.. Vektoriavaruudessa R n tavallisin normi on nk. euklidinen normi ( n ) x = x i. i= Selvästi tämä toteuttaa ehdot (), () ja (4). Ominaisuuden (3) eli kolmioepäyhtälön näytämme hieman myöhemmin. Muita usein käytettyjä normeja R n :ssä ovat n x = x i ja x = max x i. i n i= Näistä on helppo näyttää ominaisuudet ()-(4). Ellei toisin mainita, käytetään R n :ssä normia =. Avaruudessa C n käytetään myös aivan samalla tavalla määriteltyjä normeja. Normia kutsutaan taksikuskin normiksi. Miksiköhän?
Määritelmä.. Olkoon V K -kertoiminen vektoriavaruus. Kuvaus, : V V K on sisätulo, jos se toteuttaa ehdot () v, v 0 kaikilla v V. () v, v = 0 = v = 0. (3) u + v, w = u, w + v, w kaikilla u, v, w V. (4) αu, v = α u, v kaikilla α K, u, v V. (5) v, u = u, v kaikilla u, v V. Sisätulolla varustettua vektoriavaruutta sanotaan sisätuloavaruudeksi. Reaalisessa tapauksessa (5) saa muodon v, u = u, v eli reaalinen sisätulo on symmetrinen. Ominaisuudet (3) ja (4) sanovat, että sisätulo on lineaarinen ensimmäisen argumentin suhteen. Toisen argumentin suhteen saadaan: (.) u, α v + β w (5) = α v + β w, u (3),(4) = α v, u + β w, u = α v, u + β w, u (5) = α u, v + β u, w. Täten sisätulo on konjugoidusti lineaarinen toisen argumentin suhteen: skalaarit saadaan ulos kompleksikonjugaatteina. Reaalisessa tapauksessa sisätulo on siten lineaarinen myös toisen argumentin suhteen. Vektoriavaruudesta R n tuttu vektoreiden välinen pistetulo : x, y = x T y = n i= x i y i toteuttaa sisätulon ehdot. Vastaavasti C n :n vektoreille määritellään x, y = x T y = n i= x i y i. Esimerkki.. Avaruudessa C[a, b voidaan määritellä f, g = b f(x)g(x) dx. a Ehdot ()-(5) seuraavat suoraan integraalin ominaisuuksista. Esimerkiksi C[ π, π :ssä funktioiden f(x) = sin x ja g(x) = cos x väliset sisätulot ovat Samoin g, g = π. f, g = π π sin x cos x dx = π f, f = π π sin x dx = π π π sin x dx = 0 ( cos x) dx = π. on sisätu- Sisätulon tärkeä ominaisuus on, että se määrittelee heti myös normin: jos V loavaruus, asetetaan (.) v = v, v. Sisätulon ehdoista saadaan normin ehdot (),() ja (4) helposti. (3) eli kolmioepäyhtälö vaatii hieman laskemista. Lausekkeessa x T y vektorit on ajateltu n -matriiseiksi, jolloin x T on n -matriisi ja x T y on -matriisi eli skalaari.
Esitellään ensin Schwarzin epäyhtälö 3 : sisätulo ja sen avulla kaavalla (.) määritelty (jota vielä ei tiedetä normiksi) toteuttavat: (.3) u, v u v. Tod. Viittaamme L3-prujuun [TE tai moninisiin oppikirjoihin. Todistus on tyylipuhdas minimointitehtävä, jossa tarkastellaan toisen asteen polynomia, sopiva vaikka koulukurssiin. Emme kuitenkaan tässä paneudu siihen. Näytetään nyt, että kaavalla (.) määritelty toteuttaa normin ehdon (3) eli kolmioepäyhtälön u + v u + v. 3 Tod. Käyttäen sisätulon ominaisuuksia ja Schwarzin epäyhtälöä saadaan u + v = u + v, u + v = u, u + u, v + v, u + v, v u + u, v + v u + u v + v = ( u + v ), josta väite seuraa. Kysmys: Onko jokaisen normin taustalla aina sisätulo? Vastaus: Ei. Esimerkiksi edellä esiintyneet. (taksikuski) ja. eivät ole peräisin mistään sisätulosta... Ortogonaalisuus. Vektorit u ja v ovat ortogonaaliset, kun u, v = 0. Ortogonaalisuus määritellään samoin kompleksikertoimisissa vektoriavaruuksissa. Täten [ i ja [ i ovat ortogonaaliset C :ssa. Sisätuloavaruuden vektorijoukkoa S = {v,..., v k } sanotaan ortogonaaliseksi, jos kaikki sen vektorit ovat keskenään ortogonaaliset: v i, v j = 0, kun i j. Ortogonaalinen vektorijoukko {v,..., v n } on myös lineaarisesti riippumaton edellyttäen, että se ei sisällä nollavektoria. Tämä nähdään seuraavasti. Jos c v + +c n v n = 0, otetaan tämän sisätulo v k :n kanssa, jolloin 0 = c v + + c n v n, v k = c v, v k + +c k v k, v k + +c n v n, v k = c k v k ja koska v k 0, saadaan c k = 0. Näin kaikki kertoimet saadaan yksitellen nolliksi, joten {v,..., v n } on lineaarisesti riippumaton. Jos ortogonaalisen joukon vektorit ovat lisäksi pituudeltaan ykkösiä kutsutaan joukkoa ortonormaaliksi. Samoin, jos matriisin Q R m n sarakkeet ovat ortonormaalit (jolloin välttämättä m n ), saadaan Q T Q = I. Jos m > n, niin Q ei kuitenkaan ole invertoituva; sillä on vain vasemmanpuoleinen inverssi. 3 Täydellisemmin: Cauchy-Schwarz-Bunjakovskin epäyhtälö.
4 Olkoon U reaalinen tai kompleksinen matriisi, jonka sarakkeet ovat ortonormaalit Tällöin 4 U U = I ja Ux, Uy = (Uy) Ux = y U Ux = y x = x, y. Erityisesti: unitaarisella (reaalisessa tapauksessa ortogonaalisella) matriisilla kerrottaessa vektoreiden pituudet ja niiden väliset sisätulot säilyvät. Annetun vektorin koordinaatit ortonormaalin kannan suhteen on helppo laskea: Olkoon B = {b,..., b n } sisätuloavaruuden V ortonormaali kanta. Jos v = c b + + c n b n, otetaan tämän sisätulo b k :n kanssa, jolloin v, b k = c k b k, b k = c k. Näin saadaan kaikki kertoimet. Siis esitys ortonormaalissa kannassa saadaan: n v = v, b k b k, kaikilla v V. k= Ortonormaaleja kantoja voidaan muodostaa nk. GramSchmidtin prosessilla. Olkoon (v, v,... ) (äärellinen tai ääretön) jono lineaarisesti riippumattomia sisätuloavaruuden vektoreita. Muodostetaan yhtä pitkä jono (q, q,... ) ortonormaaleja vektoreita seuraavasti: q = v / v, (.4) w k = v k k j= q k = w k / w k. v k, q j q j, } k =, 3,... Tässä keskimmäisellä rivillä v k :sta poistetaan sen komponentit jo muodostetuilla suunnilla q,..., q k. Viimeisellä rivillä jäljelle jäävä osa normeerataan ykkösen pituiseksi. Lause.. Edellä esitetylle Gram-Schmidtin prosessille pätee: a) (q, q,... ) on ortonormaali. b) sp(q,..., q k ) = sp(v,..., v k ) kaikilla k. Erityisesti, jos V on äärellisdimensioinen ja {v,..., v n } on sen kanta, niin {q,..., q n } on V :n ortonormaali kanta. Tod. Prosessi pyörii niin kauan, kun w k = 0 (tai v j -vektorit loppuvat). Näytetään aluksi, että b) on voimassa tähän asti. Koska v k = w k q k + k j= v k, q j q j, saadaan kaikilla k : v k sp(q,..., q k ), josta sp(v,..., v k ) sp(q,..., q k ). Toisaalta, jokaiselle q k selvästi pätee q k sp(q,..., q k, v k ). Täten induktiivisesti q k sp(q,..., q k, v k ) sp(q,..., q k, v k, v k ) sp(v,..., v k ). 4 Kompleksiselle matriisille M = M T ja reaaliselle M = M T.
5 Näin kaikilla k, joten sp(q,..., q k ) sp(v,..., v k ) ja b) on voimassa. Jos olisi w k = 0 jollakin k, tämä tarkoittaisi, että v k = k j= v k, q j q j sp(v,..., v k ) (sillä b) on voimassa vielä edellisellä kierroksella). Mutta tämä on mahdotonta, koska v,..., v k ovat lineaarisesti riippumattomat. Siispä w k :t eivät koskaan tule nolliksi. Todistetaan a) induktiolla: Selvästi {q } on ortonormaali. Oletetaan, että {q,..., q k } on ortonormaali. Tällöin, kun i k, saadaan q k+, q i ( = v k+ k j= v k+, q j q j), q i w k+ = w k+ ( v k+, q i k j= v k+, q j q j, q i ) = w k+ ( v k+, q i v k+, q i ) = 0. Näin q k+ on kohtisuorassa kaikkia q i, i k vastaan. Selvästi q k+ =. Ja kun muutkin ovat keskenään ortonormaalit, {q,..., q k+ } on ortonormaali. Huomaa, että saatava ortonormaali joukko riippuu paitsi vektoreista v j myös niiden järjestyksestä. Tehtävä.. Näytä, että äärellisdimensioisen sisätuloavaruuden mielivaltainen ortonormaali joukko voidaan täydentää ortonormaaliksi kannaksi. Esimerkki.3. Lähdetään liikkeelle R 3 :n kannasta {v, v, v 3 } = { [ [ [ } 0,,. 0 Saadaan: [ q = 0 [ [ [ w = 3 0 0 = 0 q = w 3 = q 3 = [ [ 00 [ 0 Näin saatiin ortonormaali kanta { [ 0.. Matriisinormi ja häiriöalttius. [ = 0 [ 0 + 0 [ 0 =. [,, 0 [ 00 }. [ 00
6 Vektorin normi mittaa vektorin pituutta. Matriiseille ja lineaarikuvauksille voidaan myös määritellä normeja. Erityisen hyödyllisiksi osoittautuvat sellaiset normit, jotka on määritelty vektorinormien avulla. Rajoitumme tässä tarkastelemaan vain matriisien normeja, normiavaruuksien välisten lineaarikuvausten normit määritellään samalla tavalla. Olkoon jokin vektorinormi (esim. tai ). Mitataan matriisin kokoa sillä, kuinka pitkiksi vektoreiksi matriisilla kerrottaessa yksikkövektorit saattavat kuvautua. Niinpä matriisille A C m n asetetaan (.5) A = max x = Ax. Tässä siis oikealla puolella esiintyy vektoreiden x C n ja Ax C m normeja. A A Näin määritelty A toteuttaa määritelmän. neljä ehtoa: () (.5):n oikealla puolella esiintyy vain ei-negatiivisia lukuja, joten A 0. () Jos A [ 0, niin sillä on olemassa ei-nolla elementti a ij. Valitaan x = e j, jolloin aj Ax =. 0 ja A Ax > 0. a mj (3) A + B = max (A + B)x max ( Ax + Bx ) x = x = max Ax + max Bx = A + B. x = x = Tässä käytettiin aluksi vektorinormin kolmioepäyhtälöä. (4) αa = max x = αax = max x = α Ax = α A jälleen vektorinormin vastaavan ominaisuuden perusteella. Matriisinormilla ja vastaavalla vektorinormilla on lisäksi ominaisuudet (harjoitustehtävä) (.6) (.7) (.8) Ax A x, AB A B, A k A k, k =,,.... Kun halutaan korostaa, minkä vektorinormin avulla matriisinormi on määritelty käytetään vastaavaa merkkiä. Esimerkiksi A = max Ax ja A = max Ax. x = x = Riippuen valitusta vektorinormista matriisin normin laskeminen voi olla hankalaa tai helpompaa. - ja -normit ovat laskuissa monesti käteviä:
7 Lause.. Olkoon A C m n. Tällöin A = max j n i= a ij ja A = max i m n a ij j= Tod. Jos x = n k= x k =, niin n n Ax = (Ax) i = a ik x k a ik x k i= i= k= i= k= n n = x k a ik x k max a ij = max j n j n k= i= k= i= Siten A max m j n i= a ij. Toisaalta, jos l on siten, että a i l = max a ij, j n niin i= joten A max j n m i= a ij. i= [ Ae l a l =. = a m l a i l, -normia koskeva väite jätetään harjoitustehtäväksi. i= a ij. Tehtävä.. Millaisia yleisesti päteviä epäyhtälöitä saat matriisin A C n n normien A, A ja A välille? Katso vastaavien vektorinormien välisiä epäyhtälöitä (tehtävä??). Seuraava tärkeä tulos tulee käyttöön vielä useasti. Loppupuolella esitämme sille myös toisen todistuksen. Lause.3. Olkoon A C n n siten, että A <. Tällöin I A on invertoituva ja (I A) A. Tod. Jos I A ei ole invertoituva, niin on olemassa x C n siten, että x = ja (I A)x = 0. Tällöin A Ax = x =, mikä on ristiriita. Jos x = ja v = (I A) x, niin Siten v A. = (I A)v v Av v A v = ( A ) v. i= Häiriöalttius. Kun käytännön tehtävissä päädytään lineaariseen malliin Ax = b, niin usein yhtälöiden kertoimissa ja datassa eli matriisin A tai vektorin b alkioissa, on epävarmuutta. Kertoimet on voitu saada esimerkiksi mittausten tuloksena. Halutaan tietää,
8 miten suuri virhe tästä voi aiheutua ratkaisuun x. Tarkastellaan ensin, miten δb :n suuruinen häiriövektori oikean puolen vektorissa vaikuttaa ratkaisuun. Merkitään δx :llä ratkaisuvektorin muutosta. Vähentämällä yhtälöt Ax = b ja A(x + δx) = b + δb puolittain, saadaan δx = A δb. Siten absoluuttisen virheen normille saadaan yläraja (.9) δx A δb. Lineaarisen yhtälöryhmän ratkaisun voi kerroinmatriisia skaalaamalla saada pienemmäksi, jolloin myös absoluuttinen virhe pienenee. Paremmin ratkaisun virhettä kuvaakin suhteellinen virhe δx / x. Koska (.0) b A x niin epäyhtälöistä (.9) ja (.0) saadaan suhteelliselle virheelle yläraja-arvio Tämän perusteella asetetaan Määritelmä.3. Matriisin häiriöalttius on δx x A A δb b. κ(a) = A A. Suuri häiriöalttius merkitsee siten, että pienikin suhteellinen virhe b :ssä voi aiheuttaa ratkaisuun x suuren epävarmuuden. Aivan vastaavasti voidaan tarkastella matriisin A häiriön δa aiheuttamaa virhettä ratkaisuun, ja saadaan δx x + δx κ(a) δa A. Häiriöalttius riippuu (hieman) siitä, missä matriisinormissa (ja vastaavassa vektorinormissa) asioita mitataan. Koska = I = AA A A, saadaan κ(a) jokaiselle (invertoituvalle) matriisille normista riippumatta. Huomaa, että (toisin kuin determinantti) häiriöalttius ei riipu matriisin skaalauksesta: κ(αa) = αa (αa) = α A α A = A A = κ(a). Unitaariselle matriisille U pätee Ux = x, joten U = ja samoin U = U =, joten κ (U) =. Siten unitaarisen matriisin häiriöalttius (-normissa mitattuna) on pienin mahdollinen. [ [ Esimerkki.4. ε Lasketaan κ (A), kun A =. Nyt A ε = /ε /ε joten häiriöalttiudeksi saadaan lauseella. (kun ε (0, ) ) κ (A) = A A = ( + /ε) = + /ε, joka on suuri ε :n ollessa pieni.
9 Kurssimateriaalia K3/P3-kursille syksyllä 003. 8.0.003 Heikki Apiola Tässä voi olla hiukan eri merkintöjä kuin edellisessä luvussa. Ainakin edellä esiintyneen A :n sijasta käytämme A :a.. Ortogonaalisuus, matriisityyppejä ja spektrejä Reaalinen Kompleksinen Symmetrinen: A T = A Hermiittinen: A T = A Vinosymmetrinen: A T = A A T = A Ortogonaalinen: A T = A A T = A. Merkintöjä: A = A T, usein merkitään myös A, myös A H esiintyy ("hermitointi"). Merkintä A on sama kuin Matlab:ssa. Käyttämällä merkintää A (tai vastaavaa synonyymia), voidaan yllä olevat ehdot lausua yhtenäisesti: Hermiittinen tai symmetrisen ehto on: A = A, jne. Aloitamme lemmalla, joka on hyödyllinen monissa seuraavissa todistuksissa. Huomaa, että vaikka olisimme kiinnostuneita vain reaalisista matriiseista, on alla olevat laskut suoritettava kompleksiluvuilla, koska ominaisarvot ja ominaisvektorit saattavat sisältää kompleksilukuja. Lemma.. Olkoon A (m n)- matriisi ja olkoot u C n ja v C m. Tällöin Au, v = u, A v. Tod. Au, v = (Au) T v = u T A T v. Koska A T = A, voidaan yhtälöketjua jatkaa: = u T A v = u, A v. Siinäpä se... Ortogonaaliset matriisit. Ortogonaalisen matriisin prototyyppi on tason kierto. Lause. (KRE Thm. 3). Reaalinen matriisi A on ortogonaalinen, jos ja vain jos sen rivit muodostavat ortonormaalin joukon, jos ja vain jos sen sarakkeet muodostavat ortonormaalin joukon. Tod. Eipä muuta, kuin ajatellaan matriisitulon määritelmää yhtälössä A T A = I. Jos merkitään rivivektoreita a i. ja sarakevektoreita a.j, niin (A T A) ij = a T i. a.j = a.i a.j
0 Jos merkitään δ ij :llä ns. Kroneckerin deltaa, joka lyhyesti sanottuna tarkoittaa yksikkömatriisin alkiota (I) ij, niin ehto A T A = I merkitsee samaa kuin (A T A) ij, joka siis on sama kuin a.i a.j = δ ij, eli sarakevektorien ortonormaalisuus. Rivivektoreilla aivan vastaavasti tarkastelemalla tuloa AA T = I. Muistamme käänteismatriisin yhteydestä, että jo toinen ehdoista AA T = I tai A T A = I takaa käänteismatriisin olemassaolon, eli sen toisen puolen. Siten implikaatio kulkee sarakkeista tai riveistä ortogonaalisuuteen niinikään. Lause.3 (KRE s. 38, Lop. s. 730). Ortogonaalinen kuvaus säilyttää sisätulon ja siten vektorin normin, ts. Au, Av = u, v. Tod. Olkoon u = Aa, v = Ab. u, v =Aa, Ab = A Aa, b = a, b, koska AA = I. Erityisesti u = u, u = a, a = a. Determinanttien kertosäännöstä ja transposisäännöstä seuraa heti: Lause.4. Ortogonaalisen matriisin det = ±. Lause.5. Ortogonaalisen matriisin ominaisarvot ovat yksikköympyrällä, ts, λ = kaikille ominaisarvoille λ. Tod. Kuten edellä totesimme, Au = u. Jos u, λ on omisarvo/-vektoripari, niin Au = λu, u 0. u = Au = λ u. Koska u 0, voidaan sillä jakaa, ja saadaan λ =. Huomautus.. Yllä oleva todistus menee sanasta sanaan myös unitaariselle... Symmetrinen (hermiittinen) ja vinosymmetrinen matriisi. Lause.6 (Lop s. 73, KRE8 s. 387). (Hiukan eri muodot) Olkoon A symmetrinen reaalinen matriisi. () A:n ominaisarvot ovat reaaliset, vinosymmtrisen puhtaasti imaginaariset () A:n eri ominaisarvoja vastaavat ominaivektorit ovat ortogonaaliset. (3) A:n ominaisvektoreista voidaan muodostaa jopa ortonormaali kanta R n :lle. (4) A on diagonalisoituva, diagonalisoiva matriisi voidaan valita ortogonaaliseksi, ts. voidaan kirjoittaa A = SDS T, missä S on ortogonaalinen. Tod. () Olkoon Ax = λx, x 0.
Huomaa, että seuraavat laskut on tehtävä kompleksiluvuilla, koska emmehän voi todistuksessa käyttää väitettä hyväksi! :-) Turvaudumme tuohon mainioon lemmaan, jonka jälkeen kaikki risuaidat saadaan jättää taakse. Ax, x = λ x, x = λ x. Tuon mainitun mainion mukaan vasen puoli on: x, A x = x, Ax = x, λx = λ x, x. Siis λ x = λ x, josta jakamalla x : lla ( 0) saadaan λ = λ, eli λ R. Vinosymmtrinen tapaus menee aivan samoin, paitsi -merkki, joka antaa johtopäätöksen: λ = λ, joka merkitsee sitä, että reaaliosa on nolla, kuten väitettiin. () Olkoon Ax = λx, Ay = µy, λ µ. Ax, y = x, Ay Ax, y = λx, y = λ x, y x, Ay =x, µy =µ x, y (µ = µ). Koska λ µ, on oltava x, y = 0. (3) Tämä on syvällisempi tulos, todistetaan kylläkin L3:ssa (kts. [TE), perustuu ns. Schur'n hajoitelmaan. (4) Kanta voidaan valita ortonormaaliksi, koska eri ominaisarvoja vastaavat ominaisavaruudet ovat keskenään ortogonaalisia. Kussakin ominaisavaruudessa voidaan suorittaa edellä esitetty Gram-Schmidt'n ortonormalisointi, jolloin saadaan koko avaruuden ON kanta. 5 5 ON: ortonormaali, OG: ortogonaalinen