TMA.111 Matemaattinen analyysi c Matti Laaksonen, 2003

TMA.111 Matemaattinen analyysi c Matti Laaksonen, 2003 Vaasan Yliopisto, 2003 Teknillinen tiedekunta Matemaattisten tieteiden laitos PL 700 (Wolffintie 34) 65101 VAASA Vaasan yliopisto

Matemaattinen analyysi 2003, sisältö: 1. Johdanto 1 1.1. Kurssin tavoitteet 1 2. Matriisilaskentaa 3 2.1. Lineaarialgebran kertausta 3 2.1.1 Sisätulojanormi 5 2.1.2 Lineaarinen riippumattomuus ja kanta 7 2.1.3 Kannanvaihto 13 2.2. Matriisin rangi 17 2.3. Lineaarikuvaus 20 2.3.1 Lineaarikuvauksen matriisi 20 2.3.2 Ydin ja kuva 24 2.4. Matriisin ominaisarvot 27 2.5. Similaarisuus 34 2.6. Matriisin diagonalisointi 35 2.7. Matriisin LU-hajoitelma 37 2.8. Matriisin QR-hajoitelma 40 2.9. Matriisin singulaariarvohajoitelma 42 2.10. Matriisin definiittisyys 43 2.11. Yleinen lineaariavaruus* * 3. Ääriarvotehtäviä 47 3.1. Yhden muuttujan tapaus, kertaus 47 3.2. Kahden muuttujan tapaus ilman rajoitteita 54 3.2.1 Gradientti, välttämätön ehto 57 3.2.2 Hessian, riittävä ehto 61 3.2.3 Optimin etsiminen numeerisesti 63 3.2.4 Esimerkkejä 65 3.3. Monen muuttujan tapaus ilman rajoitteita 66 3.4. Rajoitteellinen optimointi, yhtälörajoite 68 3.4.1 Sijoituskeino 69 3.4.2 Lagrangen kertojat, yhtälörajoite 71 3.4.3 Resurssirajoite, resurssin varjohinta 76 3.5. Rajoitteellinen optimointi, epäyhtälörajoite 79 3.5.1 Graafinen ratkaisu 79 3.5.2 Laskeva ja käypä suunta 82 3.5.3 Lagrangen kertojat, epäyhtälörajoite 84 3.5.4 Optimointitehtävän relaksaatio 89 3.6. Pienimmän neliösumman menetelmä 91 3.6.1 Approksimointi polynomilla 91

0 3.6.2 Lineaarisen mallin sovitus 94 4. Jonot ja sarjat 103 4.1. Supremum ja infimum 103 4.2. Jonon suppeneminen 104 4.3. Sarjan suppeneminen 106 4.4. Majoranttiperiaate, suppenemistestejä 107 4.5. Transientin kassavirran nykyarvo 109 4.6. Potenssisarja, suppenemisväli 114 4.7. Taylorin ja MacLaurinin sarjat 117 4.8. Taylorin polynomi 119 5. Dynaamisen ilmiön mallinnus 120 5.1. Differentiaaliyhtälö 120 5.2. Ensimmäisen kertaluvun DY 125 5.2.1 Separoituva DY 125 5.2.1 Muotoa y = f( y x ) oleva DY 127 5.3. Lineaarinen 1. kertaluvun diff.yhtälö 128 5.4. Sovelluksia 133 5.4.1 Lääkkeen määrä elimistössä 134 5.4.2 Eksponentiaalinen kasvu 135 5.4.3 Logistinen kasvu 138 5.4.4 Auton hinta 140 5.5. Numeerinen simulointi 142 5.6. 2. kertaluvun lineaarinen vakiokert. DY 144 5.7. 1. kertaluvun lin. vakiokert. DY-ryhmä 154 5.8. Yleinen tasapainon stabiilisuus 158 6. Kirjallisuutta *

1.1. Kurssin tavoitteet 1 1. Johdanto 1.1 Kurssin tavoitteet Tämän kurssin tavoite on antaa opiskelijalle matemaattiset valmiudet jatkaa operaatioanalyysin ja taloustieteiden opiskelua. Jatkossa opiskelija saa tutustua sovelluksiin, joissa saatu hyöty riippuu monesta muuttujasta. Luonnollinen tehtävä silloin on löytää muuttujille sellaiset arvot, että hyöty saadaan mahdollisimman suureksi. Tämän perustehtävän ratkaisemista sanotaan optimoinniksi. Jo talousmatematiikan perusteissa tutustuttiin lineaariseen optimointiin. Tällä kurssilla tavoitefunktio ja rajoitteet saavat olla epälineaarisia. Kurssin sisältö jakautuu karkeasti neljään osaan: 1. matriisilaskentaa 2. optimointia 3. jonoja ja sarjoja 4. differentiaaliyhtälöitä Kurssin alussa esitettäviä matriisien ominaisuuksia tarvitaan myöhemmin optimoinnin ja differentiaaliyhtälöiden yhteydessä. Matriiseja opiskelija tulee tarvitsemaan muillakin kursseilla, joten asiakokonaisuus on tärkeä. Matriisiosuus alkaa lineaarialgebran kertauksella, jota luultavasti ei tämän kurssin tentissä tulla kysymään. Missä kertaus loppuu ja uusi materiaali alkaa riippuu kulloisenkin vuoden luennoijasta ja edeltävien kurssien toteutuksesta. * merkinnät, sanonnat * matriisilaskut Excel:llä *graafiset esitykset * analyysi, harjoittele kirjainten käsittelyä lausekkeissa

2 1. Johdanto

2.1. Lineaarialgebran kertausta 3 2. Matriisilaskentaa 2.1 Lineaarialgebran kertausta Merkitsemme koulumatematiikasta tuttua vektoria ~v = 2~i + 3~j sarake matriisilla µ 2 v = =(2 3) T 3 Merkintätavan muutos helpottaa jatkossa siirtymistä useammankuinkahdenko- ordinaatin vektoreihin. Yhteenlasku ja reaaliluvulla kertominen on nyt helposti määriteltävissä. µ µ µ µ 2 5 2+5 7 + = = 3 1 3+1 4 µ µ µ 2 2 2 4 2 = = 3 2 3 6 Perinteinen ja hyvä tapa saada mielikuva edellä olleista vektoreista on ajatella ne siirtymisinä. ( 2 3 ) T = kaksi oikealle ja kolme ylös, ( 5 1 ) T = viisi oikealle ja yksi ylös ja ( 2 3 ) T +(5 1) T = kaksi oikealle ja kolme ylös ja vielä viisi oikealle ja yksi ylös = seitsemän oikealle ja neljä ylös (ks. Kuva 2.1). Käytämme n-alkioisten vektoreiden joukolle merkintää IR n = {a =(a 1 a 2... a n ) T a j IR,j =1, 2,...,n}. Sanomme IR n :ää n-ulotteiseksi Euklidiseksi vektoriavaruudeksi. IR 1,IR 2 ja IR 3 ovat lukion matematiikasta tutut lukusuora, taso ja kolmiulotteinen avaruus. (Meidän käyttämämme merkintä IR n muistuttaa siitä, että vekrotin koordinaatit a j ovat reaalilukuja. Monessa kirjassa halutaan korostaa Eukleideen nimeä, ja sillon vastaava merkintä yleensä one n.)

4 2. Matriisilaskentaa Figure 2.1: ( 2 3 ) T +(5 1) T =(7 4) T Yleistämme IR 2 :ssa niin luonnolliset yhteenlasku- ja reaaliluvulla kertomis-säännöt IR n :ään seuraavasti. Olkoot a =(a 1 a 2... a n ) IR n, b =(b 1 b 2... b n ) IR n, c =(c 1 c 2... c n ) IR n ja µ IR. a + b = c c j = a j + b j, j =1,...,n (2.1) µa = c c j = µa j, j =1,...,n (2.2) On tärkeätä huomata, että vektoreille on sovittu kahden vektorin yhteenlasku ja vektorin kertominen reaaliluvulla, mutta kahden vektorin kertomista ei ole määritelty. Yllä sovittu merkintä, noudattelee matriisinotaatiota. Joskus on tarpeen erotella matriisin alkioita (vektorin koordinaatteja) toisistaan. Seuraavassa kaksi esimerkkiä, joissa erottimet ovat tarpeen. Sovitaan vielä merkinnöistä µ ax yz 2 =(ax, yz 2 ) T, µ 2.4 =(2.4; 1.3) T, 1.3 0 = (0 0... 0) T (2.3) 1 = (1 1... 1) T (2.4) e k = (δ 1k δ 2k... δ nk ) T, (2.5) missä δ kk =1, ja δ jk =0, kun j 6= k Esimerkiksi IR 3 :ssa 0 = 0 0, 1 = 1 1, e 1 = 1 0, e 2 = 0 1, e 3 = 0 0 0 1 0 0 1

2.1.1 Sisätulo ja normi 2.1. Lineaarialgebran kertausta 5 Kahden vektorin a IR 3 ja b IR 3 sisätulo ha bi ja vektorin a IR 3 normi kak määritellään seuraavasti ha bi = a T b =(a 1 a 2 a 3 ) b 1 b 2 = a 1 b 1 + a 2 b 2 + a 3 b 3 (2.6) b 3 kak = p q ha ai = a 2 1 + a2 2 + a2 3 (2.7) Sisätulo on siis lukiosta tuttu pistetulo ja normi on vektorin pituus. Nyt yleistämme seuraavasti. Määritelmä 2.1.1 Kahden vektorin a IR n ja b IR n sisätulo ha bi ja vektorin a IR n normi kak ovat ha bi = a T b = a 1 b 1 + a 2 b 2 +...+ a n b n (2.8) kak = p q ha ai = a 2 1 + a2 2 +...+ a2 n (2.9) Sisätulon arvo on reaaliluku, joten sisätulo ei ole vektoreiden välinen laskutoimitus. (Siksi vältämme nyt pistetulomerkintää.) Kahden vektorin sanotaan olevan kohtisuorassa toisiaan vastaan eli ortogonaaliset (merkitään a b) jos niiden sisätulo on nolla, a b ha bi = 0. Normi on mitta vektorin suuruudelle. Kaksi vektoria ovat lähellä toisiaan, jos niiden erotuksen normi on pieni Esimerkki 2.1.1 Olkoon a IR N N:stä havaintoarvosta muodostuva havaintovektori (aikasarja). Havaintosarjan keskiarvo on µ a =(a 1 + a 2 +...+ a N )/N = N 1 ha 1i (2.10) Havaintojen poikkeama keskiarvosta (vaihtelu) saadaan vähentämällä keskiarvo jokaisesta havainnosta ã =(a 1 µ a,a 2 µ a,...,a N µ a ) T = a µ a 1 (2.11) Vaihtelun suuruutta on tapana mitata varianssilla s 2 a,jokaon s 2 a = kãk2 N 1 = (N 1) 1 ha µ a 1 a µ a 1i = (N 1) 1 (ha ai µ a ha 1i µ a h1 ai + µ 2 ah1 1i) = at a Nµ 2 a N 1 ( IR) (2.12) Olkoon b IR N toinen aikasarja ja µ b sen keskiarvo ja b IR N sen poikkeama keskiarvosta. Jos kummankin aikasarjan poikkeamat keskiarvosta noudattavat yhteistä rytmiä, niin tulo ã j bj on useimmiten positiivinen. Silloin hã bi = P ã j bj on

6 2. Matriisilaskentaa positiivinen. Tätä yhteisvaihtelua on tapana mitata kovarianssilla cov(a, b) = hã bi N 1 = (N a) 1 ha µ a 1 b µ b 1i = (N a) 1 (ha bi µ b ha 1i µ a h1 bi + µ a µ b h1 1i) = at b Nµ a µ b N 1 (2.13) Kahden aikasarjan välinen korrelaatio r ab määritellään lausekkeella r ab = cov(a, b) s a s b (2.14) Seuraavassa taulukossa on kolme aikasarjaa ja vastaavat varianssit, kovarianssit ja korrelaatiokertoimet. j a j b j c j 1 1.000 3.000 5.000 2 1.165 2.986 5.648 3 1.224 2.388 5.790 4 1.171 2.698 4.988 5 0.894 3.275 4.243 6 0.767 3.199 4.077 7 0.893 3.188 4.753 8 1.285 3.556 5.665 9 1.389 2.628 6.021 10 1.011 2.251 5.289 11 0.733 3.349 4.497 12 0.671 2.514 4.013 13 0.823 2.857 4.497 14 1.076 3.286 5.366 15 1.327 3.575 5.939 16 1.247 2.714 5.501 17 0.976 3.449 4.863 18 0.849 2.996 4.272 19 0.704 2.106 4.343 20 1.063 3.157 5.165 µ a =1.013 µ b =2.959 µ c =4.997 s a =0.219 s b =0.429 s c =0.643 cov(a, b) =0.012, r a,b =0.126 cov(a, c) =0.132, r a,c =0.941 cov(b, c) =0.014, r b,c =0.053 Esimerkki 2.1.2 Yhteisvaihtelua käsitellään paljon riippuvuusanalyysin kurssilla. Tälä kurssilla emme jatka aiheen käsittelyä enempää kuin yhdellä huomiolla. Koska usein taloudelliset aikasarjat esitetään muodossa, jossa havaintojen keskiarvo on likimain nolla, ymmärretään helposti aikasarjojen ortogonaalisuus ja korreloimattomuus samaksi asiaksi. Tämä ei kuitenkaan ole totta. Seuraava vastaesimerkki osoittaa eron.

2.1. Lineaarialgebran kertausta 7 j a j b j 1-1,000 3,000 2 1,000 5,000 3-2,000 2,000 4-1,000 3,000 5 0,000 4,000 6 1,000 5,000 µ -0.333 3.667 s 1.211 1.211 cov(a, b) =1.222 r a,b =1.000, ha bi =0 Aikasarjat korreloivat täydellisesti, vaikka ovatkin keskenään ortogonaaliset. 2.1.2 lineaarinen riippumattomuus ja kanta Esimerkki 2.1.3 Olkoon yrityksen A osakkeen arvo 20 C ja yrityksen B osakkeen arvo 10 C. Sijoittaja tarkastelee omaisuutensa rakennetta ryhmittelemällä sijoittamansa rahat kolmeen osaan mekaaninen puunjalostus, paperi ja kemianteollisuus. Yrityksen A liikevaihdosta puolet tulee sahatavarasta ja puolet paperin valmistuksesta. Yrityksen B liikevaihdosta puolet tulee hienopaperista ja puolet värikemikaalien myynnistä. Yritysten osakkeiden arvojen jakautumiset eri toimialoille voidaan esittää vektoreilla v A = 10 10, v B = 0 5. (2.15) 0 5 Sijoittaja haluaa sijoittaa 1000 C siten, että 50% sijoituksesta menee paperinvalmistukseen loppu jakautuu tasan mekaanisen puunjalostuksen ja kemian teollisuuden kesken. Tavoitteena on siis jakauma w 1 = 250 500. (2.16) 250 Tämä onnistuu ostamalla 25 kappaletta A-osaketta ja 50 kappaletta B-osaketta, sillä w 1 = 250 500 =25 10 10 +50 0 5 =25v A +50v B (2.17) 250 0 5 Toinen sijoittaja haluaa sijoittaa 1000 C siten, että 50% sijoituksesta menee mekaaniseen puuhun ja loput tasan paperiteollisuuteen ja kemian teollisuuteen. (Siis

8 2. Matriisilaskentaa w 2 = (500; 250; 250) T.) Tämä on jo vaikeampaa. johtaa seuraavaan päättelyketjuun Perusteellinen ratkaisuyritys Gauss xv A + yv B = w 2 (2.18) x 10 10 + y 0 5 = 500 250 0 5 250 10 0 µ 10 5 x = 500 250 y 0 5 250 10 0 500 10 5 250 :10 :10 0 5 250 :5 1 0 50 1 0.5 25 1 0 1 50 1 0.5 50 0 1 50 0.5 0 0.5 25 1 0.5 50 0 1 50 0 0 50 ei ratkaisua! /// Sovimme seuraavista sanonnoista. Määritelmä 2.1.2 Olkoon u, v 1, v 2,...v m IR n vektoreita ja λ 1, λ 2,...,λ m IR reaalilukuja. (1) Jos u = λ 1 v 1 + λ 2 v 2 +...+ λ m v m niin sanomme, ettävektori u on lineaarikombinaatio (linear combination) vektoreista {v 1, v 2,...,v m }. (2) Vektorijoukon {v 1, v 2,...,v m } IR n kaikkien lineaarikombinaatioiden joukko on sen virittämä aliavaruus (a subspace of IR n spanned by {v 1, v 2,...,v m }) span{v 1, v 2,...,v m } = {u IR n u on lineaarikombinaatio vektoreista v j }

2.1. Lineaarialgebran kertausta 9 Määritelmä 2.1.3 (1) Vektorijoukko {v 1, v 2,...,v m } IR n on lineaarisesti riippuva (sidottu) (linearly dependent), jos on olemassa reaaliluvut λ 1, λ 2,...,λ m IR, joista ainakin yksi ei ole nolla, niin että λ 1 v 1 + λ 2 v 2 +...+ λ m v m = 0 (2) Vektorijoukko {v 1, v 2,...,v m } IR n on lineaarisesti riippumaton (vapaa) (linearly independent), jos se ei ole sidottu, eli (λ 1 v 1 + λ 2 v 2 +...+ λ m v m = 0) (λ 1 = λ 2 =...= λ m =0) Lineaarisesti riippuva eli sidottu vektorijoukko voidaan myös luonnehtia sanomalla, että vektorijoukko on sidottu, jos ainakin yksi vektoreista voidaan lausua muiden lineaarikombinaationa. Vektorijoukko ei välttämättä viritä kokoir n :ää. Esimerkissä 2.1.3 toisen sijoittajan tavoitejakauma w 2 ei ole toteutettavissa v A :n ja v B :n lineaarikombinaationa (w 2 / span{v A, v B }). Jos toinen sijoittaja haluaa toteuttaa suunnitelmansa, niin hänen tulee etsiä kolmas yritys C niin, että w 2 Span{v A, v B, v C }.Asiaonselvä, jos Span{v A, v B, v C } =IR 3. Tämän kappaleen lopussa saamme ehdon sille, että vektorijoukko virittää IR n :n. Määritelmä 2.1.4 Jos vektorijoukko E = {v 1, v 2,...,v m } IR n on lineaarisesti riippumaton, niin sanomme että se on virittämänsä aliavaruuden span{v 1, v 2,...,v m } kanta (base). Vektoreita v j E sanotaan kantavektoreiksi. Jos kantavektorit ovat keskenään ortogonaaliset eli hv j v k i = 0, kun j 6= k, niin kanta on ortogonaalinen (orthogonal). Jos kanta on ortogonaalinen ja lisäksi kv j k =1,j =1,...,m, niin kanta on ortonormitettu (orthonormal). Esimerkki 2.1.4 Tutkitaan muodostavatko esimerkin 2.1.3 vektorit {v A, v B } virittämänsä aliavaruuden kannan. Lineaarisen riippumattomuuden määritelmän perusteella riittää osoittaa, että (λ 1 v A + λ 2 v B = 0) (λ 1 = λ 2 =0) Osoitamme tämän seuraavasti λ 1 v A + λ 2 v B = 0 λ 1 10 10 + λ 2 0 0 5 5 = 10λ 1 = 0 10λ 1 + 5λ 2 = 0 5λ 2 = 0 λ 1 = λ 2 =0 0 0 0

10 2. Matriisilaskentaa Siis vektorit muodostavat kannan. /// Esimerkki 2.1.5 Olkoon esimerkin 2.1.3 sijoittajilla käytettävissään kolmas osake, C-osake, johon liittyvä jakauma on v C =(1050) T. Sijoitusneuvoja neuvottelee asiakkaidensa kanssa ja määrittää kullekin sopivan jakauman w. Voidaanko tämä jakauma aina toteuttaa lineaarikombinaationa vektoreista {v A, v B, v C }, eli onko span{v A, v B, v C } =IR 3? Olkoon nyt w IR 3 mikä tahansa asiakkaan toivoma painovektori. Määritämme sitä vastaavat lineaarikombinaation kertoimet λ 1, λ 2 ja λ 3 siten, että λ 1 v A + λ 2 v B + λ 3 v C = w (2.19) λ 1 10 10 + λ 2 0 5 + λ 3 10 5 = w 1 w 2 (2.20) 0 5 0 w 3 10 0 10 10 5 5 λ 1 λ 2 = 0 5 0 λ 3 w 1 w 2. (2.21) w 3 Tästä yhtälöryhmästä saadaan λ:t aina ratkaistua, sillä yhtälöryhmän kerroinmatriisin determinantti ei ole nolla. Siis span{v A, v B, v C } = IR 3 ja mikä tahansa asiakkaan toivoma painovektori voidaan toteuttaa vektoreiden {v A, v B, v C } lineaarikombinaationa. /// Pian esimerkkimme sijoitusneuvoja saa vastauksen muutamaan peruskysymykseensä. Sitä ennen määrittelemme vielä aliavaruuden dimension ja annamme muutaman muutaman kantoihin liittyvän ominaisuuden lauseiden muodossa. Voidaan osoittaa, että jos lineaarisesti riipppumattomat vektorijoukot E 1 = {v 1, v 2,...,v p } IR n ja E 2 = {u 1, u 2,...,u k } IR n virittävät saman lineaarisen aliavaruuden H =span(e 1 )=span(e 2 ), niin kannoissa E 1 ja E 2 on yhtä monta kantavektoria. Tämä oikeuttaamäärittelemään. Määritelmä 2.1.5 Lineaarisen aliavaruuden H IR n dimensio, dim(h) onsen kannan kantavektoreiden lukumäärä. Lause 2.1.1 dim(ir n )=n Todistus. Selvästi E = {e 1, e 2,...,e n } on IR n :n kanta.

2.1. Lineaarialgebran kertausta 11 Lause 2.1.2 Olkoon E = {v 1, v 2,...,v m } IR n joukko vektoreita ja olkoon V matriisi, jonka sarakkeina ovat vektorit v 1, v 2,...,v m.(v on siis (n m)-matriisi.) Silloin E on IR n :n kanta, jos ja vain jos m = n ja lisäksi det(v) 6= 0. Todistus. [ ] Oletetaan ensin, että E on IR n :n kanta. Lauseen (2.1.1) mukaan m = n. Koska m = n matriisi V on neliömatriisi ja voimme päätellä seuraavasti (vertaa esimerkin 2.1.5päättelyyn) E on kanta E = {v 1, v 2,...,v n } on lineaarisesti riippumaton ((λ 1 v 1 + λ 2 v 2 +...+ λ n v n = 0) (λ 1 = λ 2 =...= λ n =0)) λ 1 0 λ ryhmällä V 2. = 0.. on vain triviaali ratkaisu λ n 0 det(v) 6= 0 [ ] Oletetaan toiseksi, että m = n ja det(v ) 6= 0. Vastaavapäättely kuin edellä osoittaa, että E on lineaarisesti riippumaton. Lisäksi voimme päätellä, että det(v) 6= 0 ryhmällä V λ 1 λ 2.. n = w on ratkaisu kaikilla w IR λ n jokainen w IR n voidaan lausua lineaarikombinaationa Siis E on IR n :n kanta. w = λ 1 v 1 + λ 2 v 2 +...+ λ n v n E virittää IR n :n Esimerkki 2.1.6 a) Vektorijoukko E 1 = 10 2 1, 3 1 0, 0 5 7 on IR 3 :n kanta sillä 10 3 0 2 1 5 1 0 7 =436= 0

12 2. Matriisilaskentaa b) Vektorijoukko E 2 = 10 2, 3 1, 7 1 1 0 1 ei ole IR 3 :n kanta sillä 10 3 7 2 1 1 1 0 1 =0 c) Vektorijoukko E 3 = 10 2, 3 1 1 0 ei ole IR 3 :n kanta sillä kantavektoreita on liian vähän (E 3 ei viritä IR 3 :a). d) Vektorijoukko E 4 = 10 2, 3 1, 1 0, 3 5 1 0 7 1 ei ole IR 3 :n kanta sillä kantavektoreita on liian monta (E 4 ei ole vapaa). /// Joissakin tilanteissa laskeminen helpottuu, jos lineaariselle aliavaruudelle H = span{v 1, v 2,...,v m } on käytettävissä ortonormaali kanta. Voidaan osoittaa, että ortonormaali kanta aina löytyy. Seuraava menettely antaa ortogonaalisen kannan, josta ortonormaali kanta saadaan kertomalla jokainen kantavektori norminsa käänteisluvulla. Lause 2.1.3 (Gram-Schmidt) Olkoon {v 1, v 2,...,v m } lineaarisesti riippumaton ja H = span({v 1, v 2,...,v m }) IR n. Jos asetetaan u 1 = v 1 u 2 = v 2 hv 2 u 1 i hu 1 u 1 i u 1 u 3 = v 3 hv 3 u 1 i hu 1 u 1 i u 1 hv 3 u 2 i hu 2 u 2 i u 2. u m = v m hv m u 1 i hu 1 u 1 i u 1 hv m u 2 i hu 2 u 2 i u 2 hv m u m 1 i hu 2 u m 1 i u m 1 niin {u 1, u 2,...,u m } on H:n ortogonaalinen kanta. Lisäksi Todistus. HT. span{u 1, u 2,...,u k } =span{v 1, v 2,...,v k }, kun 1 k m.

2.1. Lineaarialgebran kertausta 13 Määritelmä 2.1.6 Olkoon H IR n lineaarinen aliavaruus. H:n ortogonaalikomplementti (orthogonal complement) H koostuu niistä IR n :n vektoreista, jotka ovat kohtisuorassa kaikkia H:n vektoreita vastaan. Siis H = {x IR n hx hi =0, kaikille h H} Olkoon H IR n lineaarinen aliavaruus ja V = {v 1, v 2,...,v k } sen kanta. Nyt siis dim(h) = k n. Laajennetaan vektorijoukko V kanonisen kannan vektoreilla joukoksi V asettamalla v j = v j,kunj =1,...,k ja v k+i = e i,kuni =1,...,n. Soveltamalla Gram-Schmidt -prosessia tähän vektorijoukkoon sillä muutoksella, että jos askeleella i saadaan u i = 0, niin hylätään u i ja jätetään jatkossa u i lausekkeista pois. Tämä Gram-Schmidt -prosessin muunnelma johtaa ortonormaaliin IR n :n kantaan, jonka ensimmäiset k kantavektoria {u 1, u 2,...,u k } virittävät H:n ja loput n k kantavektoria {u k+1, u k+2,...,u n } virittävät H:n ortogonaalikomplementin H. Erityisesti siis dim(h)+dim(h )=n (2.22) ja jokainen x IR n voidaan yksikäsitteisellä tavalla esittää muodossa x = λ 1 u 1 +...+ λ k u {z k + λ } k+1 u k+1 +...+ λ n u n (2.23) {z } H H 2.1.3 Kannanvaihto Laskeminen on aina helpointa, jos käytetään kanonista kantaa E = {e 1, e 2,...,e n }. (Huomaa merkintäsopimus (2.5).) Valitettavasti joskus on pakko vaihtaa kantaa. Seuraava tarkastelu kannattaa ensimmäisellä lukukerralla lukea kursoorisesti. Lue se uudelleen ja tarkemmin, kun siihen myöhemmin viitataan.

14 2. Matriisilaskentaa Määritelmä 2.1.7 Olkoon E = {u 1, u 2,...,u n } lineaariavaruuden IR n kanta. Jos x IR n ja sen esitys kannassa E on x = x 1 u 1 + x 2 u 2 +...+ x n u n, niin kertoimista muodostamme vektorin ~x = ~x E = x 1 x 2.. x n IR n, jota sanomme vektorin x IR n koordinaattivektoriksi kannassa E. (Jos kanta on selvä se jätetään merkitsemättä.) Olkoon seuraavassa E = {u 1, u 2,...,u n } ja E = {u 1, u 2,...,u n} kaksi IR n :n kantaa. Koska jokainen E:n kantavektori voidaan lausua yksikäsitteisellä tavalla kannassa E, on olemassa reaaliluvut a ij siten, että u 1 = a 11 u 1 + a 21 u 2 +... + a n1 u n u 2 = a 12 u 1 + a 22 u 2 +... + a n2 u n (2.24). u n = a 1n u 1 + a 2n u 2 +... + a nn u n u 1 u 1 u 2. = u AT 2. (2.25) u n u n Määritelmä 2.1.8 Jos kaava (2.25) on voimassa, niin sanomme, että A T on kannanvaihtomatriisi. Huomaa, että kaavan (2.25) vasen (oikea) puoli ei oikeastaan ole matriisi. Matriisihan on lukukaavio, mutta (2.25):ssa on kaavio, jonka alkiot ovat kaavioita. Tällaista tietorakennetta sanomme tensoriksi. Tällä kurssilla emme opettele tensorilaskentaa, mutta on hyvä tuntea termi. Kun lasketaan Mathematica -ohjelmalla tai vastaavalla muulla ohjelmalla matriisilaskuja, tulee lausekkeita kirjoittaessa helposti syntaksivirheitä. Jos silloin virheilmoituksessa esiintyy sana tensor, niin kannattaa tarkistaa, ettei ole sijoittanut matriisin alkioksi vektoria. Olkoon nyt x vektori, jolla on eri kannoissa esitykset x = x 1 u 1 + x 2 u 2 +...+ x n u n = x 1u 1 + x 2u 2 +...+ x nu n. (2.26)

2.1. Lineaarialgebran kertausta 15 Silloin x = x 1 u 1 + x 2 u 2 +...+ x n u n (2.27) = x 1 (a 11 u 1 + a 21 u 2 +...+ a n1 u n) (2.28) + x 2 (a 12 u 1 + a 22 u 2 +...+ a n2 u n) +...+ x n (a 1n u 1 + a 2n u 2 +...+ a nn u n) = (a 11 x 1 + a 12 x 2 +...+ a 1n x n )u 1 (2.29) +(a 21 x 1 + a 22 x 2 +...+ a 2n x n )u 2 +...+(a n1 x 1 + a n2 x 2 +...+ a nn x n )u n x 1 = a 11 x 1 + a 12 x 2 +...+ a 1n x n x 2 = a 21 x 1 + a 22 x 2 +...+ a 2n x n. x n = a n1 x 1 + a n2 x 2 +...+ a nn x n (2.30) ~x = A~x (2.31) Kokoamme joitakin kannanvaihdon ominaisuuksia lauseiksi, joihin vetoamme myöhemmissä kappaleissa. Lause 2.1.4 Olkoon E = {u 1, u 2,...,u n } ja E = {u 1, u 2,...,u n} kaksi IR n :n kantaa ja x IR n.josa T on kannanvaihtomatriisi siten, että u 1 u 2. u n = AT niin koordinaattivektoreille on voimassa u 1 u 2.. u n ~x = A~x ~x = A 1 ~x Todistus. Edellä tuli perusteltua kaikki muu paitsi käänteismatriisin A 1 olemassaolo. Matriisin A sarakkeiden tulee olla lineaarisesti riippumattomat, sillä muuten kannan E kantavektorit eivät olisi lineaarisesti riippumattomat. Siis det(a) 6= 0. Mistä edelleen seuraa käänteismatriisin olemassaolo. Esimerkki 2.1.7 Tarkastellaan IR 2 :n kantoja E = {u 1, u 2 } ja E = {u 1, u 2}, joille ½ µ u1 = 0.5u 1 u 2 = 1.5u 1 2u A T 0.5 0 = 2 1.5 2 (2.32),

16 2. Matriisilaskentaa Figure 2.2: Eräs mahdollinen esimerkin 2.1.7 realisaatio. Siis A = µ 0.5 1.5 0 2 ja A 1 = µ 2 1.5 0 0.5 (2.33) Vektorin x =3u 1 + u 2 esitys kannassa E saadaan laskemalla ~x = µ µ µ 0.5 1.5 3 3 A~x = = 0 2 1 2 (2.34) x = 3u 1 2u 2 (2.35) Vektorin y =2u 1 2u 2 esitys kannassa E saadaan laskemalla ~y = µ µ µ A 1 ~y 2 1.5 2 1 = = 0 0.5 2 1 (2.36) y = u 1 + u 2 (2.37) Kuvassa 2.2 on piirretty esimerkkitilanne, jossa kannanvaihtomatriisi on sama kuin edellä. Huomaa kuitenkin, että laskut edellä laskettiin käyttän koordinaattivektoreita ja kannanvaihtomatriisia. Lause 2.1.5 Olkoon E = {u 1, u 2,...,u n } ja E = {u 1, u 2,...,u n} kaksi IR n :n ortonormitettua kantaa. Jos A T on kannanvaihtomatriisi siten, että niin (u 1, u 2,...,u n ) T = A T (u 1, u 2,...,u n) T, A T A = I eli matriisin A sarakkeet ovat keskenään ortogonaaliset yksikkövektorit ja siis muodostavat IR n :n ortonormitetun kannan.

2.2. Matriisin rangi 17 Todistus. Käytämme matriisin A j:nnestä sarakeesta merkintää a j =(a 1j,a 2j,...,a nj ) T.Nyt δ ij = hu i u j i = h = nx a ki u k k=1 Ã nx n! X a ki a pj δ kp = k=1 = ha i a j i p=1 nx a pj u pi (2.38) p=1 nx a ki a kj = a T ia j k=1 Lause 2.1.6 Olkoon E = {e 1, e 2,...,e n } lineaariavaruuden IR n kanoninen kanta ja E = {u 1, u 2,...,u n } toinen IR n :n kanta. Olkoon U matriisi, jonka j:s sarake on kannan Ej:s kantavektori u j.olkoonx IR n vektori ja ~x sen koordinaattivektori kannassa E. Silloin x = U~x ja ~x = U 1 x Todistus. HT 2.2 Matriisin rangi Edellisen kappaleen esimerkin 2.1.3 sijoittajien käytettävissäonenemmän kuin kaksi tai kolme osaketta. Kun sijoitusneuvoja alkaa muodostaa ratkaisuehdotusta asiakkaalleen, hän ensin määrittää asiakkaan toiveiden mukaisen tavoitejakauman w. Sitten hän valitsee tavoitejakauman mukaisen lineaarikombinaation osakkeista, joita hän nyt pitää parhaina sijoituskohteina w = λ 1 v 1 + λ 2 v 2 +...+ λ m v m. (2.39) Sijoitusneuvojan toimintaa helpottaa suuresti, jos hän jo etukäteen varmistuu siitä, että span{v 1, v 2,...,v m } =IR 3, (2.40) jolloin lineaarikombinaatio (2.39) on aina olemassa. Jos m = 3, niin {v 1, v 2, v 3 } on IR 3 :n kanta ja lineaarikombinaation kertoimet λ 1, λ 2, λ 3 ovat yksikäsitteiset. Tämä helpottaa neuvojan työtä, mutta ei ole optimaalista sijoittajan kannalta. Periaatteessa osakkeen j arvo markkinoilla on u (m) j = hv j 1i. Jos kuitenkin sijoittaja antaa osakkeille tästä poikkeavat arvot u j ja tavoitefunktio on lineaarinen, niin lineaarikombinaation (2.39) arvo on z = u 1 λ 1 + u 2 λ 2 +...+ u m λ m. Muodostetaan matriisi V, jonka sarakkeet ovat v 1, v 2,..., v m. Sijoittajan kokema höty maksimoituu, kun neuvoja ratkaisee lineaarikombinaation kertoimet

18 2. Matriisilaskentaa λ 1, λ 2, λ 3 LP-mallista ½ max z = u1 λ 1 + u 2 λ 2 +... + u m λ m ehdoin λ 1 v 1 + λ 2 v 2 +... + λ m v m = w max z = u 1 λ 1 + u 2 λ 2 +... + u m λ m ehdoin λ 1 v 11 + λ 2 v 12 +... + λ m v 1m = w 1 λ 1 v 21 + λ 2 v 22 +... + λ m v 2m = w 2 λ 1 v 31 + λ 2 v 32 +... + λ m v 3m = w 3 ½ max z = ehdoin u T λ Vλ = w Tällaisia LP-malleja on käsitelty talousmatematiikan perusteiden kurssilla ja operaatioanalyysin kurssilla niihin paneudutaan lisää. Nyt jätämme sijoitusneuvojan hetkeksi. Palaamme miettimään milloin vektorijoukossa {v 1, v 2,...,v m } on riittävästi vektoreita virittämään IR n :n. Ehto (2.40) on tosi, jos matriisissa V on n lineaarisesti riippumatonta saraketta. Käytämme jatkossa seuraavia nimityksiä. Määritelmä 2.2.1 Olkoon a 11 a 12... a 1m a A = 21 a 22... a 2m...... a n1 a n2... a nm (n m)-matriisi. Matriisin A i:s rivi ja j:s sarake ovat a i =(a i1 a i2... a im ) T ja a j = Matriisin A sarakkeiden virittämä IR n :n aliavaruus on Col(A) =span{a 1, a 2,...,a m } IR n Matriisin A rivien virittämä IR m :n aliavaruus on Row(A) =span{a 1, a 2,...,a n } IR m a 1j a 2j... a nj

2.2. Matriisin rangi 19 Määritelmä 2.2.2 Matriisin A lineaarisesti riippumattomien sarakkeiden lukumäärä on matriisin säännöllisyysaste eli rangi (rank). Toisin sanoen Rank(A) =dim(span{a 1, a 2,...,a m })=dim(col(a)) Englanninkielisissä kirjoissa sanotaan usein (n n)-neliömatriisista A, ettäse on a matrix of full rank jos Rank(A) = n. Tämä onyhtäpitävääseuraavien ilmaisujen kanssa A on full rank Rank(A) = n dim(col(a)) = n matriisin A sarakkeet ovat lineaarisesti riippumattomat det(a) 6= 0 A on säännöllinen (eli on olemassa A 1 ) Esimerkki 2.2.1 Onko span 10 2, 3 1, 1 1, 13 3, 7 1 =IR3? (2.41) 1 0 1 1 1 Asian voi tarkistaa helposti MatLab-ohjelmalla seuraavasti EDU>> V=[10 3 1 13 7 ; 2 1-1 3 1 ; 1 0 1 1 1] V = 10 3 1 13 7 2 1-1 3 1 1 0 1 1 1 EDU>> rank(v) ans = 2 Mathematica-ohjelma ei tunne Rank-funktiota vaan TensorRank-funktion. Lyhyt ohje kuuluu: TensorRank[expr] gives the depth to which expr is a full array, with all the parts at a particular level being lists of the same length.

20 2. Matriisilaskentaa In[1]:= Vlist={{10,2,1},{3,1,0},{1,-1,1},{13,3,1},{7,1,1}} Out[1]= {{10,2,1},{3,1,0},{1,-1,1},{13,3,1},{7,1,1}} In[2]:= TensorRank[Vlist] Out[2]= 2 Siis vektorit eivät viritä IR 3 :a. /// Rangin määrittämistä emme nyt opettele. Periaatteessa on melko helppo kehittää Gram-Schmidt n menetelmästä muunnos, jonka avulla matriisin rangi voidaan selvittää. Käytännössä ongelmaksi muodostuu se, että pyöristysvirheiden takia joskus saadaan laskutoimituksen tuloksena nollan sijasta hyvin pieni luku, joka ei ole nolla. (Esimerkiksi 10 17 6=0.) 2.3 Lineaarikuvaus 2.3.1 Lineaarikuvauksen matriisi Tarkastellaan ensin kuvausta f :IR n IR m. Kuvauksen lineaarisuus määritellään seuraavasti Määritelmä 2.3.1 Kuvaus f :IR n IR m, v 7 f(v) onlineaarinen (linear), joss (1) kaikilla u, v IR n on voimassa f(u + v) =f(u)+f(v) (2) kaikilla u IR n, λ IR on voimassa f(λu) =λf(u) Seuraava kuvio saattaa tehdä asian konkreettiseksi. Prosessi panos u prosessi f tuotos f(u) on lineaarinen, jos kahdesta osapanoksesta saatu kokonaistuotos on osatuotosten summa

2.3. Lineaarikuvaus 21 u + v prosessi f f(u)+f(v) ja panoksen puolittaminen (lambdaaminen) puolittaa (lambdaa) myös tuotoksen 0.5u prosessi f 0.5f(u). Lineaarisuus oli keskeinen oletus peruskurssilla käsiteltyjen LP-mallien tavoitefunktiolle. Nyt erona LP-mallin tavoitefunktioon on, että sekä panos, että tuotos ovat vektoreita. Esimerkki 2.3.1 Yritys valmistaa kahta tuotetta A ja B. Yhden tuotteen valmistamiseen tarvittavat tuotannontekijöiden määrät on luetteloitu seuraavassa taulukossa. tuot. tekijä A B työ (min) 20 30 lasi (m 2 ) 3 1 alumiinilista (m) 12 8 Muodostetaan A:n valmistusmäärästä x 1 ja B:n valmistusmäärästä x 2 (päätösmuuttujista) valmistusmäärä-vektori µ x1 x =. (2.42) Tuotannontekijöiden tarpeet, d 1 (työ /min),d 2 (lasi / m 2 ), d 3 (alum.lista / m), kootaan myös vektoriksi d = d 1 d 2. (2.43) d 3 Tuotannontekijöiden tarve on funktio tuotantomäärä-vektorista d = d 1 20 30 µ d 2 = 3 1 x1 def = f(x). (2.44) x d 3 12 8 2 {z } =A Funktio d = f(x) = Ax on lineaarinen, sillä matriisikertolasku x 7 Ax toteuttaa määritelmän 2.3.1 ehdot (1) ja (2). /// Edellisen esimerkin funktio todetaan helposti lineaariseksi, koska se voidaan tulkita matriisilla kertomiseksi. Käänteinen on myös totta. x 2 Lause 2.3.1 Jos kuvaus f :IR n IR m on lineaarinen, niin on olemassa (m n)- matriisi A siten, että f(x) =Ax. Todistus. Olkoon E = {e 1, e 2,...,e n } vektoriavaruuden IR n kanoninen kanta ja vastaavasti E = {e 1, e 2,...,e m} vektoriavaruuden IR m kanoninen kanta. (Huomaa

22 2. Matriisilaskentaa merkintäsopimus (2.5).) Vektorit f(e i ) IR n voidaan lausua kannan E avulla yksikäsitteisellä tavalla. f(e j )=a 1j e 1 + a 2j e 2 +...+ a mj e m (2.45) Kootaan näistä lineaarikombinaatioiden kertoimista matriisi A =(a ij ). Jos x = ( x 1 x 2... x n ) IR T, niin merkitään Ax = b, jolloin f(x) = f(x 1 e 1 + x 2 e 2 +...+ x n e n ) = f(x 1 e 1 )+f(x 2 e 2 )+...+ f(x n e n ) = x 1 f(e 1 )+x 2 f(e 2 )+...+ x n f(e n ) = x 1 (a 11 e 1 + a 21 e 2 +...+ a m1 e m)+x 2 (a 12 e 1 + a 22 e 2 +...+ a m2 e m) +...+ x n (a 1n e 1 + a 2n e 2 +...+ a mn e à m) n! à X n! à X n! X = a 1k x k e 1 + a 2k x k e 2 +...+ a mk x k e m k=1 k=1 1 0 0 0 = b 1.. + b 1 2.. +...+ b 0 m.. 0 0 1 = Joskus joudumme käyttämään ei-kanonisia kantoja. b m k=1 b 1 b 2. = Ax Määritelmä 2.3.2 Olkoon L lineaariavaruus ja E = {v 1, v 2,...,v n } L sen kanta ja olkoon H lineaariavaruus ja F = {w 1, w 2,...,w m } H sen kanta. (m n)- matriisi A F E on lineaarikuvauksen f : L H matriisi kannoissa E ja F, jos kaikilla x L ja y H on voimassa (y = f(x)) ~y F = A F E ~xe f(x):n koordinaatit kannassa F saadaan kertomalla matriisilla A F E vektorin x koordinaatit kannassa E Lause 2.3.2 Olkoon L lineaariavaruus ja E = {v 1, v 2,...,v n } L sen kanta ja olkoon H lineaariavaruus ja F = {w 1, w 2,...,w m } H sen kanta. Olkoon V matriisi, jonka sarakkeina onat kannan E kantavektorit ja olkoon W matriisi, jonka sarakkeina ovat kannan F kantavektorit. Jos A on lineaarikuvauksen f : L H matriisi kanoonisissa kannoissa, niin f:n matriisi kannoissa E ja F on A F E = W 1 AV