Laskennallinen data-analyysi II
|
|
- Esa-Pekka Halttunen
- 6 vuotta sitten
- Katselukertoja:
Transkriptio
1 Laskennallinen data-analyysi II Ella Bingham, Kevät 2008 Ulottuvuuksien vähentäminen, SVD, PCA Kalvot perustuvat Saara Hyvösen kalvoihin 2007 Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto
2 Yleistä kurssista Kurssi on suoraan jatkoa Laskennallinen data-analyysi I:lle Sekä ohjatun että ohjaamattoman oppimisen menetelmiä Menetelmiä, jotka tulevat jatkossa vastaan muilla kursseilla ja tutkimuksessa Kolme luennoitsijaa, jokaisella 2 luentoa, väliviikoilla laskarit Ensimmäinen osuus: Ohjaamatonta oppimista Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 1
3 Toinen osuus (Jyrki Kivinen): Tukivektorikone (support vector machine, SVM) yleistää lineaarisen luokittelun (tai lineaarisen regression) ei-lineaaristen ennustajien muodostamiseen. SVM on nykyään eräs suosituimmista yleiskäyttöisistä oppimismenetelmistä. Tukivektorikoneessa lineaariseen luokittelijaan yhdistetään - ydinfunktio ja - regularisointi. Ydinfunktio on matemaattinen apukeino, jonka avulla lineaariseen oppijaan voidaan sisällyttää hyvin monipuolista piirteiden muodostamista (datan esikäsittelyä) pitäen laskenta tehokkaana. Regularisointia tarvitaan, jotta runsas uusien piirteiden salliminen ei Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 2
4 johtaisi ylisovittamiseen. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 3
5 Kolmas osuus (Patrik Hoyer): Vedetään kurssien lda-i ja lda-ii pääteemoja yhteen Probabilistinen (jopa Bayeslainen) näkökulma koneoppimiseen Epävarmuuden mallintaminen: miten menetelmistä saa sellaisia, että ne osaavat kertoa, kun eivät ole varmoja Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 4
6 Lisälukemista ensimmäisestä osuudesta: Kleinberg, Tomkins: Applications of linear algebra in information retrieval and hypertext analysis. Proc. ACM Symp. Principles of Database Systems, pp , 1999 Tutorial site by Todd Will: Wikipedia: Singular value decomposition, Principal components analysis Muuttujien valinta: elektroninen kevytversio kirjasta H. Lohninger: Teach/Me Data Analysis, Springer-Verlag, 1999 löytyy mlr183.html Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 5
7 Ulottuvuuksien vähentäminen: miksi? visualisointi ihmissilmälle datan kompressio kohinan poisto, poikkeavien arvojen etsiminen Kaksi peruslähestymistapaa: heitetään muuttujia pois, tai muodostetaan uusia muuttujia. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 6
8 Esim. käsinkirjoitetut numerot Halutaan luokitella käsinkirjoitetut numerot automaattisesti luokkiin 0-9: Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 7
9 Käsinkirjoitetut numerot jatkuu Jokainen numero on (esimerkiksi) 100x100 pikselin harmaasävykuva. Tätä voidaan ajatella pisteenä ulotteisessa avaruudessa. Kuvitellaan tilanne, jossa otetaan numero 3 ja luodaan joukko uusia kolmosia siirtämällä, kiertämällä ja skaalaamalla peruskolmonen: Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 8
10 Nyt, vaikka jokaisen pisteen dimensio on 10000, on meillä oikeasti vain neljä vapausastetta: siirto pysty- ja vaakasuunnissa, kierto sekä skaalaus. Näitä neljää vapausastetta voidaan ajatella latentteina eli piilomuuttujina. Oikeasti käsinkirjoitetut numerot eivät tietenkään muodostu näin yksinkertaisesti, vaan niissä on yksilöllisiä deformaatioita; tällaisten deformaatioiden lukumäärän voidaan kuitenkin ajatella olevan pieni verrattuna joukon dimensioon (10000). Koko käsinkirjoitettu numerojoukko voidaan siis kuvata paljon pienempidimensioisessa avaruudessa. Mutta miten? Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 9
11 (Lineaariset) piilomuuttujamallit Yksinkertaisimmillaan voidaan ajatella, että m n datamatriisi A, missä rivit ovat pisteitä ja sarakkeet ovat muuttujia, esitetään k:n piilomuuttujan avulla kahden matriisin tulona: A m n = D m k V k n, missä matriisin V rivit ovat latentit muuttujat ja matriisi D antaa datapisteet latenttien muuttujien avulla lausuttuna. Siis V:n rivit = uudet kantavektorit, ja D = pisteiden koordinaatit uudessa kannassa. Menetelmiä on paljon, ja eri menetelmät antavat eri piilomuuttujat. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 10
12 Singulaariarvohajotelma Jokainen m n matriisi A voidaan kirjoittaa muotoon A m n = U m d S d d (V n d ) T, missä d = min(m, n). Matriisien U ja V sarakkeet ovat ortonormaalit (kohtisuorassa toisiaan vastaan ja yksikköpituiset). Matriisi S on diagonaalimatriisi: S = diag(σ 1, σ 2,..., σ d ), σ 1 σ 2... σ d 0. (singular value decom- Tämä on matriisin A singulaariarvohajotelma position, SVD) Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 11
13 Singulaariarvot ja -vektorit Matriisin S diagonaalialkiot σ j ovat matriisin A singulaariarvot. Matriisien U ja V sarakkeet ovat matriisin A vasemman- ja oikeanpuoleiset singulaarivektorit. Singulaariarvohajotelma voidaan myös kirjoittaa muodossa Av j = σ j u j, A T u j = σ j v j. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 12
14 Matlab-esimerkki A= [U,S,V]=svd(A, econ ) U= S= V= Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 13
15 Matriisin approksimointi Lause. Olkoon U k = (u 1 u 2... u k ), V k = (v 1 v 2... v k ) ja S k = diag(σ 1, σ 2,..., σ k ), ja määritellään A k = U k S k V T k. Tällöin min A B 2 = A A k 2 = σ k+1. rank(b) k Eli: 2-normin (myös Frobenius-normin) mielessä paras astetta k oleva approksimaatio matriisille saadaan singulaariarvohajotelmaa käyttämällä, ottamalla k ensimmäistä singulaariarvoa ja -vektoria. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 14
16 Entä sitten? Siis: 2-normin mielessä paras astetta k oleva approksimaatio matriisille saadaan singulaariarvohajotelmaa käyttämällä: A k = U k S k V T k. (aste = rank = lineaarisesti riippumattomien sarakkeiden määrä, nollasta poikkeavien singulaariarvojen määrä.) Tätä voi käyttää: kohinan poistoon datan kompressioon matriisin oikean asteen määrittämiseen Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 15
17 Esimerkki: kohinan poisto Olkoon A = A k + N, missä A k on (alhaista) astetta k oleva matriisi, ja N on pieni. Tällaisessa tapauksessa matriisin A singulaariarvoat käyttäytyvät tyypillisesti tähän tapaan: 8 singular values index Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 16
18 2 log of singular values index Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 17
19 Esimerkki: käsinkirjoitetut numerot Käytetään singulaariarvohajotelmaa käsinkirjoitettujen numeroiden kuvaamiseen. Sen sijaan, että käytetään pikseliä, käytetäänkin pientä määrää singulaarivektoreita. Otetaan siis iso kasa kolmosia, muodostetaan joka kuvasta vektori, laitetaan ne sarakkeiksi datamatriisiin, ja lasketaan singulaariarvohajotelma. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 18
20 Esimerkki: käsinkirjoitetut numerot Vasemmanpuoleiset singulaariarvot tai singulaarikuvat u j : Ensimmäinen on tyypillisesti datan keskiarvo ja seuraavat tuovat datasta lisää piirteitä esiin Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 19
21 Esimerkki: käsinkirjoitetut numerot Voidaan olettaa, että kolmoset on helpompi muodostaa käyttäen kolmosen singulaarivektoreita kuin vaikkapa viitosen singulaarivektoreita. Nyt voidaan esimerkiksi luokitella käsinkirjoitettuja numeroita katsomalla, miten hyvin ne voidaan muodostaa kussakin kannassa. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 20
22 Esimerkki: Tekstidatan analysointi Esitetään dokumenttikokoelma termi-dokumentti-matriisina A, jossa rivit vastaavat sanoja, ja sarakkeet dokumentteja, ja matriisin alkion a i,j arvo kertoo sanan i painon dokumentissa j. Varoitus: Tekstianalyysissä on tapana laittaa matriisin rivit ja sarakkeet eri päin kuin tiedon louhinnassa yleensä! Tekstidatassa usein ongelmana synonyymit (haluaisimme, että elefantti ja norsu samaistuisivat) ja polyseemit (haluaisimme erottaa milloin kurkku tarkoittaa vihannesta ja milloin ruumiinosaa). SVD auttaa tässä: sanojen merkitykset kuvautuvat avaruuden eri ulottuvuuksiin. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 21
23 Tässä kontekstissa SVD kulkee nimellä LSI (Latentti Semanttinen Indeksointi) Esimerkki kirjasta [Manning and Schütze: Foundations of statistical natural language processing]: termi-dokumenttimatriisi A on doc1 doc2 doc3 doc4 doc5 doc6 cosmonaut astronaut moon car truck Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 22
24 Vasempien singulaarivektoreiden matriisi U on Dim 1 Dim 2 Dim 3 Dim 4 Dim 5 cosmonaut astronaut moon car truck ja singulaariarvot sisältävä matriisi S on Dim 1 Dim 2 Dim 3 Dim 4 Dim 5 Dim Dim Dim Dim Dim Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 23
25 ja oikeanpuoleisten singulaarivektoreiden matriisi V T on doc1 doc2 doc3 doc4 doc5 doc6 Dim Dim Dim Dim Dim Otetaan vain 2 ensimmäistä singulaariarvoa ja -vektoria: U:ssa termit ryhmittyvät toisen singulaarivektorin mukaan (cosmonaut, astronaut, moon) ja (car, truck) V T :ssä dokumentit ryhmittyvät toisen singulaarivektorin mukaan (doc1,doc2,doc3) ja (doc4,doc5,doc6) Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 24
26 Esimerkki: Tiedonhaku tekstidokumenteissa Halutaan tehdä hakuja suuresta tekstidokumenttien kokoelmasta. Haku on tällöin vektori q, jonka jokainen alkio vastaa niinikään sanaa. Haku voidaan tehdä vertaamalla suoraan vertaamalla hakuvektoria kuhunkin dokumenttiin: cos(θ(a j, q)) = a T j q a j 2 q 2 tol. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 25
27 Usein sen sijaan lasketaan ensin termi-dokumentti-matriisille singulaariarvohajotelma, approksimoidaan matriisia (ongelman alkuperäiseen kokoon verrattuna) pienehköllä määrällä singulaarivektoreita, lausutaan myös hakuvektori singulaarivektorien avulla, ja tehdään hakuvektorin ja dokumenttien vertailu tässä uudessa kannassa. Nopeampaa (datan kompressio) ja (usein) tarkempaa (kohinan poisto). Dokumenttien esitysmuoto LSI-avaruudessa on â = U T k a jossa a on alkuperäinen dokumenttivektori ja U k on k:n ensimmäisen vasemmanpuoleisen singulaarivektorin muodostama matriisi Samoin hakuvektorin esitysmuoto on ˆq = U T k q Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 26
28 Esimerkki: Hakuvektori cosmonaut astronaut on alkuperäisessä avaruudessa q cosmonaut 1 astronaut 1 moon 0 car 0 truck 0 ja 2-ulotteisessa LSI-avaruudessa ˆq = U T 2 q = ( ) Dokumenttien â ja hakuvektorin ˆq väliset kosini-similaarisuudet ovat 0.85, 0.99, 0.97, -0.06, 0.27 ja Hakuvektori on siis lähimpänä dokumentteja 2 ja 3. Tämä näkyy myös kuvassa: Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 27
29 q Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 28
30 Myös uudet dokumentit (sarakkeet) voi esittää LSI-avaruudessa kertomalla ne U k :lla, eli ei tarvitse laskea SVD:tä uudestaan Uudet termit (rivit) voisi samoin esittää LSI-avaruudessa kertomalla V k :lla, mutta tämä on käytännössä harvinaisempaa Varoitus: Harjoitustehtävässä pyydetään esittämään uusi vektori vanhojen datavektoreiden avulla lasketussa kannassa. Nyt pitää olla tarkkana, onko uusi datavektori rivi vai sarake! Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 29
31 Laskennan vaativuudesta SVD:n vaativuus on neliöllinen d:n suhteen ja kuutiollinen k:n suhteen, jossa d = ranki = min(sarakkeiden määrä, rivien määrä) ja k = laskettavien singulaariarvojen määrä Harvalle datalle on olemassa tehokkaita implementaatioita Laskentaa voi keventää tekemällä SVD:n vain osalle havainnoista (dokumenteista) ja esittämällä uudet havainnot SVD-avaruudessa kertomalla ne U k :lla Tärkeintä on kuitenkin valita k mahdollisimman pieneksi, mutta ei liian pieneksi Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 30
32 Laskennan vaativuudesta: k:n valinta Yleensä muutama kymmenen riittää, mutta teoreettisiakin menetelmiä on: tarkastele singulaariarvojen pienenemistä, ja lopeta kun uusi arvo on selvästi pienempi kuin aiemmat. Ongelma: pitää laskea monta ylimääräistä arvoa, jotta näkee milloin joku on selvästi pienempi laske Frobenius-normi datamatriisin ja sen approksimaation erotukselle: olkoon Y = A A k, silloin F (Y) = sum(diag(y T Y)) ja vertaa tätä F (A):n arvoon; jos edellinen on pieni niin silloin A k on tarpeeksi hyvä approksimaatio Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 31
33 Laske kaikkien singulaariarvojen summa ja k:n ensimmäisen summa, ja valitse k niin että saat esim. 85 % kaikkien summasta. (Mutta tällöin pitää laskea kaikki!) Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 32
34 Pääkomponenttianalyysi Tavoitteena on etsiä pieni joukko (keinotekoisia) muuttujia siten, että datan varianssista säilyy mahdollisimman suuri osuus. Ensimmäinen pääkomponentti on se vektori, jolle projisoidun datan varianssi on suurin. Kun tämä on löydetty, jatketaan etsimällä tälle ortogonaalinen eli kohtisuora suunta, joka selittää mahdollisimman suuren osan vielä selittämättä jääneestä varianssista. Jokainen pääkomponentti on lineaariyhdistely alkuperäisiä muuttujia. PCA = principal component analysis Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 33
35 1st principal component x x x x x x x x x x x x 2nd principal component x x x Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 34
36 PCA lyhyesti Olkoon A n m-matriisi, jonka rivit ovat havaintopisteitä ja sarakkeet muuttujia. Keskitetään eli nollakeskiarvoistetaan A: vähennetään jokaisesta sarakkeesta sarakkeen keskiarvo, jolloin uuden datamatriisin sarakkeiden keskiarvo on nolla. Olkoon tämä keskitetty matriisi nyt A. Muodostetaan nollakeskiarvoistetun datan kovarianssimatriisi C = 1 n AT A. Pääkomponentit ovat kovarianssimatriisin ominaisvektorit. Ominaisarvot kertovat datan varianssin pääkomponenttien suunnassa. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 35
37 PCA pitkästi Miten löydetään ensimmäinen pääkomponentti w? Olkoon w R m (toistaiseksi tuntematon) vektori, jolle projisoituna datan varianssi on suurin. Vaaditaan vielä, että w T w = 1. Vektorin a projektio vektorille w on w T a = m j=1 a jw j. Koko datamatriisin projektio vektorille w on Aw. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 36
38 Varianssi: PCA pitkästi σw 2 = 1 n (Aw)T (Aw) = 1 n wt A T Aw = w T Cw missä C = 1 n AT A on matriisin A kovarianssimatriisi (A on keskitetty!) Tavoitteena on maksimoida varianssi ehdolla w T w = 1. Optimointiongelma: maksimoi f = w T Cw λ(w T w 1), missä λ on Lagrangen kerroin. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 37
39 PCA pitkästi Optimointiongelma: maksimoi f = w T Cw λ(w T w 1), missä λ on Lagrangen kerroin. Derivoidaan w:n suhteen ja saadaan f w = 2Cw 2λw = 0 Tämä on itse asiassa ominaisarvoyhtälö: Cw = λw, missä C = 1 n AT A. Varianssi saadaan kertomalla yhtälöä vasemmalta w:n transpoosilla. Kun vieä muistetaan, että w T w = 1 saadaan varianssiksi w T Cw = λ. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 38
40 PCA pitkästi Varianssi: w T Cw = λ. Tämä on maksimissaan, kun w on kovarianssimatriisin suurinta ominaisarvoa vastaava ominaisvektori, ja suurin ominaisarvo itse kertoo varianssin. Ensimmäinen pääkomponentti on siis kovarianssimatriisin suurinta ominaisarvoa vastaava ominaisvektori. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 39
41 PCA:n ja SVD:n yhteys Mutta jos kirjoitetaankin A = USV T saadaan C = A T A = VS T U T USV T, CV = VS T S. Kun tämä kirjoitetaan sarake kerrallaan, nähdään, että Cv j = σ 2 jv j, eli matriisin A kovarianssimatriisin ominaisarvot ovat singulaariarvojen neliöt, ja ominaisvektorit ovat oikeanpuoleiset singulaarivektorit! Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 40
42 Ensimmäinen pääkomponentti on siis datamatriisin 1. oikeanpuoleinen singulaarivektori. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 41
43 Entä seuraavaksi? Jatketaan samaan tapaan: etsitään kaikille löydetyille pääkomponenteille kohtisuorassa oleva vektori, jolle projisoituna varianssi on suurin. Pääkomponentit ovat oikeanpuoleiset singulaarivektorit, singulaariarvojen neliöt kertovat varianssin kyseisen pääkomponentin suuntaan. Eli: PCA on SVD keskitetylle datalle! Singulaariarvojen avulla voi arvioida, montako pääkomponenttia tarvitaan. Peukalosääntö: valitse komponenttien lukumäärä siten, että 85% varianssista säilyy: k j=1 σ2 j n j=1 σ2 j Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 42
44 Esimerkki: ilmakehädata Data: 1500 päivää, kymmeniä muuttujia (lämpötila, tuulen suunta ja nopeus, UV-säteilyn määrä, hiilidioksidikonsentraatio etc.) Visualisointi esim. 60-ulotteisessa avaruudessa on haastavaa! Sen sijaan, tee pääkomponenttianalyysi ja projisoi data kahden ensimmäisen komponentin määrittämään tasoon. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 43
45 Miten pääkomponentteja ei lasketa: Kirjallisuudessa esitellään tavan takaa algoritmeja, joissa pääkomponentit lasketaan kovarianssimatriisin ominaisvektoreina. Laskennallisesti tämä on huono tapa! Parempi laskea singulaariarvohajotelma. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 44
46 Miten pääkomponentit lasketaan: Matriisi A, rivit: datapisteet, sarakkeet=muuttujat. 1. Keskitä data vähentämällä jokaisesta sarakkeesta keskiarvo 2. Laske keskitetyn matriisin  singulaariarvohajotelma (tai k ensimmäistä singulaariarvoa ja -vektoria):  = USV T. 3. Matriisin V sarakkeet ovat pääkomponentit, ja datapisteiden kooridnaatit uudessa (pääkomponenttien virittämässä) kannassa ovat US. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 45
47 Matlab-koodi %Data matrix A, columns:variables, rows: data points %matlab function for computing the first k principal components of A. function [pc,score]=pca(a,k); [rows,cols]=size(a); Ameans=repmat(mean(A,1),rows,1); %matrix, rows=means of columns A=A-Ameans; %centering data [U,S,V]=svds(A,k); %k is the number of pc:s desired pc=v; score=u*s; %now A=score*pc +Ameans; Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 46
48 Huom. PCA löytyy myös valmiina statistics toolboxista, MUTTA... ÄLÄ KÄYTÄ SITÄ!! Miksi? Lisenssejä on liian vähän! Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 47
49 Miksi PCA? Jos PCA = SVD niin miksi siitä piti puhua? Koska SVD antaa aina origon kautta kulkevan vektorin. Datan keskittäminen pitää huolen siitä, että origo on datajoukon keskellä. Esimerkiksi harvalla datalla tämä ei ole ratkaisevaa; mutta joskus voi olla: Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 48
50 Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 49
51 Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 50
52 Yhteenveto Jokainen m n matriisi A, m n, voidaan kirjoittaa singulaariarvohajotelman avulla muotoon A = USV T, missä U R m d ja V R n d ovat ortogonaaliset, d = min(m, n), ja S R d d on diagonaalimatriisi, jonka diagonaalialkiot ovat singulaariarvot σ 1 σ 2... σ n 0. 2-normin mielessä paras astetta k oleva approksimaatio matriisille saadaan singulaariarvohajotelmaa käyttämällä: A k = U k S k V T k, missä U k, V k koostuvat ksta ensimmäisestä vasemman- ja oikeanpuoleisesta singulaarivektorista ja S k :n diagonaalialkiot ovat k suurinta singulaariarvoa. Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 51
53 Pääkomponenttianalyysi on sukua SVD:lle: pääkomponentit ovat keskitetyn datamatriisin oikeanpuoleiset singulaarivektorit. Pääkomponentit valitaan siten, että datan varianssista selittyy suurin osa. Ensimmäinen pääkomponentti on se vektori, jolle projisoidun datan varianssi on suurin. Laskemalla datamatriisille SVD tai PCA ja approksimoimalla matriisia muutaman ensimmäisen singulaarivektorin/pääkomponentin avulla kompressoidaan dataa ja poistetaan kohinaa. Nyt voidaan klusteroida/luokitella/tms uutta dataa. PCA toimii parhaiten silloin kun data on gaussista, tai vähintäänkin Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 52
54 jatkuva-arvoista SVD:llä on paljon muutakin käyttˆä kuin latenttimuuttujamallinnus: esimerkiksi Googlen PageRank-algoritmi tai spektraalijärjestys Myös muita latenttimuuttujamenetelmiä löytyy: ICA, NMF, probabilistiset versiot (näissä datan gaussisuus ei ole vaatimuksena) Laskennallinen data-analyysi II, kevät 2008, Helsingin yliopisto 53
Laskennallinen data-analyysi II
Laskennallinen data-analyysi II Saara Hyvönen, Saara.Hyvonen@cs.helsinki.fi Kevät 2007 Ulottuvuuksien vähentäminen, SVD, PCA Laskennallinen data-analyysi II, kevät 2007, Helsingin yliopisto visualisointi
LisätiedotLaskennallinen data-analyysi II
Laskennallinen data-analyysi II Saara Hyvönen, Saara.Hyvonen@cs.helsinki.fi Kevät 2007 Muuttujien valinta Laskennallinen data-analyysi II, kevät 2007, Helsingin yliopisto Korkeiden ulottuvuuksien kirous
LisätiedotLaskennallinen data-analyysi II
Laskennallinen data-analyysi II Ella Bingham, ella.bingham@cs.helsinki.fi Kevät 2008 Muuttujien valinta Kalvot perustuvat Saara Hyvösen kalvoihin 2007 Laskennallinen data-analyysi II, kevät 2008, Helsingin
LisätiedotMS-A0003/A Matriisilaskenta Laskuharjoitus 6
MS-A3/A - Matriisilaskenta Laskuharjoitus 6 Ratkaisuehdotelmia. Diagonalisointi on hajotelma A SΛS, jossa diagonaalimatriisi Λ sisältää matriisin A ominaisarvot ja matriisin S sarakkeet ovat näitä ominaisarvoja
LisätiedotMatriisihajotelmat. MS-A0007 Matriisilaskenta. 5.1 Diagonalisointi. 5.1 Diagonalisointi
MS-A0007 Matriisilaskenta 5. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 25.11.2015 Laskentaongelmissa käsiteltävät matriisit ovat tyypillisesti valtavia.
LisätiedotRatkaisuehdotukset LH 8 / vko 47
Ratkaisuehdotukset LH 8 / vko 47 Tehtävä 1: Olkoot A R n n matriisi, jonka singulaariarvohajotelma on A [ ] [ ] Σ U 1 U r 0 [V1 ] T 2 V 0 0 2 Jossa Σ r on kääntyvä matriisi, [ U 1 U 2 ] ja [ V1 V 2 ] ovat
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 3
Inversio-ongelmien laskennallinen peruskurssi Luento 3 Kevät 2011 1 Singulaariarvohajotelma (Singular Value Decomposition, SVD) Olkoon A R m n matriisi 1. Tällöin A voidaan esittää muodossa A = UΣV T,
LisätiedotRatkaisuehdotukset LH 7 / vko 47
MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [
LisätiedotEsimerkki 19. Esimerkissä 16 miniminormiratkaisu on (ˆx 1, ˆx 2 ) = (1, 0).
Esimerkki 9 Esimerkissä 6 miniminormiratkaisu on (ˆx, ˆx (, 0 Seuraavaksi näytetään, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun
LisätiedotOrtogonaalisen kannan etsiminen
Ortogonaalisen kannan etsiminen Lause 94 (Gramin-Schmidtin menetelmä) Oletetaan, että B = ( v 1,..., v n ) on sisätuloavaruuden V kanta. Merkitään V k = span( v 1,..., v k ) ja w 1 = v 1 w 2 = v 2 v 2,
LisätiedotVektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on
13 Pistetulo Avaruuksissa R 2 ja R 3 on totuttu puhumaan vektorien pituuksista ja vektoreiden välisistä kulmista. Kuten tavallista, näiden käsitteiden yleistäminen korkeampiulotteisiin avaruuksiin ei onnistu
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 4
Inversio-ongelmien laskennallinen peruskurssi Luento 4 Kevät 20 Regularisointi Eräs keino yrittää ratkaista (likimääräisesti) huonosti asetettuja ongelmia on regularisaatio. Regularisoinnissa ongelmaa
Lisätiedot1 Ominaisarvot ja ominaisvektorit
1 Ominaisarvot ja ominaisvektorit Olkoon A = [a jk ] n n matriisi. Tarkastellaan vektoriyhtälöä Ax = λx, (1) 1 missä λ on luku. Sellaista λ:n arvoa, jolla yhtälöllä on ratkaisu x 0, kutsutaan matriisin
Lisätiedot5 OMINAISARVOT JA OMINAISVEKTORIT
5 OMINAISARVOT JA OMINAISVEKTORIT Ominaisarvo-ongelma Käsitellään neliömatriiseja: olkoon A n n-matriisi. Luku on matriisin A ominaisarvo (eigenvalue), jos on olemassa vektori x siten, että Ax = x () Yhtälön
LisätiedotRatkaisuehdotukset LH 3 / alkuvko 45
Ratkaisuehdotukset LH 3 / alkuvko 45 Tehtävä : Olkoot A, B, X R n n, a, b R n ja jokin vektorinormi. Kätetään vektorinormia vastaavasta operaattorinormista samaa merkintää. Nätä, että. a + b a b, 2. A
LisätiedotLineaarikuvauksen R n R m matriisi
Lineaarikuvauksen R n R m matriisi Lauseessa 21 osoitettiin, että jokaista m n -matriisia A vastaa lineaarikuvaus L A : R n R m, jolla L A ( v) = A v kaikilla v R n. Osoitetaan seuraavaksi käänteinen tulos:
LisätiedotMatemaattinen Analyysi / kertaus
Matemaattinen Analyysi / kertaus Ensimmäinen välikoe o { 2x + 3y 4z = 2 5x 2y + 5z = 7 ( ) x 2 3 4 y = 5 2 5 z ) ( 3 + y 2 ( 2 x 5 ( 2 7 ) ) ( 4 + z 5 ) = ( 2 7 ) yhteys determinanttiin Yhtälöryhmän ratkaiseminen
Lisätiedot1 Singulaariarvohajoitelma
1 Singulaariarvohajoitelma Tähän mennessä on tutkittu yhtälöryhmän Ax = y ratkaisuja ja törmätty tapauksiin joissa yhtälöryhmällä on yksikäsitteinen ratkaisu ("helppo"tapaus) yhtälöryhmällä on ääretön
LisätiedotOminaisvektoreiden lineaarinen riippumattomuus
Ominaisvektoreiden lineaarinen riippumattomuus Lause 17 Oletetaan, että A on n n -matriisi. Oletetaan, että λ 1,..., λ m ovat matriisin A eri ominaisarvoja, ja oletetaan, että v 1,..., v m ovat jotkin
LisätiedotMatematiikka B2 - Avoin yliopisto
6. elokuuta 2012 Opetusjärjestelyt Luennot 9:15-11:30 Harjoitukset 12:30-15:00 Tentti Kurssin sisältö (1/2) Matriisit Laskutoimitukset Lineaariset yhtälöryhmät Gaussin eliminointi Lineaarinen riippumattomuus
Lisätiedot(1.1) Ae j = a k,j e k.
Lineaarikuvauksen determinantti ja jälki 1. Lineaarikuvauksen matriisi. Palautetaan mieleen, mikä lineaarikuvauksen matriisi annetun kannan suhteen on. Olkoot V äärellisulotteinen vektoriavaruus, n = dim
LisätiedotMS-A0003/A0005 Matriisilaskenta Laskuharjoitus 3 /
MS-A3/A5 Matriisilaskenta, II/27 MS-A3/A5 Matriisilaskenta Laskuharjoitus 3 / 3. 7..27 Tehtävä (L): Etsi kaikki yhtälön Ax = b ratkaisut, kun 3 5 4 A = 3 2 4 ja b = 6 8 7 4. Ratkaisu : Koetetaan ratkaista
LisätiedotSisätuloavaruudet. 4. lokakuuta 2006
Sisätuloavaruudet 4. lokakuuta 2006 Tässä esityksessä vektoriavaruudet V ja W ovat kompleksisia ja äärellisulotteisia. Käydään ensin lyhyesti läpi määritelmiä ja perustuloksia. Merkitään L(V, W ) :llä
LisätiedotVapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.
Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +
LisätiedotLineaarialgebra ja matriisilaskenta I, HY Kurssikoe Ratkaisuehdotus. 1. (35 pistettä)
Lineaarialgebra ja matriisilaskenta I, HY Kurssikoe 26.10.2017 Ratkaisuehdotus 1. (35 pistettä) (a) Seuraavat matriisit on saatu eräistä yhtälöryhmistä alkeisrivitoimituksilla. Kuinka monta ratkaisua yhtälöryhmällä
LisätiedotLuku 4. Vektoridatan tiivistäminen
1 / 35 Luku 4. Vektoridatan tiivistäminen T-61.2010 Datasta tietoon, syksy 2011 professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto 7.11.2011 2 / 35 Tämän luennon sisältö 1 Vektoridatan
LisätiedotMatriisi-vektori-kertolasku, lineaariset yhtälöryhmät
Matematiikan peruskurssi K3/P3, syksy 25 Kenrick Bingham 825 Toisen välikokeen alueen ydinasioita Alla on lueteltu joitakin koealueen ydinkäsitteitä, joiden on hyvä olla ensiksi selvillä kokeeseen valmistauduttaessa
LisätiedotKertausta: avaruuden R n vektoreiden pistetulo
Kertausta: avaruuden R n vektoreiden pistetulo Määritelmä Vektoreiden v R n ja w R n pistetulo on v w = v 1 w 1 + v 2 w 2 + + v n w n. Huom. Pistetulo v w on reaaliluku! LM2, Kesä 2012 227/310 Kertausta:
LisätiedotMS-A0003/A0005 Matriisilaskenta Malliratkaisut 5 / vko 48
MS-A3/A5 Matriisilaskenta Malliratkaisut 5 / vko 48 Tehtävä (L): a) Onko 4 3 sitä vastaava ominaisarvo? b) Onko λ = 3 matriisin matriisin 2 2 3 2 3 7 9 4 5 2 4 4 ominaisvektori? Jos on, mikä on ominaisarvo?
LisätiedotMatriisiteoria Harjoitus 1, kevät Olkoon. cos α sin α A(α) = . sin α cos α. Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on?
Harjoitus 1, kevät 007 1. Olkoon [ ] cos α sin α A(α) =. sin α cos α Osoita, että A(α + β) = A(α)A(β). Mikä matriisi A(α)A( α) on?. Olkoon a x y A = 0 b z, 0 0 c missä a, b, c 0. Määrää käänteismatriisi
LisätiedotTehtäväsarja I Kerrataan lineaarikuvauksiin liittyviä todistuksia ja lineaarikuvauksen muodostamista. Sarjaan liittyvät Stack-tehtävät: 1 ja 2.
HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2016 Harjoitus 3 Ratkaisut palautettava viimeistään maanantaina 29.8.2016 klo 13.15. Tehtäväsarja I Kerrataan lineaarikuvauksiin liittyviä
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2
Lisätiedotperusjoukosta (esim. tietyn kokoisten digitaalikuvien joukko).
4. VEKTORIDATAN TIIVISTÄMINEN JA DEKORRELOINTI Palautetaan mieleen datamatriisi X: { n vektoria }} { d vektori alkiota Usein matriisin sarakkeilla (vektoreilla x(t), t = 1,..., n) ei ole mitään määrättyä
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotOminaisarvo ja ominaisvektori
Ominaisarvo ja ominaisvektori Määritelmä Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka
LisätiedotMatriisilaskenta Luento 12: Vektoriavaruuden kannan olemassaolo
Matriisilaskenta Luento 12: Vektoriavaruuden kannan olemassaolo Antti Rasila 2016 Vektoriavaruuden kannan olemassaolo Jos {v 1, v 2,..., v k } on äärellisulotteisen vektoriavaruuden V lineaarisesti riippumaton
LisätiedotOminaisarvoon 4 liittyvät ominaisvektorit ovat yhtälön Ax = 4x eli yhtälöryhmän x 1 + 2x 2 + x 3 = 4x 1 3x 2 + x 3 = 4x 2 5x 2 x 3 = 4x 3.
Matematiikan ja tilastotieteen laitos Lineaarialgebra ja matriisilaskenta II Ylimääräinen harjoitus 6 Ratkaisut A:n karakteristinen funktio p A on λ p A (λ) det(a λi ) 0 λ ( λ) 0 5 λ λ 5 λ ( λ) (( λ) (
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21
LisätiedotMonissa käytännön ongelmissa ei matriisiyhtälölle Ax = b saada ratkaisua, mutta approksimaatio on silti käyttökelpoinen.
Pns ratkaisu (Kr. 20.5, Lay 6.5 C-II/KP-II, 20, Kari Eloranta Monissa käytännön ongelmissa ei matriisiyhtälölle Ax = b saada ratkaisua, mutta approksimaatio on silti käyttökelpoinen. Määritelmä Jos A on
Lisätiedot6 MATRIISIN DIAGONALISOINTI
6 MATRIISIN DIAGONALISOINTI Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T Muistutus: vektorien a ja b pistetulo (skalaaritulo,
LisätiedotMatematiikka B2 - TUDI
Matematiikka B2 - TUDI Miika Tolonen 3. syyskuuta 2012 Miika Tolonen Matematiikka B2 - TUDI 1 Kurssin sisältö (1/2) Matriisit Laskutoimitukset Lineaariset yhtälöryhmät Gaussin eliminointi Lineaarinen riippumattomuus
LisätiedotKannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:
8 Kanta Tässä luvussa tarkastellaan aliavaruuden virittäjävektoreita, jotka muodostavat lineaarisesti riippumattoman jonon. Merkintöjen helpottamiseksi oletetaan luvussa koko ajan, että W on vektoreiden
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a
LisätiedotSovellusohjelmointi Matlab-ympäristössä: Vertaisverkon koneiden klusterointi
Sovellusohjelmointi Matlab-ympäristössä: Vertaisverkon koneiden klusterointi 28.4.2013 Annemari Auvinen (annauvi@st.jyu.fi) Anu Niemi (anniemi@st.jyu.fi) 1 Sisällysluettelo 1 JOHDANTO... 2 2 KÄYTETYT MENETELMÄT...
LisätiedotMS-A0004/MS-A0006 Matriisilaskenta Laskuharjoitus 6 / vko 42
MS-A0004/MS-A0006 Matriisilaskenta Laskuharjoitus 6 / vko 42 Tehtävät 1-4 lasketaan alkuviikon harjoituksissa ryhmissä, ja ryhmien ratkaisut esitetään harjoitustilaisuudessa (merkitty kirjaimella L = Lasketaan).
LisätiedotNumeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35
Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen
LisätiedotMS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma
LisätiedotTämän luennon sisältö. Luku 4. Vektoridatan tiivistäminen. Datamatriisi (2) Datamatriisi. T Datasta tietoon, syksy 2011
Tämän luennon sisältö Luku 4. Vektoridatan tiivistäminen T-61.2010 Datasta tietoon, syksy 2011 professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto 1 Datamatriisi Pääkomponenttianalyysi
Lisätiedot3x + y + 2z = 5 e) 2x + 3y 2z = 3 x 2y + 4z = 1. x + y 2z + u + 3v = 1 b) 2x y + 2z + 2u + 6v = 2 3x + 2y 4z 3u 9v = 3. { 2x y = k 4x + 2y = h
HARJOITUSTEHTÄVIÄ 1. Anna seuraavien yhtälöryhmien kerroinmatriisit ja täydennetyt kerroinmatriisit sekä ratkaise yhtälöryhmät Gaussin eliminointimenetelmällä. { 2x + y = 11 2x y = 5 2x y + z = 2 a) b)
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto PNS-ongelma PNS-ongelma
LisätiedotNeliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja
7 NELIÖMATRIISIN DIAGONALISOINTI. Ortogonaaliset matriisit Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja A - = A T () Muistutus: Kokoa n olevien vektorien
Lisätiedot5 Ominaisarvot ja ominaisvektorit
5 Ominaisarvot ja ominaisvektorit Olkoon A = [a jk ] n n matriisi. Tarkastellaan vektoriyhtälöä Ax = λx, (1) missä λ on luku. Sellaista λ:n arvoa, jolla yhtälöllä on ratkaisu x 0, kutsutaan matriisin A
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotLineaarialgebra ja differentiaaliyhtälöt Harjoitus 4 / Ratkaisut
MS-C34 Lineaarialgebra ja differentiaaliyhtälöt, IV/26 Lineaarialgebra ja differentiaaliyhtälöt Harjoitus 4 / t Alkuviikon tuntitehtävä Hahmottele matriisia A ( 2 6 3 vastaava vektorikenttä Matriisia A
Lisätiedot1 Matriisit ja lineaariset yhtälöryhmät
1 Matriisit ja lineaariset yhtälöryhmät 11 Yhtälöryhmä matriisimuodossa m n-matriisi sisältää mn kpl reaali- tai kompleksilukuja, jotka on asetetettu suorakaiteen muotoiseksi kaavioksi: a 11 a 12 a 1n
LisätiedotKanta ja Kannan-vaihto
ja Kannan-vaihto 1 Olkoon L vektoriavaruus. Äärellinen joukko L:n vektoreita V = { v 1, v 2,..., v n } on kanta, jos (1) Jokainen L:n vektori voidaan lausua v-vektoreiden lineaarikombinaationa. (Ts. Span(V
LisätiedotMääritelmä Olkoon T i L (V i, W i ), 1 i m. Yksikäsitteisen lineaarikuvauksen h L (V 1 V 2 V m, W 1 W 2 W m )
Määritelmä 519 Olkoon T i L V i, W i, 1 i m Yksikäsitteisen lineaarikuvauksen h L V 1 V 2 V m, W 1 W 2 W m h v 1 v 2 v m T 1 v 1 T 2 v 2 T m v m 514 sanotaan olevan kuvausten T 1,, T m indusoima ja sitä
Lisätiedot3.2.2 Tikhonovin regularisaatio
3 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx + ε R m (316 annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu x M + y Q N (M x + M
Lisätiedot2.5. Matriisin avaruudet ja tunnusluvut
2.5. Matriisin avaruudet ja tunnusluvut m n-matriisi A Lineaarikuvaus A : V Z, missä V ja Z ovat sopivasti valittuja, dim V = n, dim Z = m (yleensä V = R n tai C n ja Z = R m tai C m ) Kuva-avaruus ja
LisätiedotMS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 14 R. Kangaslampi matriisiteoriaa Matriisinormi
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 2
Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +
LisätiedotEnnakkotehtävän ratkaisu
Ennakkotehtävän ratkaisu Ratkaisu [ ] [ ] 1 3 4 3 A = ja B =. 1 4 1 1 [ ] [ ] 4 3 12 12 1 0 a) BA = =. 1 + 1 3 + 4 0 1 [ ] [ ] [ ] 1 0 x1 x1 b) (BA)x = =. 0 1 x 2 x [ ] [ ] [ 2 ] [ ] 4 3 1 4 9 5 c) Bb
LisätiedotLineaarialgebra ja matriisilaskenta I. LM1, Kesä /218
Lineaarialgebra ja matriisilaskenta I LM1, Kesä 2012 1/218 Avaruuden R 2 vektorit Määritelmä (eli sopimus) Avaruus R 2 on kaikkien reaalilukuparien joukko; toisin sanottuna R 2 = { (a, b) a R ja b R }.
Lisätiedotax + y + 2z = 0 2x + y + az = b 2. Kuvassa alla on esitetty nesteen virtaus eräässä putkistossa.
BM20A5800 Funktiot, lineaarialgebra ja vektorit Harjoitus 7, Syksy 206 Tutkitaan yhtälöryhmää x + y + z 0 2x + y + az b ax + y + 2z 0 (a) Jos a 0 ja b 0 niin mikä on yhtälöryhmän ratkaisu? Tulkitse ratkaisu
LisätiedotMS-A0004/A0006 Matriisilaskenta
4. MS-A4/A6 Matriisilaskenta 4. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto..25 Tarkastellaan neliömatriiseja. Kun matriisilla kerrotaan vektoria, vektorin
Lisätiedot2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio
x = x 2 = 5/2 x 3 = 2 eli Ratkaisu on siis x = (x x 2 x 3 ) = ( 5/2 2) (Tarkista sijoittamalla!) 5/2 2 Tämä piste on alkuperäisten tasojen ainoa leikkauspiste Se on myös piste/vektori jonka matriisi A
LisätiedotKäänteismatriisin ominaisuuksia
Käänteismatriisin ominaisuuksia Lause 1.4. Jos A ja B ovat säännöllisiä ja luku λ 0, niin 1) (A 1 ) 1 = A 2) (λa) 1 = 1 λ A 1 3) (AB) 1 = B 1 A 1 4) (A T ) 1 = (A 1 ) T. Tod.... Ortogonaaliset matriisit
Lisätiedotx = y x i = y i i = 1, 2; x + y = (x 1 + y 1, x 2 + y 2 ); x y = (x 1 y 1, x 2 + y 2 );
LINEAARIALGEBRA Ratkaisuluonnoksia, Syksy 2016 1. Olkoon n Z +. Osoita, että (R n, +, ) on lineaariavaruus, kun vektoreiden x = (x 1,..., x n ), y = (y 1,..., y n ) identtisyys, yhteenlasku ja reaaliluvulla
LisätiedotOletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 018 Harjoitus 4 Ratkaisuehdotukset Tehtävä 1. Olkoon U R avoin joukko ja ϕ = (ϕ 1, ϕ, ϕ 3 ) : U R 3 kaksiulotteisen C 1 -alkeispinnan
LisätiedotRistitulolle saadaan toinen muistisääntö determinantin avulla. Vektoreiden v ja w ristitulo saadaan laskemalla determinantti
14 Ristitulo Avaruuden R 3 vektoreille voidaan määritellä pistetulon lisäksi niin kutsuttu ristitulo. Pistetulosta poiketen ristitulon tulos ei ole reaaliluku vaan avaruuden R 3 vektori. Ristitulosta on
LisätiedotOrtogonaaliset matriisit, määritelmä 1
, määritelmä 1 Määritelmä (a). Neliömatriisi Q on ortogonaalinen, jos Q T Q = I. Määritelmästä voidaan antaa samaa tarkoittavat, mutta erilaiselta näyttävät muodot: Määritelmä (b). n n neliömatriisi Q,
LisätiedotLineaarialgebra, kertausta aiheita
Lineaarialgebra, kertausta aiheita Matriisitulo käänteismatriisi determinantin kehittäminen determinantin ominaisuudet adjungaatti ja Cramerin kaavat yhtälöryhmän eri esitystavat Gauss-Jordan -algoritmi
LisätiedotVektoreiden virittämä aliavaruus
Vektoreiden virittämä aliavaruus Määritelmä Oletetaan, että v 1, v 2,... v k R n. Näiden vektoreiden virittämä aliavaruus span( v 1, v 2,... v k ) tarkoittaa kyseisten vektoreiden kaikkien lineaarikombinaatioiden
LisätiedotOrtogonaalinen ja ortonormaali kanta
Ortogonaalinen ja ortonormaali kanta Määritelmä Kantaa ( w 1,..., w k ) kutsutaan ortogonaaliseksi, jos sen vektorit ovat kohtisuorassa toisiaan vastaan eli w i w j = 0 kaikilla i, j {1, 2,..., k}, missä
LisätiedotTalousmatematiikan perusteet: Luento 14. Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu
Talousmatematiikan perusteet: Luento 14 Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu Luennolla 6 Tarkastelimme yhden muuttujan funktion f(x) rajoittamatonta optimointia
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotKertausta: avaruuden R n vektoreiden pistetulo
Kertausta: avaruuden R n vektoreiden pistetulo Määritelmä Vektoreiden v R n ja w R n pistetulo on v w = v 1 w 1 + v 2 w 2 + + v n w n. Huom. Pistetulo v w on reaaliluku! LM2, Kesä 2014 164/246 Kertausta:
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotTEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA)
JOHDATUS TEKOÄLYYN TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA) KONEOPPIMISEN LAJIT OHJATTU OPPIMINEN: - ESIMERKIT OVAT PAREJA (X, Y), TAVOITTEENA ON OPPIA ENNUSTAMAAN Y ANNETTUNA X.
LisätiedotLineaarialgebra II, MATH.1240 Matti laaksonen, Lassi Lilleberg
Vaasan yliopisto, syksy 218 Lineaarialgebra II, MATH124 Matti laaksonen, Lassi Lilleberg Tentti T1, 284218 Ratkaise 4 tehtävää Kokeessa saa käyttää laskinta (myös graafista ja CAS-laskinta), mutta ei taulukkokirjaa
LisätiedotInsinöörimatematiikka D, laskuharjoituksien esimerkkiratkaisut
Insinöörimatematiikka D, 29.3.2016 4. laskuharjoituksien esimerkkiratkaisut 1. Olkoon u (4,0,4,2) ja v ( 1,1,3,5) vektoreita vektoriavaruudessa R 4. Annetun sisätulon (x,y) indusoima normi on x (x,x) ja
LisätiedotTalousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu
Talousmatematiikan perusteet: Luento 13 Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Viime luennolla Aloimme tarkastella yleisiä, usean muuttujan funktioita
LisätiedotDeterminantti 1 / 30
1 / 30 on reaaliluku, joka on määritelty neliömatriiseille Determinantin avulla voidaan esimerkiksi selvittää, onko matriisi kääntyvä a voidaan käyttää käänteismatriisin määräämisessä ja siten lineaarisen
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
LisätiedotOppimistavoitematriisi
Oppimistavoitematriisi Lineaarialgebra ja matriisilaskenta I Esitiedot Arvosanaan 1 2 riittävät Arvosanaan 3 4 riittävät Arvosanaan 5 riittävät Yhtälöryhmät (YR) Osaan ratkaista ensimmäisen asteen yhtälöitä
LisätiedotMatriisilaskenta Luento 16: Matriisin ominaisarvot ja ominaisvektorit
Matriisilaskenta Luento 16: Matriisin ominaisarvot ja ominaisvektorit Antti Rasila 2016 Ominaisarvot ja ominaisvektorit 1/5 Määritelmä Skalaari λ C on matriisin A C n n ominaisarvo ja vektori v C n sitä
LisätiedotNumeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33
Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden
Lisätiedot3.1 Lineaarikuvaukset. MS-A0004/A0006 Matriisilaskenta. 3.1 Lineaarikuvaukset. 3.1 Lineaarikuvaukset
31 MS-A0004/A0006 Matriisilaskenta 3 Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2292015 Lineaariset yhtälöt ovat vektoreille luonnollisia yhtälöitä, joita
LisätiedotMS-A0003/A0005 Matriisilaskenta Laskuharjoitus 2 / vko 45
MS-A0003/A0005 Matriisilaskenta Laskuharjoitus / vko 5 Tehtävä 1 (L): Hahmottele kompleksitasoon ne pisteet, jotka toteuttavat a) z 3 =, b) z + 3 i < 3, c) 1/z >. Yleisesti: ehto z = R, z C muodostaa kompleksitasoon
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =
LisätiedotAvaruuden R n aliavaruus
Avaruuden R n aliavaruus 1 / 41 Aliavaruus Esimerkki 1 Kuva: Suora on suljettu yhteenlaskun ja skalaarilla kertomisen suhteen. 2 / 41 Esimerkki 2 Kuva: Suora ei ole suljettu yhteenlaskun ja skalaarilla
Lisätiedots = 11 7 t = = 2 7 Sijoittamalla keskimmäiseen yhtälöön saadaan: k ( 2) = 0 2k = 8 k = 4
BM0A5800 Funktiot, lineaarialgebra ja vektorit Harjoitus 5, Syksy 05. (a) i. Jotta vektori c sijaitsisi a:n ja b:n virittämällä tasolla, c on voitava esittää a:n ja b:n lineaarikombinaationa. c ta + sb
LisätiedotLineaariset mollit, kl 2017, Harjoitus 1
Lineaariset mollit, kl 07, Harjoitus Heikki Korpela 7 huhtikuuta 07 Tehtävä Symmetristä matriisia A(n n) sanotaan positiivisesti definiitiksi (merkitään A > 0), jos x T Ax > 0 kaikilla x 0, x R n (ks monisteen
LisätiedotOminaisarvo ja ominaisvektori
Määritelmä Ominaisarvo ja ominaisvektori Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka
Lisätiedotx = y x i = y i i = 1, 2; x + y = (x 1 + y 1, x 2 + y 2 ); x y = (x 1 y 1, x 2 + y 2 );
LINEAARIALGEBRA Harjoituksia, Syksy 2016 1. Olkoon n Z +. Osoita, että (R n, +, ) on lineaariavaruus, kun vektoreiden x = (x 1,..., x n ), y = (y 1,..., y n ) identtisyys, yhteenlasku ja reaaliluvulla
LisätiedotLineaarialgebra ja matriisilaskenta I
Lineaarialgebra ja matriisilaskenta I 6.6.2013 HY / Avoin yliopisto Jokke Häsä, 1/22 Kertausta: Kääntyvien matriisien lause Lause 1 Oletetaan, että A on n n -neliömatriisi. Seuraavat ehdot ovat yhtäpitäviä.
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Idea Lineaarisen systeemin ratkaiseminen Olkoon
LisätiedotLineaarikuvausten. Lineaarikuvaus. Lineaarikuvauksia. Ydin. Matriisin ydin. aiheita. Aiheet. Lineaarikuvaus. Lineaarikuvauksen matriisi
Lineaarikuvaukset aiheita ten ten 1 Matematiikassa sana lineaarinen liitetään kahden lineaariavaruuden väliseen kuvaukseen. ten Määritelmä Olkoon (L, +, ) ja (M, ˆ+, ˆ ) reaalisia lineaariavaruuksia, ja
Lisätiedot