4. Tukivektorikoneet
|
|
- Marika Nurmi
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 4. Tukivektorikoneet Tukivektorikoneen (Support Vector Machine, SVM) keskeiset piirteet: Tehdään lineaarista luokittelua (tai regressiota) korkeaulotteisessa piirreavaruudessa. Laskentaa tehostetaan käyttämällä ydinfunktiota. Lineaarisen luokittelijan valinnassa maksimoidaan marginaalia ennustustarkkuuden parantamiseksi. 38
2 Ydinfunktio Käytämme edelliseltä luennolta tuttua kernel-trikkiä epälineaarisen ongelman muuntamiseen lineaariseksi. Olkoon Hilbertin avaruus H piirreavaruus, Φ: X H piirrekuvaus ja k: X X R vastaava ydinfunktio. Merkintöjen yksinkertaistamiseksi kirjoitamme jatkossa φ(x) = z (ja φ(x i ) = z i jne.). Sisätulot, ja normit ovat Hilbertin avaruudessa H, ellei muuta mainita. 39
3 Suurimman marginaalin hypertaso Olkoon w H ja b R. Muistetaan, että pisteen z etäisyys hypertasosta { z H w, z + b = 0 } on w, z + b. w Parametrit w ja b määrittelevät myös luokittelijan h(z; w, b) = { 1 jos w, z + b 0 1 muuten. Jos (z i, y i ) on datapiste, missä z i H ja y i { 1,+1 }, niin h( ; w, b) luokittelee pisteen oikein jos y i ( w, z i + b) > 0 väärin jos y i ( w, z i + b) < 0. 40
4 Yhdistämällä etumerkin ja etäisyyden saamme datapisteen (z, y) marginaalin hypertasomme suhteen: y( w, z + b). w Datapisteen (z i, y i ) marginaalin tulkinta: positiivinen marginaali: luokittelija oikeassa negatiivinen marginaali: luokittelija tekee virheen itseisarvo suuri: luokittelija varma luokituksesta itseisarvo pieni: luokittelija epävarma luokituksesta. Tarkastelemme nyt tilannetta, jossa data on piirreavaruudessa lineaarisesti erottuvaa eli joillakin w ja b kaikki datapisteet (z i, y i ) saavat positiivisen marginaalin. 41
5 Lineaarisesti erottuvalla datalla on ääretön määrä erilaisia hypertasoja, jotka kaikki luokittelevat opetusdatan oikein. Luonteva ajatus on valita näistä se, joka on mahdollisimman turvallinen siinä mielessä, että mikään datapiste ei ole lähelläkään tulla väärin luokitelluksi. Menettelylle voidaan esittää myös tilastotieteellisiä perusteluja. Siis haluamme, että kaikki marginaalit ovat suuria positiivisia lukuja. Tämä johtaa pienimmän marginaalin maksimointiin: valitaan parametreiksi ( ) 1 (w, b ) = arg max w,b w min (y i( w, z + b)). 1 i N 42
6 Olkoon µ = min 1 i N (y i( w, z i + b )) optimiratkaisun normeeramaton marginaali. Sijoitus w αw, b αb millä tahansa α > 0 jättää arvon 1 w min 1 i N (y i( w, z i + b)) muuttumattomaksi. Valitaan α = 1/µ; oletuksen mukaan µ > 0. Saadaan w = w /µ ja b = b /µ, joilla optimoitavan funktion arvo on sama kuin alkuperäisillä w ja b. Siis myös w ja b ovat ratkaisuja alkuperäiseen optimointiongelmaan, ja lisäksi min 1 i N ( yi ( w, z i + b ) ) = 1. 43
7 Voimme kirjoittaa alkuperäisen ongelman ( ) 1 maksimoi w min (y i( w, z + b)) 1 i N muotoon ( ) 1 maksimoi w min (y i( w, z + b)) 1 i N rajoitteella y i ( w, z i + b) 1 kaikilla 1 i N. Ottamalla ehto huomioon ja vaihtamalla maksimointi minimoimiseksi saadaan neliöllinen optimointiongelma Optimointiongelma 4.1: Muuttujat w H, b R minimoi w 2 rajoitteella y i ( w, z i + b) 1 kaikilla 1 i N 44
8 Konveksi optimointi (pikakertaus) Olkoot f ja p funktioita R d R. Tarkastellaan ongelmaa Optimointiongelma 4.2: Muuttujat w R d minimoi f(x) rajoitteella p(x) 0 Intuitiivinen tulkinta: hiukkanen liukuu pitkin maanpintaa, jonka korkeutta f esittää pisteessä x hiukkaseen kohdistuu painovoima f(x) viivaa p(x) = 0 pitkin kulkee aita, joka ei päästä hiukkasta ulos aidan tukivoima on kohtisuorassa aitaan nähden ja sisääpäin tukivoima λ p(x) jollain λ 0 ei tukivoimaa ellei hiukkanen koske aitaan jos λ 0 niin p(x) = 0, eli λp(x) = 0. 45
9 Jos hiukkasen on tasapainossa pisteessä, x, voimien summa on nolla eli f(x ) + λ p(x ) = 0 λ 0 λp(x ) = 0 Kohtuullisten säännöllisyysehtojen vallitessa nämä ovat välttämättömiä ehtoja sille, että x on optimointiongelman ratkaisu. Jos ongelma on lisäksi konveksi eli f ja p ovat konvekseja, ylläolevat ehdot ovat riittäviä sille, että x on optimointiongelman ratkaisu. Funktio g: R d R on konveksi, jos g(αx + (1 α)y) αg(x) + (1 α)g(y) kaikilla x, y ja kaikilla 0 α 1. Riittävä ehto konveksiudelle on, että toinen derivaatta on kaikkialla ei-negatiivinen. 46
10 Yleinen muoto konveksille optimointiongelmalle on Optimointiongelma 4.3: muuttujat x R d missä minimoi f(x) rajoitteilla p i (x) 0 kun i = 1,..., m q j (x) = 0 kun j = 1,..., n f ja p 1,..., p m ovat konvekseja funktioita R d R q 1,..., q n ovat affiineja funktioita R d R eli muotoa q j (x) = w j, x + b j joillain w j R d ja b j R. Tämän ongelman Lagrangen funktio on m L(x; λ, β) = f(x) + λ i p i (x) + n β j q j (x), missä uusia muuttujia λ i ja β j sanotaan Lagrangen kertoimiksi. j=1 47
11 Tiettyjen säännöllisyysehtojen vallitessa x on konveksin optimointiongelman (4.jotain) ratkaisu, jos ja vain jos se toteuttaa Karush-Kuhn-Tucker-ehdot (KKT): L(x; λ, β) = 0 (10) p i (x ) 0 kun i = 1,..., m (11) q j (x ) = 0 kun j = 1,..., n (12) λ i 0 kun i = 1,..., m (13) λ i p i (x ) = 0 kun i = 1,..., m (14) missä ehdon (1) gradientti on muuttujien x suhteen. Ei-konvekseille ongelmille KKT-ehdot ovat kohtuullisten säännöllisyysehtojen vallitessa välttämättömät, mutta eivät riittävät. 48
12 Ongelman duaalifunktio on g: R m R n R { }, missä g(λ, β) = inf L(x; λ, β) x R d = inf x R d f(x) + m λ i p i (x) + n β j q j (x). Duaalifunktio on konkaavi, vaikkei primaali olisikaan konveksi. Määrittelemme nyt duaaliongelman: Optimointiongelma 4.4: muuttujat λ R m, β R n maksimoi g(λ, β) j=1 rajoitteella λ i 0 kun i = 1,..., m. 49
13 Aina kun x toteuttaa rajoitteet ja λ i 0, pätee g(λ, β) f(x). Olkoot x ja (λ, β ) primaalin ja duaalin ratkaisut. Tiettyjen säännöllisyysehtojen vallitessa konveksille ongelmalle pätee vahva duaalisuus: ja lisäksi g(λ, β ) = f(x ), x = arg min x R d L(x; λ, β ) 50
14 Saamme siis erään reseptin konveksin optimointiongelman ratkaisemiseksi: 1. Muodosta Lagrangen funktio L. 2. Ratkaise alkuperaiset muuttujat Lagrangen kertoimien avulla: x (λ, β) = arg min x R d 3. Muodosta duaalifunktio: L(x; λ, β). g(λ, β) = L(x (λ, β); λ, β). 4. Maksimoi duaalifunktio; saat Lagrangen kertoimien optimiarvot (λ, β ). 5. Suora sijoitus antaa alkuperäisten muuttujien optimiarvon: x = x (λ, β ). Käytännössä tämä ei usein toimi näin suoraviivaisesti, vaan vaiheessa 2 saadaan joitain ehtoja, joista vaiheessa 5 alkuperäiset muuttujat voidaan päätellä. 51
15 Esimerkki 4.5: Halutaan minimoida f(x, y) = (x 3) 2 + (y 3) 2 rajoitteella p(x, y) 0, missä p(x, y) = 2x + 3y 5. Muodostetaan Lagrangen funktio L(x, y, λ) = (x 3) 2 + (y 3) 2 + λ(2x + 3y 5). Ratkaistaan x ja y Lagrangen kertoimen λ avulla: { x y L(x, y, λ) = 0 L(x, y, λ) = 0 { x = 3 λ y = λ. 52
16 Muodostetaan duaalifunktio (3 λ, 3 32 ) λ, λ g(λ) = L Maksimoidaan duaalifunktio: g (λ) = 0 λ = Sijoitetaan takaisin primaaliin: λ = Saadaan optimiarvo f ( 19 13, 9 ) 13 = 13 4 λ2 + 10λ. g(λ) = { x = 3 λ = y = λ = =
17 Kovan marginaalin tukivektorikone Edellä johdettu marginaalin maksimointi voidaan esittää seuraavasti: Optimointiongelma 4.6: Muuttujat w H, b R minimoi 1 2 w 2 rajoitteella 1 y i ( w, z i + b) 0 kaikilla 1 i N. Saatavaa algoritmia sanotaan kovan marginaalin tukivektorikoneeksi, koska marginaalirajoite on ehdoton. Näemme jatkossa myös pehmeän marginaalin tukivektorikoneen, joka sopii paremmin kohinaiselle datalle. Muodostetaan Lagrangen funktio: L(w, b, a) = 1 2 w 2 + a i (1 y i ( w, z i + b)), missä Lagrangen kertoimilla a 1,..., a N on rajoitteet a i 0 a i (1 y i ( w, z i + b)) = 0. 54
18 Eliminoidaan alkuperäiset muuttujat Lagrangen funktiosta L(w, b, a) = 1 2 w 2 + asettamalla derivaatat nollaan: a i (1 y i ( w, z i + b)) L w = 0 w = L b = 0 a i y i z i a i y i = 0. Sijoittamalla nämä L:ään saadaan duaalifunktio L(a) = a i 1 2 j=1 a i a j t i t j z i, z j. 55
19 Ottamalla huomioon z i = φ(x i ) saadaan duaalifunktio lausutuksi ydinfunktion avulla: L(a) = a i 1 2 j=1 Tehtävänä on maksimoida tämä rajoitteilla a i 0 a i y i = 0. a i a j t i t j k(x i, x j ). kun i = 1,..., N Tämä on (etumerkin vaihdon jälkeen) normaali neliöllinen optimointiongelma. Huomaa, että ydinfunktion semidefiniittisyysehdon takia L on konkaavi. 56
20 Neliölliseen optimointiin on runsaasti hyviä ohjelmistoja. Tässä kuitenkin muuttujien a i lukumäärä N on sama kuin otoskoko, eli jopa kymmeniä tuhansia. Ongelmia voi siis tulla. Tätä nimenomaista ongelmaa varten on kehitetty algoritmeja, jotka hyödyntävät ongelman erityispiirteitä ja ovat yleensä ilmaisjakelussa verkossa (kernel-machines.org). Viimeaikaisia konferenssiartikkeleita selaamalla saa jonkinlaisen käsityksen tarjonnasta. Silti suurten aineistojen käsittelemiseen voi mennä päiviä. 57
21 Oletetaan nyt, että duaaliongelman ratkaisu a on löydetty. Olkoot w ja b vastaava primaalin ratkaisut. Tarkastellaan rajoitteita: a i 0 y i ( w, z i + b) 1 0 a i (y i ( w, z i + b) 1) = 0. Koska w = N a iy i z i, piirrevektorit z i kontribuoi lopputulokseen vain jos a i 0. Näitä z i sanotaan tukivektoreiksi. Tukivektorilla z i pätee y i ( w, z i + b) = 1 eli se on tasan etäisyydellä 1 luokittelijan hypertasosta. Siis tukivektorit puristavat hypertason paikalleen niin, ettei se mahdu liikkumaan ilman että jokin tukivektori tunkeutuisi yksikkömarginaalin sisäpuolelle. Tyypillisesti tukivektoreita on vain vähäinen osa syötteistä. 58
22 Kun saadaan uusi x X, malli ennustaa sen luokaksi y = sign( w, φ(x) + b) ( N ) = sign a i y i z i, φ(x) + b ( ) = sign a i y i k(x i, x) + b. i S missä S = { i a i 0 } on tukivektorien indeksijoukko. Arvon b laskemiseksi todetaan, että jos a i 0 niin y i j S a j y j k(x j, x i ) + b = 1. Tästä saadaan b valitsemalla mitkä tahansa x i ja y i, joilla a i 0. 59
23 Numeerisesti vakaampaa on kertoa y i j S a j y j k(x j, x i ) + b = 1 puolittain luvulla y i ja ottaa huomioon yi 2 = 1. Summaamalla yli joukon S saadaan b = 1 ti y j a j k(x j, x i ). S i S j S 60
24 Pehmeän marginaalin tukivektorikone Riittävän rikkaassa piirreavaruudessa melkein mikä tahansa data on lineaarisesti erottuvaa. Tämä ei tarkoita, että oppimisvirhe kannattaisi aina painaa nollaan, sillä ylisovittamisen vaara on ilmeinen. Olkoon f(x) = w, φ(x) + b funktio, jota malli käyttää luokitukseen. Kovan marginaalin tukivektorikoneen voidaan tulkita minimoivan virhefunktiota { 0 jos yf(x) 1 E (y, f(x)) = muuten. Pehmeän marginaalin tukivektorikoneen virhefunktiona on { 0 jos yf(x) 1 E hinge (y, f(x)) = 1 yf(x) muuten. Siis virhefunktio alkaa kasvaa lineaarisesti, kun marginaali putoaa alle sallitun. Tämä voidaan kirjoittaa muotoon E hinge (y, f(x)) = max {0,1 yf(x) }. 61
25 Virhefunktiota E hinge (y i, f(x i )) ei sellaisenaan ole mukava käsitellä numeerisessa optimoinnissa, koska se ei ole jatkuvasti derivoituva. Otamme käyttöön apumuuttujat ξ i, joiden intuitiivinen tulkinta on ξ i = E hinge (y i, f(x i )). Minimoimme siis funktiota ξ i, joka on uusien muuttujien suhteen lineaarinen. Haluttu muuttujien tulkinta saadaan aikaan rajoitteilla ξ i 0 ξ i 1 y i f(x i ). Koska ξ i on minimoitavana, saadaan haluttu tulos ξ i = max {0,1 y i f(x i ) }. 62
26 Koska virhefunktiossa E hinge on tavoitemarginaaliksi kiinnitetty 1, myös funktiota f on jollain lailla rajoitettava. Muuten funktion f kertominen positiivisella vakiolla muuttaisi virhefunktiota, mutta jättäisi mallin ennusteet ennalleen, mikä ei olisi mielekästä. Teemme tämän säännöllistämällä, jolloin optimointiongelmasta tulee lopulta samankaltainen kuin kovan marginaalin tapauksessa. Minimoimme siis funktiota C ξ i w 2, i=i missä C > 0 on vakio. Käytännössä C määrätään ristiinvalidoinnilla. Suuri C saa mallin ylisovittamaan, pieni C alisovittamaan. Rajalla C saadaan kovan marginaalin tukivektorikone. Rajalla C 0 saadaan datasta riippumatta aina ulos pelkkää nollaa. 63
27 Ongelma tulee muotoon Optimointiongelma 4.7: Muuttujat w H, b R, ξ R N minimoi C ξ i w 2 i=i rajoitteilla 1 y i ( w, z i + b) ξ i 0 kaikilla 1 i N ξ i 0 kaikilla 1 i N. Lagrangen funktio on L(w, b, ξ; a, µ) = C ξ i w 2 µ i ξ i + i=i a i (1 y i ( w, z i + b) ξ i ), missä a i 0 ja µ i 0 ovat Lagrangen kertoimet. 64
28 Eliminoidaan alkuperäiset muuttujat duaalin muodostamiseksi: L w = 0 w = L b = 0 a i y i z i a i y i = 0 L ξ i = 0 C a i µ i = 0. Koska a i 0 ja ξ i 0, viimeinen ehto implikoi 0 a i C. 65
29 Sijoittamalla edellisen kalvon tulokset Lagrangen funktioon saadaan duaalifunktio L(a) = a i 1 a i a j y i y j k(x i, x j ), 2 j=1 missä otimme ydinfunktion käyttöön kuten kovan marginaalin tapauksessa. Muuttujat µ i eliminoituivat. Rajoitteet ovat nyt 0 a i C a i y i = 0. 66
30 Duaalin numeerista ratkaisemista ja parametrin b laskemista koskee sama kuin kovan marginaalin tapauksessa. Oleellisin ero kovan marginaalin tapaukseen on laatikkorajoite 0 a i C. Kovalla marginaalilla rajoite oli vain 0 a i. Intuitiivisesti laatikkorajoite estää mitään yhtä piirrevektoria saamasta liian suurta painoa. Kovan marginaalin tapauksessa jos jokin piirrevektori z i olisi jäämässä marginaalin sisään, sen painoa a i ollaan valmiit kasvattamaan mielivaltaisen paljon, jotta hypertaso saadaan riittävälle etäisyydelle. 67
31 Kuten kovan marginaalin tapauksessa, sanomme että z i on tukivektori, jos a i 0. Primaalin KKT-ehdoista saadaan tukivektorille z i y i ( w, z i + b) = 1 ξ i 1, eli tavoitemarginaali 1 ei ainakaan ylity. Jos a i < C, niin µ i > 0, jolloin edelleen KKT-ehdosta µ i ξ i = 0 seuraa ξ i = 0 eli z i saa marginaalin tasan 1. Nillä tukivektoreilla z i, joilla marginaali on aidosti pienempi kuin 1, pätee a i = C. Jos ξ i > 1, niin z i saa negatiivisen marginaalin eli tulee väärin luokitelluksi. 68
32 ν-tukivektorikone Käytännössä pehmeän marginaalin tukivektorikoneen käyttöä hankaloittaa, että vakion C arvolla ei ole mitään intuitiivista merkitystä. Tätä varten ν-tukivektorikoneessa otetaan käyttöön intuitiivisempi parametrisointi. Valitaan 0 < ν < 1 ja otetaan lähtökohdaksi Optimointiongelma 4.8: Muuttujat w H, b R, ξ R N, ρ R minimoi C N ξ i w 2 Cνρ i=i rajoitteilla ρ y i ( w, z i + b) ξ i 0 kaikilla 1 i N ρ 0 ξ i 0 kaikilla 1 i N. Olemme siis ottaneet marginaalin ρ mukaan optimoitavaksi muuttujaksi sen sijaan, että se olisi kiinteästi 1. 69
33 Samaan tapaan kuin edellä saadaan duaaliongelma Optimointiongelma 4.9: maksimoi 1 2 a i a j y i y j k(x i, x j ) i=i j=1 rajoitteilla 0 a i C/N kaikilla 1 i N a i y i = 0 a i Cν. Nyt huomataan, että vakion C muuttaminen arvoon C = αc muuttaisi ratkaisussa a i -muuttujia tekijällä α ja kohdefunktio arvoa tekijällä α 2, mutta ei muuttaisi luokittelijaa. Siis parametrin C valinnalla ei ole väliä. Yksinkertaisuuden vuoksi valitsemme C = 1. 70
34 Valinnan C = 1 jälkeen rajoitteet ovat 0 a i 1/N a i y i = 0 a i ν. Tämä on samanlainen laatikkorajoite kuin alkuperäisessä pehmeän marginaalin tukivektorikoneessa. Jos y i ( w, z i + b) < ρ, sanomme että vektori z i on marginaalivirhe. Tällöin ξ i > 0 ja a i = 1/N analogisesti pehmeän marginaalin tukivektorikoneen kanssa. Katsomalla hieman tarkemmin rajoitteita ja niiden suhdetta primaaliin voidaan osoittaa, että marginaalivirheitä voi olla korkeintaan νn kappaletta. Siis parametri ν voidaan asettaa vastaamaan sopivaksi katsottua marginaalivirheiden osuutta. 71
35 Mitä jäi käsittelemättä: tukivektorikoneen ja ydinten sovellukset regressioon, PCA:han, moniluokkaiseen luokitteluun, yksiluokkaiseen luokitteluun,... ydinfunktiot verkoille, teksteille,... tukivektorikoneen yleistysvirheen matemaattinen analyysi optimointialgoritmit. Lisämateriaalia: J. Shawe-Taylor ja N. Cristianini: Kernel Methods for Pattern Analysis. paljon ydinkonstruktioita, ajantasainen teoriakatsaus S. Boyd ja L. Vandenberghe: Convex Optimization. eräs hyvä katsaus optimointiteoriaan kernel-machines.org: artikkeleita, koodia, dataa 72
Kaksiluokkainen tapaus, lineaarinen päätöspinta, lineaarisesti erottuvat luokat
1 Tukivektoriluokittelija Tukivektorikoneeseen (support vector machine) perustuva luoikittelija on tilastollisen koneoppimisen teoriaan perustuva lineaarinen luokittelija. Perusajatus on sovittaa kahden
LisätiedotKKT: log p i v 1 + v 2 x i = 0, i = 1,...,n.
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-2.139 Optimointioppi Kimmo Berg 7. harjoitus - ratkaisut 1. Oletetaan aluksi, että epäyhtälöt eivät ole aktiivisia p i > 0. Tässä tapauksess KKTehdot
LisätiedotLuento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi.
Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Konveksisuus Muista x + αd, α 0, on pisteestä x R n alkava puolisuora, joka on vektorin d suuntainen. Samoin
Lisätiedotb 1. b m ) + ( 2b Ax) + (b b)
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}
LisätiedotLuento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi.
Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Konveksisuus Muista. + αd, α 0, on pisteessä R n alkava puolisuora, joka on vektorin d suuntainen. Samoin 2
LisätiedotOptimaalisuusehdot. Yleinen minimointitehtävä (NLP): min f(x) kun g i (x) 0 h j (x) = 0
Optimaalisuusehdot Yleinen minimointitehtävä (NLP): min f(x) kun g i (x) 0 h j (x) = 0 i = 1,..., m j = 1,..., l missä f : R n R, g i : R n R kaikilla i = 1,..., m, ja h j : R n R kaikilla j = 1,..., l
Lisätiedot1 Kertaus. Lineaarinen optimointitehtävä on muotoa:
1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n
Lisätiedotmin x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-39 Optimointioppi Kimmo Berg 6 harjoitus - ratkaisut min x + x x + x = () x f = 4x, h = x 4x + v = { { x + v = 4x + v = x = v/ x = v/4 () v/ v/4
LisätiedotOsakesalkun optimointi. Anni Halkola Turun yliopisto 2016
Osakesalkun optimointi Anni Halkola Turun yliopisto 2016 Artikkeli Gleb Beliakov & Adil Bagirov (2006) Non-smooth optimization methods for computation of the Conditional Value-at-risk and portfolio optimization.
LisätiedotDuaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki
Duaalisuus kokonaislukuoptimoinnissa Mat-2.4191, Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Sisältö Duaalisuus binäärisissä optimointitehtävissä Lagrangen duaalisuus Lagrangen
LisätiedotOsakesalkun optimointi
Osakesalkun optimointi Anni Halkola Epäsileä optimointi Turun yliopisto Huhtikuu 2016 Sisältö 1 Johdanto 1 2 Taustatietoja 2 3 Laskumetodit 3 3.1 Optimointiongelmat........................ 4 4 Epäsileän
LisätiedotLuento 9: Yhtälörajoitukset optimoinnissa
Luento 9: Yhtälörajoitukset optimoinnissa Lagrangen kerroin Oletetaan aluksi, että f, g : R R. Merkitään (x 1, x ) := (x, y) ja johdetaan Lagrangen kerroin λ tehtävälle min f(x, y) s.t. g(x, y) = 0 Olkoon
Lisätiedot2 Osittaisderivaattojen sovelluksia
2 Osittaisderivaattojen sovelluksia 2.1 Ääriarvot Yhden muuttujan funktiolla f(x) on lokaali maksimiarvo (lokaali minimiarvo) pisteessä a, jos f(x) f(a) (f(x) f(a)) kaikilla x:n arvoilla riittävän lähellä
LisätiedotMalliratkaisut Demot
Malliratkaisut Demot 3.2.27 Tehtävä. Valmisohjelmistolla voidaan ratkaista tehtävä min c T x s. t. Ax b x, missä x, c ja b R n ja A R m n. Muunnetaan tehtävä max x + 2x 2 + 3x 3 + x s. t. x + 3x 2 + 2x
LisätiedotOletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 018 Harjoitus 4 Ratkaisuehdotukset Tehtävä 1. Olkoon U R avoin joukko ja ϕ = (ϕ 1, ϕ, ϕ 3 ) : U R 3 kaksiulotteisen C 1 -alkeispinnan
LisätiedotJYVÄSKYLÄN YLIOPISTO. 3. Luennon sisältö
JYVÄSKYLÄN YLIOPISTO 3. Luennon sisältö Lineaarisen optimointitehtävän sallittu alue Optimointitehtävien muunnoksia Lineaarisen yhtälöryhmän perusmuoto ja perusratkaisut Lineaarisen optimointitehtävän
Lisätiedot1 Rajoitettu optimointi I
Taloustieteen mat.menetelmät 2017 materiaali II-1 1 Rajoitettu optimointi I 1.1 Tarvittavaa osaamista Matriisit ja vektorit, matriisien de niittisyys Derivointi (mm. ketjusääntö, Taylorin kehitelmä) Implisiittifunktiolause
Lisätiedot1. LINEAARISET LUOKITTIMET (jatkoa)
1. LINEAARISET LUOKITTIMET (jatkoa) 1.1 Tukivektorikone ( A Tutorial on Support Vector Machines for Pattern Recognition, http://www.kernel-machines.org/papers/burges98.ps.gz) Tukivektorikoneen ( Support
LisätiedotTalousmatematiikan perusteet: Luento 12. Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla
Talousmatematiikan perusteet: Luento 12 Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla Esimerkki Esim. Yritys tekee kahta elintarviketeollisuuden käyttämää puolivalmistetta,
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila
LisätiedotLuento 11: Rajoitusehdot. Ulkopistemenetelmät
Luento 11: Rajoitusehdot. Ulkopistemenetelmät ja sisäpistemenetelmät Lagrangen välttämättömien ehtojen ratkaiseminen Newtonin menetelmällä Jos tehtävässä on vain yhtälörajoituksia, voidaan minimipistekandidaatteja
LisätiedotKimppu-suodatus-menetelmä
Kimppu-suodatus-menetelmä 2. toukokuuta 2016 Kimppu-suodatus-menetelmä on kehitetty epäsileiden optimointitehtävien ratkaisemista varten. Menetelmässä approksimoidaan epäsileitä funktioita aligradienttikimpulla.
LisätiedotKeskeiset tulokset heikko duaalisuus (duaaliaukko, 6.2.1) vahva duaalisuus (6.2.4) satulapisteominaisuus (6.2.5) yhteys KKT ehtoihin (6.2.
Duaalisuus Lagrangen duaalifunktio ja duaalitehtävä määrittely ja geometria max θ(u,v), missä θ(u,v)=inf x X ϕ(x,u,v) s.e u 0 Lagr. funktio ϕ(x,u,v)=f(x)+u T g(x)+v T h(x) Keskeiset tulokset heikko duaalisuus
LisätiedotEpäyhtälöt ovat yksi matemaatikon voimakkaimmista
6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida
LisätiedotTaustatietoja ja perusteita
Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1 Avoin pallo:
Lisätiedot1 Rajoittamaton optimointi
Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y
Lisätiedot, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1).
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 017 Harjoitus 4 Ratkaisuehdotukset 4.1. Osoita, että tasa-arvojoukko S F (0), F : R 3 R, F (x) = 3x 1 x 3 + e x + x e x 3, on säännöllinen
LisätiedotDifferentiaali- ja integraalilaskenta 2 Laskuharjoitus 4 / vko 40
Differentiaali- ja integraalilaskenta 2 Laskuharjoitus 4 / vko 40 Alkuviikolla harjoitustehtäviä lasketaan harjoitustilaisuudessa. Loppuviikolla näiden harjoitustehtävien tulee olla ratkaistuina harjoituksiin
Lisätiedot12. Hessen matriisi. Ääriarvoteoriaa
179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =
LisätiedotLineaarinen optimointi. Harjoitus 6-7, Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän. c T x = min!
Lineaarinen optimointi Harjoitus 6-7, 016. 1. Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän c T x = min! (T) Ax b x 0 duaalitehtävän duaali on tehtävä (T). Ratkaisu. (P) c T x = min! Ax b x
LisätiedotNumeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35
Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen
LisätiedotTalousmatematiikan perusteet: Luento 15. Rajoitettu optimointi Lagrangen menetelmä Lagrangen kerroin ja varjohinta
Talousmatematiikan perusteet: Luento 15 Rajoitettu optimointi Lagrangen menetelmä Lagrangen kerroin ja varjohinta Viime luennolla Tarkastelimme usean muuttujan funktioiden rajoittamatonta optimointia:
LisätiedotTalousmatematiikan perusteet: Luento 11. Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla
Talousmatematiikan perusteet: Luento 11 Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla Esimerkki Esim. Yritys tekee kahta elintarviketeollisuuden käyttämää puolivalmistetta,
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2
LisätiedotLuento 6: Monitavoitteinen optimointi
Luento 6: Monitavoitteinen optimointi Monitavoitteisessa optimointitehtävässä on useita optimoitavia kohdefunktioita eli ns kriteereitä: f,,f m Esimerkki ortfolion eli arvopaperijoukon optimoinnissa: f
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 10 1 Funktion monotonisuus Derivoituva funktio f on aidosti kasvava, jos sen derivaatta on positiivinen eli jos f (x) > 0. Funktio on aidosti vähenevä jos sen derivaatta
LisätiedotMalliratkaisut Demo 4
Malliratkaisut Demo 4 1. tehtävä a) f(x) = 2x + 21. Funktio on lineaarinen, joten se on unimodaalinen sekä maksimoinnin että imoinnin suhteen. Funktio on konveksi ja konkaavi. b) f(x) = x (pienin kokonaisluku
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi
LisätiedotTEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio. Kimmo Berg. Mat Optimointioppi. 9. harjoitus - ratkaisut
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-2.139 Optimointioppi Kimmo Berg 9. harjoitus - ratkaisut 1. a) Viivahakutehtävä pisteessä x suuntaan d on missä min f(x + λd), λ f(x + λd) = (x
LisätiedotNumeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33
Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 10 1 Lokaalit ääriarvot Yhden muuttujan funktion f (x) lokaali maksimi on piste x 0, jossa f (x) on suurempi kuin muualle pisteen x 0 ympäristössä, eli kun f (x 0 )
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 8 To 29.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 8 To 29.9.2011 p. 1/36 p. 1/36 Interpolointi kuutiosplinillä Osavälit: I i = [t i 1,t i ], i = 1,2,...,n
LisätiedotHarjoitus 7: vastausvihjeet
Taloustieteen matemaattiset menetelmät 31C01100 Kevät 2017 Topi Hokkanen topi.hokkanen@aalto.fi Harjoitus 7: vastausvihjeet 1. (Epäyhtälörajoitteet) Olkoon f (x, y) = 6x + 4y ja g (x, y) = x 2 + y 2 2.
LisätiedotKuva 1: Funktion f tasa-arvokäyriä. Ratkaisu. Suurin kasvunopeus on gradientin suuntaan. 6x 0,2
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi I, syksy 018 Harjoitus Ratkaisuehdotukset Tehtävä 1. Olkoon f : R R f(x 1, x ) = x 1 + x Olkoon C R. Määritä tasa-arvojoukko Sf(C) = {(x 1, x
Lisätiedot6. Luennon sisältö. Lineaarisen optimoinnin duaaliteoriaa
JYVÄSKYLÄN YLIOPISTO 6. Luennon sisältö Lineaarisen optimoinnin duaaliteoriaa työkalu ratkaisun analysointiin Jälki- ja herkkyysanalyysiä mitä tapahtuu optimiratkaisulle, jos tehtävän vakiot hieman muuttuvat
LisätiedotTalousmatematiikan perusteet: Luento 14. Rajoitettu optimointi Lagrangen menetelmä: yksi yhtälörajoitus Lagrangen menetelmä: monta yhtälörajoitusta
Talousmatematiikan perusteet: Luento 14 Rajoitettu optimointi Lagrangen menetelmä: yksi yhtälörajoitus Lagrangen menetelmä: monta yhtälörajoitusta Viime luennolla Tarkastelimme usean muuttujan funktioiden
Lisätiedot1 Sisätulo- ja normiavaruudet
1 Sisätulo- ja normiavaruudet 1.1 Sisätuloavaruus Määritelmä 1. Olkoon V reaalinen vektoriavaruus. Kuvaus : V V R on reaalinen sisätulo eli pistetulo, jos (a) v w = w v (symmetrisyys); (b) v + u w = v
Lisätiedot. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-.39 Optimointioppi Kimmo Berg 8. harjoitus - ratkaisut. a)huomataan ensinnäkin että kummankin jonon raja-arvo r on nolla. Oletetaan lisäksi että
LisätiedotLuento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu
Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu Merkintöjä := vasen puoli määritellään oikean puolen lausekkeella s.e. ehdolla; siten että (engl. subject to, s.t.) on voimassa
Lisätiedotx = y x i = y i i = 1, 2; x + y = (x 1 + y 1, x 2 + y 2 ); x y = (x 1 y 1, x 2 + y 2 );
LINEAARIALGEBRA Harjoituksia, Syksy 2016 1. Olkoon n Z +. Osoita, että (R n, +, ) on lineaariavaruus, kun vektoreiden x = (x 1,..., x n ), y = (y 1,..., y n ) identtisyys, yhteenlasku ja reaaliluvulla
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 8 1 Funktion kuperuussuunnat Derivoituva funktio f (x) on pisteessä x aidosti konveksi, jos sen toinen derivaatta on positiivinen f (x) > 0. Vastaavasti f (x) on aidosti
LisätiedotEste- ja sakkofunktiomenetelmät
Este- ja sakkofunktiomenetelmät Keijo Ruotsalainen Mathematics Division Luennon kulku Este- ja sisäpistemenetelmät LP-ongelmat ja logaritminen estefunktio Polun seuranta Newtonin menetelmällä Sakkofunktiomenetelmistä
LisätiedotMS-A0107 Differentiaali- ja integraalilaskenta 1 (CHEM)
. Lasketaan valmiiksi derivaattoja ja niiden arvoja pisteessä x = 2: f(x) = x + 3x 3 + x 2 + 2x + 8, f(2) = 56, f (x) = x 3 + 9x 2 + 2x + 2, f (2) = 7, f (x) = 2x 2 + 8x + 2, f (2) = 86, f (3) (x) = 2x
LisätiedotDemo 1: Simplex-menetelmä
MS-C2105 Optimoinnin perusteet Malliratkaisut 3 Ehtamo Demo 1: Simplex-menetelmä Muodosta lineaarisen tehtävän standardimuoto ja ratkaise tehtävä taulukkomuotoisella Simplex-algoritmilla. max 5x 1 + 4x
LisätiedotHarjoitus 3 (3.4.2014)
Harjoitus 3 (3..) Tehtävä Olkoon kaaren paino c ij suurin sallittu korkeus tieosuudella (i, j). Etsitään reitti solmusta s solmuun t siten, että reitin suurin sallittu korkeus pienimmillään olisi mahdollisimman
LisätiedotNumeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33
Numeeriset menetelmät TIEA381 Luento 12 Kirsi Valjus Jyväskylän yliopisto Luento 12 () Numeeriset menetelmät 25.4.2013 1 / 33 Luennon 2 sisältö Tavallisten differentiaaliyhtälöiden numeriikasta Rungen
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3. luento 17.11.2017 Neuroverkon opettaminen (ohjattu oppiminen) Neuroverkkoa opetetaan syöte-tavoite-pareilla
LisätiedotAki Taanila LINEAARINEN OPTIMOINTI
Aki Taanila LINEAARINEN OPTIMOINTI 26.4.2011 JOHDANTO Tässä monisteessa esitetään lineaarisen optimoinnin alkeet. Moniste sisältää tarvittavat Excel ohjeet. Viimeisin versio tästä monisteesta ja siihen
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotDerivaatta: funktion approksimaatio lineaarikuvauksella.
Viikko 5 Tällä viikolla yleistetään R 2 :n ja R 3 :n vektorialgebran peruskäsitteet n-ulotteiseen avaruuteen R n, ja määritellään lineaarikuvaus. Tarkastellaan funktioita, joiden määrittelyjoukko on n-ulotteisen
LisätiedotMalliratkaisut Demot
Malliratkaisut Demot 5 2.2.28 Tehtävä a) Tehtävä voidaan sieventää muotoon max 5x + 9x 2 + x 3 s. t. 2x + x 2 + x 3 x 3 x 2 3 x 3 3 x, x 2, x 3 Tämä on tehtävän kanoninen muoto, n = 3 ja m =. b) Otetaan
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
Lisätiedot802320A LINEAARIALGEBRA OSA II
802320A LINEAARIALGEBRA OSA II Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 64 Sisätuloavaruus Määritelmä 1 Olkoon V reaalinen vektoriavaruus. Kuvaus on reaalinen
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotHarjoitus 3 (31.3.2015)
Harjoitus (..05) Tehtävä Olkoon kaaren paino c ij suurin sallittu korkeus tieosuudella (i,j). Etsitään reitti solmusta s solmuun t siten, että reitin suurin sallittu korkeus pienimmillään olisi mahdollisimman
LisätiedotLuento 6: Monitavoiteoptimointi
Luento 6: Monitavoiteoptimointi Monitavoiteoptimointitehtävässä on useita optimoitavia kohdefunktioita eli ns kriteereitä: f 1,, f m Esimerkiksi opiskelija haluaa oppia mahdollisimman hyvin ja paljon mahdollisimman
LisätiedotLuento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu
Luento 1: Optimointimallin muodostaminen; optimointitehtävien luokittelu Merkintöjä := vasen puoli määritellään oikean puolen lausekkeella s.e. ehdolla; siten että (engl. subject to, s.t.) vasemman puolen
LisätiedotLuento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja
Luento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja Seuraavassa esitetään optimointitehtävien numeerisia ratkaisumenetelmiä, eli optimointialgoritmeja, keittokirjamaisesti.
LisätiedotEllipsoidimenetelmä. Samuli Leppänen Kokonaislukuoptimointi. S ysteemianalyysin Laboratorio
Ellipsoidimenetelmä Kokonaislukuoptimointi Sovelletun matematiikan lisensiaattiseminaari Kevät 2008 / 1 Sisällys Ellipsoidimenetelmän geometrinen perusta ja menetelmän idea Formaali ellipsoidimenetelmä
Lisätiedot1. Lineaarinen optimointi
0 1. Lineaarinen optimointi 1. Lineaarinen optimointi 1.1 Johdatteleva esimerkki Esimerkki 1.1.1 Giapetto s Woodcarving inc. valmistaa kahdenlaisia puuleluja: sotilaita ja junia. Sotilaan myyntihinta on
LisätiedotTilavuus puolestaan voidaan esittää funktiona V : (0, ) (0, ) R,
Vektorianalyysi Harjoitus 9, Ratkaisuehdotuksia Anssi Mirka Tehtävä 1. ([Martio, 3.4:1]) Millä suoralla sylinterillä, jonka tilavuus on V > on pienin vaipan ja pohjan yhteenlaskettu pinta-ala? Ratkaisu
LisätiedotOrtogonaaliprojektio äärellisulotteiselle aliavaruudelle
Ortogonaaliprojektio äärellisulotteiselle aliavaruudelle Olkoon X sisätuloavaruus ja Y X äärellisulotteinen aliavaruus. Tällöin on olemassa lineaarisesti riippumattomat vektorit y 1, y 2,..., yn, jotka
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kertausluento 2. välikokeeseen Toisessa välikokeessa on syytä osata ainakin seuraavat asiat:. Potenssisarjojen suppenemissäde, suppenemisväli ja suppenemisjoukko. 2. Derivaatan
LisätiedotMalliratkaisut Demo 4
Malliratkaisut Demo 4 1. tehtävä a) () = 2+1. Funktio on lineaarinen, joten se on unimodaalinen sekä maksimoinnin että minimoinnin suhteen. Funktio on konveksi ja konkaavi. b) () = (suurin kokonaisluku
Lisätiedoty x1 σ t 1 = c y x 1 σ t 1 = y x 2 σ t 2 y x 2 x 1 y = σ(t 2 t 1 ) x 2 x 1 y t 2 t 1
1. Tarkastellaan funktiota missä σ C ja y (y 1,..., y n ) R n. u : R n R C, u(x, t) e i(y x σt), (a) Miksi funktiota u(x, t) voidaan kutsua tasoaalloksi, jonka aaltorintama on kohtisuorassa vektorin y
LisätiedotBM20A5840 Usean muuttujan funktiot ja sarjat Harjoitus 7, Kevät 2018
BM20A5840 Usean muuttujan funktiot ja sarjat Harjoitus 7, Kevät 2018 Tehtävä 8 on tällä kertaa pakollinen. Aloittakaapa siitä. 1. Kun tässä tehtävässä sanotaan sopii mahdollisimman hyvin, sillä tarkoitetaan
Lisätiedotf(x, y) = x 2 y 2 f(0, t) = t 2 < 0 < t 2 = f(t, 0) kaikilla t 0.
Ääriarvon laatu Jatkuvasti derivoituvan funktion f lokaali ääriarvokohta (x 0, y 0 ) on aina kriittinen piste (ts. f x (x, y) = f y (x, y) = 0, kun x = x 0 ja y = y 0 ), mutta kriittinen piste ei ole aina
LisätiedotMalliratkaisut Demot
Malliratkaisut Demot 1 23.1.2017 1. Päätösmuuttujiksi voidaan valita x 1 : tehtyjen peruspöytin lukumäärä x 2 : tehtyjen luxuspöytien lukumäärä. Optimointitehtäväksi tulee max 200x 1 + 350x 2 s. t. 5x
Lisätiedotx = y x i = y i i = 1, 2; x + y = (x 1 + y 1, x 2 + y 2 ); x y = (x 1 y 1, x 2 + y 2 );
LINEAARIALGEBRA Ratkaisuluonnoksia, Syksy 2016 1. Olkoon n Z +. Osoita, että (R n, +, ) on lineaariavaruus, kun vektoreiden x = (x 1,..., x n ), y = (y 1,..., y n ) identtisyys, yhteenlasku ja reaaliluvulla
LisätiedotRistitulolle saadaan toinen muistisääntö determinantin avulla. Vektoreiden v ja w ristitulo saadaan laskemalla determinantti
14 Ristitulo Avaruuden R 3 vektoreille voidaan määritellä pistetulon lisäksi niin kutsuttu ristitulo. Pistetulosta poiketen ristitulon tulos ei ole reaaliluku vaan avaruuden R 3 vektori. Ristitulosta on
LisätiedotTEKNILLINEN TIEDEKUNTA, MATEMATIIKAN JAOS
1. Suorakaiteen muotoisen lämmönvaraajan korkeus on K, leveys L ja syvyys S yksikköä. Konvektiosta ja säteilystä johtuvat lämpöhäviöt ovat verrannollisia lämmönvaraajan lämpötilan T ja ympäristön lämpötilan
LisätiedotDierentiaaliyhtälöistä
Dierentiaaliyhtälöistä Markus Kettunen 4. maaliskuuta 2009 1 SISÄLTÖ 1 Sisältö 1 Dierentiaaliyhtälöistä 2 1.1 Johdanto................................. 2 1.2 Ratkaisun yksikäsitteisyydestä.....................
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7 8
Inversio-ongelmien laskennallinen peruskurssi Luento 7 8 Kevät 2011 1 Iteratiivisista menetelmistä Tähän mennessä on tarkasteltu niin sanottuja suoria menetelmiä, joissa (likimääräinen) ratkaisu saadaan
Lisätiedot3 = Lisäksi z(4, 9) = = 21, joten kysytty lineaarinen approksimaatio on. L(x,y) =
BM20A5810 Differentiaalilaskenta ja sovellukset Harjoitus 6, Syksy 2016 1. (a) Olkoon z = z(x,y) = yx 1/2 + y 1/2. Muodosta z:lle lineaarinen approksimaatio L(x,y) siten että approksimaation ja z:n arvot
LisätiedotViikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen
Viikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum D122, 30-31.1.2008. 1 Tällä viikolla Sisältösuunnitelma: Lineaarinen regressio Pienimmän neliösumman
LisätiedotMS-A0104 Differentiaali- ja integraalilaskenta 1 (ELEC2) MS-A0106 Differentiaali- ja integraalilaskenta 1 (ENG2)
MS-A4 Differentiaali- ja integraalilaskenta (ELEC2) MS-A6 Differentiaali- ja integraalilaskenta (ENG2) Harjoitukset 3L, syksy 27 Tehtävä. a) Määritä luvun π likiarvo käyttämällä Newtonin menetelmää yhtälölle
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 7 Ti 27.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 7 Ti 27.9.2011 p. 1/39 p. 1/39 Interpolointi Ei tunneta funktion f : R R lauseketta, mutta tiedetään funktion
LisätiedotKirjallisuuskatsaus sisäpistemenetelmiin ja niiden soveltamiseen eri optimointiluokille (valmiin työn esittely)
Kirjallisuuskatsaus sisäpistemenetelmiin ja niiden soveltamiseen eri optimointiluokille (valmiin työn esittely) Ilari Vähä-Pietilä 28.04.2014 Ohjaaja: TkT Kimmo Berg Valvoja: Prof. Harri Ehtamo Työn saa
LisätiedotHarjoitus 8: Excel - Optimointi
Harjoitus 8: Excel - Optimointi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Lineaarisen optimointimallin muodostaminen
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 2. luento 10.11.2017 Keinotekoiset neuroverkot Neuroverkko koostuu syöte- ja ulostulokerroksesta
Lisätiedot1. Etsi seuraavien funktioiden kriittiset pisteet ja tutki niiden laatu: (a.) f(x,y) = 20x 2 +10xy +5y 2 (b.) f(x,y) = 4x 2 2y 2 xy +x+2y +100
HARJOITUS, RATKAISUEHDOTUKSET, YLE 07.. Etsi seuraavien funktioiden kriittiset pisteet ja tutki niiden laatu: (a.) f(x,y) = 0x +0xy +5y (b.) f(x,y) = 4x y xy +x+y +00 (a.) Funktion kriittiset pisteet ratkaisevat
LisätiedotMat Lineaarinen ohjelmointi
Mat-.4 Lineaarinen ohjelmointi..7 Luento 7 Duaalisimple ja herkkyysanalyysi (kirja 4.5, 5., 5.5-5.6) Lineaarinen ohjelmointi - Syksy 7 / Duaalisimple Herkkyysanalyysi Luentorunko Parametrinen ohjelmointi
Lisätiedot2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio
x = x 2 = 5/2 x 3 = 2 eli Ratkaisu on siis x = (x x 2 x 3 ) = ( 5/2 2) (Tarkista sijoittamalla!) 5/2 2 Tämä piste on alkuperäisten tasojen ainoa leikkauspiste Se on myös piste/vektori jonka matriisi A
LisätiedotMS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Tentti ja välikokeiden uusinta
MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Tentti ja välikokeiden uusinta 8..206 Gripenberg, Nieminen, Ojanen, Tiilikainen, Weckman Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi
LisätiedotSekalaiset tehtävät, 11. syyskuuta 2005, sivu 1 / 13. Tehtäviä
Sekalaiset tehtävät, 11. syyskuuta 005, sivu 1 / 13 Tehtäviä Tehtävä 1. Johda toiseen asteen yhtälön ax + bx + c = 0, a 0 ratkaisukaava. Tehtävä. Määrittele joukon A R pienin yläraja sup A ja suurin alaraja
Lisätiedot2 Yhtälöitä ja epäyhtälöitä
2 Yhtälöitä ja epäyhtälöitä 2.1 Ensimmäisen asteen yhtälö ja epäyhtälö Muuttujan x ensimmäisen asteen yhtälöksi sanotaan yhtälöä, joka voidaan kirjoittaa muotoon ax + b = 0, missä vakiot a ja b ovat reaalilukuja
LisätiedotFunktioiden approksimointi ja interpolointi
Funktioiden approksimointi ja interpolointi Keijo Ruotsalainen Division of Mathematics interpolaatio-ongelma 8 Eksponenttifunktion exp(x) interpolointi 3.5 Funktion e^{0.25x} \sin(x) interpolointi 7 3
Lisätiedot