Gradient Sampling-Algoritmi
|
|
- Hilja Jaakkola
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 1/24 Gradient Sampling-Algoritmi Ville-Pekka Eronen April 20, 2016
2 2/24 Perusidea -"Stabiloitu nopeimman laskeutumisen menetelmä" - Laskevan suunnan haku: lasketaan gradientit nykyisessä pisteessä sekä muutamasta pisteestä nykyisen pisteen ympäristöstä. Otetaan gradienteista konveksi peite, haetaan tästä joukosta normin minimoiva vektori. Laskeva suunta on tämän vektorin vastakkainen suunta. - Vertaa: suunnaksi normin minimoivan aligradientin vastainen suunta.
3 3/24 Perusidea - Goldsteinin ε-alidifferentiaali: G ε f (x) = cl conv y B(x,ε) f (y) - Gradienttien konveksin peitteen voidaan ajatella approksimoivan tätä joukkoa. - Sunnan haku toisin: approksimoidaan ε-alidifferentiaalia ja haetaan tästä normin minimoivan vektorin vastavektori.
4 4/24 Optimointi ongelma - min f (x) s.t. x R n - Menetelmää voidaan soveltaa funktioon f, joka on jatkuva ja differentioituva melkein kaikkialla. - Differentioituva m.k. Jos otetaan piste tasaisesta jakaumasta yli suljetun pallon, niin piste on differentioituva todennäköisyydellä 1.
5 5/24 Teoreettisia oletuksia - Seuraavaksi esitetään yksinkertaistettu versio artikkelin [1] algoritmista. Alkuperäiselle algoritmille voidaan todistaa tiettyjä konvergenssi ominaisuuksia. Todistukset edellyttävät: 1) Kohdefunktio on lokaalisti Lipschitz jatkuva. 2) Funktion on oltava jatkuvasti differentioituva avoimessa joukossa D, joka on tiheä. 3) On olemassa piste x, jolle L = {x f (x) f (x)} on kompakti.
6 /24 Gradient sampling - algoritmi 0. askel(alustus) Olkoon x 0 L D R n, β, γ (0, 1), ε > 0, k = 0 ja m n + 1, m N. m n + 1, jotta voidaan todistaa konvergenssituloksia. Funktion oletuksista ja Caratheodoryn Lauseesta seuraa, että äärellisellä todennäköisyydellä algoritmin löytämä laskeva suunta poikkeaa ɛ-alidifferentiaalin normin minimoivan vektorin vastavektorista korkeintaan pienen luvun δ > 0 verran.
7 /24 1. askel( ε G f approksimointi) Aseta x k0 = x k ja x kj = x k + εu kj, j = 1, 2,..., m, missä pisteet u kj ovat otettu satunnaisotantana tasaisesta jakaumasta yli joukon B(0; 1). Aseta G k = conv { f (x k0 ), f (x k1 ),..., f (x km ) }. Huomaa: G k ε G f (x k0 ).
8 8/24 Gradient sampling - algoritmi 2. askel(laskevan suunnan haku) Olkoon g k = argmin g Gk g 2. Jos g k = 0, lopeta. Muutoin d k = g k g k. Löydetty suunta on laskeva suunta: f (x k ; d k ) = f (x k ) T d k sup g G k g T d k Epäyhtälö 1) seuraa konveksista analyysistä. 1) g k
9 9/24 Gradient sampling - algoritmi 3. askel(askelpituuden määritys) t k = max {1, γ, γ 2,...}, jolle f (x k + t k d k ) f (x k ) < βt k g k. (1) Viivahaku on äärellinen prosessi: On olemassa t > 0, jolle f (x k + td k ) < f (x k ) + βt f (x k ) T d k 2) f (x k ) tβ g k kaikilla t (0, t). 2) seuraa kalvon 10 epäyhtälöstä.
10 10/24 Gradient sampling - algoritmi 4. askel(päivitys) Jos x k + t k d k D, niin aseta x k+1 = x k + t k d k. Jos ei, niin etsi satunnaisesti piste x k x k + εb(0; 1), jolle x k + t k d k D ja f (x k + t k d k ) f (x k ) < βt k g k. Aseta i = i + 1 ja siirry 1. askeleeseen. Funktion f jatkuvuuden nojalla ehdon toteuttava uusi piste löydetään nollasta poikkeavalla todennäköisyydellä.
11 f (x, y) = max {x 2, y 2 } y x0=(1.01,1)= eps=0.1 y=x f=0.4 f=0.8 f=1.2 f= /24 x
12 12/24 gx gy G =cl conv U f(x i ) k m i=
13 13/24 f t β, γ =0.8 f(x k) β t g k f
14 14/24 x y f=0.8 1 f=
15 15/24 Konvergenssi tuloksia, huomioita - Algoritmi löytää iteraatiokierroksen aikana uuden pisteen, joka tuottaa pienemmän kohdefunktion arvon kuin edellinen piste. - Yhteen kierrokseen kuluu äärellinen määrä laskentaa. - Ratkaisupisteet ovat erit ja ne ovat kompaktissa joukossa L - Siis: jono f (x k ) konvergoi ja jono (x k ) sisältää ainakin yhden kasautumispisteen. - Näistäkin huolimatta konvergenssitodistukset ovat hankalia: syy g k satunnaisuus.
16 16/24 Konvergenssi tuloksia, määrittelyjä Algoritmi pyrkii löytämään Clarke ε-stationaarista pistettä. f (x) ε G f (x) eli Clarke stationaarinen piste on Clarke ε-stationaarinen. Jos ε = 0, niin 0 G f (x) = f (x) Parametria ε pienentämällä ε-stationaaristen pisteiden joukko lähestyy Clarke stationaaristen pisteiden joukkoa.
17 17/24 Konvergenssi tuloksia: kiinnitetty ε Olkoon ( x k) GS-algoritmin tuottama ratkaisujono. Tällöin todennäköisyydellä 1 joko i) jono ( x k) on äärellinen. Algortimin pysähtyessä askeleeseen k 0 on 0 ε G f (x k 0 ) ii) Jonon ( x k) jokainen kasautumispiste ˆx on Clarke ε-stationaarinen. Todistus: [2] (Kiwiel 2007)
18 18/24 Konvergenssi tuloksia: muuttuva ε Alkuperäisessä algoritmissa päivitetään parametria ε tiettyjen ehtojen täyttyessä. Tällöin pystytään todistamaan "vahvempi" tulos: Olkoon ( x k) sopiva parametrisen alkuperäisen GS-algoritmin tuottama ratkaisujono. Tällöin todennäköisyydellä 1 jono (x k ) on ääretön. On olemassa osajono ( ) x kj, jonka jokainen kasautumispiste on Clarke stationaarinen piste eli 0 f (ˆx). Todistus: [2] (Kiwiel 2007)
19 19/24 Numeerinen osuus: käytännössä... - Käytännössä pisteen differentioituvuuden tarkastamista ei tehdä: "This is simply impossible in finite precision and in any case would make life very difficult for the user who provides function and gradient values" (Burke, J.V. et al.). - Algoritmia testattiin viiteen eri tehtävään muutamilla eri muuttujalukumäärillä (käyrän sovittaminen eksponentti summilla, ominaisarvotulojen minimointi, spektraalisen/pseudospektraalisen abskissan minimointi, matriisin "distance to instability" maksimointi ja näiden sovellus) - Tehtäviä ei oltu ennen ratkaistu.
20 20/24 Numeerinen osuus: vertailua - Kvalitatiivista vertailua polytooppi menetelmän ja Bundle Trust menetelmän kanssa. - Polytooppi menetelmä pystyi ratkaisemaan vain helpoimmat tehtävät pienillä n arvolla. - BT menetelmä nopeampi, mutta epätarkempi kuin GSA. Lisäksi se ei pystynyt ratkaisemaan vaikeimpia ongelmia.
21 21/24 Kompleksisuudesta Joka iteraatio edellyttää: - m + 1 gradientin evaluointia - kvadraattisen tehtävän ratkaisua (m + 1 muuttujaa, 1 rajoite) - määräämätöntä määrää funktioevaluointeja (viivahaku).
22 22/24 GSA muualla - Artikkeliin [1] on viitattu yli 71 artikkelista - Kiwiel 2007 [2]: muutos löydetyn pisteen differentioitumis tarkistukseen ja joukon L kompaktisuus oletus pois. Modifioitu versio: laskeva suunta ei enää yksikkövektori. - Curtis & Que 2013 [3]: gradientti evaluointien vähentäminen. 2. kertaluvun informaatiota mukaan.
23 23/24 Viitteet [1]: Burke, J. V., Lewis, A. S., Overton, M. L., A robust gradient sampling algorithm for nonsmooth, nonconvex optimization. SIAM J. Optim. 15 no. 3, [2]: Kiwiel, K. C., Convergence of the gradient sampling algorithm for nonsmooth nonconvex optimization. SIAM J. Optim. 18 (2007), no. 2, [3]: Curtis, F. E., Que, X., An adaptive gradient sampling algorithm for non-smooth optimization. Optim. Methods Softw. 28 (2013), no. 6,
24 24/24 Kiitos
Kimppu-suodatus-menetelmä
Kimppu-suodatus-menetelmä 2. toukokuuta 2016 Kimppu-suodatus-menetelmä on kehitetty epäsileiden optimointitehtävien ratkaisemista varten. Menetelmässä approksimoidaan epäsileitä funktioita aligradienttikimpulla.
LisätiedotOsakesalkun optimointi. Anni Halkola Turun yliopisto 2016
Osakesalkun optimointi Anni Halkola Turun yliopisto 2016 Artikkeli Gleb Beliakov & Adil Bagirov (2006) Non-smooth optimization methods for computation of the Conditional Value-at-risk and portfolio optimization.
LisätiedotOsakesalkun optimointi
Osakesalkun optimointi Anni Halkola Epäsileä optimointi Turun yliopisto Huhtikuu 2016 Sisältö 1 Johdanto 1 2 Taustatietoja 2 3 Laskumetodit 3 3.1 Optimointiongelmat........................ 4 4 Epäsileän
LisätiedotKonvergenssilauseita
LUKU 4 Konvergenssilauseita Lause 4.1 (Monotonisen konvergenssin lause). Olkoon (f n ) kasvava jono Lebesgueintegroituvia funktioita. Asetetaan f(x) := f n (x). Jos f n
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotEste- ja sakkofunktiomenetelmät
Este- ja sakkofunktiomenetelmät Keijo Ruotsalainen Mathematics Division Luennon kulku Este- ja sisäpistemenetelmät LP-ongelmat ja logaritminen estefunktio Polun seuranta Newtonin menetelmällä Sakkofunktiomenetelmistä
LisätiedotLuento 9: Yhtälörajoitukset optimoinnissa
Luento 9: Yhtälörajoitukset optimoinnissa Lagrangen kerroin Oletetaan aluksi, että f, g : R R. Merkitään (x 1, x ) := (x, y) ja johdetaan Lagrangen kerroin λ tehtävälle min f(x, y) s.t. g(x, y) = 0 Olkoon
Lisätiedot. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-.39 Optimointioppi Kimmo Berg 8. harjoitus - ratkaisut. a)huomataan ensinnäkin että kummankin jonon raja-arvo r on nolla. Oletetaan lisäksi että
LisätiedotSelvästi. F (a) F (y) < r x d aina, kun a y < δ. Kolmioepäyhtälön nojalla x F (y) x F (a) + F (a) F (y) < d + r x d = r x
Seuraavaksi tarkastellaan C 1 -sileiden pintojen eräitä ominaisuuksia. Lemma 2.7.1. Olkoon S R m sellainen C 1 -sileä pinta, että S on C 1 -funktion F : R m R eräs tasa-arvojoukko. Tällöin S on avaruuden
LisätiedotDIFFERENTIAALI- JA INTEGRAALILASKENTA I.1. Ritva Hurri-Syrjänen/Syksy 1999/Luennot 6. FUNKTION JATKUVUUS
DIFFERENTIAALI- JA INTEGRAALILASKENTA I.1 Ritva Hurri-Syrjänen/Syksy 1999/Luennot 6. FUNKTION JATKUVUUS Huomautus. Analyysin yksi keskeisimmistä käsitteistä on jatkuvuus! Olkoon A R mielivaltainen joukko
LisätiedotTaustatietoja ja perusteita
Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1 Avoin pallo:
LisätiedotLuento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi.
Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Konveksisuus Muista x + αd, α 0, on pisteestä x R n alkava puolisuora, joka on vektorin d suuntainen. Samoin
LisätiedotLuento 11: Rajoitusehdot. Ulkopistemenetelmät
Luento 11: Rajoitusehdot. Ulkopistemenetelmät ja sisäpistemenetelmät Lagrangen välttämättömien ehtojen ratkaiseminen Newtonin menetelmällä Jos tehtävässä on vain yhtälörajoituksia, voidaan minimipistekandidaatteja
LisätiedotMatematiikan ja tilastotieteen laitos Reaalianalyysi I Harjoitus Malliratkaisut (Sauli Lindberg)
Matematiikan ja tilastotieteen laitos Reaalianalyysi I Harjoitus 4 9.4.-23.4.200 Malliratkaisut (Sauli Lindberg). Näytä, että Lusinin lauseessa voidaan luopua oletuksesta m(a)
LisätiedotEpälineaaristen yhtälöiden ratkaisumenetelmät
Epälineaaristen yhtälöiden ratkaisumenetelmät Keijo Ruotsalainen Division of Mathematics Perusoletus Lause 3.1 Olkoon f : [a, b] R jatkuva funktio siten, että f(a)f(b) < 0. Tällöin funktiolla on ainakin
Lisätiedotmin x x2 2 x 1 + x 2 1 = 0 (1) 2x1 1, h = f = 4x 2 2x1 + v = 0 4x 2 + v = 0 min x x3 2 x1 = ± v/3 = ±a x 2 = ± v/3 = ±a, a > 0 0 6x 2
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-39 Optimointioppi Kimmo Berg 6 harjoitus - ratkaisut min x + x x + x = () x f = 4x, h = x 4x + v = { { x + v = 4x + v = x = v/ x = v/4 () v/ v/4
Lisätiedot(0 desimaalia, 2 merkitsevää numeroa).
NUMEERISET MENETELMÄT DEMOVASTAUKSET SYKSY 20.. (a) Absoluuttinen virhe: ε x x ˆx /7 0.4 /7 4/00 /700 0.004286. Suhteellinen virhe: ρ x x ˆx x /700 /7 /00 0.00 0.%. (b) Kahden desimaalin tarkkuus x ˆx
LisätiedotYhden muuttujan funktion minimointi
Yhden muuttujan funktion minimointi Aloitetaan yhden muuttujan tapauksesta Tarpeellinen myös useamman muuttujan tapauksessa Tehtävä on muotoa min kun f(x) x S R 1 Sallittu alue on muotoa S = [a, b] tai
LisätiedotTäydellisyysaksiooman kertaus
Täydellisyysaksiooman kertaus Luku M R on joukon A R yläraja, jos a M kaikille a A. Luku M R on joukon A R alaraja, jos a M kaikille a A. A on ylhäältä (vast. alhaalta) rajoitettu, jos sillä on jokin yläraja
LisätiedotMS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I
MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I G. Gripenberg Aalto-yliopisto 21. tammikuuta 2016 G. Gripenberg (Aalto-yliopisto) MS-A0207 Differentiaali- ja integraalilaskenta
Lisätiedotpeitteestä voidaan valita äärellinen osapeite). Äärellisen monen nollajoukon yhdiste on nollajoukko.
Esimerkki 4.3.9. a) Piste on nollajoukko. Suoran rajoitetut osajoukot ovat avaruuden R m, m 2, nollajoukkoja. Samoin suorakaiteiden reunat koostuvat suoran kompakteista osajoukoista. b) Joukko = Q m [0,
LisätiedotTopologia I Harjoitus 6, kevät 2010 Ratkaisuehdotus
Topologia I Harjoitus 6, kevät 2010 Ratkaisuehdotus 1. (5:7) Olkoon E normiavaruus, I = [0, 1] ja f, g : I E jatkuvia. Osoita, että yhtälön h(s, t) = (1 t)f(s) + tg(s) määrittelemä kuvaus h : I 2 E on
LisätiedotThe Metropolis-Hastings Algorithm
The Metropolis-Hastings Algorithm Chapters 6.1 6.3 from Monte Carlo Statistical Methods by Christian P. Robert and George Casella 08.03.2004 Harri Lähdesmäki The Metropolis-Hastings Algorithm p. 1/21 Taustaa
LisätiedotCantorin joukon suoristuvuus tasossa
Cantorin joukon suoristuvuus tasossa LuK-tutkielma Miika Savolainen 2380207 Matemaattisten tieteiden laitos Oulun yliopisto Syksy 2016 Sisältö Johdanto 2 1 Cantorin joukon esittely 2 2 Suoristuvuus ja
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila
Lisätiedot2 Konveksisuus ja ratkaisun olemassaolo
2 Konveksisuus ja ratkaisun olemassaolo Ratkaisun olemassaolon tutkimiseen tarvitaan perustietoja konvekseista joukoista ja lineaarialgebrasta. Niitä tarvitaan myös ratkaisualgoritmin ymmärtämiseen. Tutkitaan
LisätiedotMATEMATIIKAN JA TILASTOTIETEEN LAITOS
f ( n JYVÄSKYLÄN YLIOPISTO MATEMATIIKAN JA TILASTOTIETEEN LAITOS n Harjoitusten 8 ratkaisut Topologiset vektoriavaruudet 2010 8.1. Olkoon P n = {f : K K p on enintään asteen n 1 polynomi} varustettuna
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 2 To 8.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 2 To 8.9.2011 p. 1/33 p. 1/33 Lukujen tallennus Kiintoluvut (integer) tarkka esitys aritmeettiset operaatiot
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3. luento 17.11.2017 Neuroverkon opettaminen (ohjattu oppiminen) Neuroverkkoa opetetaan syöte-tavoite-pareilla
LisätiedotMS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi
MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi Antti Rasila Aalto-yliopisto Syksy 2015 Antti Rasila (Aalto-yliopisto) MS-A0202 Syksy 2015 1
LisätiedotKKT: log p i v 1 + v 2 x i = 0, i = 1,...,n.
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-2.139 Optimointioppi Kimmo Berg 7. harjoitus - ratkaisut 1. Oletetaan aluksi, että epäyhtälöt eivät ole aktiivisia p i > 0. Tässä tapauksess KKTehdot
LisätiedotLuento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi.
Luento 12: Duaalitehtävä. Tarkennuksia Lagrangen kertoimen tulkintaan. Hajautettu optimointi. Konveksisuus Muista. + αd, α 0, on pisteessä R n alkava puolisuora, joka on vektorin d suuntainen. Samoin 2
LisätiedotLebesguen mitta ja integraali
Lebesguen mitta ja integraali Olkoon m Lebesguen mitta R n :ssä. R 1 :ssä vastaa pituutta, R 2 :ssa pinta-alaa, R 3 :ssa tilavuutta. Mitallinen joukko E R n = joukko jolla on järkevästi määrätty mitta
Lisätiedot1 Supremum ja infimum
Pekka Alestalo, 2018 Tämä moniste täydentää reaalilukuja ja jatkuvia reaalifunktioita koskevaa kalvosarjaa lähinnä perustelujen ja todistusten osalta. Suurin osa määritelmistä jms. on esitetty jo kalvoissa,
Lisätiedot4.3 Moniulotteinen Riemannin integraali
4.3 Moniulotteinen Riemannin integraali Tässä luvussa opitaan miten integroidaan usean muuttujan reaaliarvoista tai vektoriarvoista funktiota, millaisten joukkojen yli jatkuvaa funktiota voi integroida,
LisätiedotLuento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja
Luento 10: Optimointitehtävien numeerinen ratkaiseminen; optimointi ilman rajoitusehtoja Seuraavassa esitetään optimointitehtävien numeerisia ratkaisumenetelmiä, eli optimointialgoritmeja, keittokirjamaisesti.
LisätiedotToispuoleiset raja-arvot
Toispuoleiset raja-arvot Määritelmä Funktiolla f on oikeanpuoleinen raja-arvo a R pisteessä x 0 mikäli kaikilla ɛ > 0 löytyy sellainen δ > 0 että f (x) a < ɛ aina kun x 0 < x < x 0 + δ; ja vasemmanpuoleinen
LisätiedotOletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 018 Harjoitus 4 Ratkaisuehdotukset Tehtävä 1. Olkoon U R avoin joukko ja ϕ = (ϕ 1, ϕ, ϕ 3 ) : U R 3 kaksiulotteisen C 1 -alkeispinnan
Lisätiedot8. Avoimen kuvauksen lause
116 FUNKTIONAALIANALYYSIN PERUSKURSSI 8. Avoimen kuvauksen lause Palautamme aluksi mieleen Topologian kursseilta ehkä tutut perusasiat yleisestä avoimen kuvauksen käsitteestä. Määrittelemme ensin avoimen
Lisätiedot3.3 Funktion raja-arvo
3.3 Funktion raja-arvo Olkoot A ja B kompleksitason joukkoja ja f : A B kuvaus. Kuvauksella f on pisteessä z 0 A raja-arvo c, jos jokaista ε > 0 vastaa δ > 0 siten, että 0 < z z 0 < δ ja z A f(z) c < ε.
Lisätiedotr > y x z x = z y + y x z y + y x = r y x + y x = r
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi I, syksy 018 Harjoitus Ratkaisuehdotukset Tehtävä 1. Osoita, että avoin kuula on avoin joukko ja suljettu kuula on suljettu joukko. Ratkaisu.
LisätiedotMS-C1350 Osittaisdifferentiaaliyhtälöt Harjoitukset 5, syksy Mallivastaukset
MS-C350 Osittaisdifferentiaaliyhtälöt Haroitukset 5, syksy 207. Oletetaan, että a > 0 a funktio u on yhtälön u a u = 0 ratkaisu. a Osoita, että funktio vx, t = u x, t toteuttaa yhtälön a v = 0. b Osoita,
LisätiedotDuaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki
Duaalisuus kokonaislukuoptimoinnissa Mat-2.4191, Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Sisältö Duaalisuus binäärisissä optimointitehtävissä Lagrangen duaalisuus Lagrangen
Lisätiedot1 sup- ja inf-esimerkkejä
Alla olevat kohdat (erityisesti todistukset) ovat lähinnä oheislukemista reaaliluvuista, mutta joihinkin niistä palataan myöhemmin kurssilla. 1 sup- ja inf-esimerkkejä Nollakohdan olemassaolo. Kaikki tuntevat
LisätiedotKuva 1: Funktion f tasa-arvokäyriä. Ratkaisu. Suurin kasvunopeus on gradientin suuntaan. 6x 0,2
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi I, syksy 018 Harjoitus Ratkaisuehdotukset Tehtävä 1. Olkoon f : R R f(x 1, x ) = x 1 + x Olkoon C R. Määritä tasa-arvojoukko Sf(C) = {(x 1, x
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 5 Ti 20.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 5 Ti 20.9.2011 p. 1/40 p. 1/40 Choleskyn menetelmä Positiivisesti definiiteillä matriiseilla kolmiohajotelma
Lisätiedot7. Tasaisen rajoituksen periaate
18 FUNKTIONAALIANALYYSIN PERUSKURSSI 7. Tasaisen rajoituksen periaate Täydellisyydestä puristetaan maksimaalinen hyöty seuraavan Bairen lauseen avulla. Bairen lause on keskeinen todistettaessa kahta funktionaalianalyysin
LisätiedotPositiivitermisten sarjojen suppeneminen
Positiivitermisten sarjojen suppeneminen Jono (b n ) n= on kasvava, jos b n+ b n kaikilla n =, 2,... Lemma Jokainen ylhäältä rajoitettu kasvava jono (b n ) n= raja-arvo on lim n b n = sup n Z+ b n. suppenee
LisätiedotMS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 3: Jatkuvuus
MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 3: Jatkuvuus Pekka Alestalo, Jarmo Malinen Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos 19.9.2016 Pekka Alestalo, Jarmo
LisätiedotInjektio (1/3) Funktio f on injektio, joss. f (x 1 ) = f (x 2 ) x 1 = x 2 x 1, x 2 D(f )
Injektio (1/3) Määritelmä Funktio f on injektio, joss f (x 1 ) = f (x 2 ) x 1 = x 2 x 1, x 2 D(f ) Seurauksia: Jatkuva injektio on siis aina joko aidosti kasvava tai aidosti vähenevä Injektiolla on enintään
LisätiedotTEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio. Kimmo Berg. Mat Optimointioppi. 9. harjoitus - ratkaisut
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-2.139 Optimointioppi Kimmo Berg 9. harjoitus - ratkaisut 1. a) Viivahakutehtävä pisteessä x suuntaan d on missä min f(x + λd), λ f(x + λd) = (x
LisätiedotEpälineaaristen yhtälöiden ratkaisumenetelmät
Epälineaaristen yhtälöiden ratkaisumenetelmät Keijo Ruotsalainen Division of Mathematics Perusoletus Lause 3.1 Olkoon f : [a, b] R jatkuva funktio siten, että f(a)f(b) < 0. Tällöin funktiolla on ainakin
LisätiedotPoistumislause Kandidaatintutkielma
Poistumislause Kandidaatintutkielma Mikko Nikkilä 013618832 26. helmikuuta 2011 Sisältö 1 Johdanto................................... 2 2 Olemassaolon ja yksikäsitteisyyden historiaa............ 3 3 Esitietoja..................................
LisätiedotEpäyhtälöt ovat yksi matemaatikon voimakkaimmista
6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida
LisätiedotLuku 4. Derivoituvien funktioiden ominaisuuksia.
1 MAT-1343 Laaja matematiikka 3 TTY 1 Risto Silvennoinen Luku 4 Derivoituvien funktioiden ominaisuuksia Derivaatan olemassaolosta seuraa funktioille eräitä säännöllisyyksiä Näistä on jo edellisessä luvussa
LisätiedotLineaarinen optimointi. Harjoitus 6-7, Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän. c T x = min!
Lineaarinen optimointi Harjoitus 6-7, 016. 1. Olkoon A R m n, x, c R ja b R m. Osoita, että LP-tehtävän c T x = min! (T) Ax b x 0 duaalitehtävän duaali on tehtävä (T). Ratkaisu. (P) c T x = min! Ax b x
LisätiedotNumeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33
Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden
LisätiedotAnalyysi 1. Harjoituksia lukuihin 1 3 / Syksy Osoita täsmällisesti perustellen, että joukko A = x 4 ei ole ylhäältä rajoitettu.
Analyysi Harjoituksia lukuihin 3 / Syksy 204. Osoita täsmällisesti perustellen, että joukko { 2x A = x ]4, [. x 4 ei ole ylhäältä rajoitettu. 2. Anna jokin ylä- ja alaraja joukoille { x( x) A = x ], [,
LisätiedotLineaariavaruudet. Span. Sisätulo. Normi. Matriisinormit. Matriisinormit. aiheita. Aiheet. Reaalinen lineaariavaruus. Span. Sisätulo.
Lineaariavaruudet aiheita 1 määritelmä Nelikko (L, R, +, ) on reaalinen (eli reaalinen vektoriavaruus), jos yhteenlasku L L L, ( u, v) a + b ja reaaliluvulla kertominen R L L, (λ, u) λ u toteuttavat seuraavat
Lisätiedot, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1).
HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 017 Harjoitus 4 Ratkaisuehdotukset 4.1. Osoita, että tasa-arvojoukko S F (0), F : R 3 R, F (x) = 3x 1 x 3 + e x + x e x 3, on säännöllinen
Lisätiedotb 1. b m ) + ( 2b Ax) + (b b)
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}
LisätiedotShorin algoritmin matematiikkaa Edvard Fagerholm
Edvard Fagerholm 1 Määritelmiä Määritelmä 1 Ryhmä G on syklinen, jos a G s.e. G = a. Määritelmä 2 Olkoon G ryhmä. Tällöin alkion a G kertaluku ord(a) on pienin luku n N \ {0}, jolla a n = 1. Jos lukua
LisätiedotTodennäköisyyslaskenta IIa, syys lokakuu 2019 / Hytönen 3. laskuharjoitus, ratkaisuehdotukset
Todennäköisyyslaskenta IIa, syys lokakuu 2019 / Hytönen 3. laskuharjoitus, ratkaisuehdotukset 1. Olkoon X satunnaismuuttuja, ja olkoot a R \ {0}, b R ja Y = ax + b. (a) Olkoon X diskreetti ja f sen pistetodennäköisyysfunktio.
LisätiedotMalliratkaisut Demot
Malliratkaisut Demot 3.2.27 Tehtävä. Valmisohjelmistolla voidaan ratkaista tehtävä min c T x s. t. Ax b x, missä x, c ja b R n ja A R m n. Muunnetaan tehtävä max x + 2x 2 + 3x 3 + x s. t. x + 3x 2 + 2x
LisätiedotFinanssimaailman ongelmien ratkaiseminen epäsileän optimoinnin keinoin. Markus Harteela Turun yliopisto
Finanssimaailman ongelmien ratkaiseminen epäsileän optimoinnin keinoin Markus Harteela Turun yliopisto huhtikuu 2016 1 Johdanto Tämä työ on kurssin Epäsileä Optimointi harjoitustyö ja se perustuu artikkeliin
LisätiedotSeuraava topologisluonteinen lause on nk. Bairen lause tai Bairen kategorialause, n=1
FUNKTIONAALIANALYYSIN PERUSKURSSI 115 7. Tasaisen rajoituksen periaate Täydellisyydestä puristetaan maksimaalinen hyöty seuraavan Bairen lauseen avulla. Bairen lause on keskeinen todistettaessa kahta funktionaalianalyysin
LisätiedotStokesin lause LUKU 5
LUU 5 Stokesin lause 5.1. Integrointi monistolla Olkoot W R k alue, W kompakti Jordan-joukko ja ω jatkuva k-muoto alueessa W, ω f dx 1 dx k. Asetetaan ω : f, t.s. f dx 1 dx k : f(x dx f(x 1,, x k dx 1
LisätiedotEllipsoidimenetelmä. Samuli Leppänen Kokonaislukuoptimointi. S ysteemianalyysin Laboratorio
Ellipsoidimenetelmä Kokonaislukuoptimointi Sovelletun matematiikan lisensiaattiseminaari Kevät 2008 / 1 Sisällys Ellipsoidimenetelmän geometrinen perusta ja menetelmän idea Formaali ellipsoidimenetelmä
LisätiedotAnalyysin peruslause
LUKU 10 Analyysin peruslause 10.1. Peruslause I Aiemmin Cantorin funktion ψ kohdalla todettiin, että analyysin peruslause II ei päde: [0,1] ψ (x) dm(x) < ψ(1) ψ(0). Kasvavalle funktiolle analyysin peruslauseesta
Lisätiedot4. Martingaalit ja lokaalit martingaalit
STOKASTISET DIFFERENTIAALIYHTÄLÖT 45 4. Martingaalit ja lokaalit martingaalit Lähestymme nyt jo kovaa vauhtia hetkeä, jolloin voimme aloittaa stokastisen integroinnin. Ennen sitä käymme vielä läpi yhtä
LisätiedotFunktiot. funktioita f : A R. Yleensä funktion määrittelyjoukko M f = A on jokin väli, muttei aina.
Funktiot Tässä luvussa käsitellään reaaliakselin osajoukoissa määriteltyjä funktioita f : A R. Yleensä funktion määrittelyjoukko M f = A on jokin väli, muttei aina. Avoin väli: ]a, b[ tai ]a, [ tai ],
LisätiedotDerivaattaluvut ja Dini derivaatat
Derivaattaluvut Dini derivaatat LuK-tutkielma Helmi Glumo 2434483 Matemaattisten tieteiden laitos Oulun yliopisto Syksy 2016 Sisältö Johdanto 2 1 Taustaa 2 2 Määritelmät 4 3 Esimerkkejä lauseita 7 Lähdeluettelo
Lisätiedot1 Rajoittamaton optimointi
Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotKeskeiset tulokset heikko duaalisuus (duaaliaukko, 6.2.1) vahva duaalisuus (6.2.4) satulapisteominaisuus (6.2.5) yhteys KKT ehtoihin (6.2.
Duaalisuus Lagrangen duaalifunktio ja duaalitehtävä määrittely ja geometria max θ(u,v), missä θ(u,v)=inf x X ϕ(x,u,v) s.e u 0 Lagr. funktio ϕ(x,u,v)=f(x)+u T g(x)+v T h(x) Keskeiset tulokset heikko duaalisuus
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille
LisätiedotAntti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Antti Rasila Matematiikan ja systeemianalyysin laitos
LisätiedotDerivaatta: funktion approksimaatio lineaarikuvauksella.
Viikko 5 Tällä viikolla yleistetään R 2 :n ja R 3 :n vektorialgebran peruskäsitteet n-ulotteiseen avaruuteen R n, ja määritellään lineaarikuvaus. Tarkastellaan funktioita, joiden määrittelyjoukko on n-ulotteisen
LisätiedotRatkaisuehdotus 2. kurssikoe
Ratkaisuehdotus 2. kurssikoe 4.2.202 Huomioitavaa: - Tässä ratkaisuehdotuksessa olen pyrkinyt mainitsemaan lauseen, johon kulloinenkin päätelmä vetoaa. Näin opiskelijan on helpompi jäljittää teoreettinen
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 8 1 Funktion kuperuussuunnat Derivoituva funktio f (x) on pisteessä x aidosti konveksi, jos sen toinen derivaatta on positiivinen f (x) > 0. Vastaavasti f (x) on aidosti
LisätiedotLikimääräisratkaisut ja regularisaatio
Luku 3 Likimääräisratkaisut ja regularisaatio Käytännön inversio-ongelmissa annettu data y ei aina ole tarkkaa, vaan sisältää häiriöitä. Tuntemattomasta x on annettu häiriöinen data y F (x + }{{}}{{} ε.
LisätiedotIV. TASAINEN SUPPENEMINEN. f(x) = lim. jokaista ε > 0 ja x A kohti n ε,x N s.e. n n
IV. TASAINEN SUPPENEMINEN IV.. Funktiojonon tasainen suppeneminen Olkoon A R joukko ja f n : A R funktio, n =, 2, 3,..., jolloin jokaisella x A muodostuu lukujono f x, f 2 x,.... Jos tämä jono suppenee
LisätiedotTasainen suppeneminen ja sen sovellukset
Tasainen suppeneminen ja sen sovellukset Tuomas Hentunen Matematiikan pro gradu tutkielma Kesäkuu 2014 Tiivistelmä: Tuomas Hentunen, Tasainen suppeneminen ja sen sovellukset (engl. Uniform convergence
Lisätiedot=p(x) + p(y), joten ehto (N1) on voimassa. Jos lisäksi λ on skalaari, niin
FUNKTIONAALIANALYYSI, RATKAISUT 1 KEVÄT 211, (AP) 1. Ovatko seuraavat reaaliarvoiset funktiot p : R 3 R normeja? Ovatko ne seminormeja? ( x = (x 1, x 2, x 3 ) R 3 ) a) p(x) := x 2 1 + x 2 2 + x 2 3, b)
LisätiedotVektorianalyysi I MAT Luennoitsija: Ritva Hurri-Syrjänen Luentoajat: ti: 14:15-16:00, to: 12:15-14:00 Helsingin yliopisto 21.
Vektorianalyysi I MAT21003 Luennoitsija: Ritva Hurri-Syrjänen Luentoajat: ti: 14:15-16:00, to: 12:15-14:00 Helsingin yliopisto 21. syyskuuta 2017 1 Sisältö 1 Euklidinen avaruus 3 1.1 Euklidinen avaruus
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 6 Sarjojen suppeneminen Kiinnostuksen kohteena on edelleen sarja a k = a + a 2 + a 3 + a 4 +... k= Tämä summa on mahdollisesti äärellisenä olemassa, jolloin sanotaan
Lisätiedoty = 3x2 y 2 + sin(2x). x = ex y + e y2 y = ex y + 2xye y2
Matematiikan ja tilastotieteen osasto/hy Differentiaaliyhtälöt I Laskuharjoitus 2 mallit Kevät 219 Tehtävä 1. Laske osittaisderivaatat f x = f/x ja f y = f/, kun f = f(x, y) on funktio a) x 2 y 3 + y sin(2x),
Lisätiedot1 Määrittelyjä ja aputuloksia
1 Määrittelyjä ja aputuloksia 1.1 Supremum ja infimum Aluksi kerrataan pienimmän ylärajan (supremum) ja suurimman alarajan (infimum) perusominaisuuksia ja esitetään muutamia myöhemmissä todistuksissa tarvittavia
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 10 1 Funktion monotonisuus Derivoituva funktio f on aidosti kasvava, jos sen derivaatta on positiivinen eli jos f (x) > 0. Funktio on aidosti vähenevä jos sen derivaatta
LisätiedotRatkaisu: (i) Joukko A X on avoin jos kaikilla x A on olemassa r > 0 siten että B(x, r) A. Joukko B X on suljettu jos komplementti B c on avoin.
Matematiikan ja tilastotieteen laitos Topologia I 1. kurssikoe 26.2.2013 Malliratkaisut ja tehtävien tarkastamiset Tehtävät 1 ja 2 Henrik Wirzenius Tehtävät 3 ja 4 Teemu Saksala Jos sinulla on kysyttävää
LisätiedotEsimerkki 19. Esimerkissä 16 miniminormiratkaisu on (ˆx 1, ˆx 2 ) = (1, 0).
Esimerkki 9 Esimerkissä 6 miniminormiratkaisu on (ˆx, ˆx (, 0 Seuraavaksi näytetään, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun
LisätiedotNumeeriset menetelmät TIEA381. Luento 4. Kirsi Valjus. Jyväskylän yliopisto. Luento 4 () Numeeriset menetelmät / 44
Numeeriset menetelmät TIEA381 Luento 4 Kirsi Valjus Jyväskylän yliopisto Luento 4 () Numeeriset menetelmät 21.3.2013 1 / 44 Luennon 4 sisältö Lineaarisen yhtälöryhmän ratkaisemisesta: Choleskyn menetelmä
LisätiedotICS-C2000 Tietojenkäsittelyteoria Kevät 2016
ICS-C2000 Tietojenkäsittelyteoria Kevät 206 Kierros 0, 2. 24. maaliskuuta Huom! Perjantaina 25. maaliskuuta ei ole laskareita (pitkäperjantai), käykää vapaasti valitsemassanne ryhmässä aiemmin viikolla.
LisätiedotDifferentiaali- ja integraalilaskenta 2 Laskuharjoitus 4 / vko 40
Differentiaali- ja integraalilaskenta 2 Laskuharjoitus 4 / vko 40 Alkuviikolla harjoitustehtäviä lasketaan harjoitustilaisuudessa. Loppuviikolla näiden harjoitustehtävien tulee olla ratkaistuina harjoituksiin
LisätiedotRatkaisuehdotus 2. kurssikokeeseen
Ratkaisuehdotus 2. kurssikokeeseen 4.2.202 (ratkaisuehdotus päivitetty 23.0.207) Huomioitavaa: - Tässä ratkaisuehdotuksessa olen pyrkinyt mainitsemaan lauseen, johon kulloinenkin päätelmä vetoaa. Näin
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi
Lisätiedotd ) m d (I n ) = 2 d n d. Koska tämä pätee kaikilla
MAT21007 Mitta ja integraali Harjoitus 2 viikko 25.3-29.3 2019) Palauta mieleen: monisteen luku 0; Topologia I) avaruuden d euklidinen etäisyys, avoimet kuulat ja joukot. Ohjausta laskuharjoitusten tekoon:
LisätiedotMat Lineaarinen ohjelmointi
Mat-.4 Lineaarinen ohjelmointi..7 Luento 7 Duaalisimple ja herkkyysanalyysi (kirja 4.5, 5., 5.5-5.6) Lineaarinen ohjelmointi - Syksy 7 / Duaalisimple Herkkyysanalyysi Luentorunko Parametrinen ohjelmointi
Lisätiedot