Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1
Avoin pallo: B(x, δ) = {y y x < δ} Sisäpiste: x S R n on S:n sisäpiste, jos δ > 0 s.e. B(x, δ) S Rajoitettu joukko: S rajoitettu, jos 0 < M < s.e. x < M kaikilla x S Suljettu joukko: S suljettu, jos mielivaltaiselle sarjalle x i S, jolle x i x kun i, on x S S suljettu S = cls 2
Konveksi joukko: Joukko S R n on konveksi, jos λx + (1 λ)y S x,y S λ [0,1] Toisin sanoen, jos pisteiden välinen jana kuuluu kokonaan joukkoon Konveksien joukkojen leikkaus on konveksi 3
Konveksi kombinaatio: Vektori x R n on vektoreiden x 1,...,x p R n konveksi kombinaatio, jos on olemassa kertoimet λ 1,..., λ p 0 s.e. p i=1 λ i = 1 ja x = p i=1 λ i x i Lineaarikombinaatio: Jos edellisessä kertoimet λ R ovat mitä tahansa reaalilukuja, niin kyseessä on lineaarikombinaatio 4
Konveksi peite: Joukon S pisteiden konveksien kombinaatioiden joukko on S:n konveksi peite, conv(s) Jos S konveksi, niin conv(s) = S Konveksi peite on on pienin konveksi joukko, joka sisältää joukon S 5
S S S conv(s) conv(s) conv(s) Esimerkkejä konveksista peitteistä 6
Lineaarisesti riippumattomat (LI) vektorit: p i=1 λ i x i = 0 = λ i = 0 i = 1,..., p Lineaarisesti riippuvat (LD) vektorit: λ j 0, 1 j p siten, että p i=1 λ i x i = 0 7
Joukon suunta: S R n epätyhjä, suljettu konveksi joukko. 0 d R n on S:n suunta, jos x S on x + λd S kaikilla λ 0 Suunnat d 1,d 2 S ovat erillisiä, jos d 1 αd 2 millä tahansa α > 0 Sallittu suunta: [0, α ] d sallittu suunta, jos α > 0 s.e. x + αd S kaikilla α Olk. A symmetrinen n n -matriisi. Suunnat d 1,...,d p ovat konjugaattisia (Akonjugaattisia), jos ne ovat LI ja jos (d i ) T Ad j = 0 kaikilla i, j = 1,..., p, i j 8
Jatkossa oletetaan, että kaikki funktiot ovat jatkuvia ellei toisin mainita Unimodaalisuus: Funktio f : R n R on unimodaalinen välillä [a, b], jos jollekin pisteelle x (a, b) pätee, että f(x) on aidosti vähenevä välillä [a, x ) ja aidosti kasvava välillä (x, b] 9
Konveksi funktio: konveksi, jos Olkoon S R n konveksi joukko. Funktio f : S R on f(λx + (1 λ)y) λf(x) + (1 λ)f(y) x,y S λ [0,1] Konveksien funktioiden summa on konveksi Konveksi funktio kerrottuna positiivisella vakiolla on konveksi Konveksi funktio on jatkuva (mutta ei välttämättä differentioituva) Lineaarinen funktio on konveksi 10
Aidosti konveksi funktio: on konveksi, jos Olkoon S R n konveksi joukko. Funktio f : S R f(λx + (1 λ)y) < λf(x) + (1 λ)f(y) x,y S, x y λ (0,1) Konkaavi funktio: konveksi Funktio f on (aidosti) konkaavi, jos funktio f on (aidosti) 11
Differentioituvuus: Funktio f on differentioituva pisteessä x, jos vektori f(x) R n ja funktio ε : R n R s.e. f( x) = f(x) + f(x) T ( x x) + x x ε(x, x x) kaikilla x, missä f(x) on f:n gradientti x:ssä ja ε(x, x x) 0, kun x x Gradientti koostuu osittaisderivaatoista ( f(x) f(x) =,..., f(x) x 1 x n ) T 12
f differentioituva ja osittaisderivaatat jatkuvia f jatkuvasti differentioituva (f C 1 (R n )) Suuntaderivaatta: Funktion f suuntaderivaatta pisteessä x suuntaan d on f (x,d) = lim h 0 f(x + hd) f(x) h Huomaa, että f (x,d) = f(x) T d 13
Apulause: Olkoon f : S R differentioituva ja S R n konveksi. Tällöin f on konveksi, joss kaikilla x ja x S on f(x) f( x) + f( x) T (x x). Todistus: Helppo, katso moniste. Apulause: Olkoon S R n epätyhjä, avoin konveksi joukko ja f : S R diffva S:ssä. Tällöin f on konveksi, joss x 1,x 2 S pätee ( f(x 2 ) f(x 1 )) T (x 2 x 1 ) 0. Todistus: HT 14
Kriittinen piste: Jos f(x ) = 0, niin x on funktion f kriittinen eli vakaa eli stationaarinen piste Apulause: Olkoon f : R n R ja sen osittaisderivaatat jatkuvia. Jos pisteessä x on f:n lokaali minimi tai maksimi, niin f(x ) = 0. Todistus: HT 15
Lokaali Lipschitz-jatkuvuus: Funktio f : R n R on lokaalisti Lipschitz-jatkuva pisteessä x R n, jos luvut K > 0 ja δ > 0 s.e. f(x 1 ) f(x 2 ) K x 1 x 2 x 1,x 2 B(x, δ). K on ns. Lipshitz-vakio Jos funktio on f : R n R on lokaalisti Lipschitz-jatkuva pisteessä x, niin f on jatkuva pisteessä x 16
Lause: Olkoon f : R n R jatkuvasti differentioituva pisteessä x. Tällöin f on lokaalisti Lipschitz-jatkuva pisteessä x. Todistus: Jva diffvuus tarkoittaa, että derivaattakuvaus f( ) jatkuvien lineaarikuvausten avaruuteen on jva pisteen x ympäristössä δ > 0 ja L > 0 s.e. f(w) L w B(x, δ). 17
Olk. x,y B(x, δ). Väliarvolause z (x,y) B(x, δ) s.e. Silloin f(x) f(y) = f(z) T (x y). f(x) f(y) f(z) x y L x y. 18
Jos funktio f : R n R on konveksi, niin f on lokaalisti Lipschitz-jatkuva jokaisessa pisteessä x R n ja sillä on olemassa suuntaderivaatta f (x,d) jokaiseen suuntaan d R n Funktion ei tarvitse olla differentioituva ollakseen lokaalisti Lipschitz-jatkuva Lause (Rademacher): melkein kaikkialla. Lokaalisti Lipschitz-jatkuva funktio on differentioituva 19
Kahdesti differentioituvuus: Funktio f on kahdesti differentioituva (f C 2 (R n )) pisteessä x, jos on olemassa vektori f(x) ja symmetrinen n n -matriisi H(x), ns. Hessen matriisi, ja funktio ε : R n R s.e. f( x) = f(x)+ f(x) T ( x x)+ 1 2 ( x x)t H(x)( x x)+ x x 2 ε(x, x x) kaikilla sallituilla x, missä ε(x, x x) 0, kun x x. 20
Hessen matriisi koostuu toisen asteen osittaisderivaatoista eli H(x) = 2 f(x) x 2 1..... 2 f(x) x n x 1 2 f(x) x 1 x n 2 f(x) x 2 n Jatkossa objektifunktion f Hessen matriisia merkitään H:lla ja muiden funktioiden Hessen matriiseja 2 :lla 21
Olkoon M symmetrinen n n -matriisi. Semidefiniittisyys: x R n M on positiivisesti semidefiniitti, jos x T Mx 0 kaikilla Definiittisyys: M on positiivisesti definiitti, jos x T Mx > 0 kaikilla 0 x R n M on negatiivisesti semidefiniitti, jos x T Mx 0 kaikilla x R n Indefiniittisyys: semidefiniitti M on indefiniitti, jos se ei ole positiivisesti eikä negatiivisesti 22
Lause: Olkoon S R n epätyhjä, avoin konveksi joukko ja olkoon f : S R kahdesti differentioituva funktio S:ssä. Funktio f on konveksi joss sen Hesen matriisi on positiivisesti semidefiniitti kaikissa S:n pisteissä. 23