1. LINEAARISET LUOKITTIMET
|
|
- Helena Heino
- 6 vuotta sitten
- Katselukertoja:
Transkriptio
1 1. LINEAARISET LUOKITTIMET Edellisillä luennoilla tarkasteltiin luokitteluongelmaa tnjakaumien avulla ja esiteltiin menetelmiä, miten tarvittavat tnjakaumat voidaan estimoida. Tavoitteena oli löytää päätössääntö, joka minimoi luokitteluvirhetn:n tai riskin Tietyin tnjakaumista tehdyin oletuksin näin saatu luokitin on lineaarinen Nyt ei oteta kantaa luokkiin liittyviin tnjakaumiin, vaan oletetaan, että kaikki havainnot voidaan luokitella oikein/riittävän hyvin lineaarisilla luokittimilla Lineaaristen luokittimien etuna on niiden yksinkertaisuus ja laskennallinen keveys 1
2 1.1 Lineaariset diskriminanttifunktiot Lineaarinen luokitin jakaa piirreavaruuden eri luokkia vastaaviksi päätösalueiksi hypertasojen avulla Lineaarinen diskriminanttifunktio g(x): g(x) = w T x + w 0 = 0, (1) missä w = [w 1,..., w l ] on painovektori ja w 0 on kynnysarvo ( threshold ) Tarkastellaan kahta pistettä, x 1 ja x 2, diskriminanttifunktion määrittelemällä hypertasolla: 0 =w T x 1 + w 0 = w T x 2 + w 0 w T (x 1 x 2 ) = 0 (2) Edellisestä nähdään, että painovektori w on ortogonaalinen hypertasoon nähden 2
3 Toisella puolella hypertasoa diskriminanttifunktio saa positiivisia arvoja, toisella puolella negatiivisia arvoja Kahden luokan tapauksessa voidaan luokittelusääntö kirjoittaa seuraavasti: Merkitään x = [x T, 1] T ja w = [w T, w 0 ] T Silloin g(x) g( x) = w T x Valitaan luokka seuraavasti: ω 1 : w T x > 0 ω 2 : w T x < 0 Jos voidaan valita w siten, että edellinen päätössääntö ei tuota ainuttakaan luokitteluvirhettä, luokat ovat lineaarisesti separoituvat Seuraavaksi käydään läpi menetelmiä, joiden avulla voidaan määrätä diskriminanttifunktion painokertoimet Tästä eteenpäin oletetaan, että piirrevektoreihin on liitetty loppuun vakiotermi, kuten edellä esitetyssä päätössäännössä, ellei toisin mainita 3 (3)
4 1.2 Perseptroni-algoritmi (Perseptroni-algoritmin nimi tulee sitä, että se kehitettiin alunperin aivojen neuronimallien, perceptrons, opetukseen. Niistä lisää myöhemmin!) Ol., että luokat ovat lineaarisesti separoituvia Tarkastellaan kahden luokan tapausta Valitaan diskriminanttifunktion painokertoimet w ratkaisemalla seuraava optimointiongelma: Minimoi (perseptroni)kustannusfunktio J(w), joka on määritelty seuraavasti: J(w) = x Y (δ x w T x), (4) missä Y on niiden opetusnäytteiden osajoukko, jotka luokittuvat väärin w määrittämän hypertason perusteella. Muuttuja δ x = 1, kun x ω 1, ja δ x = 1, kun x ω 2 Huom! J(w) saa vain positiivisia arvoja. Sen arvo on nolla, jos ei synny 4
5 lainkaan luokitteluvirheitä Huom! J(w) on jatkuva ja paloittain lineaarinen, J(w):n gradientti ei ole määritelty niissä kohdin, joissa osajoukko Y muuttuu Edellisestä huolimatta, suoritetaan minimointi gradient descent -henkisellä, iteratiivisellä menetelmällä: J(w) w(t + 1) = w(t) ρ t w = w(t) ρ t δ x x x Y w(t) missä on w(0) alustettu satunnaisesti ja ρ t on positiivinen oppimiskerroin Iterointia toistetaan, kunnes painovektorin arvo konvergoi ratkaisuun eli kaikki havainnot luokitellaan oikein Ratkaisun löytyminen ja tarvittavien iteraatioaskelien lkm riippuu kertoimen ρ t valinnasta 5 (5)
6 Vaikka J(w):n gradientti ei ole määritelty kaikkialla, menetelmä löytää ratkaisun äärellisellä määrällä iteraatioaskelia, kun ρ t valitaan seuraavasti: (todistus kirjassa) lim t lim t t ρ k = k=0 t ρ 2 k < k=0 Edelliset ehdot tarkoittavat käytännössä sitä, että ρ t lähestyy nollaa, kun iteraatioaskelien lkm t kasvaa. Kerroin ρ t ei saa kuitenkaan pienentyä liian nopeasti. Sopivat arvot ρ t :lle saadaan esim. seuraavasti: ρ t = c/t, missä c on vakio. Kerroin ρ t voi olla myös vakio, jos se on sopivasti rajoitettu 6
7 Perseptroni-säännön geometrinen tulkinta. Painovektorin päivitys, kun vain yksi piirrevektori luokittui väärin: 7
8 Perseptroni-säännön variaatioita Edellä esitetyssä perseptroni-säännössä käytettiin jokaisella iteraatioaskeleella kaikkia N:ää opetusnäytettä. Painovektorin päivitys voidaan tehdä myös jokaisen havainnon perusteellä erikseen: Käydään opetusnäytteet läpi vuorotellen, päivitetään painovektoria seuraavasti: w(t + 1) = w(t) + ρx (t), jos x (t) ω 1 ja w T (t)x (t) 0 w(t + 1) = w(t) ρx (t), jos x (t) ω 2 ja w T (t)x (t) 0 w(t + 1) = w(t), muulloin (6) Painovektoria päivitetään siis vain jos tarkasteltava opetusnäyte x (t) luokittuu vääriin Opetusnäytteitä käydään läpi kunnes menetelmä konvergoi eli kaikki näytteet luokittuvat oikein Myös tämä menetelmä konvergoi äärellisellä määrällä iteraatioaskelia 8
9 Pocket-algoritmi Ol., toisin kuin aikaisemmin, että luokat eivät ole lineaarisesti separoituvia Seuraava menetelmä löytää lineaarisen diskriminanttifunktion, joka minimoi luokitteluvirheiden lkm:n: Alusta w(0) satunnaisesti. Lisäksi, alusta varasto -vektori w s ja laskurimuuttuja h s nolliksi Päivitä painovektoria käyttäen perseptroni-sääntöä (5) Laske kuinka monta (h) opetusnäytettä luokittuu oikein käytettäessä päivitettyä painovektoria w(t + 1) Jos h > h s, aseta w s = w(t + 1) ja h s = h Toista kunnes konvergoi 9
10 Keslerin konstruktio Edellä esitetyissä menetelmissä tarkasteltiin vain kahden luokan tapausta Keslerin konstruktion avulla näitä menetelmiä voidaan käyttää myös M > 2:n luokan tapauksessa Piirrevektorin x luokittelupäätös tehdään lineaaristen diskriminanttifunktioiden avulla seuraavasti: ω i : w T i x > w T j x, j i (7) Muodostetaan luokan ω i jokaista opetusnäytettä kohti seuraavat (l + 1)M 1-ulotteiset vektorit: x ij = [0 T,..., x T,..., x T,..., 0 T ] T, i j. Vektorit koostuvat siis M:stä blokista, joista i. ja j. ovat x ja x ja muut ovat nollavektoreita Vastaavasti luokkakohtaiset painovektorit kootaan yhdeksi vektoriksi: w = [w T 1,..., w T M ]T 10
11 Näiden avulla päätössääntö voidaan voidaan kirjoittaa uuteen muotoon: ω i : w T x ij > 0 j = 1,..., M, j i (8) Ongelmana on siis löytää painovektori w, jonka positiivisella puolella ovat kaikki uudet vektorit x ij Mikäli luokat ovat lineaarisesti separoituvia, voidaan painovektorin oppimiseen käyttää esim. perseptroni-sääntöä Oppimisen jälkeen luokkakohtaiset painovektorit saadaan pilkkomalla w osiin Huom! Vain painovektorin suunta on tärkeä, ei sen pituus. Edellä esitetyissä menetelmissä painovektorin pituus pyrkii kasvamaan: normalisoidaan painovektori yksikkövektoriksi jokaisen päivityksen jälkeen 11
12 1.3 Pienimmän neliön menetelmät Usein tiedetään etukäteen, että luokat eivät ole lineaarisesti separoituvia, mutta silti halutaan käyttää luokitteluvirhetn:n kannalta suboptimaalista lineaarista luokitinta Lineaarinen luokitin muodostetaan valitsemalla diskriminanttifunktion painovektori siten, että jokin ongelmaan sopiva kriteeri optimoituu Yleensä määritellään diskriminanttifunktiolle tavoitearvot y erilaisille havainnoille x ja pyritään minimoimaan tavoitearvojen ja todellisten arvojen g(x) neliöpoikkeamia ( Least Squares Methods ) 12
13 Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmässä minimoidaan kustannusfunktiota J(w): N N J(w) = (y i x T i w) 2 e 2 i, (9) i=1 missä N on opetusnäytteiden lkm ja y i on x i :tä vastaava diskriminanttifunktion tavoitearvo, kahden luokan tapauksessa yleensä y i = ±1 Kun derivoidaan J(w) painovektorin w suhteen saadaan: i=1 ( N x i (y i x T i ŵ) = 0 i=1 N x i x T i )ŵ = i=1 i=1 N (x i y i ) (10) 13
14 Käytetään seuraavia merkintöjä: X = [x 1,..., x N ] T y = [y 1,..., y N ] T (11) Kaava (10) voidaan kirjoittaa silloin matriisimuodossa: (X T X)ŵ = X T y ŵ = (X T X) 1 X T y, (12) missä matriisi X T X on otoskorrelaatiomatriisi ja (X T X) 1 X T on X:n pseudoinverssi 14
15 Esimerkki: pienimmän neliösumman luokitin Tarkastellaan kahden luokan tapausta, jossa piirrevektorit ovat kaksiulotteisia. Luokista on tehty seuraavat havainnot: ω 1 : [0.2, 0.7] T [0.3, 0.3] T [0.4, 0.5] T [0.6, 0.5] T [0.1, 0.4] T ω 2 : [0.4, 0.6] T [0.6, 0.2] T [0.7, 0.4] T [0.8, 0.6] T [0.7, 0.5] T Luokat eivät ole lineaarisesti separoituvia. Yritetään löytää diskriminanttifunktio, joka on muotoa g(x; w) = [x, 1] T w = w 1 x 1 + w 2 x 2 + w 0 ja joka minimoi virheiden neliösumman Asetetaan diskriminanttifunktion tavoitearvoksi 1 tai 1, kun havainto on luokasta ω 1 tai ω 2 15
16 Silloin X T X = X T y = [ 1.6, 0.1, 0.0] T ja ratkaisuksi saadaan kaavan (12) perusteella ŵ = [ 3.218, 0.241, 1.431] T 16
17 17
18 MSE-estimaatti Seuraavaksi tarkastellaan neliöpoikkeamien summan sijasta neliöpoikkeaman odotusarvoa ( Mean Square Error Estimation ) Minimoitava kustannusfunktio J(w): J(w) = E[ y x T w 2 ] (13) Kahden luokan tapauksessa, kun y = ±1, edellinen kaava voidaan kirjoittaa tnjakaumien avulla myös näin: J(w) = P (ω 1 ) (1 x T w) 2 p(x ω 1 )dx + P (ω 2 ) (1 + x T w) 2 p(x ω 2 )dx Välttämätön ehto J(w):n minimille: (14) J(w) w = 2E[x(y xt w)] = 0, (15) 18
19 Edellisestä kaavasta saadaan ratkaisu ŵ = R 1 x E[xy], (16) missä R x on x:n korrelaatiomatriisi ja E[xy] on x:n ja y:n ristikorrelaatiovektori Ratkaisun geometrinen tulkinta? Diskriminanttifunktion tavoitearvoa approksimoidaan piirteiden lineaarikombinaatiolla, syntynyt virhe on ortogonaalinen piirreavaruuteen nähden: 19
20 20
21 Yleistys useammalle kuin kahdelle luokalle Useamman (M > 2) kuin kahden luokan tapauksessa muodostetaan jokaiselle luokalle oma diskriminanttifunktio g i (x) = wi T x ja asetetaan sen tavoitearvot y i seuraavasti: y i = { 1, jos x ω i 0, muulloin (17) Huom! Kun M = 2, y = ±1 tuottaa saman ratkaisun kuin edellinen valinta, koska w T x = 1 2 (w 1 w 2 ) T x ja painovektorit mat- Kootaan tavoitearvot vektoriksi y = [y 1,..., y M ] T riisiksi W = [w 1,..., w M ] Ratkaisu löytyy minimoimalla seuraava kustannusfunktio J(W) M J(W) = E[ y W T x 2 ] = E[ (y i wi T x) 2 ] (18) 21 i=1
22 Edellisestä kaavasta nähdään, että voidaan suunnitella jokainen diskriminanttifunktio erikseen. LMS- eli Widrow-Hoff algoritmi Yleensä ei tunneta MSE-estimaatin ratkaisussa eli kaavassa (16) esiintyviä korrelaatiomatriisia R x ja ristikorrelaatiovektoria E[xy] Voidaan osoittaa, että ratkaisu ongelmaan, joka on muotoa E[F (x k, w)] = 0, löytyy seuraavalla iteratiivisellä algoritmillä: kunhan ŵ(k) = ŵ(k 1) + ρ k F (x k, ŵ(k 1)) (19) ρ k k=1 ρ 2 k < k=1 (20) 22
23 x k on sarja satunnaisia vektoreita, jotka ovat peräisin samanlaisista tnjakaumista, F (, ) on jokin funktio, ja w on sen tuntematon parametrivektori Kun edellistä sovelletaan diskriminanttifunktion painokertoimien hakuun, ŵ(k) = ŵ(k 1) + ρ k x k (y k x T k ŵ(k 1)) (21) (kun k, ŵ(k) lähestyy asymptoottisesti MSE-estimaattia) Kerroin ρ k voi olla myös sopivasti rajoitettu vakio 0 < ρ < 2/trace{R x }. Voidaan osoittaa, että mitä pienempi ρ, sitä pienempi on estimaatin ŵ(k) varianssi. Toisaalta, konvergointi on hitaampaa pienellä ρ:lla Kaavasta (21) nähdään, että estimaattia päivitetään jokaisen havainnon jälkeen. Kun ρ on vakio, pystyy estimaatti mukautumaan paremmin luokkien tnjakaumien muutoksiin 23
24 MSE-estimaatti ja luokkien a posteriori tn:t Lähdetään tästä liikkeelle: voidaan helposti osoittaa, että ŷ = arg min E[ y ỹ 2 ] ỹ = E[y x] = yp(y x)dy (todistus kirjassa, odotusarvot lasketaan tnjakauman p(y x) suhteen) (22) Edellinen tulos tarkoittaa sitä, että MSE-kriteerin mielessä paras mahdollinen estimaatti diskriminanttifunktion tavoitearvolle y on sen odotusarvo annettuna x. Diskriminanttifunktion voidaan ajatella olevan y:n regressio annettuna x Muokataan kaavasta (18) yleisemmälle ongelmalle kustannusfunktio: M J = E[ (g i (x; w i ) y i ) 2 ], (23) i=1 24
25 missä diskriminanttifunktiot eivät ole välttämättä lineaarisia x:n tai parametriensä w i suhteen Edellinen kaava voidaan kirjoittaa myös näin: M M J = E[ (g i (x; w i ) E[y i x]) 2 ] + E[ (E[yi 2 x] (E[y i x]) 2 )] (24) i=1 (välivaiheet kirjassa) Jälkimmäinen termi ei riipu lainkaan diskriminanttifunktiosta, joten se voidaan jättää huomioimatta, kun minimoidaan J:tä Nähdään kaavasta (22), että J minimoituu, kun g i (x; ŵ i ) approksimoi MSEmielessä mahdollisimman tarkasti E[y i x]:ää i=1 Toisaalta: E[y i x] = M y i P (ω j x) (25) j=1 25
26 Kun valitaan tavoitearvot siten, että y i = 1 tai y i = 0 riippuen kuuluuko x luokkaan ω i vai ei, g i (x; ŵ i ) on P (ω i x):n MSE-estimaatti P (ω i x) voidaan siis estimoida valitsemalla diskriminanttifunktioiden parametrit MSE-kriteerin ja LMS-menetelmän avulla (tuntematta tnjakaumia!) ja sitä voidaan käyttää Bayesiläisessä luokittelussa Se kuinka hyvin luokkien a posteriori tnjakaumien estimointi sitten onnistuu riippuu diskriminanttifunktioiden tyypistä 26
27 1.4 Fisherin diskriminantti Eräs tapa muodostaa lineaarinen luokitin: etsitään suora, jolle projisoidut piirrevektorit separoituvat mahdollisimman hyvin, ja jaetaan suora sitten päätösalueiksi Tarkastellaan kahden luokan tapausta Määritellään projektio seuraavasti: y = w T x, missä w = 1 Sopiva mitta J(w) luokkien separoituvuudelle? Eräs järkevä mitta saadaan luokkien projektioden odotusarvojen µ Yi = E[w T x x ω i ] ja varianssien σ 2 Y i = E[ w T x µ Yi 2 x ω i ] avulla: J(w) = (µ Y 1 µ Y2 ) 2 σ 2 Y 1 + σ 2 Y 2 (26) 27
28 tai otoskeskiarvojen m Yi = 1/N i Ni j=1 wt x j ja sironnan s 2 Y i = N i j=1 (wt x j m Yi ) 2 avulla: J(w) = (m Y 1 m Y2 ) 2 s 2 Y 1 + s 2 Y 2 (27) (N i on luokkaan ω i kuuluvien opetusnäytteiden lkm) Suoraa y = ŵ T x, joka löytyy maksimoimalla J(w), kutsutaan Fisherin diskriminantiksi Tapaus 1: tunnetaan luokkien odotusarvot ja kovarianssimatriisit Kun tunnetaan luokan ω i odotusarvo µ i ja kovarianssimatriisi Σ i, voidaan vastaavat tunnusluvut laskea projektioille: µ Yi = w T µ i ja σ Yi = w T Σ i w Derivoidaan J(w) (26) w:n suhteen ja asetetaan nollavektoriksi. Ratkaisuksi saadaan: ŵ = 1 2 k(σ 1 + Σ 2 ) 1 (µ 1 µ 2 ), (28) 28
29 missä normalisoi ŵ:n pituuden 1:ksi k = σ2 Y 1 + σ 2 Y 2 µ Y1 µ Y2 (29) Tapaus 2: ei tunneta luokkien odotusarvoja ja kovarianssimatriiseja Määritellään aluksi seuraavat matriisit: N i S i = (x j m i )(x j m i ) T j=1 S W = S 1 + S 2 S B = (m 1 m 2 )(m 1 m 2 ) T (30) missä m i = 1/N i Ni j=1 x j Näiden avulla J(w) (27) voidaan kirjoittaa seuraavasti: J(w) = wt S B w w T S W w (31) 29
30 Derivoidaan J(w) ja asetetaan nollavektoriksi. Tällöin saadaan seuraava yleinen ominaisvektoriongelma: λs W ŵ = S B ŵ, (32) ja ratkaisu: (todistus kirjassa) ŵ = S 1 W (m 1 m 2 ) (33) 30
31 31
1. TILASTOLLINEN HAHMONTUNNISTUS
1. TILASTOLLINEN HAHMONTUNNISTUS Tilastollisissa hahmontunnistusmenetelmissä piirteitä tarkastellaan tilastollisina muuttujina Luokittelussa käytetään hyväksi seuraavia tietoja: luokkien a priori tn:iä,
LisätiedotHahmontunnistuksen perusteet. Tik (3 ov) L. Syksy 2000
Hahmontunnistuksen perusteet Tik-61.231 (3 ov) L Syksy 2000 Luennot: Laskuharjoitukset: Vuokko Vuori Matti Aksela 1. YLEISTÄ KURSSISTA.................... 1 1.1 Kurssin suorittaminen................ 1
Lisätiedot1. LINEAARISET LUOKITTIMET (jatkoa)
1. LINEAARISET LUOKITTIMET (jatkoa) 1.1 Tukivektorikone ( A Tutorial on Support Vector Machines for Pattern Recognition, http://www.kernel-machines.org/papers/burges98.ps.gz) Tukivektorikoneen ( Support
LisätiedotHahmontunnistuksen perusteet T-61.231, 3ov, L Syksy 2002. Harjoitustyö: Matti Aksela
Hahmontunnistuksen perusteet T-61.231, 3ov, L Syksy 2002 Luennot: Laskuharjoitukset: Harjoitustyö: Vuokko Vuori Markus Koskela Matti Aksela 1. FOREIGN STUDENTS................... 7 2. YLEISTÄ KURSSISTA....................
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
Lisätiedot1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI
1. TODENNÄKÖISYYSJAKAUMIEN ESTIMOINTI Edellä esitelty Bayesiläinen luokittelusääntö ( Bayes Decision Theory ) on optimaalinen tapa suorittaa luokittelu, kun luokkien tnjakaumat tunnetaan Käytännössä tnjakaumia
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotLineaariset luokittelumallit: regressio ja erotteluanalyysi
Lineaariset luokittelumallit: regressio ja erotteluanalyysi Aira Hast Johdanto Tarkastellaan menetelmiä, joissa luokittelu tehdään lineaaristen menetelmien avulla. Avaruus jaetaan päätösrajojen avulla
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotSGN-2500 Johdatus hahmontunnistukseen 2007 Luennot 4 ja 5
SGN-2500 Johdatus hahmontunnistukseen 2007 Luennot 4 ja 5 Jussi Tohka jussi.tohka@tut.fi Signaalinkäsittelyn laitos Tampereen teknillinen yliopisto SGN-2500 Johdatus hahmontunnistukseen 2007Luennot 4 ja
LisätiedotViikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen
Viikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum D122, 30-31.1.2008. 1 Tällä viikolla Sisältösuunnitelma: Lineaarinen regressio Pienimmän neliösumman
Lisätiedot1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI
1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI 1 1.1 Funktion optimointiin perustuvat klusterointialgoritmit Klusteroinnin onnistumista mittaavan funktion J optimointiin perustuvissa klusterointialgoritmeissä
Lisätiedot1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI
1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI 1 1.1 Funktion optimointiin perustuvat klusterointialgoritmit Klusteroinnin onnistumista mittaavan funktion J optimointiin perustuvissa klusterointialgoritmeissä
LisätiedotHarha mallin arvioinnissa
Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö
Lisätiedot1 Rajoittamaton optimointi
Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y
LisätiedotOsakesalkun optimointi. Anni Halkola Turun yliopisto 2016
Osakesalkun optimointi Anni Halkola Turun yliopisto 2016 Artikkeli Gleb Beliakov & Adil Bagirov (2006) Non-smooth optimization methods for computation of the Conditional Value-at-risk and portfolio optimization.
LisätiedotNumeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35
Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotLause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.
Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi
Lisätiedot4. Lineaariset diskriminanttifunktiot
75 / 99 4. Lineaariset diskriminanttifunktiot Piirrevektorin x komponenttien suhteen lineaarinen diskriminanttifunktio voidaan kirjoittaa muotoon: g( x) = w t x + w 0, jossa w on painokerroinvektori ja
LisätiedotDynaamiset regressiomallit
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen
LisätiedotYhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =
LisätiedotTilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
LisätiedotBM20A5840 Usean muuttujan funktiot ja sarjat Harjoitus 7, Kevät 2018
BM20A5840 Usean muuttujan funktiot ja sarjat Harjoitus 7, Kevät 2018 Tehtävä 8 on tällä kertaa pakollinen. Aloittakaapa siitä. 1. Kun tässä tehtävässä sanotaan sopii mahdollisimman hyvin, sillä tarkoitetaan
LisätiedotKohdeyleisö: toisen vuoden teekkari
Julkinen opetusnäyte Yliopisto-opettajan tehtävä, matematiikka Klo 8:55-9:15 TkT Simo Ali-Löytty Aihe: Lineaarisen yhtälöryhmän pienimmän neliösumman ratkaisu Kohdeyleisö: toisen vuoden teekkari 1 y y
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotLogistinen regressio, separoivat hypertasot
Logistinen regressio, separoivat hypertasot Topi Sikanen Logistinen regressio Aineisto jakautunut K luokkaan K=2 tärkeä erikoistapaus Halutaan mallintaa luokkien vedonlyöntikertoimia (odds) havaintojen
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
LisätiedotMS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma
Lisätiedot1. NEUROVERKKOMENETELMÄT
1. NEUROVERKKOMENETELMÄT Ihmisten ja eläinten loistava hahmontunnistuskyky perustuu lukuisiin yksinkertaisiin aivosoluihin ja niiden välisiin kytkentöihin. Mm. edellisen innoittamana on kehitelty laskennallisia
LisätiedotMatemaattinen Analyysi / kertaus
Matemaattinen Analyysi / kertaus Ensimmäinen välikoe o { 2x + 3y 4z = 2 5x 2y + 5z = 7 ( ) x 2 3 4 y = 5 2 5 z ) ( 3 + y 2 ( 2 x 5 ( 2 7 ) ) ( 4 + z 5 ) = ( 2 7 ) yhteys determinanttiin Yhtälöryhmän ratkaiseminen
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7 8
Inversio-ongelmien laskennallinen peruskurssi Luento 7 8 Kevät 2011 1 Iteratiivisista menetelmistä Tähän mennessä on tarkasteltu niin sanottuja suoria menetelmiä, joissa (likimääräinen) ratkaisu saadaan
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotJohdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka
LisätiedotMS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I
MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I G. Gripenberg Aalto-yliopisto 21. tammikuuta 2016 G. Gripenberg (Aalto-yliopisto) MS-A0207 Differentiaali- ja integraalilaskenta
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotLuento 9: Yhtälörajoitukset optimoinnissa
Luento 9: Yhtälörajoitukset optimoinnissa Lagrangen kerroin Oletetaan aluksi, että f, g : R R. Merkitään (x 1, x ) := (x, y) ja johdetaan Lagrangen kerroin λ tehtävälle min f(x, y) s.t. g(x, y) = 0 Olkoon
LisätiedotHY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 2017 Harjoitus 1 Ratkaisuehdotuksia
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 07 Harjoitus Ratkaisuehdotuksia Tehtäväsarja I Osa tämän viikon tehtävistä ovat varsin haastavia, joten ei todellakaan
LisätiedotOsakesalkun optimointi
Osakesalkun optimointi Anni Halkola Epäsileä optimointi Turun yliopisto Huhtikuu 2016 Sisältö 1 Johdanto 1 2 Taustatietoja 2 3 Laskumetodit 3 3.1 Optimointiongelmat........................ 4 4 Epäsileän
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotDiskriminanttianalyysi I
Diskriminanttianalyysi I 12.4-12.5 Aira Hast 24.11.2010 Sisältö LDA:n kertaus LDA:n yleistäminen FDA FDA:n ja muiden menetelmien vertaaminen Estimaattien laskeminen Johdanto Lineaarinen diskriminanttianalyysi
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 4
Inversio-ongelmien laskennallinen peruskurssi Luento 4 Kevät 20 Regularisointi Eräs keino yrittää ratkaista (likimääräisesti) huonosti asetettuja ongelmia on regularisaatio. Regularisoinnissa ongelmaa
Lisätiedot2 Osittaisderivaattojen sovelluksia
2 Osittaisderivaattojen sovelluksia 2.1 Ääriarvot Yhden muuttujan funktiolla f(x) on lokaali maksimiarvo (lokaali minimiarvo) pisteessä a, jos f(x) f(a) (f(x) f(a)) kaikilla x:n arvoilla riittävän lähellä
LisätiedotEpäyhtälöt ovat yksi matemaatikon voimakkaimmista
6 Epäyhtälöitä Epäyhtälöt ovat yksi matemaatikon voimakkaimmista työvälineistä. Yhtälö a = b kertoo sen, että kaksi ehkä näennäisesti erilaista asiaa ovat samoja. Epäyhtälö a b saattaa antaa keinon analysoida
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3. luento 17.11.2017 Neuroverkon opettaminen (ohjattu oppiminen) Neuroverkkoa opetetaan syöte-tavoite-pareilla
LisätiedotOletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen
Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä
LisätiedotDerivaatta: funktion approksimaatio lineaarikuvauksella.
Viikko 5 Tällä viikolla yleistetään R 2 :n ja R 3 :n vektorialgebran peruskäsitteet n-ulotteiseen avaruuteen R n, ja määritellään lineaarikuvaus. Tarkastellaan funktioita, joiden määrittelyjoukko on n-ulotteisen
LisätiedotNumeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33
Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 2
Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
LisätiedotP (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.
Yhteenveto: Satunnaisvektorit ovat kuvauksia tn-avaruudelta seillaiselle avaruudelle, johon sisältyy satunnaisvektorin kaikki mahdolliset reaalisaatiot. Satunnaisvektorin realisaatio eli otos on jokin
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto PNS-ongelma PNS-ongelma
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotKeskipisteen lisääminen 2 k -faktorikokeeseen (ks. Montgomery 9-6)
Mat-.3 Koesuunnittelu ja tilastolliset mallit kevät Keskipisteen lisääminen k -faktorikokeeseen (ks. Montgomery 9-6) Esim (Montg. ex. 9-, 6-): Tutkitaan kemiallisen prosessin saannon Y riippuvuutta faktoreista
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotLineaariavaruudet. Span. Sisätulo. Normi. Matriisinormit. Matriisinormit. aiheita. Aiheet. Reaalinen lineaariavaruus. Span. Sisätulo.
Lineaariavaruudet aiheita 1 määritelmä Nelikko (L, R, +, ) on reaalinen (eli reaalinen vektoriavaruus), jos yhteenlasku L L L, ( u, v) a + b ja reaaliluvulla kertominen R L L, (λ, u) λ u toteuttavat seuraavat
Lisätiedot1. NEUROVERKKOMENETELMÄT
1. NEUROVERKKOMENETELMÄT Ihmisten ja eläinten loistava hahmontunnistuskyky perustuu lukuisiin yksinkertaisiin aivosoluihin ja niiden välisiin kytkentöihin. Mm. edellisen innoittamana on kehitelty laskennallisia
LisätiedotPienimmän Neliösumman menetelmä (PNS)
neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1
LisätiedotKoska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
LisätiedotHarjoitusten 5 vastaukset
Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin
LisätiedotKimppu-suodatus-menetelmä
Kimppu-suodatus-menetelmä 2. toukokuuta 2016 Kimppu-suodatus-menetelmä on kehitetty epäsileiden optimointitehtävien ratkaisemista varten. Menetelmässä approksimoidaan epäsileitä funktioita aligradienttikimpulla.
LisätiedotEsimerkki 19. Esimerkissä 16 miniminormiratkaisu on (ˆx 1, ˆx 2 ) = (1, 0).
Esimerkki 9 Esimerkissä 6 miniminormiratkaisu on (ˆx, ˆx (, 0 Seuraavaksi näytetään, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7
Inversio-ongelmien laskennallinen peruskurssi Luento 7 Kevät 2012 1 Tilastolliset inversio-ongelmat Tilastollinen ionversio perustuu seuraaviin periaatteisiin: 1. Kaikki mallissa olevat muuttujat mallinnetaan
LisätiedotMallipohjainen klusterointi
Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio
LisätiedotYleistetyistä lineaarisista malleista
Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 2. luento 10.11.2017 Keinotekoiset neuroverkot Neuroverkko koostuu syöte- ja ulostulokerroksesta
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
Lisätiedot3.2.2 Tikhonovin regularisaatio
3 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx + ε R m (316 annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu x M + y Q N (M x + M
LisätiedotRatkaisuehdotukset LH 7 / vko 47
MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [
Lisätiedot, tuottoprosentti r = X 1 X 0
Ostat osakkeen hintaan ja myyt sen vuoden myöhemmin hintaan X 1. Kokonaistuotto on tällöin R = X 1, tuottoprosentti r = X 1 ja pätee R = 1 + r. Lyhyeksimyymisellä tarkoitetaan, että voit myydä osakkeen
LisätiedotMS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 4: Derivaatta
MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 4: Derivaatta Pekka Alestalo, Jarmo Malinen Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos 21.9.2016 Pekka Alestalo, Jarmo
Lisätiedot7 Vapaus. 7.1 Vapauden määritelmä
7 Vapaus Kuten edellisen luvun lopussa mainittiin, seuraavaksi pyritään ratkaisemaan, onko annetussa aliavaruuden virittäjäjoukossa tarpeettomia vektoreita Jos tällaisia ei ole, virittäjäjoukkoa kutsutaan
LisätiedotSGN-1251 Signaalinkäsittelyn sovellukset Välikoe Heikki Huttunen
SGN-5 Signaalinkäsittelyn sovellukset Välikoe.. Heikki Huttunen Tentissä ja välikokeessa saa käyttää vain tiedekunnan laskinta. Tenttikysymyksiä ei tarvitse palauttaa. Sivuilla - on. Sivuilla 4-6 on. Vastaa
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotLuento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
LisätiedotOdotusarvo. Odotusarvon ominaisuuksia Satunnaismuuttujien ominaisuuksia 61
3.3. Satunnaismuuttujien ominaisuuksia 61 Odotusarvo Määritelmä 3.5 (Odotusarvo) Olkoon X diskreetti satunnaismuuttuja, jonka arvojoukko on S ja todennäköisyysfunktio f X (x). Silloin X:n odotusarvo on
LisätiedotTilastollisen analyysin perusteet Luento 7: Lineaarinen regressio
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla
LisätiedotUseita oskillaattoreita yleinen tarkastelu
Useita oskillaattoreita yleinen tarkastelu Useita riippumattomia vapausasteita q i, i =,..., n ja potentiaali vastaavasti U(q, q 2,..., q n). Tasapainoasema {q 0, q0 2,..., q0 n} q 0 Käytetään merkintää
Lisätiedotk S P[ X µ kσ] 1 k 2.
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 28 Harjoitus Ratkaisuehdotuksia Tehtäväsarja I Osa tämän viikon tehtävistä ovat varsin haastavia, joten ei todellakaan
Lisätiedot2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio
x = x 2 = 5/2 x 3 = 2 eli Ratkaisu on siis x = (x x 2 x 3 ) = ( 5/2 2) (Tarkista sijoittamalla!) 5/2 2 Tämä piste on alkuperäisten tasojen ainoa leikkauspiste Se on myös piste/vektori jonka matriisi A
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 5 Ti 20.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 5 Ti 20.9.2011 p. 1/40 p. 1/40 Choleskyn menetelmä Positiivisesti definiiteillä matriiseilla kolmiohajotelma
LisätiedotBackpropagation-algoritmi
Backpropagation-algoritmi Hyvin yleisesti käytetty Backpropagation (BP) -algoritmi on verkon halutun ja todellisen vasteen eroa kuvastavan kustannusfunktion minimointiin perustuva menetelmä. Siinä MLP-verkon
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi
Lisätiedot1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI
1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI Ohjaamattomassa oppimisessa on tavoitteena muodostaa hahmoista ryhmiä, klustereita, joiden sisällä hahmot ovat jossain mielessä samankaltaisia ja joiden välillä
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
Lisätiedot1 Sisätulo- ja normiavaruudet
1 Sisätulo- ja normiavaruudet 1.1 Sisätuloavaruus Määritelmä 1. Olkoon V reaalinen vektoriavaruus. Kuvaus : V V R on reaalinen sisätulo eli pistetulo, jos (a) v w = w v (symmetrisyys); (b) v + u w = v
LisätiedotVastepintamenetelmä. Kuusinen/Heliövaara 1
Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,
LisätiedotVärähdysliikkeet. q + f (q, q, t) = 0. q + f (q, q) = F (t) missä nopeusriippuvuus kuvaa vaimenemista ja F (t) on ulkoinen pakkovoima.
Torstai 18.9.2014 1/17 Värähdysliikkeet Värähdysliikkeet ovat tyypillisiä fysiikassa: Häiriö oskillaatio Jaksollinen liike oskillaatio Yleisesti värähdysliikettä voidaan kuvata yhtälöllä q + f (q, q, t)
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 21. syyskuuta 2007 Antti Rasila () TodB 21. syyskuuta 2007 1 / 19 1 Satunnaismuuttujien riippumattomuus 2 Jakauman tunnusluvut Odotusarvo Odotusarvon ominaisuuksia
Lisätiedot3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin
3 Yleistä estimointiteoriaa Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3.1 Johdanto Tähän mennessä olemme tarkastelleet estimointia
LisätiedotPienimmän neliösumman menetelmä (PNS)
neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1
Lisätiedot802320A LINEAARIALGEBRA OSA II
802320A LINEAARIALGEBRA OSA II Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 64 Sisätuloavaruus Määritelmä 1 Olkoon V reaalinen vektoriavaruus. Kuvaus on reaalinen
Lisätiedot