Johdatus tekoälymatematiikkaan (kurssilla Johdatus Watson-tekn

Koko: px
Aloita esitys sivulta:

Download "Johdatus tekoälymatematiikkaan (kurssilla Johdatus Watson-tekn"

Transkriptio

1 Johdatus tekoälymatematiikkaan (kurssilla Johdatus Watson-tekniikkaan ITKA352) Informaatioteknologian tiedekunta Jyväskylän yliopisto

2 Tekoälyn historiaa 6 1 Introduction Kuva Fig. lähteestä 1.3 History of [?]. the various AI areas. The width of the bars indicates prevalence of the method s use

3 Koneoppiminen Koneoppiminen on tekoälyn osa-alue, jossa kone/ohjelma oppii pohjatiedon ja käyttäjän toiminnan perusteella. Kaikkia erilaisia tilanteita varten ei ole erillistä ohjetta vaan oppiminen tapahtuu kokemuksen pohjalta. Ohjattu oppiminen Konetta opetetaan luokitellun aineiston (syöte-tavoite-parit) avulla. Halutaan, että kone osaa tehdä luokittelun samankaltaiselle aineistolle. (Käsinkirjoitettujen numeroiden tunnistus.) Ohjaamaton oppiminen Jäljittelee ihmisen oppimista. Opettamiseen käytetään raakadataa, josta pyritään löytämään samankaltaisuuksia ja suhteita eri syötteiden välillä. (Akateemikko Teuvo Kohosen 1980-luvulla kehittämä itseorganisoituva kartta.) Vahvistettu oppiminen Kone oppii ympäristön antaman palautteen perusteella. (Robotiikka.)

4 Ohjattu, ohjaamaton ja vahvistettu oppiminen

5 Ohjattu oppiminen Syöte-tavoite-parien (x, y) valinta. (esim. käsinkirjoitetun tekstin tunnistamisessa kirjain/sana/rivi) Opetusesimerkkijoukon valinta. Syötteen ominaisuusvektorin x = (x 1,..., x n ) valinta. Montako ominaisuutta? Mitkä ominaisuudet? Opetusmenetelmän -ja algoritmin valinta. Päätöspuu/tukivektorikone/neuroverkko/Bayes-verkko/...? Alkuparametrien valinta. Koneen opettaminen opetusesimerkkijoukon avulla. Parametrien päivittäminen. Testaaminen testijoukon avulla.

6 Keinotekoiset neuroverkot Jäljittelevät ihmisen aivojen toimintaa. Keksittiin 1940-luvulla. Uusi aalto 1990-luvulla - eivät olleet muita menetelmiä parempia ja silloisilla tietokoneilla ei voitu käsitellä neuroverkkojen opettamisessa tarvittavia suuria datamääriä luvulla koneiden nopeutuminen ja datan määrän valtava kasvaminen ovat kasvattaneet innostusta syväoppimiseen (deep learning) = toinen uusi aalto! Kuvantunnistus, konenäkö, puheentunnistus, kieltenkääntäjät, pelit ja lääketieteelliset diagnoosit.

7 Keinotekoiset neuroverkot Neuroverkko koostuu syöte- ja ulostulokerroksesta ja niiden välissä olevista piilokerroksista. Neuroverkko on funktio f : R n R m. Syöte on n-ulotteinen vektori x = (x 1, x 2,..., x n ), piilokerrokset hoitavat laskutehtävän ja ulostulokerroksesta saadaan funktion arvo f (x) = y = (y 1, y 2,..., y m ).

8 Keinotekoiset neuroverkot Piilokerroksien ja ulostulokerroksen jokaisessa neuronissa lasketaan syötekerroksesta tai piilokerroksesta tulleiden syötteiden painotettu summa ja siihen lisätään neuronin vakiotermi. Ennen neuronin tuloksen lähettämistä seuraavalle neuronille summa viedään aktivointifunktioon. Aktivointifunktiot muuttavat affiinin (eli ensimmäisen asteen polynomin) syötteen epälineaariseksi. (Ohjatussa oppimisessa) tulosta verrataan syötettä x vastaavaan tavoitteeseen y ja verkkoa opetetaan tuloksen ja tavoitteen välisen virheen avulla.

9 Neuroverkkoesimerkki (1 piilokerros) Syötevektorin komponentit x 1 ja x 2 kerrotaan piilokerroksen neuroneiden painoilla wij 0, lasketaan yhteen ja summaan lisätään piilokerroksen neuronin vakiotermi b i :

10 Neuroverkkoesimerkki (1 piilokerros) z 1 1 = w 0 11x 1 + w 0 21x 2 + b 1 = z 1 2 = w 0 12x 1 + w 0 22x 2 + b 2 = 2 i=1 2 i=1 w 0 i1x i + b 1, w 0 i2x i + b 2, summat z3 1 ja z1 4 lasketaan samaan tapaan. Nämä summat viedään piilokerroksen aktivointifunktiolle. Piilokerroksen neuronien antamat syötteet ulostulokerrokselle ovat a 1 = ϕ(z 1 ), a 2 = ϕ(z 2 ), a 3 = ϕ(z 3 ) ja a 4 = ϕ(z 4 ). Verkon antama tulos saadaan käyttämällä piilokerroksen ja ulostulokerroksen välisiä painoja ja aktivointifunktiota: ( 4 t = ϕ(z1 2 ) = ϕ wi1a 1 i ). i=1

11 Keinotekoiset neuroverkot - parametrien merkinnät l on kerrosindeksi, 0 on syöte- ja L ulostulokerros N l = kerroksen l neuronien lukumäärä, wij l = kerroksen l 1 neuronin i ja kerroksen l neuronin j välillä oleva paino, bj l = kerroksen l neuronin j vakiotermi, z l j = kerroksen l neuronia j vastaava summa z l j = N l 1 i=1 a l j = kerroksen l neuronin j tulos a l j = ϕ(z l j ) = ϕ w l ija l 1 i + b l j, ( N l 1 i=1 ) wija l l 1 i + bj l, missä ϕ on aktivointifunktio (voi vaihdella kerroksesta toiseen).

12 Perseptroni - yksinkertaisin neuroverkko Perseptroni on syötekerroksen ja yhden neuronin muodostama verkko, jonka ainoat mahdolliset tulokset ovat 0 ja 1. syöte x = (x 1, x 2,..., x n ), painovektori w = (w 1, w 2,..., w n ), vakiotermi b R, aktivointifunktio yksikköporrasfunktio (Heavisiden funktio) { 1, jos s > 0 h(s) = 0, jos s 0.

13 Perseptroni lineaarinen luokittelija, päätöksentekijä Perseptronia vastaa funktio P : R n {0, 1}, { 1, jos w x + b > 0 P(x) = 0, jos w x + b 0. Funktio f : R n {0, 1} voidaan esittää perseptronilla jos ja vain jos alkukuvat f 1 ({0}) ja f 1 ({1}) ovat lineaarisesti erotettavat. Tasossa R 2 tämä tarkoittaa sitä, että joukkoja A ja B vastaavat pisteet voidaan erottaa suoralla ja R 3 :ssa sitä, että pistejoukot voidaan erottaa tasolla.

14 Perseptroni Vasemman kuvan pistejoukko on lineaarisesti erotettava, oikean ei.

15 Perseptroni ja loogiset konnektiivit AND ja XOR Konnektiivi AND : {0, 1} {0, 1} {0, 1}, AND(0, 0) = 0, AND(0, 1) = 0, AND(1, 0) = 0, AND(1, 1) = 1, voidaan esittää perseptronilla

16 Perseptroni ja loogiset konnektiivit AND ja XOR Konnektiivia XOR : {0, 1} {0, 1} {0, 1}, XOR(0, 0) = XOR(1, 1) = 0 XOR(0, 1) = XOR(1, 0) = 1 ei voida esittää perseptronilla.

17 Perseptroni Perseptronin ongelma: pieni muutos painoissa voi aiheuttaa ison muutoksen tuloksessa! Ratkaisu: vaihdetaan aktivointifunktiota

18 Aktivointifunktiot Neuroverkon piilo- ja ulostulokerroksissa käytetään aktivointifunktioita ϕ: R R. Aktivointifunktion toivottuja ominaisuuksia epälineaarisuus: summa ja yhdistetty funktio affiineista funktioista affiini - halutaan yleisempää derivoituvuus: monissa virhefunktion minimointitavoissa tarvitaan aktivointivointifunktion derivaattaa identtisen funktion approksimointi: lähellä identtistä funktiota nollan lähellä = neuroverkko oppii tehokkaasti kun painot alustetaan satunnaisluvuilla

19 Aktivointifunktiot - Sigmoid Sigmoid-funktio σ : R ]0, 1[, σ(x) = 1 1+e x = e x rajoitettu, aidosti kasvava, jatkuva σ C (R) ja σ (x) = e x (1 + e x ) 2 = σ(x)(1 σ(x)). lim σ(x) = 0, lim σ(x) = 1 x x

20 Aktivointifunktiot - Sigmoid σ(x) = 1 1+e x kasvaa hyvin hitaasti kun x kasvaa ja vähenee hyvin hitaasti kun x vähenee Häviävän gradientin ongelma: σ = σ(x)(1 σ(x)) on hyvin pieni kun x on suuri tai pieni = verkko oppii hitaasti käytettäessä derivaattoihin perustuvia menetelmiä ei ole symmetrinen nollan suhteen käytetään lähinnä ulostulokerroksessa varsinkin jos verkon tulokset ovat välillä [0, 1].

21 Aktivointifunktiot - tanh Hyperbolinen tangentti tanh: R ] 1, 1[, tanh(x) = 1 e 2x 1+e 2x rajoitettu, aidosti kasvava, jatkuva tanh C (R) ja tanh (x) = 1 tanh 2 (x) lim tanh(x) = 1, lim tan(x) = 1 x x symmetrinen nollan suhteen, kasvaa nopeammin nollan lähellä kuin σ

22 Aktivointifunktiot - ReLu ReLu (Rectified Linear Unit f : R [0, [, f (x) = max{0, x}. kasvava, jatkuva ei ole derivoituva nollassa lim x f (x) = f (x) = 0 ja f (x) = 0 kun x < 0 = neuronien painot saattavat päivittyä oppimisen aikana nollaksi jolloin neuronit kuolevat

23 Aktivointifunktiot - ReLu yksinkertainen ja tehokas hyvin yleinen syväoppimisessa (deep learning) käytä vain piilokerroksissa häviävän gradientin ongelman korjaa Leaky ReLu, f : R R, f (x) = max{ax, x} 0 < a < 1.

24 Neuroverkon opettaminen - gradienttimenetelmä Neuroverkkoa opetetaan syöte-tavoite-pareilla (x, y) eli opetusesimerkeillä. Neuronien parametrit alustetaan ja verkon syötteelle x antamaa tulosta t verrataan valitulla virhefunktiolla tavoitteeseen y. Virhefunktion arvo lasketaan valitulla opetusesimerkkijoukolla. Tavoitteena on virhefunktion minimointi. Kaikkien neuronien vaikutus virheeseen ja virhefunktion E osittaisderivaatat E E w ja b verkon kaikkien painojen w ja vakiotermien b suhteen lasketaan esimerkiksi vastavirta-algoritmilla. Osittaisderivaatoista saadaan gradientti E.

25 Neuroverkon opettaminen - gradienttimenetelmä Virhefunktion gradientti E kertoo nopeimman kasvun ja siten gradientin vastavektori E nopeimman vähenemisen suunnan. Sopivilla askelilla nopeimman vähenemisen suuntaan siirtymällä löydetään (gradienttimenetelmään sopiville funktioille) lokaali minimi. Kun piilokerroksen parametreja on muutettu niin, että verkko toimii halutulla tavalla opetusesimerkeille, sen toimintaa tarkastetaan testiesimerkeillä. Gradientti Olkoon f : R n R funktio, jolla on osittaisderivaatat kaikkien muuttujien x i, i {1,..., n} suhteen. Funktion f gradientti on vektori ( f f (x) = (x), f (x),..., f ) (x). x 1 x 2 x n

26 Neuroverkon opettaminen - gradienttimenetelmä Kun etsitään gradienttimenetelmällä minimiä kahden muuttujan funktiolle, niin kuvaajan voi ajatella kumpuilevaksi maastoksi. Rinteessä seisova ihminen haluaa mennä laakson pohjalle jyrkkyydestä välittämättä. Gradienttimenetelmän keinolla alas mennään vähän matkaa jyrkintä rinnettä (gradientin vastavektorin suuntaan), pysähdytään ja valitaan taas jyrkin suunta. Näin jatketaan, kunnes päästään laakson pohjalle. Jos laaksoja on monta, niin liian pitkä siirtymä yhteen suuntaan voi johtaa väärän laakson pohjalle

27 Neuroverkon opettaminen - virhefunktio Monesti syötettä x vastaavan tavoitteen y R m ja verkon antaman tuloksen t R m virhefunktiona käytetään erotuksen normin neliötä E = 1 2 t y 2 = 1 2 m (t k y k ) 2 k=1 ja opetusesimerkkijoukon A virhefunktiona keskineliösummaa E A = 1 2N (t(x) y(x) 2, x A missä N on joukon A opetusesimerkkien lukumäärä. Miksi erotusfunktiossa käytetään neliöitä?

28 Gradientin laskeminen vastavirta-algoritmilla Esimerkki Ulostulokerroksessa on 2 ja viimeisessä piilokerroksessa 3 neuronia. Lasketaan virhefunktion osittaisderivaatat ulostulokerroksen painojen suhteen.

29 Vastavirta-algoritmi - ulostulokerros - esimerkki ulostulokerroksen aktivointifunktio ϕ(t) = t ulostulokerroksen vakiotermit b L 1 = bl 2 = 0 virhefunktio E = 1 2 y t 2 = 1 2 ( (t 1 y 1 ) 2 +(t 2 y 2 ) 2). ulostulokerroksen neuronien tulokset t j = ϕ(z j ) = z j = 3 k=1 w L kj al 1 k, j = 1, 2.

30 Vastavirta-algoritmi - ulostulokerros - esimerkki Lasketaan virhefunktion osittaisderivaatta ulostulokerroksen 1. neuronia vastaavien painojen w L i1 suhteen. Ulostulokerroksen 2. neuronin tulos on t 2 = z 2 = 3 k=1 w L k2 al 1 k. = Painot w 11, w 21 ja w 31 eivät vaikuta ulostuloon t 2. = Virhefunktiossa (t 2 y 2 ) 2 on vakio osittaisderivoinneissa painojen w 11, w 21 ja w 31 suhteen. = Kaikilla i = 1, 2, 3 on E w L i1 = 1 wi1 L 2 (t 1 y 1 ) 2 = (t 1 y 1 ) w L i1 (t 1 y 1 ).

31 Vastavirta-algoritmi - ulostulokerros - esimerkki Summan t 1 = z 1 = 3 k=1 w L k1 al 1 k termit, joissa on wk1 L, k i, ja y 1 ovat wi1 L :n suhteen vakiota. = wi1 L (t 1 y 1 ) = wi1 L = E w L i1 Vastaavasti saadaan E w L i2 3 k=1 w L k1 al 1 k = (t 1 y 1 )a L 1 i, i = 1, 2, 3. = (t 2 y 2 ) w L i2 = a L 1 i, i = 1, 2, 3 (t 2 y 2 )= (t 2 y 2 )a L 1 i.

32 Vastavirta-algoritmi - ulostulokerros Derivoinnin ketjusääntöä käyttäen saadaan laskettua yleinen tilanne. Jos ulostulokerroksessa on m neuronia, aktivointifunktio on ϕ ja virhefunktio on E = 1 2 y t 2 = 1 ( m (t k y k ) 2), 2 k=1 niin osittaisderivaatat painojen w L ij suhteen ovat E w L ij ja vakiotermien suhteen = (t j y j )ϕ (z L j )a L 1 i E b L j = (t j y j )ϕ (z j ).

33 Vastavirta-algoritmi - piilokerrokset Piilokerroksissa osittaisderivaatat ovat: E w l ij E b l j N l+1 = a l 1 i ϕ (zj l ) N l+1 = ϕ (zj l ) k=1 k=1 E z l+1 k E z l+1 k w l+1 jk. w l+1 jk.

34 Vastavirta-algoritmi - piilokerrokset Mieti, miksi osittaisderivaattoja painojen wij l suhteen ei lasketa erotusosamäärien E(w i +he i ) E(w i ) h avulla? (Painot järjestetty jonoon, e i on i. kantavektori.) Vastavirta: Osittaisderivaatat kerroksen l suhteen saadaan laskettua rekursiivisesti kerroksen l + 1 osittaisderivaattojen avulla. Aloita ulostulokerroksesta ja jatka kerros kerrokselta kohti syötekerrosta. Uudet painot vastavirta-algoritmin jälkeen ovat w l ij w l ij α E w l ij ja b l j b l j α E b l j missä α on verkon oppimisnopeus.

35 Vastavirta-algoritmi - huomioita Jos kerroksen l 1 syöte a l 1 i on pieni, niin kerroksen l osittaisderivaatat E ovat pieniä. wij l Jos osittaisderivaatta painojen suhteen on pieni, niin painot muuttuvat vastavirta-algoritmissa vähän ja neuroni oppii hitaasti. Aktivointifunktion derivaatat vaikuttavat virheen osittaisderivaattoihin ja siten neuroneiden parametrien muutokseen. Jos aktivointifunktion derivaatta on pieni, niin parametrit muuttuvat vähän ja neuronit oppivat hitaasti.

36 Vastavirta-algoritmi - huomioita Verkon käyttötarkoitukseen sopivan virhefunktion ja aktivointifunktioiden valinta on tärkeää. Muista aktivointifunktioiden ja niiden derivaattojen käyttäytyminen: Verkon eri kerroksissa voidaan käyttää eri aktivointifunktioita. (Käytä laskuissa ja kaavoissa verkon kerrosta vastaavia alaindeksejä ϕ l.)

37 Lineaarialgebraa Neuroverkon parametreihin liittyvät kaavat annetaan monesti vektorien- ja matriisien avulla. Kerroksen l parametrit ovat vakiotermit b l = (b l 1,..., bl N l ), painotetut summat z l = (z l 1,..., zl N l ) neuronien tulokset a l = (a l 1,..., al N l ) ja painot jolloin W l = w11 l w12 l... w1n l l w21 l w22 l... w2n l l... wn l l 1 1 wn l l wn l l 1 N l, z l = a l 1 W l + b l ja a l = ϕ(z l ) = (ϕ(z l 1),..., ϕ(z l N l )).

38 Lineaarialgebraa Vastavirta-algoritmin, gradienttimenetelmän ja muiden algoritmien toteutus tehdään ohjelmistokirjastojen tehokkaiden vektori- ja matriisilaskentapakettien (esim. NumPy) avulla. Yksittäisiä parametreja ei kannata käsitellä silmukoilla. Lineaarialgebran opiskelu aloitetaan yleensä lineaarisen yhtälöryhmän ratkaisemista. Siitä on kyse myös neuroverkon parametrien etsinnässä.

39 W. Ertel: Introduction to Artificial Intelligence, Springer, 2011 ConvNetJS - Deep Learning in your browser Playgroung TensorFlow

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 2. luento 10.11.2017 Keinotekoiset neuroverkot Neuroverkko koostuu syöte- ja ulostulokerroksesta

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3.11.2017 Mitä tekoäly on? Wikipedia: Tekoäly on tietokone tai tietokoneohjelma, joka kykenee älykkäiksi

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 4. luento 24.11.2017 Neuroverkon opettaminen - gradienttimenetelmä Neuroverkkoa opetetaan syöte-tavoite-pareilla

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3. luento 17.11.2017 Neuroverkon opettaminen (ohjattu oppiminen) Neuroverkkoa opetetaan syöte-tavoite-pareilla

Lisätiedot

JOHDATUS TEKOÄLYYN TEEMU ROOS

JOHDATUS TEKOÄLYYN TEEMU ROOS JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN

Lisätiedot

Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun

Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Sami Hokuni 12 Syyskuuta, 2012 1/ 54 Sami Hokuni Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Turun Yliopisto. Gradu tehty 2012 kevään

Lisätiedot

JOHDATUS TEKOÄLYYN TEEMU ROOS

JOHDATUS TEKOÄLYYN TEEMU ROOS JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN

Lisätiedot

ImageRecognition toteutus

ImageRecognition toteutus ImageRecognition toteutus Simo Korkolainen 27 kesäkuuta 2016 Projektin tarkoituksena on tehdä ohjelma, joka opettaa neuroverkon tunnistamaan kuvia backpropagation-algoritmin avulla Neuroverkon opetuksessa

Lisätiedot

Kognitiivinen mallintaminen Neuraalimallinnus, luento 1

Kognitiivinen mallintaminen Neuraalimallinnus, luento 1 Kognitiivinen mallintaminen Neuraalimallinnus, luento 1 Nelli Salminen nelli.salminen@helsinki.fi D433 Neuraalimallinnuksen osuus neljä luentokertaa, muutokset alla olevaan suunnitelmaan todennäköisiä

Lisätiedot

JOHDATUS TEKOÄLYYN TEEMU ROOS

JOHDATUS TEKOÄLYYN TEEMU ROOS JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 5. luento.2.27 Lineaarialgebraa - Miksi? Neuroverkon parametreihin liittyvät kaavat annetaan monesti

Lisätiedot

Tekoälyn perusteita ja sovelluksia (TIEP1000)

Tekoälyn perusteita ja sovelluksia (TIEP1000) Tekoälyn perusteita ja sovelluksia (TIEP1000) Informaatioteknologian tiedekunta 6. marraskuuta 2018 JYU. Since 1863. 6.11.2018 1 Kurssin osanottajat Tiedekunta Ei tiedossa 3 HTK 77 ITK 211 KTK 4 LTK 20

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematkkaan Informaatoteknologan tedekunta Jyväskylän ylopsto 4. luento 24.11.2017 Neuroverkon opettamnen - gradenttmenetelmä Neuroverkkoa opetetaan syöte-tavote-parella

Lisätiedot

Tällä kerralla ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus Kertausta: Perseptronin oppimissääntö

Tällä kerralla ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus Kertausta: Perseptronin oppimissääntö Tällä kerralla ohjelmassa Kognitiivinen mallintaminen Neuraalimallinnus 19.2. Nelli Salminen nelli.salminen@helsinki.fi D433 vielä perseptronista ja backpropagationista kilpaileva oppiminen, Kohosen verkko

Lisätiedot

Kognitiivinen mallintaminen. Nelli Salminen

Kognitiivinen mallintaminen. Nelli Salminen Kognitiivinen mallintaminen Neuraalimallinnus 24.11. Nelli Salminen nelli.salminen@tkk.fi Tällä kerralla ohjelmassa vielä perseptronista ja backpropagationista kilpaileva oppiminen, Kohosen verkko oppimissääntöjen

Lisätiedot

TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA)

TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA) JOHDATUS TEKOÄLYYN TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA) KONEOPPIMISEN LAJIT OHJATTU OPPIMINEN: - ESIMERKIT OVAT PAREJA (X, Y), TAVOITTEENA ON OPPIA ENNUSTAMAAN Y ANNETTUNA X.

Lisätiedot

Matematiikka B1 - avoin yliopisto

Matematiikka B1 - avoin yliopisto 28. elokuuta 2012 Opetusjärjestelyt Luennot 9:15-11:30 Harjoitukset 12:30-15:00 Tentti Nettitehtävät Kurssin sisältö 1/2 Osittaisderivointi Usean muuttujan funktiot Raja-arvot Osittaisderivaatta Pinnan

Lisätiedot

MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio.

MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Riikka Korte Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto

Lisätiedot

MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi

MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi Antti Rasila Aalto-yliopisto Syksy 2015 Antti Rasila (Aalto-yliopisto) MS-A0202 Syksy 2015 1

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35 Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen

Lisätiedot

MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I

MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I G. Gripenberg Aalto-yliopisto 21. tammikuuta 2016 G. Gripenberg (Aalto-yliopisto) MS-A0207 Differentiaali- ja integraalilaskenta

Lisätiedot

Antti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16

Antti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16 MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Antti Rasila Matematiikan ja systeemianalyysin laitos

Lisätiedot

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 3: Osittaisderivaatta

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 3: Osittaisderivaatta MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 3: Osittaisderivaatta Jarmo Malinen Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto Kevät 2016 1 Perustuu Antti Rasilan luentomonisteeseen

Lisätiedot

Lauri Sintonen KEINOTEKOISTEN NEUROVERKKOJEN HYÖDYNTÄMINEN AUTOMAATTISESSA LINTUJEN TUNNISTAMISESSA ÄÄNEN PERUSTEELLA

Lauri Sintonen KEINOTEKOISTEN NEUROVERKKOJEN HYÖDYNTÄMINEN AUTOMAATTISESSA LINTUJEN TUNNISTAMISESSA ÄÄNEN PERUSTEELLA Lauri Sintonen KEINOTEKOISTEN NEUROVERKKOJEN HYÖDYNTÄMINEN AUTOMAATTISESSA LINTUJEN TUNNISTAMISESSA ÄÄNEN PERUSTEELLA JYVÄSKYLÄN YLIOPISTO INFORMAATIOTEKNOLOGIAN TIEDEKUNTA 2018 TIIVISTELMÄ Sintonen, Lauri

Lisätiedot

Talousmatematiikan perusteet: Luento 6. Derivaatta ja derivaattafunktio Derivointisääntöjä Ääriarvot ja toinen derivaatta

Talousmatematiikan perusteet: Luento 6. Derivaatta ja derivaattafunktio Derivointisääntöjä Ääriarvot ja toinen derivaatta Talousmatematiikan perusteet: Luento 6 Derivaatta ja derivaattafunktio Derivointisääntöjä Ääriarvot ja toinen derivaatta Motivointi Funktion arvojen lisäksi on usein kiinnostavaa tietää jotakin funktion

Lisätiedot

Derivaatta: funktion approksimaatio lineaarikuvauksella.

Derivaatta: funktion approksimaatio lineaarikuvauksella. Viikko 5 Tällä viikolla yleistetään R 2 :n ja R 3 :n vektorialgebran peruskäsitteet n-ulotteiseen avaruuteen R n, ja määritellään lineaarikuvaus. Tarkastellaan funktioita, joiden määrittelyjoukko on n-ulotteisen

Lisätiedot

Talousmatematiikan perusteet: Luento 6. Derivaatta ja derivaattafunktio Derivointisääntöjä Ääriarvot ja toinen derivaatta

Talousmatematiikan perusteet: Luento 6. Derivaatta ja derivaattafunktio Derivointisääntöjä Ääriarvot ja toinen derivaatta Talousmatematiikan perusteet: Luento 6 Derivaatta ja derivaattafunktio Derivointisääntöjä Ääriarvot ja toinen derivaatta Motivointi Funktion arvojen lisäksi on usein kiinnostavaa tietää jotakin funktion

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 9 1 Implisiittinen derivointi Tarkastellaan nyt yhtälöä F(x, y) = c, jossa x ja y ovat muuttujia ja c on vakio Esimerkki tällaisesta yhtälöstä on x 2 y 5 + 5xy = 14

Lisätiedot

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 4: Ketjusäännöt ja lineaarinen approksimointi

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 4: Ketjusäännöt ja lineaarinen approksimointi MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 4: Ketjusäännöt ja lineaarinen approksimointi Jarmo Malinen Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto Kevät 2016 1 Perustuu

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33

Numeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33 Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden

Lisätiedot

1 Rajoittamaton optimointi

1 Rajoittamaton optimointi Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y

Lisätiedot

Kuva 1: Funktion f tasa-arvokäyriä. Ratkaisu. Suurin kasvunopeus on gradientin suuntaan. 6x 0,2

Kuva 1: Funktion f tasa-arvokäyriä. Ratkaisu. Suurin kasvunopeus on gradientin suuntaan. 6x 0,2 HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi I, syksy 018 Harjoitus Ratkaisuehdotukset Tehtävä 1. Olkoon f : R R f(x 1, x ) = x 1 + x Olkoon C R. Määritä tasa-arvojoukko Sf(C) = {(x 1, x

Lisätiedot

Viikon aiheet. Funktion lineaarinen approksimointi

Viikon aiheet. Funktion lineaarinen approksimointi Viikon aiheet Funktion ääriarvot Funktion lineaarinen approksimointi Vektorit, merkintätavat, pituus, yksikkövektori, skalaarilla kertominen, kanta ja kannan vaihto Funktion ääriarvot 6 Väliarvolause Implisiittinen

Lisätiedot

r > y x z x = z y + y x z y + y x = r y x + y x = r

r > y x z x = z y + y x z y + y x = r y x + y x = r HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi I, syksy 018 Harjoitus Ratkaisuehdotukset Tehtävä 1. Osoita, että avoin kuula on avoin joukko ja suljettu kuula on suljettu joukko. Ratkaisu.

Lisätiedot

l 1 2l + 1, c) 100 l=0

l 1 2l + 1, c) 100 l=0 MATEMATIIKAN PERUSKURSSI I Harjoitustehtäviä syksy 5. Millä reaaliluvun arvoilla a) 9 =, b) 5 + 5 +, e) 5?. Kirjoita Σ-merkkiä käyttäen summat 4, a) + + 5 + + 99, b) 5 + 4 65 + + n 5 n, c)

Lisätiedot

Luento 8: Epälineaarinen optimointi

Luento 8: Epälineaarinen optimointi Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään

Lisätiedot

Takaisinkytkeytyvät neuroverkot. 1 Johdanto. Toni Helenius. Tiivistelmä

Takaisinkytkeytyvät neuroverkot. 1 Johdanto. Toni Helenius. Tiivistelmä Takaisinkytkeytyvät neuroverkot Toni Helenius Tiivistelmä Takaisinkytkeytyvät neuroverkot ovat tarkoitettu sekvenssimuotoisen tiedon mallintamiseen, jossa tieto on toisistaan riippuvaista. Tällaista tietoa

Lisätiedot

1. NEUROVERKKOMENETELMÄT

1. NEUROVERKKOMENETELMÄT 1. NEUROVERKKOMENETELMÄT Ihmisten ja eläinten loistava hahmontunnistuskyky perustuu lukuisiin yksinkertaisiin aivosoluihin ja niiden välisiin kytkentöihin. Mm. edellisen innoittamana on kehitelty laskennallisia

Lisätiedot

Funktioiden approksimointi ja interpolointi

Funktioiden approksimointi ja interpolointi Funktioiden approksimointi ja interpolointi Keijo Ruotsalainen Division of Mathematics interpolaatio-ongelma 8 Eksponenttifunktion exp(x) interpolointi 3.5 Funktion e^{0.25x} \sin(x) interpolointi 7 3

Lisätiedot

Oletetaan, että funktio f on määritelty jollakin välillä ]x 0 δ, x 0 + δ[. Sen derivaatta pisteessä x 0 on

Oletetaan, että funktio f on määritelty jollakin välillä ]x 0 δ, x 0 + δ[. Sen derivaatta pisteessä x 0 on Derivaatta Erilaisia lähestymistapoja: geometrinen (käyrän tangentti sekanttien raja-asentona) fysikaalinen (ajasta riippuvan funktion hetkellinen muutosnopeus) 1 / 19 Derivaatan määritelmä Määritelmä

Lisätiedot

VEKTORIANALYYSIN HARJOITUKSET: VIIKKO 4

VEKTORIANALYYSIN HARJOITUKSET: VIIKKO 4 VEKTORIANALYYSIN HARJOITUKSET: VIIKKO 4 Jokaisen tehtävän jälkeen on pieni kommentti tehtävään liittyen Nämä eivät sisällä mitään kovin kriittistä tietoa tehtävään liittyen, joten niistä ei tarvitse välittää

Lisätiedot

12. Hessen matriisi. Ääriarvoteoriaa

12. Hessen matriisi. Ääriarvoteoriaa 179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila

Lisätiedot

1. NEUROVERKKOMENETELMÄT

1. NEUROVERKKOMENETELMÄT 1. NEUROVERKKOMENETELMÄT Ihmisten ja eläinten loistava hahmontunnistuskyky perustuu lukuisiin yksinkertaisiin aivosoluihin ja niiden välisiin kytkentöihin. Mm. edellisen innoittamana on kehitelty laskennallisia

Lisätiedot

f(x 1, x 2 ) = x x 1 k 1 k 2 k 1, k 2 x 2 1, 0 1 f(1, 1)h 1 = h = h 2 1, 1 12 f(1, 1)h 1 h 2

f(x 1, x 2 ) = x x 1 k 1 k 2 k 1, k 2 x 2 1, 0 1 f(1, 1)h 1 = h = h 2 1, 1 12 f(1, 1)h 1 h 2 HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi I, syksy 7 Harjoitus 6 Ratkaisuehdotukset 6.. Olkoon f : G R, G = {(x, x ) R x > }, f(x, x ) = x x. Etsi differentiaalit d k f(, ), k =,,. Ratkaisu:

Lisätiedot

. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1

. Kun p = 1, jono suppenee raja-arvoon 1. Jos p = 2, jono hajaantuu. Jono suppenee siis lineaarisesti. Vastaavasti jonolle r k+1 = r k, suhde on r k+1 TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-.39 Optimointioppi Kimmo Berg 8. harjoitus - ratkaisut. a)huomataan ensinnäkin että kummankin jonon raja-arvo r on nolla. Oletetaan lisäksi että

Lisätiedot

MS-C1340 Lineaarialgebra ja

MS-C1340 Lineaarialgebra ja MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 3 Ti 13.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 3 Ti 13.9.2011 p. 1/37 p. 1/37 Epälineaariset yhtälöt Newtonin menetelmä: x n+1 = x n f(x n) f (x n ) Sekanttimenetelmä:

Lisätiedot

y x1 σ t 1 = c y x 1 σ t 1 = y x 2 σ t 2 y x 2 x 1 y = σ(t 2 t 1 ) x 2 x 1 y t 2 t 1

y x1 σ t 1 = c y x 1 σ t 1 = y x 2 σ t 2 y x 2 x 1 y = σ(t 2 t 1 ) x 2 x 1 y t 2 t 1 1. Tarkastellaan funktiota missä σ C ja y (y 1,..., y n ) R n. u : R n R C, u(x, t) e i(y x σt), (a) Miksi funktiota u(x, t) voidaan kutsua tasoaalloksi, jonka aaltorintama on kohtisuorassa vektorin y

Lisätiedot

MATEMATIIKAN PERUSKURSSI I Harjoitustehtäviä syksy Millä reaaliluvun x arvoilla. 3 4 x 2,

MATEMATIIKAN PERUSKURSSI I Harjoitustehtäviä syksy Millä reaaliluvun x arvoilla. 3 4 x 2, MATEMATIIKAN PERUSKURSSI I Harjoitustehtäviä syksy 6. Millä reaaliluvun arvoilla a) 9 =, b) + + + 4, e) 5?. Kirjoita Σ-merkkiä käyttäen summat 4, a) + 4 + 6 + +, b) 8 + 4 6 + + n n, c) + + +

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 2 To 8.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 2 To 8.9.2011 p. 1/33 p. 1/33 Lukujen tallennus Kiintoluvut (integer) tarkka esitys aritmeettiset operaatiot

Lisätiedot

Pienimmän neliösumman menetelmä

Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmä Keijo Ruotsalainen Division of Mathematics Funktion sovitus Datapisteet (x 1,...,x n ) Annettu data y i = f(x i )+η i, missä f(x) on tuntematon funktio ja η i mittaukseen

Lisätiedot

l 1 2l + 1, c) 100 l=0 AB 3AC ja AB AC sekä vektoreiden AB ja

l 1 2l + 1, c) 100 l=0 AB 3AC ja AB AC sekä vektoreiden AB ja MATEMATIIKAN PERUSKURSSI I Harjoitustehtäviä syksy 7. Millä reaaliluvun arvoilla a) 9 =, b) + 5 + +, e) 5?. Kirjoita Σ-merkkiä käyttäen summat 4, a) + + 5 + + 99, b) 5 + 4 65 + + n 5 n, c) +

Lisätiedot

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Jarmo Malinen Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto Kevät 2016 1 Perustuu

Lisätiedot

Luento 8: Epälineaarinen optimointi

Luento 8: Epälineaarinen optimointi Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään

Lisätiedot

Tee-se-itse -tekoäly

Tee-se-itse -tekoäly Tee-se-itse -tekoäly Avainsanat: koneoppiminen, tekoäly, neuroverkko Luokkataso: 6.-9. luokka, lukio, yliopisto Välineet: kynä, muistilappuja tai kertakäyttömukeja, herneitä tms. pieniä esineitä Kuvaus:

Lisätiedot

3.2.2 Tikhonovin regularisaatio

3.2.2 Tikhonovin regularisaatio 3 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx + ε R m (316 annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu x M + y Q N (M x + M

Lisätiedot

Talousmatematiikan perusteet: Luento 14. Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu

Talousmatematiikan perusteet: Luento 14. Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu Talousmatematiikan perusteet: Luento 14 Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu Luennolla 6 Tarkastelimme yhden muuttujan funktion f(x) rajoittamatonta optimointia

Lisätiedot

Backpropagation-algoritmi

Backpropagation-algoritmi Backpropagation-algoritmi Hyvin yleisesti käytetty Backpropagation (BP) -algoritmi on verkon halutun ja todellisen vasteen eroa kuvastavan kustannusfunktion minimointiin perustuva menetelmä. Siinä MLP-verkon

Lisätiedot

(1.1) Ae j = a k,j e k.

(1.1) Ae j = a k,j e k. Lineaarikuvauksen determinantti ja jälki 1. Lineaarikuvauksen matriisi. Palautetaan mieleen, mikä lineaarikuvauksen matriisi annetun kannan suhteen on. Olkoot V äärellisulotteinen vektoriavaruus, n = dim

Lisätiedot

Funktion määrittely (1/2)

Funktion määrittely (1/2) Funktion määrittely (1/2) Funktio f : A B on sääntö, joka liittää jokaiseen joukon A alkioon a täsmälleen yhden B:n alkion b. Merkitään b = f (a). Tässä A = M f on f :n määrittelyjoukko, B on f :n maalijoukko.

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 8 1 Suunnattu derivaatta Aluksi tarkastelemme vektoreita, koska ymmärrys vektoreista helpottaa alla olevien asioiden omaksumista. Kun liikutaan tasossa eli avaruudessa

Lisätiedot

Oletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U

Oletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 018 Harjoitus 4 Ratkaisuehdotukset Tehtävä 1. Olkoon U R avoin joukko ja ϕ = (ϕ 1, ϕ, ϕ 3 ) : U R 3 kaksiulotteisen C 1 -alkeispinnan

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2

Lisätiedot

Cantorin joukko LUKU 8

Cantorin joukko LUKU 8 LUKU 8 Cantorin joukko 8.. Cantorin 3 -joukko Merkitään J = J 0, = [0, ]. Poistetaan välin J keskeltä avoin väli I,, jonka pituus on /3; siis I, = (, 2). Olkoot jäljelle jäävät suljetut välit J 3 3, ja

Lisätiedot

Johdatus reaalifunktioihin P, 5op

Johdatus reaalifunktioihin P, 5op Johdatus reaalifunktioihin 802161P, 5op Osa 2 Pekka Salmi 1. lokakuuta 2015 Pekka Salmi FUNK 1. lokakuuta 2015 1 / 55 Jatkuvuus ja raja-arvo Tavoitteet: ymmärtää raja-arvon ja jatkuvuuden määritelmät intuitiivisesti

Lisätiedot

MS-A0102 Differentiaali- ja integraalilaskenta 1

MS-A0102 Differentiaali- ja integraalilaskenta 1 MS-A0102 Differentiaali- ja integraalilaskenta 1 Riikka Korte (Pekka Alestalon kalvojen pohjalta) Aalto-yliopisto 24.10.2016 Sisältö Derivaatta 1.1 Derivaatta Erilaisia lähestymistapoja: I geometrinen

Lisätiedot

jakokulmassa x 4 x 8 x 3x

jakokulmassa x 4 x 8 x 3x Laudatur MAA ratkaisut kertausarjoituksiin. Polynomifunktion nollakodat 6 + 7. Suoritetaan jakolasku jakokulmassa 5 4 + + 4 8 6 6 5 4 + 0 + 0 + 0 + 0+ 6 5 ± 5 5 4 ± 4 4 ± 4 4 ± 4 8 8 ± 8 6 6 + ± 6 Vastaus:

Lisätiedot

MS-C1340 Lineaarialgebra ja

MS-C1340 Lineaarialgebra ja MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Idea Lineaarisen systeemin ratkaiseminen Olkoon

Lisätiedot

2 Funktion derivaatta

2 Funktion derivaatta ANALYYSI B, HARJOITUSTEHTÄVIÄ, KEVÄT 2019 2 Funktion derivaatta 2.1 Määritelmiä ja perusominaisuuksia 1. Määritä suoraan derivaatan määritelmää käyttäen f (0), kun (a) + 1, (b) (2 + ) sin(3). 2. Olkoon

Lisätiedot

Ratkaisuehdotukset LH 7 / vko 47

Ratkaisuehdotukset LH 7 / vko 47 MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 10 1 Funktion monotonisuus Derivoituva funktio f on aidosti kasvava, jos sen derivaatta on positiivinen eli jos f (x) > 0. Funktio on aidosti vähenevä jos sen derivaatta

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 5. Kirsi Valjus. Jyväskylän yliopisto. Luento 5 () Numeeriset menetelmät / 28

Numeeriset menetelmät TIEA381. Luento 5. Kirsi Valjus. Jyväskylän yliopisto. Luento 5 () Numeeriset menetelmät / 28 Numeeriset menetelmät TIEA381 Luento 5 Kirsi Valjus Jyväskylän yliopisto Luento 5 () Numeeriset menetelmät 3.4.2013 1 / 28 Luennon 5 sisältö Luku 4: Ominaisarvotehtävistä Potenssiinkorotusmenetelmä QR-menetelmä

Lisätiedot

Taustatietoja ja perusteita

Taustatietoja ja perusteita Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1 Avoin pallo:

Lisätiedot

Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida?

Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida? Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida? 2 Tieto on koodattu aikaisempaa yleisemmin digitaaliseen muotoon,

Lisätiedot

k=0 saanto jokaisen kolmannen asteen polynomin. Tukipisteet on talloin valittu

k=0 saanto jokaisen kolmannen asteen polynomin. Tukipisteet on talloin valittu LIS AYKSI A kirjaan Reaalimuuttujan analyysi 1.6. Numeerinen integrointi: Gaussin kaavat Edella kasitellyt numeerisen integroinnin kaavat eli kvadratuurikaavat Riemannin summa, puolisuunnikassaanto ja

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a

Lisätiedot

MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 5: Taylor-polynomi ja sarja

MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 5: Taylor-polynomi ja sarja MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 5: Taylor-polynomi ja sarja Pekka Alestalo, Jarmo Malinen Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos 26.9.2016 Pekka Alestalo,

Lisätiedot

Numeeriset menetelmät

Numeeriset menetelmät Numeeriset menetelmät Luento 5 Ti 20.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 5 Ti 20.9.2011 p. 1/40 p. 1/40 Choleskyn menetelmä Positiivisesti definiiteillä matriiseilla kolmiohajotelma

Lisätiedot

3 = Lisäksi z(4, 9) = = 21, joten kysytty lineaarinen approksimaatio on. L(x,y) =

3 = Lisäksi z(4, 9) = = 21, joten kysytty lineaarinen approksimaatio on. L(x,y) = BM20A5810 Differentiaalilaskenta ja sovellukset Harjoitus 6, Syksy 2016 1. (a) Olkoon z = z(x,y) = yx 1/2 + y 1/2. Muodosta z:lle lineaarinen approksimaatio L(x,y) siten että approksimaation ja z:n arvot

Lisätiedot

Tekoäly ja alustatalous. Miten voit hyödyntää niitä omassa liiketoiminnassasi

Tekoäly ja alustatalous. Miten voit hyödyntää niitä omassa liiketoiminnassasi Tekoäly ja alustatalous Miten voit hyödyntää niitä omassa liiketoiminnassasi AI & Alustatalous AI Digitaalisuudessa on 1 ja 0, kumpia haluamme olla? Alustatalouden kasvuloikka Digitaalisen alustatalouden

Lisätiedot

Tehtävä 1. Näytä, että tason avoimessa yksikköpallossa

Tehtävä 1. Näytä, että tason avoimessa yksikköpallossa HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 2018 Harjoitus 2 Ratkaisuehdotukset Tehtävä 1. Näytä, että tason avoimessa yksikköpallossa määritelty kuvaus B(0, 1) := x R 2 : x

Lisätiedot

Numeerinen analyysi Harjoitus 3 / Kevät 2017

Numeerinen analyysi Harjoitus 3 / Kevät 2017 Numeerinen analyysi Harjoitus 3 / Kevät 2017 Palautus viimeistään perjantaina 17.3. Tehtävä 1: Tarkastellaan funktion f(x) = x evaluoimista välillä x [2.0, 2.3]. Muodosta interpoloiva polynomi p 3 (x),

Lisätiedot

Kimppu-suodatus-menetelmä

Kimppu-suodatus-menetelmä Kimppu-suodatus-menetelmä 2. toukokuuta 2016 Kimppu-suodatus-menetelmä on kehitetty epäsileiden optimointitehtävien ratkaisemista varten. Menetelmässä approksimoidaan epäsileitä funktioita aligradienttikimpulla.

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 14 R. Kangaslampi matriisiteoriaa Matriisinormi

Lisätiedot

Talousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu

Talousmatematiikan perusteet: Luento 13. Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Talousmatematiikan perusteet: Luento 13 Rajoittamaton optimointi Hessen matriisi Ominaisarvot ja vektorit Ääriarvon laadun tarkastelu Viime luennolla Aloimme tarkastella yleisiä, usean muuttujan funktioita

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 17 R. Kangaslampi Vektoriavaruudet Vektoriavaruus

Lisätiedot

1 Kertaus. Lineaarinen optimointitehtävä on muotoa:

1 Kertaus. Lineaarinen optimointitehtävä on muotoa: 1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n

Lisätiedot

Kaikkia alla olevia kohtia ei käsitellä luennoilla kokonaan, koska osa on ennestään lukiosta tuttua.

Kaikkia alla olevia kohtia ei käsitellä luennoilla kokonaan, koska osa on ennestään lukiosta tuttua. 6 Alkeisfunktiot Kaikkia alla olevia kohtia ei käsitellä luennoilla kokonaan, koska osa on ennestään lukiosta tuttua. 6. Funktion määrittely Funktio f : A B on sääntö, joka liittää jokaiseen joukon A alkioon

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =

Lisätiedot

1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI

1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI 1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI 1 1.1 Funktion optimointiin perustuvat klusterointialgoritmit Klusteroinnin onnistumista mittaavan funktion J optimointiin perustuvissa klusterointialgoritmeissä

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Viikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen

Viikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen Viikko 3: Lineaarista regressiota ja luokittelua Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum D122, 30-31.1.2008. 1 Tällä viikolla Sisältösuunnitelma: Lineaarinen regressio Pienimmän neliösumman

Lisätiedot

, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1).

, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1). HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 017 Harjoitus 4 Ratkaisuehdotukset 4.1. Osoita, että tasa-arvojoukko S F (0), F : R 3 R, F (x) = 3x 1 x 3 + e x + x e x 3, on säännöllinen

Lisätiedot

Johdatus tekoälyyn. Luento 6.10.2011: Koneoppiminen. Patrik Hoyer. [ Kysykää ja kommentoikaa luennon aikana! ]

Johdatus tekoälyyn. Luento 6.10.2011: Koneoppiminen. Patrik Hoyer. [ Kysykää ja kommentoikaa luennon aikana! ] Johdatus tekoälyyn Luento 6.10.2011: Koneoppiminen Patrik Hoyer [ Kysykää ja kommentoikaa luennon aikana! ] Koneoppiminen? Määritelmä: kone = tietokone, tietokoneohjelma oppiminen = ongelmanratkaisukyvyn

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 10 1 Lokaalit ääriarvot Yhden muuttujan funktion f (x) lokaali maksimi on piste x 0, jossa f (x) on suurempi kuin muualle pisteen x 0 ympäristössä, eli kun f (x 0 )

Lisätiedot

x j x k Tällöin L j (x k ) = 0, kun k j, ja L j (x j ) = 1. Alkuperäiselle interpolaatio-ongelmalle saadaan nyt ratkaisu

x j x k Tällöin L j (x k ) = 0, kun k j, ja L j (x j ) = 1. Alkuperäiselle interpolaatio-ongelmalle saadaan nyt ratkaisu 2 Interpolointi Olkoon annettuna n+1 eri pistettä x 0, x 1, x n R ja n+1 lukua y 0, y 1,, y n Interpoloinnissa etsitään funktiota P, joka annetuissa pisteissä x 0,, x n saa annetut arvot y 0,, y n, (21)

Lisätiedot

Yhdistetty funktio. Älä sekoita arvo- eli kuvajoukkoa maalijoukkoon! (wikipedian ongelma!)

Yhdistetty funktio. Älä sekoita arvo- eli kuvajoukkoa maalijoukkoon! (wikipedian ongelma!) Yhdistetty unktio TRIGONOMETRISET FUNKTIOT, MAA7 Määritelmä, yhdistetty unktio: Funktioiden ja g yhdistetty unktio g (luetaan g pallo ) määritellään yhtälöllä g g. Funktio g on ns. ulkounktio ja sisäunktio.

Lisätiedot

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä

Lisätiedot