4. Monikerroksinen perceptron

Koko: px
Aloita esitys sivulta:

Download "4. Monikerroksinen perceptron"

Transkriptio

1 Monikerroksinen perceptron 4.. Johdanto Tämä kappale käsittelee monikerroksista perceptronia kuvaten tarvittavat muutokset neuronin perusmalliin, jotta monimutkaisempia ongelmia kuin edellä pystytään ratkaisemaan. Oppimissääntö johdetaan, ja esimerkkejä kuvataan. tiloinaan päällä ja pois päältä, ei suo tietoa siitä, kuinka paljon painokertoimia pitäisi muuttaa. Täten aiemman kuvan 3.3. kynnysfunktio (askelfunktio) on liian rajoittava poistaessaan tietoa, joka olisi tarpeen oppimisessa. Verkko ei osaa määrätä, mitä painoarvoista pitäisi kasvattaa ja mitä ei eikä siis kykene muuttamaan niitä paremman ratkaisun löytämiseksi Perceptron mallin muuttaminen Ongelma Miten voidaan murtaa ongelma, joka aiheutuu perceptronin kyvyttömyydestä ratkaista ainoastaan lineaarisesti erottuvia ongelmia. Voidaan lähteä selvittämään tätä käyttämällä yhtä useampaa perceptronia, joista kukin tunnistaa syötteistä pienen, lineaarisesti erottuvan osan. Sitten yhdistetään näiden tulokset uudeksi perceptroniksi, joka tuottaisi lopullisen tuloksen. Tätä lähestymistapaa on sovellettu XOR ongelmaan kuvassa 4. Ajatusmalli näyttää ensinäkemältä hyvältä, mutta hieman tarkempi tarkastelu paljastaa, että perceptronien järjestely kerroksittain ei mahdollista oppimista. Edelleen jokainen rakenteen neuroni ottaa painotetun summansa, kynnystää tämän ja tulostaa arvon tai 0. Ensimmäisen kerroksen perceptronit saavat alkuperäiset syötteet, mutta sitä vastoin toisen kerroksen perceptronit saavat syötteensä ensimmäisen tuloksista. Tällöin toisen kerroksen perceptronit eivät tiedä, mitkä todellista syötteistä olivat arvoja. Ne tuntevat vain syötteensä, ensimmäisen kerroksen antamia tuloksia. Kun oppiminen merkitsee aktiivisten syötteiden ja aktiivisten yksiköiden välisten yhteyksien vahvistamista, on mahdotonta vahvistaa verkon oikeita osia, sillä välikerrokset salaavat todelliset syötteet tulosyksiköiltä. Kaksitilainen neuroni, Kuva 4.. Yhdistetyt perceptronit voisivat ratkaista XORongelman. Perceptron tunnistaa, onko kysymyksessä hahmo (0,), ja toinen tunnistaa hahmon (,0). Nämä yhdistäen perceptron 3 luokittelee syötteen oikein. Nämä ovat kuitenkin asetettava alunperin oikein eivätkä ne kykene oppimaan tätä luokitusta Ratkaisu Keino, jolla em. vaikeus askelfunktion kanssa käsitellään, on muuttaa tätä hieman. Kun sitä tasoitetaan niin, että se kääntyy päälle tai pois päältä enemmän tai vähemmän kuten aiemminkin, mutta käsittää keskikohdaltaan nousevan osan, saadaan riittävää

2 39 40 informaatiota. Tätä informaatiota syötteistä käytetään määräämään, pitääkö vahvistaa tai heikentää kyseisiä painoarvoja. Nyt verkko kykenee oppimaan. Kuvassa 4.2. on kaksi kynnysfunktiovaihtoehtoa. voimakkaampia kuin sopivasti valittu yksittäinen kerros. Näin on, koska kerros suorittaisi täysin lineaarin operaation syötteilleen, joka voitaisiin tiivistää yhteen operaatioon. Tämä on helposti ymmärrettävissä yksinkertaisella lineaarilla skaalausoperaatioesimerkillä. Jos verkko skaalaa ensimmäisellä kerroksellaan 5:llä ja toisella kerroksellaan 2:lla, niin tämä on ekvivalentti yksittäisen kerroksen kanssa, joka skaalaa suoraan 0:llä Uusi malli Perceptron yksiköt järjestetään kerroksittain uudessa mallissa, monikerroksisessa perceptronissa (ks. kuvaa 4.3.). Kuva 4.2. Kaksi kynnysfunktiotyyppiä. Kuvan 4.2. kummallakin funktiolla tuloksen arvo on käytännöllisesti katsoen, jos painotettu summa nousee merkittävästi kynnyksen yli. Vastaavasti ne saavat tuloksen lähes 0, jos painotettu summa on kynnysarvoa paljon pienempi. Silloin kun kynnysarvo ja painotettu summa ovat melkein yhtä suuret, neuronin tulokseksi tulee jokin arvo mainittujen ääriarvojen välistä. Näin ollen tulos on liitettävissä syötteisiin informatiivisemmalla tavalla kuin askelfunktion tapauksessa. Neuronin mallia on nyt kehitetty ongelman voittamiseksi, joka liittyi voimakkaasti rajoittavaan askelfunktioon. Monia mallin olennaisia ominaisuuksia on silti säilytetty. Jokainen neuroni laskee yhä painotetun summan ja kynnystää sen. Syöte ei enää ole yksinkertainen binääriarvo, vaan arvo ääriarvojen väliltä. Käytettävät kynnysfunktiot approksimoivat askelfunktiota, varsinkin välin ääriarvoissa. Omaksuttu kynnysfunktio on esitettyyn erityiseen ongelmaan hyvin sovitettu. On käytettävä epälineaaria kynnysfunktiota, koska perceptronyksikköjen kerrokset lineaarisine funktioineen eivät ole Kuva 4.3. Monikerrroksinen perceptron. Tässä mallissa on kolme kerrosta: syötekerros, tuloskerros ja kerros näiden välillä, piilokerros. Piilokerroksen ja tuloskerroksen yksiköt ovat perceptron yksikköjä, joiden kynnysfunktio on kuvan 4.2. sigmoidifunktio. Syötekerroksen yksiköt välittävät vastaanottamansa arvot seuraavalle kerrokselle eivätkä täten laske painotettua summaa tai kynnystä.

3 4 42 Piilokerroksen lisäämisen ja sigmoidifunktion käytön takia pitää myös oppimissääntöä muuttaa. Esitetty verkko tunnistaa aiempaa monimutkaisempia asioita Uusi oppimissääntö Monikerroksisen perceptronin uuden oppimissäännön kehittivät tutkijat Rumelhart, McClelland ja Williams (986). Tämä yleinen deltasääntö tai takaisinlevityssääntö (backpropagation rule) sysäsi neuroverkkotutkimuksen laajaan kehitykseen. Samankaltaisia ideoita olivat esittäneet jo aiemmin Parker (982) ja Werbos (974), mutta Rumelhart ja McClelland herättivät perceptronin henkiin edellisistä riippumatta. Pääperiaatteiltaan monikerroksinen perceptron on yksinkertaisen version kaltainen. Nyt sigmoidifunktion käyttäminen merkitsee kuitenkin, että on saatavilla riittävästi informaatiota tuloksesta aiempien kerrosten yksikköjä varten. Näin saadaan näiden yksikköjen painokertoimia säädettyä virheen vähentämiseksi jatkossa. Annettaessa alussa opettamattomalle verkolle syötehahmo se tuottaa luonnollisesti jonkin satunnaisen tuloksen. Pitää määritellä virhefunktio edustamaan verkon nykyisten tulosten ja haluttujen, oikeiden tulosten välistä virhettä. Koska on tunnettava oikeat hahmot, kysymyksessä on ohjattu oppiminen. On siis saatava verkon tulos lähestymään haluttua tulosta, ts. halutaan alati vähentää virhefunktion arvoa. Säädetään painoarvoja. Yleinen deltasääntö tekee tämän laskemalla virhefunktion arvon määrätylle syötteelle ja levittämällä takaisin (tästä engl. termi backpropagation) virheen kerroksesta tätä edeltävään. Verkon jokaisen yksikön painokertoimet säädetään vähentäen virhefunktion arvoa. Tunnettaessa tulosyksiköiden saadut tulokset ja halutut tulokset on suhteellisen helppoa säätää painokertoimia. Keskikerroksen tapauksessa säätö ei ole niin ilmeistä. Neuronin painokertoimia muutetaan suorassa suhteessa siihen yhdistettyjen yksiköiden virheeseen. Virheiden takaisinlevittäminen mahdollistaa kaikkien kerrosten painoarvojen korjaamisen. Näin virhefunktion arvoa vähennetään ja samalla opetetaan verkkoa. Käytetään seuraavia merkintöjä. E p on hahmon p virhefunktio, t on hahmon p solmussa j haluttu kohdetulos ja o solmun todellinen tulos. Solmusta i solmuun j menevän kaaren paino on w ij. 2 ( 4.) E p = ( t o ) 2 j Kaikille opittaville hahmoille määritellään virhefunktio suhteessa todellisen ja halutun tuloksen erotuksen neliöön. Kerroin ½ yksinkertaistaa laskentaa hivenen ja saattaa tämän virhefunktion vastaavien mittojen kaltaiseksi. Yksikön j aktivaatio hahmon p tapauksessa on (4.2) a = wijopi i eli yksinkertaisesti sama kuin yksikerroksisen perceptronin painotettu summa. Yksikön j tulos on kynnysfunktion f j arvo painotetulle summalle. Käytetään tavallisesti sigmoidifunktiota, vaikka muukin jatkuva derivoituva monotoninen funktio käy. ( 4.3) o = f j ( a ) Kirjoitetaan ketjusäännön perusteella. E p E p a (4.4) = wij a wij

4 43 44 Lasketaan kaavan (4.4.) jälkimmäinen termi aktivaatiolle (4.2) saaden ( 4.9) pwij = ηδ opi. (4.5) a wij = wkjopk wij k wkj = o pk k wij = opi Nyt on tunnettava δ jokaisen yksikön kohdalla. Tunnettaessa se voidaan E:tä pienentää. Saadaan se laskettua ketjusäännön avulla edeltä kaavasta (4.7). E p E p o (4.0) δ = = a o a Tarkastellaan tämän toista termiä soveltaen sitä kaavaan (4.3). sillä nyt on wkj ( 4.6) = 0 wij paitsi kun k=i, jolloin se on yhtä suuri kuin. Voidaan määritellä virheen muutosta verkon syötteiden muutoksen funktiona seuraavasti. E p (4.7) = δ a Näitä soveltaen kaavasta (4.4) saadaan seuraava yhtälö. E p (4.8.) = δ opi wij Virhefunktion arvon vähentäminen merkitsee painoarvojen muutosten suhteuttamista arvoon δ o pi, ts. o ( 4.) = f j '( a ) a Palataan nyt kaavan (4.0) ensimmäiseen termiin. Kaavan (4.) nojalla derivoidaan E p muuttujan o suhteen. Saadaan seuraava kaava. E p ( 4.2) = ( t o ) o ( 4.3) δ = f j '( a )( t o ) Tämä on käyttökelpoinen tulosyksiköille, koska haluttu tulos ja saatu tulos ovat molemmat kaavassa mukana, mutta ei käy piilokerroksille näiden haluttujen tulosten ollessa tuntemattomia. Jos j ei ole tulosyksikkö, ketjusäännön perusteella saadaan seuraava tulos käytettäessä kaavoja (4.2) ja (4.7) ja otettaessa

5 45 46 huomioon, että summa häviää ainoastaan yhden osittaisderivaatan ollessa nollasta eroava, kuten kaavassa (4.5). (4.4) (4.5) E p o E = a k E = a k = δ k p a pk pk o p pk o pk w jk w i ikopi Kun sijoitetaan (4.5) yhtälöön (4.0), saadaan lopulta tulos. (4.6) δ = f '( a ) δ j k pkw jk Tämä yhtälö edustaa virhefunktion muutosta verkon painoarvojen suhteessa. Virhefunktiota voidaan muuttaa ollen varma sen arvon pienentymisestä. Funktio on suhteessa virheisiin δ pk seuraavissa yksiköissä, joten virhe on laskettava ensin tulosyksiköissä (kaavan (4.3) mukaan) ja sitten välitettävä takaisin läpi verkon edeltäviin yksiköihin näiden yhteyksien painoarvojen muuttamiseksi. Tästä tulee algoritmin nimi takaisinlevitys eli backpropagation. Yhtälöt (4.3) ja (4.6) määrittelevät monikerrosverkon opettamisen. Yksi etu sigmoidifunktion käytöstä epälineaarisena kynnysfunktiona on erityisesti, että se muistuttaa askelfunktiota ja sillä on samantapaiset ominaisuudet. Sigmoidifunktio määritellään (4.7) f ( a) = ka + e ja se on määritelty välille 0<f(a)<. Symboli k on positiivinen vakio, joka määrää funktion leveyden. Suuret vakion k arvot pusertavat funktiota, kunnes k, jolloin f(a) askelfunktio. Lisäksi kun pienillä syötearvoilla sen kulmakerroin on melko jyrkkä eli funktion arvo muuttuu nopeasti, se toimii samalla vahvistuskertoimena antaen pienille syötearvoille suuren vahvistuksen. Suurille syötteille kulmakerroin ja täten vahvistuskin ovat paljon pienemmät. Verkko voi näin hyväksyä suuria syötteitä, mutta olla kuitenkin sensitiivinen pienille. Tärkeää sigmoidifunktiossa on sen derivaatan laskennan yksinkertaisuus. Tämä puolestaan tekee takaisinlevitysalgoritmin toteutuksesta yksinkertaisen. Olkoon yksikön tulos seuraava. (4.8) o = Yksikön derivaatta saadaan edelleen. (4.9) f '( a) = ke (+ e f ( a) = ka + e ka ka 2 ) = kf ( a)( f ( a)) = ko ( o ) Derivaatta on suoraviivainen tuloksen funktio Monikerroksisen perceptronin algoritmi Esitetään takaisinlevitysopetussääntö monikerroksiselle perceptronille. Yksiköillä on oltava epälineaariset, jatkuvat ja derivoituvat, siis tasaiset kaikkialla, kynnysfunktiot. Käytetään edellisen kappaleen sigmoidifunktiota.

6 47 48 Monikerroksisen perceptronin oppimisalgoritmi. Alusta painoarvot ja kynnysarvot: Aseta kaikki paino ja kynnysarvot pieniksi satunnaisluvuiksi. 2. Esitä syöte ja haluttu tulos: Olkoot syöte x p =(x 0,x,x 2,,x n ) ja haluttu tulos t p =(t 0, t,t 2,,t m ), missä n on syötesolmujen lukumäärä ja m tulossolmujen määrä. Aseta kertoimen w 0 arvoksi θ ja syötteen x 0 arvoksi aina. Vektorit x p ja t p vastaavat hahmoja. Luokittelun yhteydessä vektori t p asetetaan arvoiltaan nolliksi lukuunottamatta yhtä komponenttia. Tämä asetetaan arvoksi vastaten luokkaa, johon x p kuuluu. 3. Laske tulos: Jokainen kerros laskee tuloksen y = ( n f wi xi ) i= 0 Lasketaan tulosyksiköille: Lasketaan piiloyksiköille: δ = ko ( o )( t o ) δ = ko ( o ) δ k pk w jk Tässä summa lasketaan solmusta j ja siitä seuraavan kerroksen solmuihin lähtevien yhteyksien perusteella XOR ongelma uudelleen Edellä nähtiin yksikerroksisen perceptronin olevan kyvytön ratkaisemaan XOR ongelmaa. Tästä on tullut eräänlainen mitta uusien neuroverkkosysteemien suorituskyvylle. Monikerroksisen perceptronin ominaisuuksia saadaan sillä selville. Tilanne oli siis seuraava: ja välittää tämän syötteenään seuraavalle kerrokselle. Viimeinen kerros tulostaa arvot o. 4. Muokkaa painokertoimia: Aloita tuloskerroksesta ja laske taaksepäin verkossa. syöte tulos 0 0 w ( t + ) = w ( t) + ηδ o ij Tässä w ij (t) vastaa solmusta i solmuun j menevän yhteyden painoarvoa hetkellä t, η on vahvistuskerroin ja δ on hahmon p virhetermi solmussa j. ij pi Monikerroksisen perceptronin ensimmäinen testi on tämän ongelman ratkaisun tuottaminen. Kuvan 4.4. perusrakenteeltaan kaksikerroksinen verkko pystyy ratkaisemaan sen. Siinä on kolmantena kerroksena kaksi syöteyksikköä ja lisäksi yksi piilokerroksessa sekä yksi tuloskerroksessa. Piiloyksikkö tuottaa syöteyksiköiden tapaan uuden syötteen tulosyksikölle.

7 49 50 Voimme havaita piilokerroksesta, että se tunnistaa tapauksen, jossa molemmat syötteet ovat päällä. Tämähän oli ainoa tilanne, jossa se kääntyi päälle. Täten tulosyksikköön syötetään kolme tietoa: vasen syöte, oikea syöte ja piilokerroksen syöte eli ovatko molemmat syötteet päällä. Tällöin syötehahmot ovat riittävän erilaisia, jotta luokitus on mahdollista oppia. Kuva 4.4. Eräs XOR ongelman ratkaisu. Huomattakoon, että piiloyksikön kynnysarvo.5 merkitsee yksikön olevan pois päältä (0), elleivät molemmat syötteet ole päällä (). Kun molemmat syötteet ovat pois päältä (00), piilokerrros on myös eikä tulosyksikköön tule ollenkaan nollaa suurempaa syötettä, joten tämä jää pois päältä. Kun oikea syöte on päällä (0), piilokerros ei vastaanota riittävästi syötettä kääntyäkseen päälle. Tulosyksikkö saa syötteen +, joka ylittää kynnysarvon ja kääntää sen päälle. Sama tapahtuu vain vasemman syöteyksikön ollessa päällä (0). Molempien syötteiden ollessa päällä () piilokerros vastaanottaa syötteen +2, joka ylittää kynnysarvon ja kääntää sen päälle. Tulosyksikkö saa syötten + kummastakin syöteyksiköstä ja 2 piiloyksiköstä, mikä saa lopuksi aikaan tuloksen 0. Yhteenveto on seuraavassa taulukossa. Piilokerros toimii piirteiden tunnistajana. Se voidaan käsittää myös syötteiden uudelleenkoodaajana, jotta verkko voi oppia halutun kuvauksen syötehahmoilta tulokseksi. Koodaus tai sisäinen esitys on olennaista verkon toiminnalle. Annettaessa riittävä määrä piiloyksiköitä on mahdollista muodostaa sisäinen esitys mille tahansa syötehahmolle niin, että tulosyksiköt osaavat tuottaa oikean vastauksen määrätylle syötteelle. Yleistetty deltasääntö on käytettävissä monikerroksisen perceptronin opetukseen aikaansaaden tarpeelliset piilokerrosten sisäiset esitykset. On epätodennäköistä, että opetetun verkon painoarvot olisivat niin yksinkertaisia kuin em., mutta samat periaatteet pitävät kuitenkin paikkansa. Kuva 4.5. esittää erästä ratkaisua. syöte piiloyksikkö tulos 0 0 Kuva 4.5. XOR ongelman ratkaisulle opitut verkon paino ja kynnysarvot.

8 5 52 Monikerroksiset perceptronit voivat esiintyä monenmuotoisina ja kokoisina verkkoina. Sama oppimissääntö on silti kaikissa. Tällöin on mahdollista kehittää erilaisia verkkotopologioita samalle ongelmalle. XOR ongelmalle on eräs edellistä kiinnostavampi verkko sellainen, jossa ei ole ollenkaan välitöntä yhteyttä verkon syötteestä tulosyksikköön. Tällainen on esitetty kuvassa 4.6. Oikeanpuoleinen piiloyksikkö tunnistaa tapaukset, joissa molemmat syötteet ovat päällä, ja varmistaa tulosyksikön saavan välittömänä syötteenään nollan. Ainoastaan toisen verkon syötteistä ollessa päällä vasen piiloyksikkö on päällä kääntäen tulosyksikönkin päälle. Jos molemmat syötteet ovat pois päältä, piiloyksiköt ovat epäaktiivisia ja tulosyksikkö on pois päältä. Kuvan 4.7. verkko vastaa oikein syötteeseen hahmoille 00, 0 ja, mutta epäonnistuu syötteelle 0. Oikeanpuoleinen syöte kääntää molemmat piiloyksiköt päälle. Nämä generoivat tuloksen 0.8 annettavaksi tulosyksikölle. Arvo on sama kuin kynnysarvo. Kynnysfunktion ollessa sigmoidi saadaan tulos 0.5. Tämä tilanne on stabiili eikä muutu lisäopetuksella. Tällainen lokaalinen minimi esiintyy harvoin, keskimäärin % XORongelman tapauksessa. Kuva 4.7. Stabiili, mutta toimimaton ratkaisuyritys. Yksi toinen, pienehkö ongelma voi sattua verkkojen opetuksessa yleistä deltasääntöä käytettäessä. Kun painoarvojen muutokset ovat suhteessa itse painoarvoihin, jos systeemi alustetaan yhtäsuurilla painoarvoilla, erisuuria painoarvoja ei voida koskaan generoida, jolloin verkko ei voi asettua mahdollisesti tarvittavaan epäsymmetriseen ratkaisuun. Kuva 4.6. XOR ongelman ratkaiseva neuroverkko, jossa ei ole suoria yhteyksiä syöte ja tulossolmujen välillä. Oppimissääntö ei kuitenkaan välttämättä suppene, ja verkko saattaa joutua tilanteeseen, josta se ei osaa oppia oikeaa tulosta Neuroverkon käyttäytymisen visualisointi On havainnollista kuvata neuroverkon toimintaa visuaalisesti. Neuroverkko laskee virhe tai energiafunktion. 2 E p = ( t o ) 2

9 53 54 Tämä esittää arvoa, jonka verran verkon tulos eroaa halutusta tuloksesta. Suuret erot vastaavat suuria energioita, ja pienet vastaavat pieniä energioita. Kun verkon tulos on suhteessa yksikköjen ja käytetyn syötteen välisiin painoarvoihin, energia on painoarvojen ja verkon syötteiden funktio. Energiafunktio on esitettävissä kuvilla, jotka havainnollistavat vaihtelevien painoarvojen vaikutuksen energiaan, kun syötehahmo on kiinnitetty. Jos yksinkertaistetaan tilanne outoon neuroverkkoon, jossa vain yhtä painoarvoa muutetaan, energiafunktio voidaan piirtää painoarvon ja määrätyn hahmon kuvaajana (esim. kuva 4.8.). energia Kuva 4.8. Yksidimensioinen energiafunktio, kun ainoastaan yhtä painokerrointa pidetään muuttujana ja hahmoa kiinnitettynä. Laajennettaessa kahteen painokertoimeen muuttujina energiafunktio voisi olla esim. kuvan 4.9. kaltainen. w Kuva 4.9. Kaksidimensioinen energiafunktio. Huomaa (tumma) rotko oikealla. Kun lähtee liikkeelle keskikohdilta kuvan etuosasta ja etenee alamäkeä, voi päästä suoraan alas rotkoon tai takaoikealla olevan huipun ympäristöön riippuen siitä, kuinka usein tiedustellaan tietä alas ja tämän aloituskohtaa. Vasemmallakin on laakso, jossa on useita kuoppia pohjalla. Nämä lokaalit minimit voivat saada ratkaisun satimeen ja estää noin puolivälissä sijaitsevan syvemmän pisteen löytämisen. Verkon kaikkia painokertoimia voidaan luonnollisesti muuttaa. Vaikka tällaisia monidimensioisia energiafunktioita ei voi graafisen suoraviivaisesti kuvata, voidaan mieltää ne analogisina edelliselle kolmiulotteiselle esitysmuodolle. Energiapinta on vaihtelevasti aaltoilevaa mäkien ja laaksojen maastoa, missä minimienergiapisteet ovat kuiluissa ja maksimienergiapisteet huipuissa. Yleistetty deltasääntö pyrkii minimoimaan

10 55 56 virhefunktiota E muuttamalla verkon painoarvoja sopivasti, jotta ne tulevat matalimman energiapinnan tuottaviksi arvoiksi. Tämä tehdään laskeutuvan gradientin menetelmällä. Lasketaan energiafunktiota ja muutokset tehdään jyrkimpään suuntaan alaspäin. Ratkaisu löydetään varmasti yksinkertaisten energiapintojen tapauksissa. Kukin mahdollinen ratkaisu löydetään pinnan kuopasta tai altaasta. Tällaiset monidimensioiset vetovoimasyvänteet esittävät painoarvojen ratkaisuja, jotka tuottavat oikeita tuloksia annetuille syötteille. Energiapinta voidaan kuvitella laajaksi, joustavaksi pinnaksi, joka on aluksi tasainen. Vetovoimasyvänteet muodostetaan asettamalla siihen painavia palloja. Tasaiseen muotoon tulee tällöin kuiluja. Kuilun pohja edustaa verkon oppimaa matalaenergistä ratkaisua. Voidaan tarkastella monidimensioista painoarvoavaruutta. Siinä avaruuden piste kuvaa mahdollisten painoarvojen kombinaatiota, joka neuroverkolla voisi olla. Edellä tarkasteltiin painoarvojen muuttumista syötteen ollessa kiinteä. Yhtä hyvin voidaan kiinnittää painoarvot ja vaihdella syötteitä. Siksi kukin painoarvoavaruuden piste määrittelee erilaisen energiapinnan, jossa muuttujina ovat hahmot ja näitä vastaavat energiat. Tästä on esimerkkinä kuva 4.0. A A B A A B B B B A A Säädetään painoarvoa suuntaan, joka suosii hahmoa A. Kuva 4.0. Verkon painoarvoja muuttamalla muutetaan energiakäyrää. Painoarvon muutos vasemmalta oikealle suosii hahmoa A, sillä tämä laskee hahmon energiaa hahmon B kustannuksella. B Monet monikerroksisten perceptronien ominaisuuksista on kätevästi nähtävissä energiapintojen avulla Monikerroksiset perceptronit luokittelijoina Edellä pohdiskeltiin monikerroksisen perceptronin suorituskykyä lineearisesti erottumattoman XOR ongelman tapauksessa. Yksikerroksinen perceptron on rajoittunut yhden erotustason (tai suoran) laskemiseen, minkä vuoksi se ei pysty ratkaisemaan monimutkaisia ongelmia, kuten XOR. Lisäämällä kerroksia neuroverkkoon XOR ongelma on mahdollista ratkaista. Tarkastellaan kuvan 4.. kolmen yksikön verkkoa. Kuva 4.. Kaksi perceptronia on yhdistetty tuottamaan syötettä kolmannelle. Mikäli toisen kerroksen yksikön kynnys on sopivasti asetettu, jotta se kääntyy päälle ainoastaan ensimmäisen kerroksen molempien yksiköiden ollessa päällä, verkko suorittaa loogisen operaation AND. Kun ensimmäisen kerroksen kumpikin yksikkö määrittelee suoran (ominaisuuden) hahmoavaruudessa, toisen kerroksen yksikkö luokittelee näiden ominaisuuksien perusteella. Jos toinen syöteyksikkö on asetettu vastaamaan arvolla syötteen ollessa kyseisen päätössuoransa yläpuolella ja toinen syöteyksikkö vastaavasti arvolla saman syötteen ollessa oman päätössuoransa alapuolella, niin toisen kerroksen yksikkö antaa ratkaisun esim. kuvan 4.2. mukaisena; tulos on, jos syöte on suoran yläpuolella ja suoran 2 alapuolella.

11 57 58 suora mennä päällekkäin tai olla toisistaan erillisiä tuottaen mielivaltaisesti valittuja muotoja. suora 2 Kuva 4.2. Kolme perceptronia: yhdistämällä kaksi perceptronia kolmanteen saadaan päätösalue. Voidaan käyttää kahta useampaa yksikköä ensimmäisessä kerroksessa, joka aikaansaa hahmoavaruuden jaon, kahta useamman suoran kombinaatiolla. Näin muodostetut alueet ovat kaikki konvekseja alueita tai konvekseja peitteitä. Konveksi peite on alue, jossa mikä tahansa piste voidaan yhdistää mihin tahansa alueen toiseen pisteeseen janalla, joka ei ylitä alueen rajaviivaa. Alueet voivat olla suljettuja tai avoimia. Suljetulla on raja ympäri koko alan, mutta avoimella ei. Suljettuja ovat esim. kolmiot ja ympyrät ja avoimia kahden yhdensuuntaisen suoran välinen alue (kuva 4.3.). Kuva 4.3. Esimerkkejä suljetuista ja avoimista konvekseista peitteistä. Lisäämällä yksikköjä ensimmäiseen kerrokseen saadaan määriteltyä yhä enemmän sivuja tai reunoja. Edellisen perusteella on ilmeistä, että alueen sivujen kokonaismäärä on enintään sama kuin yksikköjen määrä ensimmäisessä kerroksessa ja näin määritellyt alueet ovat yhä konvekseja. Jos lisätään uusi kerros, tämän kerroksen yksiköt saavat syötteinään, ei suoria, vaan konvekseja peitteitä, ja näiden kombinaatiot eivät välttämättä ole enää konvekseja (kuva 4.4.). Konveksien alueiden kombinaatiot saattavat leikata toisensa, Kuva 4.4. Esimerkkejä mielivaltaisesti muodostetuista alueista vaihtelevien konveksien alueiden kombinaatioina.

12 59 60 Kolme kerrosta perceptron yksikköjä voivat muodostaa mielivaltaisen monimutkaisia muotoja ja kykenevät erottamaan mitä luokkia tahansa. Muotojen monimutkaisuutta rajoittaa verkon solmujen lukumäärä, sillä nämä määrittelevät alueen sivujen määrän. Tämä tarkoittaa, että kolmea enempää (prosessoivia) kerroksia ei verkossa tarvita mielivaltaisen monimutkaisten muotojen tuottamiseksi. Kyseessä on Kolmogorovin teoreema, jonka todistusta ei tässä käsitellä. Perceptronin luokituskyvystä on yhteenveto kuvassa 4.5. lukumäärällä tarkoitetaan vain muuttuvat painokertoimet käsittäviä kerroksia ja toisinaan solmut käsittäviä. Tästä saattaa tulla sekaannusta, koska ensimmäisen kerroksen syötekerroksen solmut ainoastaan välittävät syötteen seuraaville kerroksille, mutta eivät mitenkään prosessoi niitä, ts. laske summia tai kynnystä. Joskus nämä syötesolmut on jätetty verkkoja esittävistä kuvista kokonaan pois (esim. kuva 4.5.), mikä voi aiheuttaa epämääräisyyttä esitykseen. Prosessoimatta tietoa mitenkään syötesolmut välittävät tiedon eteenpäin ensimmäiselle perceptron kerrokselle, johon johtavilla yhteyksillä eli kaarilla on adaptiivisia painoarvoja. Vastaanottava kerros laskee yhteen saamiaan painotettuja syötteitä ja kynnystää tulokset. Tämä kerros pystyy muodostamaan luokittelusuoria hahmoavaruudessa. Ensimmäinen varsinainen eli perceptron kerros välittää tuloksensa toiselle perceptron kerrokselle painotettujen yhteyksiensä välityksellä. Tämä vastaanottava kerros kykenee muodostamaan konvekseja peitteitä hahmoavaruudessa. Kolmas perceptron kerros saavutetaan vastaavasti. Se osaa määritellä mielivaltaisen muotoisia alueita hahmoavaruudessa. On kauan tiedetty monikerroksisten perceptronien pystyvän enempään kuin yksikerroksisten. Yleisen deltasäännön esittäminen mahdollisti oppimisen monikerroksisille eteenpäin syöttäville verkoille. Epälineaarin sigmoidifunktion soveltaminen perceptron yksiköissä muuntaa päättelysuoran (tason moniulotteisessa avaruudessa) tasaiseksi käyräksi. Muodostetut alueet ovat nyt tasaisten käyrien rajoittamia, mutta kaksi tai kolme (eli kolme tai neli ) kerroksisten verkkojen alueiden kompleksisuus pysyy samana, mitä edellä on mainittu. Kuva 4.5. Neuroverkkoja sekä vastaavat päätösalueet; geometrinen tulkinta piiloyksiköiden roolista kaksidimensioisen syöteavaruuden tapauksessa. (Mainitut kerrokset ovat oppivia.) Neuroverkkokirjallisuus on epäyhtenäistä, mitä tulee verkkojen kerrosten määrän esittämiseen. Toisinaan kerrosten Laskemalla aktiiviset perceptron kerrokset saatiin kolmekerroksinen neuroverkko. Otettaessa huomioon myös syötekerros kerroksia on kaikkiaan neljä. Jälkimmäinen verkon rakenteen määritelmä on kuvaavampi ja näin ollen parempi kuin edellinen (kuva 4.6.).

13 Yleistys vain nämä. perceptron kerros 2. perceptron 3. perceptronsolmut antavat kerros kerros syötteitä suorat konveksit alueet... syötteiden lukumäärä määrää ratkaisun suorien määrän aktiiviset yksiköt mielivaltaisen muotoiset alueet Kuva 4.6. Eri perceptron kerrosten lukumäärien määräämät rajat. Hahmojen luokitusta voidaan pohtia toisinkin. Jokaisen syötehahmon on kuuluttava johonkin luokkaan. On siis olemassa kuvaus syötteestä tarvittavaan luokkaan. Kuvaus on ymmärettävissä funktiona, joka muuntaa syötehahmon oikeaan tulosluokkaan. Jos verkko osaa tehdä tämän, sen sanotaan oppineen luokituksen oikein. Mikä tahansa funktio olipa se kuinka monimutkainen ylipäänsä on esitettävissä monikerroksisella verkolla. Kolme prosessoivaa eli oppivaa kerrosta riittää: syötekerros, kaksi piilokerrosta ja tuloskerros. Tämä em. Kolmogorovin teoreema on tärkeä tulos osoittaessaan, että mikä tahansa neljällä tai useammalla prosessoivalla kerroksella suoritettava tehtävä on suoritettavissa kolmellakin. Se rajoittaa tarvittavien kerroksien määrää, mutta ei valitettavasti määrittele mitenkään, montako solmua verkko vaatii, kuinka nämä pitäisi yhdistää kaarilla ja miten kaarten painoarvot pitäisi asettaa. Neuroverkkojen keskeisimpiä ominaisuuksia on niiden kyky yleistää, so. luokitella onnistuneesti hahmoja, joita ei ole verkolle aiemmin esitetty. Monikerroksiset perceptronit yleistävät tunnistamalla syötehahmojen piirteitä, jotka verkko on oppinut merkitseviksi ja koodannut sisäiseen esitykseensä. Tuntematon hahmo luokitellaan sellaisten mukaan, jotka jakavat samat erottavat piirteet. Johtopäätöksenä voidaan vetää, että oppiminen esimerkin mukaan on käyttökelpoinen menettelytapa. Riittää opettaa verkolle edustava hahmojoukko, ja yleistysominaisuudet sallivat samankaltaisten syötteiden luokittelun. Myös kohinaisten eli häiriöllisten syötteiden luokittelu on mahdollista niiden muistuttaessa puhtaita syötteitä. Yleistysominaisuus tekee monikerroksisista perceptroneista suorituskykyisiä verrattuna tosimaailman ongelmien ratkaisussa muihin hahmontunnistusmenetelmiin tai asiantuntijamenetelmiin. Neuroverkot ovat hyviä interpoloimaan, mutta eivät niin hyviä ekstrapoloimaan. Ne osaavat tunnistaa hahmot, jotka esiintyvät annetussa syötteessä ja sallivat näiden välissä olevien, aiemmin esiintymättömien hahmojen tunnistamisen. Sen sijaan syötteet, jotka ovat tunnetun hahmoalueen laajennuksia, ovat luokiteltavissa heikommin, sillä on vähän vertailutapauksia. Kun on siis annettu aiemmin tuntematon hahmo, joka on kahden aiemmin opetetun hahmon välimuoto, verkko luokittelee sen vallitsevan hahmon mukaan. Jos hahmo ei vastaa mitään samankaltaista, verkon aiemmin tuntemaa, luokittelu onnistuu edellistä huonommin Vikasietoisuus Monikerroksiset perceptron verkot ovat itsessään vikasietoisia. Ne koostuvat hajautetuista, rinnakkaisista laskentaelementeistä,

14 63 64 joista kukin solmu vaikuttaa lopulliseen tulokseen. Jos solmu tai sen painoarvot menetetään tai vahingoittuvat, muisti huononee laadullisesti, mutta tiedon hajautettu luonne merkitsee, että vaurion pitää olla laaja ennen, kuin verkon vaste huononee paljon. Niinpä verkko demonstroi tuolloin pikemmin suorituskyvyn siedettävää laskua kuin katastrofista virhettä. Neuroverkot ovat myös kohinasietoisia sisäisen kykynsä ansiosta yleistää opituista esimerkeistä alkuperäishahmojen vääristyneisiin versioihin. Verkon vauriosta olipa se muutamien solmujen menetystä tai kohinaa opetusjoukossa voidaan toipua uudelleenoppimisella. Monesti toipuminen on tällöin nopeaa (kuva 4.7). Siinä prosessi suppeni hitaasti pitkin pohjaa. Vaurio häiritsee, mutta melko todennäköisesti verkko siirtyy tilaan, jossa on suuri gradientti oikeaan suuntaan. Verkko toipuu nopeasti prosessin edetessä jyrkän gradientin mukaan alkuperäiseen ratkaisuun. 4.. Oppimisvaikeuksia XOR ongelma havainnollisti joitakin monikerroksisen perceptronin vaikeuksia. Verkko saattaa asettua stabiiliin tilaan, joka ei anna oikeaa ratkaisua. Energiafunktio on silloin lokaalissa minimissä. Yrittipä verkko suunnata mihin suuntaan tahansa energiapinnalla, energia on suurempi kuin nykyisessä pisteessä. Ylitettävänä on ehkä vain pieni parras tai reuna, jotta todellinen, syvempi minimi saavutettaisiin. Verkko ei voi kuitenkaan tietää tätä, koska oppiminen tapahtuu energianfunktion mennessä alas jyrkimpään suuntaan, kunnes se saavuttaa kuilun pohjan. Siellä ei enää voi löytää mitään suuntaa, jonka kautta voisi vähentää energiaa. Seuraavaksi luonnehditaan vaihtoehtoisia lähestymistapoja tällaisten sattumusten minimoimiseksi. Vahvistuskertoimen pienentäminen aluksi hidasta suppenemista pohjaa pitkin kohti ratkaisua vaurio nopea toipuminen kohti ratkaisua Jos painoarvojen muutoksen nopeutta enenevästi vähennetään, laskeutuvan gradientin menetelmä pystyy saamaan paremman ratkaisun kiinteään nopeuteen verrattuna. Jos vahvistuskerroin (oppimisnopeus) η on aluksi suuri, suuria askelia otetaan pitkin painoarvo ja energia avaruutta kohti ratkaisua. Pienennettäessä sitä neuroverkon painoarvot asettuvat minimienergiatilaan ilman ylilyöntiä stabiilista pisteestä, sillä silloin otetaan aiempaa pienempiä askelia alaspäin. Verkko voi ohittaa näin lokaaleja minimejä ja sitten toivottavasti löytää ja asettuu oskilloimatta joihinkin syvempiin minimeihin. Vahvistuskertoimen pienentäminen merkitsee toisaalta perusmenetelmään nähden hitaampaa suppenemista. Kuva 4.7. Nopea toipuminen vauriosta uudelleenoppimisessa.

15 65 66 Sisäsolmujen lisäys Lokaalien minimien esiintyminen voidaan mieltää kahden tai useamman erillisen luokan määrittelemisenä samaksi luokaksi. Tämä merkitsee piilokerroksien heikkoa sisäistä esitystä. Yksiköiden lisääminen niihin mahdollistaa paremman syötteiden uudelleenkoodauksen ja vähentää lokaalien minimien esiintymistä. Momenttitermi Painoarvojen muutoksille voidaan antaa momentti tai voima ottamalla käyttöön painojen säätöyhtälöön lisätermi, joka generoi suuren muutoksen painoarvoon muutosten ollessa kyseisellä hetkellä suuria ja vähentää sitä muutosten pienetessä. Neuroverkko takertuu nyt perusmenetelmää harvemmin lokaaleihin minimeihin, koska momenttitermi työntää muutokset energiafunktion lokaalien nousujen eli reunojen yli ja pitäytyy laskevassa yleiskehityksessä. Momentti on suurena apuna nopeuttaessaan suppenemista matalien gradienttien mukaan sallien verkon valitseman polun kerätä nopeutta alaspäin. Energiapinta saattaa käsittää pitkiä vähittäin laskevia uria tai kouruja, jotka päättyvät minimeihin. Suppeneminen on hidasta pitkin sellaisia uria, koska pakosta seurattavan suunnan gradientit ovat pieniä ja tavallisesti algoritmi oskilloi pitkin uraa mutkitellessaan kohti ratkaisua (vrt. kuvaa 4.8.). Tätä on vaikea nopeuttaa, mutta momenttitermin lisääminen on melko hyvä keino. Se voidaan tehdä seuraavasti. p w ji ( t + ) = w ( t) + o + ( w ( t) w ( t )) ji Symboli α on momenttitekijä, 0<α<. pi ji ji polku läpi energia avaruuden ilman momenttia momentin vaikuttama polku Kuva 4.8. Momenttitermin lisääminen voi nopeuttaa suppenemista, varsinkin pitkissä urissa. Kohinan lisääminen Lisättäessä kohinaa häiritään laskeutuvan gradientin algoritmia jyrkimmän laskeutumisen suunnassa. Monesti tämä kohina riittää ravistelemaan systeemiä lokaaleista minimeistä. Lähestymistavan etuna on vain vähäinen laskenta ajan lisäys, eikä se täten ole merkittävästi hitaampi kuin perusalgoritmi. Muita oppimisongelmia Pääasiallinen kritiikki monikerroksisen perceptronin kohdalla kohdistuu siihen, että se vaatii syötehahmojen monia esittämisiä ja vastaavan laskennan ja virheen takaisinlevittämisen

16 67 68 toistamista kullekin hahmolle ennen, kuin neuroverkko osaa asettua stabiiliin tilaan. Laskeutuvan gradientin menetelmä on ominaisuuksiltaan hidas monimutkaisella pinnalla energiapinnan monimutkaisuuden takia. Momenttitermin lisäys auttaa, kuten edellä mainittiin. Toinen tapa nopeuttaa prosessia on muuttaa kerrointa η prosessin aikana. Edelleen voidaan ottaa huomioon toisen kertaluvun vaikutuksia gradienttimenetelmässä. Tämä tosin monimutkaistaa laskentaa Radiaalikantafunktiot Radiaalikantafunktiot ovat laajennus standardimonikerrosperceptroniin. Nämä ovat epälineaaristen funktioiden joukko, joka on yhdistetty yhdeksi funktioksi hahmoavaruuden jakamista varten. Tavallinen monikerrosperceptron rakentaa luokittelunsa hypertasoista, jotka on määritelty painotetuilla summilla: w ij x Nämä ovat epälineaaristen funktioiden argumentteja. Sitä vastoin radiaalikantamenetelmä käyttää hyperellipsoideja hahmoavaruuden jakamiseen. Nämä määritellään funktioilla missä normisymbolit viittaavat johonkin etäisyysmittaan. Lauseke kuvaa eräänlaisen monidimensioisen ellipsin, sillä se esittää funktiota, jonka argumentti on suhteessa etäisyyteen keskipisteestä y. Funktiolla s, joka jakaa avaruuden, on komponentit s k c dimensioisessa avaruudessa: Se on kantafunktioidensa lineaarikombinaatio. s k φ j i ( x y ) m = φ j= jk ( x y ) j Radiaalikantafunktioiden käytön etu on, että kun kantafunktiot on valittu, ei tarvitse muuta, kuin ainoastaan määrätä kunkin kertoimet λ j antaakseen niiden jakaa avaruuden oikein. Koska nämä kertoimet lisätään lineaarisella tavalla, ongelma on eksaktia tyyppiä. Sillä on varmasti ratkaisu, koska ei ole olemassa ikäviä lokaaleja minimejä. Täten radiaalikantafunktiot laajentavat syötteet korkeampidimensioiseen avaruuteen, jossa ne ovat nyt lineaaristi erottuvia. Tämä lähestymistapa antaa takeet funktiosta, joka osuu kaikkiin datapisteisiin, kunhan on olemassa kantafunktio kullekin luokiteltavalle syötteelle. Mikäli on kantafunktio jokaiselle syötteelle, niin myös kohinaiset tai poikkeavat datapisteet luokitellaan, mikä voi aiheuttaa vääristymää. Tämä aiheuttaa puolestaan ongelmia yleistyksessä. Kun luokittelupinta ei ole välttämättä tasainen, hyvin samanlaiset syötteet saattavat määräytyä eri luokkiin. Ratkaisuna on vähentää kantafunktioiden määrää tasolle, jolla hyväksyttävä osuvuus dataan on vielä saatavissa. Tällöin edellä esitetty eksakti ongelma tulee lineaarin optimoinnin ongelmaksi, mutta tämäkään ei ole monimutkainen ja silti luokittelupinta tulee tasaiseksi datapisteiden välillä. Radiaalikantafunktioiden valintaan on käytössä tavallisesti kaksi vaihtoehtoista menettelyä. Jos datan ominaisuuksia ei tunneta etukäteen, kantafunktiot valitaan niin, että ne osuvat tai sovittuvat tasaisesti jakautuneisiin pisteisiin kautta mahdollisten syötteiden joukon. Jos syötteiden kokonaisrakennetta tunnetaan, on parempi kokeilla ja peilata tuota rakennetta funktioiden valinnassa. Tavoite saavutetaan helpoimmin valitsemalla funktioon sovitettavaksi syötepisteiden osajoukko, jolla pitäisi olla samanlainen jakauma kuin koko syötejoukolla. Funktioksi φ valitaan yleensä Gaussin funktio:

17 69 70 φ( r) = e Etäisyysmitta on euklidinen (tarkkaan ottaen sen neliö, kun ei ole neliöjuurta mukana): x y = Tässä y tarkoittaa hyperellipsoidin keskipistettä. Konstruktio voidaan esittää nyt kuvan 4.9. neuroverkkona. syötekerros piilokerros tuloskerros y ij φ λ jk i Kuva 4.9. Eteenpäinsyöttävä verkko esittää radiaalikantafunktiot. Ensimmäisen kerroksen termit y ij ovat kiinteät. Piilokerroksen solmuihin annetaan syöte euklidisen etäisyysmitan mukaan: r 2 2 ( x i yi ) Piilokerros on täysin yhdistetty tuloskerrokseen painokertoimineen λ jk, jotka on lineaarisesti optimoitava. Radiaalikantafunktioiden käyttö on hyödyllistä, koska ne tarvitsevat ainoastaan lineaarisia optimointimenetelmiä, jotka antavat taatun globaalin optimiratkaisun. Niiden vaikeutena on kantafunktioiden joukon valinta, jotta hyväksyttävä osuvuus datan kanssa saataisiin Sovelluksia NETtalk n ( xi yij i= Yksi tunnetuimmista neuroverkkosovelluksista oli NETtalk, monikerroksellinen perceptron, joka oppi ääntämään englanninkielistä tekstiä. Sen julkaisivat T. Sejnowski ja C. Rosenberg v Neuroverkko käsitti 203 syöteyksikköä, 80 piiloyksikköä ja 26 tulosyksikköä. Tulosyksiköt vastaavat englannin kielen fonemeeja, perusäänteitä eli kielen kaikkien sanojen perusosia (kuva 4.20.). Seitsemän kirjaimen levyistä ikkunaa liikutetaan tekstin yli, ja verkko oppii ääntämään ikkunan keskimmäisen kirjaimen. Tekstin ikkunointi ennen ja jälkeen äännetyn merkin vastaa kontekstista riippuvasta tiedosta. Sanan kirjainten äänteet riippuvat itse sanasta, esim. kirjaimen a erilaiset ääntämiset sanoissa mean, lamb ja class. Kiinnostava verkon piirre oli sen pikkulasten puheenmuodostusta muistuttava ominaisuus. Painokertoimien ollessa aluksi satunnaisia se tuotti epäyhtenäistä sorinaa. Sitten se tuotti puhutun englannin kielen nousevia ja laskevia pääpiirteitä. Toistettu opetus aikaansai yhä älykkäämpää puhetta. ) 2

18 7 72 opettaja /k/ oooooooooo 26 tulosyksikköä lentoyhtiön epäonnistuneesta arvioinnista, paljonko peruutuspaikkoja loppujen lopuksi tulee. Lentoyhtiöhän tietää niitä tulevan jonkin verran, joten sen kannalta lievä ylivaraus olisi taloudellisesti tuottavin taktiikka. Matkustajan joutuessa ylivarauksen takia odottamaan seuraavaa lentoa kustannukset (esim. matkustajan yövyttäminen hotellissa) ovat suuremmat kuin tyhjän paikan lennättämisen. Kaiken kaikkiaan päättelyongelma on vaikea. oooooooooooooooooooo 80 piiloyksikköä Lentoliikenteen markkinointitaktikko tai järjestelijä (Airline Marketing Tactician, AMT) on kaksitasoinen proseduuri. Ensimmäinen taso käsittää monikerroksisen perceptronin paikkatarpeen ennustamiseen. Toinen taso varaa lentoliikenneresursseja vastaamaan tähän laskettuun kysyntään soveltaen tavanomaisia optimointimenetelmiä. oooo oooo oooo oooo oooo oooo oooo 7x29 syöteyksikköä a c a t teksti sopivasti koodattuna Kuva NETtalk neuroverkon rakenne. Opetusjoukolla testattaessa neuroverkko tuotti noin 90 % oikeaa foneemien ääntämistä. Kun sen yleistämiskykyä testattiin satunnaisilla, verkolle aiemmin tuntemattomilla sanoilla, verkko osasi ääntää oikein % sanoista tuloksen parantuessa opetusjoukon kasvaessa. Verkko oli myös vastustuskykyinen painokertoimiin lisättyyn satunnaiskohinaan nähden osoittaen tuolloin lievästi heikentynyttä suorituskykyä Lentoliikenteen järjestelijä Varattaessa lentolippu saattaa lentokoneessa tämän aikanaan noustessa olla paljon tyhjiä paikkoja. Se on lentoyhtiön ongelma, mutta ei ole sitä suoranaisesti matkustajan kannalta välillisesti lipun hinnoissa ehkä. Matkustajan mäkökulmasta epämieluisaa on mahdollinen paikkojen ylivaraus. Tämä johtuu Kaksitasoinen systeemi osoittautui paremmaksi kuin koko tehtävän sisältävä yksitasoinen, koska neuroverkon ennusteita voidaan tarkistaa ja säätää todelliseen kysyntään verraten. Systeemi käsittää kaksi verkkoa. Toinen ennustaa paikkojen kysynnän kuutisen kuukautta eteenpäin ja saa syötteenään viikonpäivän, lennon ajankohdan sekä lippujen hinnat. Hintaluokkien välillä on riippuvuutta, sillä jos lippuja on saatavilla huomattavalla alennuksella, näitä kalliimpien lippujen kysyntä vastaavasti heikkenee. Verkot opetetetaan lentoyhtiön historiadatojen mukaan. Tällaisten systeemien tyypillinen ongelma on, ettei ole olemassa mitään kiinnitettyä ideaaliratkaisua. Optimaalinen markkinointi ja varaus muuttuvat maailman muuttuessa ja erilaisten tekijöiden tullessa peliin. Minkä tahansa ennustavan systeemin on jatkuvasti sopeuduttuva muuttuviin syötteisiin. Tämä on luonnollinen tehtävä neuroverkoille, mutta ongelmallinen ei oppiville systeemeille. Neuroverkoilla on tässä mielessä erityinen etu ja valmius kaupalliseen käyttöön, jossa tämäkin systeemi on ollut.

19 EKG signaalin kohinan suodatus Elektrokardiogrammi (EKG, ECG) eli sydänsähkökäyrä kuvaa potilaan sydämenlyöntejä ja toimintaa. EKG signaalien mittausja analyysilaitteistot ovat moninaisessa käytössä terveydenhuollossa ja lääketieteellisessä tutkimuksessa. Yleensä pintaelektrodeilla iholta mitattaessa fysiologisiin signaaleihin tulee monenlaista häiriötä. Tätä kohinaa eliminoidaan ja tasoitetaan sekä analogisella että digitaalisella suodatuksella, mutta jälkimmäisellä voidaan toteuttaa monimuotoisempia ja tehokkaampia filtterejä eli suotimia. Nykyään neuroverkkoja käytetään lukuisten erilaisten signaalien ei vain fysiologisten kohinan suodatukseen ja muuhunkin käsittelyyn. Esimerkkitapaus (Hecht Nielsen Neurocomputer Company) käsittää verkon, jossa on 50 syöteyksikköä, 2 piiloyksikköä ja yksi tulosyksikkö. Se ottaa siis kerrallaan 50 ajallisesti peräkkäistä näytettä digitoidusta kohinaisesta signaalista. Tuloksen suuruus vastaa suodatusikkunan keskeltä suodatetun näytteen arvoa. Verkko käyttää näin näytteitä sekä ennen ikkunan keskimmäistä näytettä että tämän jälkeen hyödyntääkseen kontekstista riippuvaa informaatiota (kuten monesti toki muutkin suotimet). Tämän menneen ja tulevan informaation käytön tähden verkko on aina hivenen ajallisesti jäljessä todellisesta mitatun signaalin nykyhetkestä. Verkon opetusta varten 520 ikkunallista EKG signaaleja mitattiin hevosesta käyttäen näytteenottotaajuutta 200 Hz (näytettä/sekunti). Mittaukset suoritettiin huolellisesti ja mahdollisimman kohinattomasti. Keinotekoinen, satunnaistettu kohina lisättiin siihen jälkikäteen. Neuroverkko opetettiin tuottamaan alkuperäistä signaalia kohinaisesta. Verkkoa opetettiin 20 kertaa opetusjoukolla ja testattiin sitten nostaen samalla kohinatasoa. Verkko tuotti erittäin hyviä tuloksia verrattuna mm. adaptiivisiin lineaarisiin suotimiin, silloinkin kun kohinataso oli korkea. Neuroverkkoja on kehitetty myös sydämenlyöntien luokitukseen, so. tunnistamaan ja erottamaan normaaleja epänormaaleista, mahdollisesti joihinkin vaurioihin tai sairauksiin viittaavista lyönneistä Finanssisovelluksia Neuroverkkoja on yritetty käyttää osakemarkkinoiden ennustamiseen. Neuroverkkoja on kokeiltu valuuttakurssien vaihtelun ennustamiseen, esim. Japanin jenin ja USA:n dollarin välillä. Niitä on kehitetty obligaatiokaupan avuksi sekä moniin muihinkin finanssisovelluksiin, kuten lainojen ja vakuutusten riskianalyysiin Hahmontunnistus Vaikka on kehitelty mitä erilaisimpia neuroverkkosovelluksia, perimmäisissä lähtökohdissaan ne operoivat hahmontunnistukselle ominaisesti. Tietysti on myös lukuisia yhteyksiä, joissa neuroverkot ovat käytössä reaalisissa hahmontunnistustehtävissä, mm. konenäkö ja kohteiden tunnistaminen. Neuroverkkoja on kehitetty lentokoneiden tunnistamiseen ja maaston tunnistamiseen navigointisysteemien yhteyteen. Kaikuluotainmittausten kohteen tunnistamisessa niitä on käytetty onnistuneesti. Neuroverkkoja on kehitelty moniin konenäkötehtäviin, esim. rautateiden tasoristeysten valvontaan. Nähdessään ihmisen ylittävän tasoristeystä systeemin neuroverkko antaa suuren tulosarvon, joka varoittaa turvalaitteita. Sovelluksessa on kuitenkin monia ongelmia voitettavana. Neuroverkon on annettava yhtenäisesti suuri tulosarvo, milloin tahansa on paljon ihmisiä tasoristeyksen ympärillä, olipa heitä yksi tai useampi, kävelivätpä tai juoksivatpa he ja olivatpa he lapsia tai aikuisia.

20 75 Verkon on osattava erottaa näköpiirissään ihmisistä putoavat puiden lehdet, oksat ja pienet eläimet ym. Sen on selviydyttävä erilaisissa valaistusolosuhteissa, päivästä yöhön ja keväästä talveen. Monissa yhteyksissä, esim. puhelinyhtiöissä, tutkitaan neuroverkkojen käyttöä puheen prosessoinnissa, tunnistamisessa ja syntetisoinnissa. Neuroverkot näyttävät olevan tässä lupaava menetelmä, ja niillä tehdään tutkimusta tässä samoin kuin laajemminkin ihmisen ja koneen välisessä käyttöliittymätutkimuksessa. Merkkien tunnistaminen on tarpeellista monissa kaupallisissa sovelluksissa (ks. kuva 4.2.). Tyypillinen ongelma on tunnistaa käsinkirjoitettua tekstiä, varsinkin nimikirjoituksia. Shekit ovat olleet laajasti käytössä monen maan rahaliikenteessä. Näiden allekirjoitusten tunnistamiseen on kehitetty pankkien käyttöön neuroverkkosysteemejä. Ihmisasiantuntijoiden tarkkuus on luokkaa % tässä tehtävässä, jossa tunnistus riippuu hyvin paljon allekirjoituksen tyylistä ja piirteistä. Eräässä sovelluksessa käytettiin 75 nimikirjoitusesiintymän opetusjoukkoa, jonka perusteella perceptron verkko osasi tunnistaa peräti % testimateriaalista. Kuva 4.2. Neuroverkkoja käytetään käsinkirjoitettujen merkkien tunnistamisessa.

Kognitiivinen mallintaminen Neuraalimallinnus, luento 1

Kognitiivinen mallintaminen Neuraalimallinnus, luento 1 Kognitiivinen mallintaminen Neuraalimallinnus, luento 1 Nelli Salminen nelli.salminen@helsinki.fi D433 Neuraalimallinnuksen osuus neljä luentokertaa, muutokset alla olevaan suunnitelmaan todennäköisiä

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3. luento 17.11.2017 Neuroverkon opettaminen (ohjattu oppiminen) Neuroverkkoa opetetaan syöte-tavoite-pareilla

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 4. luento 24.11.2017 Neuroverkon opettaminen - gradienttimenetelmä Neuroverkkoa opetetaan syöte-tavoite-pareilla

Lisätiedot

Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun

Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Sami Hokuni 12 Syyskuuta, 2012 1/ 54 Sami Hokuni Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Turun Yliopisto. Gradu tehty 2012 kevään

Lisätiedot

Johdatus tekoälyn taustalla olevaan matematiikkaan

Johdatus tekoälyn taustalla olevaan matematiikkaan Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 2. luento 10.11.2017 Keinotekoiset neuroverkot Neuroverkko koostuu syöte- ja ulostulokerroksesta

Lisätiedot

JOHDATUS TEKOÄLYYN TEEMU ROOS

JOHDATUS TEKOÄLYYN TEEMU ROOS JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN

Lisätiedot

Kognitiivinen mallintaminen. Nelli Salminen

Kognitiivinen mallintaminen. Nelli Salminen Kognitiivinen mallintaminen Neuraalimallinnus 24.11. Nelli Salminen nelli.salminen@tkk.fi Tällä kerralla ohjelmassa vielä perseptronista ja backpropagationista kilpaileva oppiminen, Kohosen verkko oppimissääntöjen

Lisätiedot

Yhtälöryhmät 1/6 Sisältö ESITIEDOT: yhtälöt

Yhtälöryhmät 1/6 Sisältö ESITIEDOT: yhtälöt Yhtälöryhmät 1/6 Sisältö Yhtälöryhmä Yhtälöryhmässä on useita yhtälöitä ja yleensä myös useita tuntemattomia. Tavoitteena on löytää tuntemattomille sellaiset arvot, että kaikki yhtälöt toteutuvat samanaikaisesti.

Lisätiedot

Tällä kerralla ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus Kertausta: Perseptronin oppimissääntö

Tällä kerralla ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus Kertausta: Perseptronin oppimissääntö Tällä kerralla ohjelmassa Kognitiivinen mallintaminen Neuraalimallinnus 19.2. Nelli Salminen nelli.salminen@helsinki.fi D433 vielä perseptronista ja backpropagationista kilpaileva oppiminen, Kohosen verkko

Lisätiedot

Kombinatorinen optimointi

Kombinatorinen optimointi Kombinatorinen optimointi Sallittujen pisteiden lukumäärä on äärellinen Periaatteessa ratkaisu löydetään käymällä läpi kaikki pisteet Käytännössä lukumäärä on niin suuri, että tämä on mahdotonta Usein

Lisätiedot

ImageRecognition toteutus

ImageRecognition toteutus ImageRecognition toteutus Simo Korkolainen 27 kesäkuuta 2016 Projektin tarkoituksena on tehdä ohjelma, joka opettaa neuroverkon tunnistamaan kuvia backpropagation-algoritmin avulla Neuroverkon opetuksessa

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 8 Väliarvolause Oletetaan, että funktio f on jatkuva jollain reaalilukuvälillä [a, b] ja derivoituva avoimella välillä (a, b). Funktion muutos tällä välillä on luonnollisesti

Lisätiedot

JOHDATUS TEKOÄLYYN TEEMU ROOS

JOHDATUS TEKOÄLYYN TEEMU ROOS JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN

Lisätiedot

JOHDATUS TEKOÄLYYN TEEMU ROOS

JOHDATUS TEKOÄLYYN TEEMU ROOS JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0007 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A000 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2..205 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x x 2 =

Lisätiedot

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.

Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5. 2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2

Lisätiedot

Johdatus tekoälymatematiikkaan (kurssilla Johdatus Watson-tekn

Johdatus tekoälymatematiikkaan (kurssilla Johdatus Watson-tekn Johdatus tekoälymatematiikkaan (kurssilla Johdatus Watson-tekniikkaan ITKA352) Informaatioteknologian tiedekunta Jyväskylän yliopisto 23.3.2018 Tekoälyn historiaa 6 1 Introduction Kuva Fig. lähteestä 1.3

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Kimppu-suodatus-menetelmä

Kimppu-suodatus-menetelmä Kimppu-suodatus-menetelmä 2. toukokuuta 2016 Kimppu-suodatus-menetelmä on kehitetty epäsileiden optimointitehtävien ratkaisemista varten. Menetelmässä approksimoidaan epäsileitä funktioita aligradienttikimpulla.

Lisätiedot

Antti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16

Antti Rasila. Kevät Matematiikan ja systeemianalyysin laitos Aalto-yliopisto. Antti Rasila (Aalto-yliopisto) MS-A0204 Kevät / 16 MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Antti Rasila Matematiikan ja systeemianalyysin laitos

Lisätiedot

2 Osittaisderivaattojen sovelluksia

2 Osittaisderivaattojen sovelluksia 2 Osittaisderivaattojen sovelluksia 2.1 Ääriarvot Yhden muuttujan funktiolla f(x) on lokaali maksimiarvo (lokaali minimiarvo) pisteessä a, jos f(x) f(a) (f(x) f(a)) kaikilla x:n arvoilla riittävän lähellä

Lisätiedot

TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA)

TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA) JOHDATUS TEKOÄLYYN TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA) KONEOPPIMISEN LAJIT OHJATTU OPPIMINEN: - ESIMERKIT OVAT PAREJA (X, Y), TAVOITTEENA ON OPPIA ENNUSTAMAAN Y ANNETTUNA X.

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 10 1 Funktion monotonisuus Derivoituva funktio f on aidosti kasvava, jos sen derivaatta on positiivinen eli jos f (x) > 0. Funktio on aidosti vähenevä jos sen derivaatta

Lisätiedot

Demo 1: Simplex-menetelmä

Demo 1: Simplex-menetelmä MS-C2105 Optimoinnin perusteet Malliratkaisut 3 Ehtamo Demo 1: Simplex-menetelmä Muodosta lineaarisen tehtävän standardimuoto ja ratkaise tehtävä taulukkomuotoisella Simplex-algoritmilla. max 5x 1 + 4x

Lisätiedot

, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1).

, on säännöllinen 2-ulotteinen pinta. Määrää T x0 pisteessä x 0 = (0, 1, 1). HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 017 Harjoitus 4 Ratkaisuehdotukset 4.1. Osoita, että tasa-arvojoukko S F (0), F : R 3 R, F (x) = 3x 1 x 3 + e x + x e x 3, on säännöllinen

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila

Lisätiedot

1 Kertaus. Lineaarinen optimointitehtävä on muotoa:

1 Kertaus. Lineaarinen optimointitehtävä on muotoa: 1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n

Lisätiedot

3.3 Paraabeli toisen asteen polynomifunktion kuvaajana. Toisen asteen epäyhtälö

3.3 Paraabeli toisen asteen polynomifunktion kuvaajana. Toisen asteen epäyhtälö 3.3 Paraabeli toisen asteen polynomifunktion kuvaajana. Toisen asteen epäyhtälö Yhtälön (tai funktion) y = a + b + c, missä a 0, kuvaaja ei ole suora, mutta ei ole yhtälökään ensimmäistä astetta. Funktioiden

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33

Numeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33 Numeeriset menetelmät TIEA381 Luento 12 Kirsi Valjus Jyväskylän yliopisto Luento 12 () Numeeriset menetelmät 25.4.2013 1 / 33 Luennon 2 sisältö Tavallisten differentiaaliyhtälöiden numeriikasta Rungen

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen

Lisätiedot

MS-A0003/A0005 Matriisilaskenta Malliratkaisut 5 / vko 48

MS-A0003/A0005 Matriisilaskenta Malliratkaisut 5 / vko 48 MS-A3/A5 Matriisilaskenta Malliratkaisut 5 / vko 48 Tehtävä (L): a) Onko 4 3 sitä vastaava ominaisarvo? b) Onko λ = 3 matriisin matriisin 2 2 3 2 3 7 9 4 5 2 4 4 ominaisvektori? Jos on, mikä on ominaisarvo?

Lisätiedot

A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä.

A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä. Esimerkki otteluvoiton todennäköisyys A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä. Yksittäisessä pelissä A voittaa todennäköisyydellä p ja B todennäköisyydellä q =

Lisätiedot

Lineaarikuvausten. Lineaarikuvaus. Lineaarikuvauksia. Ydin. Matriisin ydin. aiheita. Aiheet. Lineaarikuvaus. Lineaarikuvauksen matriisi

Lineaarikuvausten. Lineaarikuvaus. Lineaarikuvauksia. Ydin. Matriisin ydin. aiheita. Aiheet. Lineaarikuvaus. Lineaarikuvauksen matriisi Lineaarikuvaukset aiheita ten ten 1 Matematiikassa sana lineaarinen liitetään kahden lineaariavaruuden väliseen kuvaukseen. ten Määritelmä Olkoon (L, +, ) ja (M, ˆ+, ˆ ) reaalisia lineaariavaruuksia, ja

Lisätiedot

MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I

MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I MS-A0207 Differentiaali- ja integraalilaskenta 2 (Chem) Yhteenveto, osa I G. Gripenberg Aalto-yliopisto 21. tammikuuta 2016 G. Gripenberg (Aalto-yliopisto) MS-A0207 Differentiaali- ja integraalilaskenta

Lisätiedot

T Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1

T Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1 T-61.281 Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti 10.2.2004, 8:30-10:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:

Lisätiedot

12. Hessen matriisi. Ääriarvoteoriaa

12. Hessen matriisi. Ääriarvoteoriaa 179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä

Lisätiedot

Matematiikan taito 9, RATKAISUT. , jolloin. . Vast. ]0,2] arvot.

Matematiikan taito 9, RATKAISUT. , jolloin. . Vast. ]0,2] arvot. 7 Sovelluksia 90 a) Koska sin saa kaikki välillä [,] olevat arvot, niin funktion f ( ) = sin pienin arvo on = ja suurin arvo on ( ) = b) Koska sin saa kaikki välillä [0,] olevat arvot, niin funktion f

Lisätiedot

Yhtälönratkaisusta. Johanna Rämö, Helsingin yliopisto. 22. syyskuuta 2014

Yhtälönratkaisusta. Johanna Rämö, Helsingin yliopisto. 22. syyskuuta 2014 Yhtälönratkaisusta Johanna Rämö, Helsingin yliopisto 22. syyskuuta 2014 Yhtälönratkaisu on koulusta tuttua, mutta usein sitä tehdään mekaanisesti sen kummempia ajattelematta. Jotta pystytään ratkaisemaan

Lisätiedot

T Syksy 2004 Logiikka tietotekniikassa: perusteet Laskuharjoitus 7 (opetusmoniste, kappaleet )

T Syksy 2004 Logiikka tietotekniikassa: perusteet Laskuharjoitus 7 (opetusmoniste, kappaleet ) T-79144 Syksy 2004 Logiikka tietotekniikassa: perusteet Laskuharjoitus 7 (opetusmoniste, kappaleet 11-22) 26 29102004 1 Ilmaise seuraavat lauseet predikaattilogiikalla: a) Jokin porteista on viallinen

Lisätiedot

LUKU 3. Ulkoinen derivaatta. dx i 1. dx i 2. ω i1,i 2,...,i k

LUKU 3. Ulkoinen derivaatta. dx i 1. dx i 2. ω i1,i 2,...,i k LUKU 3 Ulkoinen derivaatta Olkoot A R n alue k n ja ω jatkuvasti derivoituva k-muoto alueessa A Muoto ω voidaan esittää summana ω = ω i1 i 2 i k dx i 1 dx i 2 1 i 1

Lisätiedot

Talousmatematiikan perusteet: Luento 14. Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu

Talousmatematiikan perusteet: Luento 14. Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu Talousmatematiikan perusteet: Luento 14 Rajoittamaton optimointi Hessen matriisi Ominaisarvot Ääriarvon laadun tarkastelu Luennolla 6 Tarkastelimme yhden muuttujan funktion f(x) rajoittamatonta optimointia

Lisätiedot

Vektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on

Vektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on 13 Pistetulo Avaruuksissa R 2 ja R 3 on totuttu puhumaan vektorien pituuksista ja vektoreiden välisistä kulmista. Kuten tavallista, näiden käsitteiden yleistäminen korkeampiulotteisiin avaruuksiin ei onnistu

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35 Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 4 Jatkuvuus Jatkuvan funktion määritelmä Tarkastellaan funktiota f x) jossakin tietyssä pisteessä x 0. Tämä funktio on tässä pisteessä joko jatkuva tai epäjatkuva. Jatkuvuuden

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 10 1 Lokaalit ääriarvot Yhden muuttujan funktion f (x) lokaali maksimi on piste x 0, jossa f (x) on suurempi kuin muualle pisteen x 0 ympäristössä, eli kun f (x 0 )

Lisätiedot

Diplomi-insinööri- ja arkkitehtikoulutuksen yhteisvalinta 2017 Insinöörivalinnan matematiikan koe , Ratkaisut (Sarja A)

Diplomi-insinööri- ja arkkitehtikoulutuksen yhteisvalinta 2017 Insinöörivalinnan matematiikan koe , Ratkaisut (Sarja A) Diplomi-insinööri- ja arkkitehtikoulutuksen yhteisvalinta 017 Insinöörivalinnan matematiikan koe 30..017, Ratkaisut (Sarja A) 1. a) Lukujen 9, 0, 3 ja x keskiarvo on. Määritä x. (1 p.) b) Mitkä reaaliluvut

Lisätiedot

Tänään ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus laskarit. Ensi kerralla (11.3.)

Tänään ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus laskarit. Ensi kerralla (11.3.) Tänään ohjelmassa Kognitiivinen mallintaminen Neuraalimallinnus 26.2. Nelli Salminen nelli.salminen@helsinki.fi D433 autoassosiaatio, attraktorin käsite esimerkkitapaus: kolme eri tapaa mallintaa kategorista

Lisätiedot

Datatähti 2019 loppu

Datatähti 2019 loppu Datatähti 2019 loppu task type time limit memory limit A Summa standard 1.00 s 512 MB B Bittijono standard 1.00 s 512 MB C Auringonlasku standard 1.00 s 512 MB D Binääripuu standard 1.00 s 512 MB E Funktio

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 9 1 Implisiittinen derivointi Tarkastellaan nyt yhtälöä F(x, y) = c, jossa x ja y ovat muuttujia ja c on vakio Esimerkki tällaisesta yhtälöstä on x 2 y 5 + 5xy = 14

Lisätiedot

z 1+i (a) f (z) = 3z 4 5z 3 + 2z (b) f (z) = z 4z + 1 f (z) = 12z 3 15z 2 + 2

z 1+i (a) f (z) = 3z 4 5z 3 + 2z (b) f (z) = z 4z + 1 f (z) = 12z 3 15z 2 + 2 BM20A5700 - Integraauunnokset Harjoitus 2 1. Laske seuraavat raja-arvot. -kohta ratkeaa, kun pistät sekä yläkerran että alakerran muotoon (z z 1 )(z z 2 ), missä siis z 1 ja z 2 ovat näiden lausekkeiden

Lisätiedot

LIITE 1 VIRHEEN ARVIOINNISTA

LIITE 1 VIRHEEN ARVIOINNISTA Oulun yliopisto Fysiikan opetuslaboratorio Fysiikan laboratoriotyöt 1 1 LIITE 1 VIRHEEN RVIOINNIST Mihin tarvitset virheen arviointia? Mittaustuloksiin sisältyy aina virhettä, vaikka mittauslaite olisi

Lisätiedot

Lineaarinen yhtälöryhmä

Lineaarinen yhtälöryhmä Lineaarinen yhtälöryhmä 1 / 39 Lineaarinen yhtälö Määritelmä 1 Lineaarinen yhtälö on muotoa a 1 x 1 + a 2 x 2 + + a n x n = b, missä a i, b R, i = 1,..., n ovat tunnettuja ja x i R, i = 1,..., n ovat tuntemattomia.

Lisätiedot

b 1. b m ) + ( 2b Ax) + (b b)

b 1. b m ) + ( 2b Ax) + (b b) TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}

Lisätiedot

f(x, y) = x 2 y 2 f(0, t) = t 2 < 0 < t 2 = f(t, 0) kaikilla t 0.

f(x, y) = x 2 y 2 f(0, t) = t 2 < 0 < t 2 = f(t, 0) kaikilla t 0. Ääriarvon laatu Jatkuvasti derivoituvan funktion f lokaali ääriarvokohta (x 0, y 0 ) on aina kriittinen piste (ts. f x (x, y) = f y (x, y) = 0, kun x = x 0 ja y = y 0 ), mutta kriittinen piste ei ole aina

Lisätiedot

MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio.

MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. MS-A0207 Differentiaali- ja integraalilaskenta 2 Luento 5: Gradientti ja suunnattu derivaatta. Vektoriarvoiset funktiot. Taylor-approksimaatio. Riikka Korte Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33

Numeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33 Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden

Lisätiedot

A-osa. Ratkaise kaikki tämän osan tehtävät. Tehtävät arvostellaan pistein 0-6. Taulukkokirjaa saa käyttää apuna, laskinta ei.

A-osa. Ratkaise kaikki tämän osan tehtävät. Tehtävät arvostellaan pistein 0-6. Taulukkokirjaa saa käyttää apuna, laskinta ei. PITKÄ MATEMATIIKKA PRELIMINÄÄRIKOE 7..07 NIMI: A-osa. Ratkaise kaikki tämän osan tehtävät. Tehtävät arvostellaan pistein 0-. Taulukkokirjaa saa käyttää apuna, laskinta ei.. Valitse oikea vaihtoehto ja

Lisätiedot

MS-A0004/A0006 Matriisilaskenta

MS-A0004/A0006 Matriisilaskenta 4. MS-A4/A6 Matriisilaskenta 4. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto..25 Tarkastellaan neliömatriiseja. Kun matriisilla kerrotaan vektoria, vektorin

Lisätiedot

Kaksiluokkainen tapaus, lineaarinen päätöspinta, lineaarisesti erottuvat luokat

Kaksiluokkainen tapaus, lineaarinen päätöspinta, lineaarisesti erottuvat luokat 1 Tukivektoriluokittelija Tukivektorikoneeseen (support vector machine) perustuva luoikittelija on tilastollisen koneoppimisen teoriaan perustuva lineaarinen luokittelija. Perusajatus on sovittaa kahden

Lisätiedot

Cantorin joukon suoristuvuus tasossa

Cantorin joukon suoristuvuus tasossa Cantorin joukon suoristuvuus tasossa LuK-tutkielma Miika Savolainen 2380207 Matemaattisten tieteiden laitos Oulun yliopisto Syksy 2016 Sisältö Johdanto 2 1 Cantorin joukon esittely 2 2 Suoristuvuus ja

Lisätiedot

Tekoäly ja koneoppiminen metsävaratiedon apuna

Tekoäly ja koneoppiminen metsävaratiedon apuna Tekoäly ja koneoppiminen metsävaratiedon apuna Arbonaut Oy ja LUT University 26. marraskuuta 2018 Metsätieteen päivä 2018 Koneoppimisen kohteena ovat lukujen sijasta jakaumat Esimerkki 1 Koneoppimisessa

Lisätiedot

5.3 Suoran ja toisen asteen käyrän yhteiset pisteet

5.3 Suoran ja toisen asteen käyrän yhteiset pisteet .3 Suoran ja toisen asteen käyrän yhteiset pisteet Tämän asian taustana on ratkaista sellainen yhtälöpari, missä yhtälöistä toinen on ensiasteinen ja toinen toista astetta. Tällainen pari ratkeaa aina

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 2 Lisää osamurtoja Tutkitaan jälleen rationaalifunktion P(x)/Q(x) integrointia. Aiemmin käsittelimme tapauksen, jossa nimittäjä voidaan esittää muodossa Q(x) = a(x x

Lisätiedot

1 Ensimmäisen asteen polynomifunktio

1 Ensimmäisen asteen polynomifunktio Ensimmäisen asteen polynomifunktio ENNAKKOTEHTÄVÄT. a) f(x) = x 4 b) Nollakohdassa funktio f saa arvon nolla eli kuvaaja kohtaa x-akselin. Kuvaajan perusteella funktion nollakohta on x,. c) Funktion f

Lisätiedot

Injektio (1/3) Funktio f on injektio, joss. f (x 1 ) = f (x 2 ) x 1 = x 2 x 1, x 2 D(f )

Injektio (1/3) Funktio f on injektio, joss. f (x 1 ) = f (x 2 ) x 1 = x 2 x 1, x 2 D(f ) Injektio (1/3) Määritelmä Funktio f on injektio, joss f (x 1 ) = f (x 2 ) x 1 = x 2 x 1, x 2 D(f ) Seurauksia: Jatkuva injektio on siis aina joko aidosti kasvava tai aidosti vähenevä Injektiolla on enintään

Lisätiedot

2.3 Juurien laatu. Juurien ja kertoimien väliset yhtälöt. Jako tekijöihin. b b 4ac = 2

2.3 Juurien laatu. Juurien ja kertoimien väliset yhtälöt. Jako tekijöihin. b b 4ac = 2 .3 Juurien laatu. Juurien ja kertoimien väliset yhtälöt. Jako tekijöihin. Toisen asteen yhtälön a + b + c 0 ratkaisukaavassa neliöjuuren alla olevaa lauseketta b b 4ac + a b b 4ac a D b 4 ac sanotaan yhtälön

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 8 1 Funktion kuperuussuunnat Derivoituva funktio f (x) on pisteessä x aidosti konveksi, jos sen toinen derivaatta on positiivinen f (x) > 0. Vastaavasti f (x) on aidosti

Lisätiedot

10.2. Säteenjäljitys ja radiositeettialgoritmi. Säteenjäljitys

10.2. Säteenjäljitys ja radiositeettialgoritmi. Säteenjäljitys 10.2. Säteenjäljitys ja radiositeettialgoritmi Säteenjäljitys Säteenjäljityksessä (T. Whitted 1980) valonsäteiden kulkema reitti etsitään käänteisessä järjestyksessä katsojan silmästä takaisin kuvaan valolähteeseen

Lisätiedot

Osakesalkun optimointi. Anni Halkola Turun yliopisto 2016

Osakesalkun optimointi. Anni Halkola Turun yliopisto 2016 Osakesalkun optimointi Anni Halkola Turun yliopisto 2016 Artikkeli Gleb Beliakov & Adil Bagirov (2006) Non-smooth optimization methods for computation of the Conditional Value-at-risk and portfolio optimization.

Lisätiedot

T Luonnollisten kielten tilastollinen käsittely

T Luonnollisten kielten tilastollinen käsittely T-61.281 Luonnollisten kielten tilastollinen käsittely Vastaukset 3, ti 11.2.2003, 16:15-18:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:

Lisätiedot

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Jarmo Malinen Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto Kevät 2016 1 Perustuu

Lisätiedot

Kolmannen ja neljännen asteen yhtälöistä

Kolmannen ja neljännen asteen yhtälöistä Solmu /019 7 Kolmannen neljännen asteen yhtälöistä Esa V. Vesalainen Matematik och statistik, Åbo Akademi Tämän pienen artikkelin tarkoituksena on satuilla hieman algebrallisista yhtälöistä. Erityisesti

Lisätiedot

Duaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki

Duaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Duaalisuus kokonaislukuoptimoinnissa Mat-2.4191, Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Sisältö Duaalisuus binäärisissä optimointitehtävissä Lagrangen duaalisuus Lagrangen

Lisätiedot

Derivaatta: funktion approksimaatio lineaarikuvauksella.

Derivaatta: funktion approksimaatio lineaarikuvauksella. Viikko 5 Tällä viikolla yleistetään R 2 :n ja R 3 :n vektorialgebran peruskäsitteet n-ulotteiseen avaruuteen R n, ja määritellään lineaarikuvaus. Tarkastellaan funktioita, joiden määrittelyjoukko on n-ulotteisen

Lisätiedot

Konsensusongelma hajautetuissa järjestelmissä. Niko Välimäki Hajautetut algoritmit -seminaari

Konsensusongelma hajautetuissa järjestelmissä. Niko Välimäki Hajautetut algoritmit -seminaari Konsensusongelma hajautetuissa järjestelmissä Niko Välimäki 30.11.2007 Hajautetut algoritmit -seminaari Konsensusongelma Päätöksen muodostaminen hajautetussa järjestelmässä Prosessien välinen viestintä

Lisätiedot

IV. TASAINEN SUPPENEMINEN. f(x) = lim. jokaista ε > 0 ja x A kohti n ε,x N s.e. n n

IV. TASAINEN SUPPENEMINEN. f(x) = lim. jokaista ε > 0 ja x A kohti n ε,x N s.e. n n IV. TASAINEN SUPPENEMINEN IV.. Funktiojonon tasainen suppeneminen Olkoon A R joukko ja f n : A R funktio, n =, 2, 3,..., jolloin jokaisella x A muodostuu lukujono f x, f 2 x,.... Jos tämä jono suppenee

Lisätiedot

Oletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U

Oletetaan ensin, että tangenttitaso on olemassa. Nyt pinnalla S on koordinaattiesitys ψ, jolle pätee että kaikilla x V U HY / Matematiikan ja tilastotieteen laitos Vektorianalyysi II, syksy 018 Harjoitus 4 Ratkaisuehdotukset Tehtävä 1. Olkoon U R avoin joukko ja ϕ = (ϕ 1, ϕ, ϕ 3 ) : U R 3 kaksiulotteisen C 1 -alkeispinnan

Lisätiedot

Suora 1/5 Sisältö ESITIEDOT: vektori, koordinaatistot, piste

Suora 1/5 Sisältö ESITIEDOT: vektori, koordinaatistot, piste Suora 1/5 Sisältö KATSO MYÖS:, vektorialgebra, geometriset probleemat, taso Suora geometrisena peruskäsitteenä Pisteen ohella suora on geometrinen peruskäsite, jota varsinaisesti ei määritellä. Alkeisgeometriassa

Lisätiedot

1 Rajoittamaton optimointi

1 Rajoittamaton optimointi Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y

Lisätiedot

6. Differentiaaliyhtälösysteemien laadullista teoriaa.

6. Differentiaaliyhtälösysteemien laadullista teoriaa. 1 MAT-13450 LAAJA MATEMATIIKKA 5 Tampereen teknillinen yliopisto Risto Silvennoinen Kevät 2010 6. Differentiaaliyhtälösysteemien laadullista teoriaa. Olemme keskittyneet tässä kurssissa ensimmäisen kertaluvun

Lisätiedot

Talousmatematiikan perusteet: Luento 12. Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla

Talousmatematiikan perusteet: Luento 12. Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla Talousmatematiikan perusteet: Luento 12 Lineaarinen optimointitehtävä Graafinen ratkaisu Ratkaisu Excel Solverilla Esimerkki Esim. Yritys tekee kahta elintarviketeollisuuden käyttämää puolivalmistetta,

Lisätiedot

58131 Tietorakenteet (kevät 2009) Harjoitus 6, ratkaisuja (Antti Laaksonen)

58131 Tietorakenteet (kevät 2009) Harjoitus 6, ratkaisuja (Antti Laaksonen) 58131 Tietorakenteet (kevät 2009) Harjoitus 6, ratkaisuja (Antti Laaksonen) 1. Avaimet 1, 2, 3 ja 4 mahtuvat samaan lehtisolmuun. Tässä tapauksessa puussa on vain yksi solmu, joka on samaan aikaan juurisolmu

Lisätiedot

2 Pistejoukko koordinaatistossa

2 Pistejoukko koordinaatistossa Pistejoukko koordinaatistossa Ennakkotehtävät 1. a) Esimerkiksi: b) Pisteet sijaitsevat pystysuoralla suoralla, joka leikkaa x-akselin kohdassa x =. c) Yhtälö on x =. d) Sijoitetaan joitain ehdon toteuttavia

Lisätiedot

Luku 8. Aluekyselyt. 8.1 Summataulukko

Luku 8. Aluekyselyt. 8.1 Summataulukko Luku 8 Aluekyselyt Aluekysely on tiettyä taulukon väliä koskeva kysely. Tyypillisiä aluekyselyitä ovat, mikä on taulukon välin lukujen summa tai pienin luku välillä. Esimerkiksi seuraavassa taulukossa

Lisätiedot

17. Differentiaaliyhtälösysteemien laadullista teoriaa.

17. Differentiaaliyhtälösysteemien laadullista teoriaa. 99 17. Differentiaaliyhtälösysteemien laadullista teoriaa. Differentiaaliyhtälön x'(t) = f(x(t),t), x(t) n määrittelemän systeemin sanotaan olevan autonominen, jos oikea puoli ei eksplisiittisesti riipu

Lisätiedot

Tee-se-itse -tekoäly

Tee-se-itse -tekoäly Tee-se-itse -tekoäly Avainsanat: koneoppiminen, tekoäly, neuroverkko Luokkataso: 6.-9. luokka, lukio, yliopisto Välineet: kynä, muistilappuja tai kertakäyttömukeja, herneitä tms. pieniä esineitä Kuvaus:

Lisätiedot

7.4 Sormenjälkitekniikka

7.4 Sormenjälkitekniikka 7.4 Sormenjälkitekniikka Tarkastellaan ensimmäisenä esimerkkinä pitkien merkkijonojen vertailua. Ongelma: Ajatellaan, että kaksi n-bittistä (n 1) tiedostoa x ja y sijaitsee eri tietokoneilla. Halutaan

Lisätiedot

Sekalaiset tehtävät, 11. syyskuuta 2005, sivu 1 / 13. Tehtäviä

Sekalaiset tehtävät, 11. syyskuuta 2005, sivu 1 / 13. Tehtäviä Sekalaiset tehtävät, 11. syyskuuta 005, sivu 1 / 13 Tehtäviä Tehtävä 1. Johda toiseen asteen yhtälön ax + bx + c = 0, a 0 ratkaisukaava. Tehtävä. Määrittele joukon A R pienin yläraja sup A ja suurin alaraja

Lisätiedot

MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 4: Derivaatta

MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 4: Derivaatta MS-A010{3,4} (ELEC*) Differentiaali- ja integraalilaskenta 1 Luento 4: Derivaatta Pekka Alestalo, Jarmo Malinen Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos 21.9.2016 Pekka Alestalo, Jarmo

Lisätiedot

Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus

Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen

Lisätiedot

MS-A0102 Differentiaali- ja integraalilaskenta 1

MS-A0102 Differentiaali- ja integraalilaskenta 1 MS-A0102 Differentiaali- ja integraalilaskenta 1 Riikka Korte (Pekka Alestalon kalvojen pohjalta) Aalto-yliopisto 24.10.2016 Sisältö Derivaatta 1.1 Derivaatta Erilaisia lähestymistapoja: I geometrinen

Lisätiedot

Ratkaisut vuosien tehtäviin

Ratkaisut vuosien tehtäviin Ratkaisut vuosien 1978 1987 tehtäviin Kaikki tehtävät ovat pitkän matematiikan kokeista. Eräissä tehtävissä on kaksi alakohtaa; ne olivat kokelaalle vaihtoehtoisia. 1978 Osoita, ettei mikään käyrän y 2

Lisätiedot

Oletetaan, että funktio f on määritelty jollakin välillä ]x 0 δ, x 0 + δ[. Sen derivaatta pisteessä x 0 on

Oletetaan, että funktio f on määritelty jollakin välillä ]x 0 δ, x 0 + δ[. Sen derivaatta pisteessä x 0 on Derivaatta Erilaisia lähestymistapoja: geometrinen (käyrän tangentti sekanttien raja-asentona) fysikaalinen (ajasta riippuvan funktion hetkellinen muutosnopeus) 1 / 19 Derivaatan määritelmä Määritelmä

Lisätiedot

4.3 Moniulotteinen Riemannin integraali

4.3 Moniulotteinen Riemannin integraali 4.3 Moniulotteinen Riemannin integraali Tässä luvussa opitaan miten integroidaan usean muuttujan reaaliarvoista tai vektoriarvoista funktiota, millaisten joukkojen yli jatkuvaa funktiota voi integroida,

Lisätiedot

Selvästi. F (a) F (y) < r x d aina, kun a y < δ. Kolmioepäyhtälön nojalla x F (y) x F (a) + F (a) F (y) < d + r x d = r x

Selvästi. F (a) F (y) < r x d aina, kun a y < δ. Kolmioepäyhtälön nojalla x F (y) x F (a) + F (a) F (y) < d + r x d = r x Seuraavaksi tarkastellaan C 1 -sileiden pintojen eräitä ominaisuuksia. Lemma 2.7.1. Olkoon S R m sellainen C 1 -sileä pinta, että S on C 1 -funktion F : R m R eräs tasa-arvojoukko. Tällöin S on avaruuden

Lisätiedot

Kanta ja Kannan-vaihto

Kanta ja Kannan-vaihto ja Kannan-vaihto 1 Olkoon L vektoriavaruus. Äärellinen joukko L:n vektoreita V = { v 1, v 2,..., v n } on kanta, jos (1) Jokainen L:n vektori voidaan lausua v-vektoreiden lineaarikombinaationa. (Ts. Span(V

Lisätiedot

läheisyydessä. Piirrä funktio f ja nämä approksimaatiot samaan kuvaan. Näyttääkö järkeenkäyvältä?

läheisyydessä. Piirrä funktio f ja nämä approksimaatiot samaan kuvaan. Näyttääkö järkeenkäyvältä? BM20A5840 - Usean muuttujan funktiot ja sarjat Harjoitus 1, Kevät 2017 1. Tunnemme vektorit a = [ 1 2 3 ] ja b = [ 2 1 2 ]. Laske (i) kummankin vektorin pituus (eli itseisarvo, eli normi); (ii) vektorien

Lisätiedot