5. Kohosen itseorganisoituvat verkot Johdanto
|
|
- Onni Heikki Penttilä
- 8 vuotta sitten
- Katselukertoja:
Transkriptio
1 Kohosen itseorganisoituvat verkot 5.1. Johdanto Edellä on tarkasteltu ohjattuun oppimiseen pohjautuvia algoritmeja. Tässä kappaleessa pohdiskellaan ohjaamattoman oppimisen menetelmiä, erikoisesti Kohosen itseorganisoituvia karttoja. Ohjattu oppiminen perustui ulkopuoliseen opetusvasteeseen (verkon haluttu tulos), jonka tulee olla käytettävissä kullekin opetusjoukon syötteelle. Tämä lähestymistapa on sangen hyödyllinen ja muistuttaa jossain määrin inhimillistä oppimista. Monissa yhteyksissä on kätevää, jos neuroverkko itse pystyy muodostamaan opetusjoukon luokat. Tämän toteuttamiseksi on verkolle tehtävä kaksi perusoletusta. Ensinnäkin luokkajäsenyys määritellään laveasti syötehahmoina, joilla on yhteisiä piirteitä. Toiseksi verkon tulee kyetä identifioimaan yhteiset piirteet yli koko syötehahmojen määrittelyalueen. Kohosen itseorganisoituva kartta on neuroverkko, joka toimii yo. oletuksin ja käyttää ohjaamatonta oppimista muuttaessaan verkon sisäistä tilaa opetusjoukosta löydettyjen piirteiden mallintamisessa Itseorganisoitumisen käsite Teuvo Kohonen (TKK) on tutkinut ja kehittänyt neuroverkkoja vuosikymmeniä, siis jo ennen neuroverkkoboomia, joka alkoi 1980 luvun puolivälissä. Hänen kantavana ajatuksenaan lienee ollut mallintaa ideoillaan aivojen adaptiivisia oppimisominaisuuksia. Neurobiologit ovat vuosikymmeniä sitten tunnistaneet aivojen lokaalit alueet, erikoisesti aivokuorelta, jossa ne suorittavat määrättyjä tehtäviä, kuten puhe, näkö ja liikkeiden kontrolli. Jo 1970 luvun alussa muutamat tutkat (C. von der Malsburg ja D.J. Willsha) esittivät itseorganisoitumisen tai järjestymisen ideoita, jotka olivat biologisesti motivoituja. Ne perustuivat valikoituneesti sensitiivisten neuronien kehitykseen näköaivokuorella. Kohosen tutkimukset perustuvat näihin itseorganisoitumisen lähtökohtiin, ja niillä ajatellaan olevan todellista yhtäläisyyttä biologisten neuroverkkojen kanssa Yleistä Kohonen käytti lähtökohtaa, että aivot soveltavat alueellista kuvausta monimutkaisten tietorakenteiden sisäiseen mallintamiseen. Tämä mahdollistaa tiedon tiivistämisen verkkoon talletettavissa vektoreissa. Kysymys on vektorikvantisoinnista. Se sallii myös verkon tallettaa dataa siten, että opetusjoukon alueelliset tai topologiset suhteet ovat ylläpidettävissä ja esitettävissä merkityksellisellä tavalla. Tiedon tiivistäminen tarkoittaa, että monidimensioinen data voidaan esittää tätä pienempidimensioisessa avaruudessa. Kohosen algoritmin toteutukset ovat valtaosaltaan kaksidimensioisia. Tyypillinen verkko on kuvassa 5.1. Se on yksikerroksinen, kaksidimensioinen Kohosen neuroverkko. Nyt havaitaan, että kuvan 5.1. neuroverkossa ei ole solmuja järjestetty monikerroksisen perceptronin tapaan syöte, piilo ja tuloskerroksiksi, vaan tasaiseksi ristikoksi tai hilaksi. Kaikki syötesolmut ovat suorassa yhteydessä verkon hilan jokaiseen solmuun. Takaisinsyöttö on rajoitettu lateraalisiksi eli sivuttaisiksi yhteyksiksi välittömiin naapurisolmuihin. Neuroverkossa ei ole myöskään mitään erillistä tuloskerrosta, vaan jokainen hilan solmu on itsessään myös tulossolmu.
2 Esitä syöte: Esitä syöte x 0 (t), x 1 (t), x 2 (t),, x n 1 (t), missä x i (t) on syötesolmun i syöte hetkellä t. 3. Laske etäisyydet: Laske etäisyys d j syötteen ja jokaisen tulossolmun j välillä kaavalla: d j n 1 = i= 0 ( x ( t) ( t)) i 2 Kuva 5.1. Kohosen piirrekartta; neuroneja on ainoastaan yksi kerros, ja kaikki syötesolmut ovat niihin yhdistettyjä Kohosen algoritmi Oppimisalgoritmi järjestää hilan solmut lokaaleiksi naapurustoiksi, jotka toimivat syötteen piirteiden luokitteloina. Jaksottainen prosessi muodostaa itsenäisesti topologisen kartan vertaamalla syötehahmoja solmuihin talletettuihin vektoreihin. Mitään opetusvastetta ei tarvita opetussyötteelle. Siellä missä syötteet täsmäävät solmujen vektoreiden kanssa, kartan kyseinen alue optimoidaan valikoidusti edustamaan asianomaisen luokan opetusjoukon keskimääräistä hahmoa. Verkko asettuu satunnaisesti järjestetyn joukon solmuista lähtien piirrekartaksi, jolla on lokaali esitysmuoto ja on itseorganisoitunut. Kohosen verkon algoritmi 1. Alusta verkko: Määrittele painoarvot (t), i=0,,n 1, solmusta i solmuun j prosessin hetkellä (iteraatiolla) t=0. Alusta painoarvot n syötesolmusta hilan solmuihin pienillä satunnaisluvuilla. Aseta solmun j naapuruston säteen alkuarvo N j (0) suureksi. 4. Valitse minimietäisyys: Määrää tulossolmu j*, jonka etäisyys d j on minimi. 5. Päivitä painoarvot: Päivitä solmun j* painoarvot ja sen naapurit, jotka naapuruston koko N j* (t) käsittää. Uudet painoarvot ovat seuraavat: ( t + 1) = ( t) + ( t)( x ( t) ( t)) Tässä indeksin j arvot määräytyvät koon N j* (t) määrittämästä joukosta ja i=0,,n 1. Vahvistustermi η(t), 0<η(t)<1, pienenee ajan mukana hidastaen painoarvojen muuttumista. Naapuruston koko N j* (t) pienenee ajan kuluessa rajoittaen maksimiaktivaation alaa. 6. Toista menemällä vaiheeseen 2. Yhteenvetona algoritmista todetaan: Etsi opetussyötettä lähin täsmäävä yksikkö. Kasvata tämän yksikön ja naapurustossa olevien solmujen samanlaisuutta syötteeseen nähden. i
3 Biologiset lähtökohdat Onko kuvatulle oppimissäännölle biologista oikeutusta? Nykykäsityksen mukaan biologinen evidenssi tukee tätä ideaa. Kappaleessa 2 esitettiin biologisen hermosolun aktivaation leviävän aksonien kautta muihin hermosoluihin, joilla voi olla vahvistava tai heikentävä vaikutus. Ei kuitenkaan käsitelty kysymystä, kuinka lateraalinen eli sivuttainen etäisyys aktivaatiota levittävästä hermosolusta vaikuttaa aksoniyhteyksiin. Yksinkertaistettu, mutta todennäköinen vaikutusmalli on kuvan 5.2. meksikolainen hattu. Kuva 5.2. Meksikolainen hattu funktio kuvaa lateraalisen yhteyden vaikutusta. Fyysisesti aktiivista solua lähellä olevilla soluilla on vahvimmat yhteydet. Määrätyllä etäisyydellä olevat solut vaihtuvat ehkäiseviksi. Tähän ilmiöön perustuen ainakin osin menetelmä tukeutuu aivojen lokaalisen topologisen kuvauksen kehitykseen. Vaikutusta mallinnetaan menetelmässä käyttämällä ainoastaan lokaalisti yhdistettyjä verkkoja ja rajoittamalla painoarvojen muokkaamista lokaaleihin naapurustoihin. hankalasti laskettavia derivaattoja, kuten gradienttia käytettäessä laskettiin. Yhteyksille syötteistä hilan solmuihin annetaan aluksi pienet satunnaisluvut painoarvoiksi. Täten jokainen solmu saa yksikäsitteisen painovektorin, jonka dimension määrää syötevektorin komponenttien lukumäärä. Oppimisjakson aikana opetushahmojen joukko koko datajoukon edustava osajoukko syötetään neuroverkolle. Verkon toimintaa voidaan verrata voittaja ottaa kaiken funktioon. Verrataan etäisyyksiä eri syötehahmojen ja painovektorien välillä, kuten algoritmissa esitettiin. Solmu, jolla on syötehahmon lähin painovektori, valitaan voittajaksi. Voittajasolmu muuntaa painovektoriaan syötteen tapaiseksi. Solmu on nyt sensitiivinen tämän erityisen opetussyötteen suhteen ja antaa verkon maksimivasteen, jos tätä syötettä sovelletaan opetuksen jälkeen uudelleen. Voittajasolmun naapuruston N c solmuja muunnetaan myös, sillä verkko pyrkii luomaan alueita, jotka vastaavat arvojen levitykseen opetussyötteen ympäristössä. Näitä solmuja muokataan samoin kuin voittajasolmua, ja tästä tulee opetusjakson aikana eräänlainen keskiarvoedustaja kyseiselle hahmoluokalle. Tästä johtuen vektorit, jotka ovat lähellä opetusarvoja, saadaan luokiteltua oikein, vaikka verkko ei ole nähnyt niitä aiemmin. Tämä demonstroi verkon yleistysominaisuutta. Adaptiivisen itseorganisoituvan oppimisen kaksi keskeisintä kysymystä Kohosen verkon tapauksessa ovat painoarvojen muokkaamisprosessi ja solmujen topologisten naapurustojen käsite. Molemmat ideat eroavat aiemmin esitetyistä perceptronneuroverkoista, joten nämä avainteemat ovat olennaisia seuraavassa Kohosen verkon tarkastelussa. Kyseisen paradigman suosio saattaa johtua sen helposta lähestyttävyydestä, ts. selkeästä ja luonnollisesta oppimissäännöstä. Oppimissääntö on yksinkertainen eikä sovella
4 Painoarvojen opettaminen Kohosen neuroverkossa ei tarvita mitään derivaattojen laskentaa. Algoritmiin viitaten painoarvon muutos on suhteessa syötevektorin ja painovektorin erotukseen ( t + 1) = ( t) + ( t)( x ( t) ( t)) ja tässä on painovektorin i:s komponentti, i=0,,n 1, solmuun j, kun j on naapurustossa N j* (t). Suhdeluku eli oppimisnopeus η(t), 0<η(t)<1, vähentää muokkaamisnopeutta ajan mukana, missä ajalla tarkoitetaan oppimisprosessin iteraatioita. Oppimisprosessissa on kaksi vaihetta. Ensimmäinen luo eräänlaisen topologisen järjestyksen satunnaisesti suuntautuneiden solmujen kartalla. Opetusprosessi pyrkii klusteroimaan eli ryvästämään solmut topologisella kartalla heastaakseen opetusjoukosta löydettyjen luokkien alueita. Tämä on karkea kuvaus, jossa verkko keksii, kuinka monta luokkaa pitää tunnistaa ja miten ne saitsevat toisiinsa nähden kartalla. Tämä vaikuttaa suurina muutoksina solmujen suuntautumiseen, joten oppimisnopeus pidetään suurena (η>0.5) suurien painoarvomuutosten sallimiseksi ja nopean approksimoivan kuvauksen löytämiseksi. Kun stabiili karkea esitys on löydetty, paikallistettujen alueiden solmut hienosäädetään syötteen opetusvektorien avulla. Edellistä paljon pienempiä muutoksia on tehtävä painoarvoihin hienosäätöä varten, joten oppimisnopeutta on pienennettävä opetusprosessin edistyessä. Käytettäessä pientä oppimisnopeutta η hienosäätövaihe vie tavallisesti kertaa niin monta iteraatiota kuin karkean esityksen laskeminen. Neuroverkon uudelle opetussyötteelle on ensin määrättävä voittajasolmu. Tämä määrää piirrekartan alueen, jonka painoarvot on päivitettävä. Voittajasolmu on sellainen, jolla on parhaiten syötevektorin kanssa täsmäävä eli lähin painovektori. i Vektoreiden samanlaisuusmetriikkana on euklidinen etäisyysmitta. Tältä osin Kohosen verkossa on huomattava seuraava seikka. Vektorin euklidinen normi on pituus tai suuruusmitta. Tässä ei silti pituus ole kovin olennainen asia. Sen saan vektorin suunta avaruudessa on tärkeä. Vektorit ovat tällöin samanlaisia, jos ne osoittavat samaan suuntaan välittämättä pituudesta. Tämän vuoksi kaikki painovektorit normoidaan aluksi ennen vertailua toisiinsa. Vektorin normointi jakamalla se pituudellaan pienentää sen yksikkövektoriksi. Tämä tarkoittaa euklidisen avaruuden vektorien joukolle, että niiden suunta pysyy samana, mutta pituus kiinnitetään riippumatta niiden alkuperäispituudesta. Nyt niiden välinen vertaaminen koskee ainoastaan suunnan käsittelemistä. Lisähyötynä vektorien normoinnista on verkon opetusajan supistuminen, koska se poistaa painoavaruuden yhden vaihtelutekän. Painoarvot lähtevät suunnasta, joka on normoimatonta lähempänä haluttua tilaa. Tämä vähentää uudelleensuuntautumisaikaa opetuksen aikana. Painoarvojen alustus Toistaiseksi on mainittu, että neuroverkon painoarvojen alkuarvojen tulisi olla pieniä, normoituja satunnaislukuja. Tämä on kuitenkin yliyksinkertaistus, sillä jos ne olisivat todella satunnaisesti hajaantuneet, verkko saattaisi olla suppenematon tai saada hyvin hitaan oppimisprosessin. Syötevektorit menevät nimittäin tyypillisesti klustereihin yli hahmoavaruuden rajatun alueen vastaten toivottavasti luokkiaan (aina se ei onnistu). Jos solmuihin talletetut painovektorit ovat satunnaisesti jakautuneet, voi helposti esiintyä tilanne, jossa monet painovektoreista ovat kovin eri suunnissa kuin valtaosa opetussyötteistä. Nämä solmut eivät voita mitään parhaiten täsmäävien vertailuista ja jäävät käyttämättä topologisen verkon
5 84 85 muodostamisessa. Tämän seurauksena piirrekartan naapurustot sisältävät hyvin harvassa opetussolmuja, niin vähissä määrin, että ei ole ehkä riittävästi käytettävissä solmuja luokkien erottamista varten. Tämä johtaa hyvin heikkoon luokituskykyyn piirrekartan kyvyttömyyden takia erottaa syötteitä toisistaan. Painoarvojen alkuarvojen optimakauma on sellainen, joka antaisi verkolle aloitusvihjeitä, kuten opetusjoukon luokkien määrän ja todennäköiset suunnat. Toisaalta nämä ovat juuri tietoja, jotka verkon odotetaan selvittävän, joten ajatus on melko epäkäytännöllinen. Sellaista jakaumaa voidaan silti approksimoida. Eräs keino alustaa painoarvot on asettaa ne samoiksi arvoiksi. Opetusaineistoa muunnetaan niin, että opetuksen alkuvaiheissa vektorit on koottu yhteen, samankaltaisiksi suunnaltaan kuin solmujen aloitussuunnat. Tämä suo kaikille piirrekartan solmuille saman todennäköisyyden olla lähellä syötevektoreita ja näin ollen sisältyä kartan karkeaan esitysmuotoon. Opetuksen edistyessä syötteet palaavat hitaasti alkuperäissuuntiinsa, mutta koska karkea esitys on jo määritelty tässä vaiheessa, piirrekartan solmut seuraavat yksinkertaisesti syötearvoihin tehtyjä muutoksia. Toisessa, samantapaisessa menetelmässä satunnaiskohinaa lisätään opetuksen alkuvaiheessa syötteisiin yrityksenä hajauttaa vektorit aiempaa laajemmin hahmoavaruuteen käyttääkseen hyväkseen entistä useampia solmuja. On myös mahdollista liittää solmuihin kynnysarvo, joka valvoo solmun onnistumista tai epäonnistumista parhaiten täsmäävän valinnassa. Jos säännöllisesti valitaan jokin tietty solmu, tämän kynnysarvoa nostetaan tilapäisesti. Tällöin sen mahdollisuudet tulla uudelleenvalituksi pienenevät, mikä sallii muidenkin vaikuttaa piirrekartan muotoutumiseen. Eniten sovellettu tekniikka on solmujen lokaalien naapurustojen käyttö. Seuraavaksi kuvataan, miten tämä maksimoi kaikkien verkon solmujen käyttöä ja edistää solmujen topologista ryhmittymistä Naapurustot Mallintaakseen meksikolainen hattu funktiota Kohonen on esittänyt topologisten naapurustojen idean. Tämä on dynaamisesti muuttuva raja, joka määrää, montako voittajasolmua ympäröivää solmua sisällytetään opetusprosessissa painoarvoiltaan päivitettäviin. Jokaiselle solmulle määrätään aluksi laaja naapurusto, enimmillään koko verkon solmut. Valittaessa solmu syötteelle parhaiten täsmääväksi solmun painoarvot muokataan syötteen mukaisesti. Myös kaikki solmun naapuruston solmut muokataan samalla mitalla. Opetuksen edetessä naapuruston koko pienenee hitaasti ennaltamäärättyyn rajaan. Jotta ymmärrettäisiin, miten tämä aikaansaa topologisesti läheisten solmujen klustereita, tarkastellaan kuvaa 5.3., joka edustaa piirreklusterien topologista muotoutumista opetuksen aikana. Selvyyden vuoksi tarkastellaan ainoastaan yhden klusterin muotoutumista. Tämän keskipiste on harmaan neliökuvion keskisolmu. Kuvassa 5.3.A verkko on alkutilassaan, jossa painovektorit ovat satunnaisia ja jokaisella solmulla on laaja naapurusto. Solmujen sisään merkityt suunnat mielletään solmujen painovektorien suuntaesityksiksi. Edellä olevan mukaan opetus alkaa etsimällä jokaiselle opetussyötteelle parhaiten täsmäävä eli lähin solmu, painoarvomuutokset lasketaan ja myös naapuruston solmut säädetään. Kuvassa 5.3.B nähdään verkko opetusjoukon useiden ajojen jälkeen. Harmaalla sävytetty alue alkaa muodostaa luokan
6 86 87 suuntaa keskimmäisen solmun nojalla. Naapuruston koko on kutistunut, joten painoarvomuutoksilla on nyt aiempaa pienempi vaikutusala. Täysin opetettu verkko on kuvassa 5.3.C. Naapurustot ovat kutistuneet ennaltamäärättyyn neljän solmun rajaan, ja alueen kaikki solmut on säädetty edustamaan kyseisen luokan opetusjoukon arvojen keskimääräistä ulottuvuutta. Opetusalgoritmi tuottaa klusterit kaikille opetusjoukosta löydetyille luokkatyypeille. Klusterien järjestyminen kartalla ja opetuksen suppenemisajat riippuvat tavasta, jolla opetusaineisto esitetään verkolle. Kunhan verkko on järjestänyt sisäisen esityksensä, piirrekartan klusterit voidaan nimetä osoittamaan luokkiaan, jolloin verkkoa voidaan käyttää luokittelemaan aiemmin tuntemattomia syötteitä. Neuroverkko itseorganisoituu eli muodostaa sisäiset piirteet ohjauksetta, mutta luokkien nimeäminen on tehtävä käsin sen jälkeen, kun verkko on täysin opetettu Naapurustojen pienentäminen Edellä todettiin naapuruston pienentäminen tarpeelliseksi. Miten nopeasti naapuruston kokoa tulisi pienentää? Tähän ei ole olemassa selkeitä ja kattavia sääntöjä ja kokeita tarvitaan yksittäisissä sovelluksissa. Kohosen menetelmä ei herkästi aiheuta opetustulosten hajaantumista systeemiparametrejä muutettaessa. Oppimisnopeutta on vähennettävä opetuksen aikana, jotta muutokset tulevat yhä vähittäisemmiksi kartan kehittyessä. Tämä takaa klusterien muodostavan opetusjoukon tarkkoja sisäisiä esitysmuotoja sekä saa verkon suppenemaan ratkaisuun ennaltamäärätyssä ajassa. Lineaarisesti vähenevä oppimisnopeus opetusjoukon läpikäyntien funktiona on sovelias. Naapuruston kutistaminen vaikuttaa paikallistamalla samanlaisen aktivaation alueet. Aluksi, kuvassa A, vaikutetaan varjostetun alueen solmuihin. Näiden suunnat muuttuvat hitaasti kohti voittajasolmun suuntaa. Opetuksen edetessä naapurusto pienenee ja vain voittajan naapuruston solmuja muutetaan. Nämä muuntuvat yhä enemmän, kunnes voittajan naapuruston solmut ovat samankaltaisia paino vektoreita. Lopullisessa verkossa syöte, joka on lähellä lähtösolmun laukaissutta syötettä, saa vasteen topologisesti lähellä olevalta solmulta. Kuva 5.3. Paikallistetun naapuruston opettaminen. Opetukseen vaikuttavat oppimisnopeus, naapuruston pienentämisen nopeus ja myös naapuruston alueen muoto. Kuvassa 5.3. käytettiin ainoastaan neliönmuotoista naapurustoa. Ympyrää ja kuusikulmiotakin käytetään, ja nämä voivat olla joissakin tapauksissa parhaita. Aivan kuin oppimisnopeuden suhteen, kannattaa naapurustoillekin aloittaa melko laajoista alkuarvoista ja sallia näiden vähetä hitaasti opetuksen edetessä.
7 88 89 Tiheysfunktiot Klusterointi ilmiötä opetuksen aikana voidaan selittää todennäköisyystiheysfunktioilla. Tiheysfunktio on tilastollinen mitta, joka kuvaa datan jakaumaa hahmoavaruudessa. Tiheysfunktio määrittelee mille tahansa hahmoavaruuden pisteelle todennäköisyysarvon, jonka mukaan vektori on tuossa pisteessä. Tunnettaessa hahmoavaruuden todennäköisyystiheysfunktio eli tunnettaessa hahmojen jakauma avaruudessa on osoitettavissa kartan itseorganisoituvan niin, että piirrekartan solmujen tiheydellä on taipumus approksimoida hahmoavaruuden tiheysfunktiota edellyttäen, että edustava datan osajoukko on valittu neuroverkon opetusta varten. Tämän visualisoimiseksi viitataan kuvaan 5.4. Olkoon neuroverkko opetettu kaksidimensioisen hahmoavaruuden tasaisesti jakautuneella datalla yli suorakulmion alan. Opetusjoukkoon valitaan satunnaisia, riippumattomia pisteitä avaruudesta. Satunnaisuus takaa hyvän edustuvuuden koko hahmoavaruudelle. Diagrammien jono esittää painovektorien tilaa opetuksen eri vaiheissa. Painovektorit ovat kaksidimensioisia, ja ne määrittelevät pisteen painoarvo avaruudessa. Diagrammit on piirretty vetämällä viivat naapurisolmujen painojen määrittelemien pisteiden välillä. Piirrokset kuvaavat solmujen tilasuhdetta kaksiulotteisessa painoarvoavaruudessa. Neuroverkon lopputilasta (kuva 5.4d) nähdään, miten painoarvovektorit ovat itseorganisoituneita edustamaan hahmoavaruuden jakaumaa. Solmut on optimaalisesti järjestetty kattamaan mahdollisimman tarkasti hahmoavaruutta. Edellytyksenä on, että solmuja on rajoitetusti, mutta riittävästi Oppiva vektorikvantisointi Huolimatta siitä, että Kohosen verkko on ohjaamattoman itseorganisoinnin paradigman mukainen, se käyttää itse asiassa hyväkseen ohjattua oppimistekniikkaa. Tämän Kohonen on nimennyt oppivaksi vektorikvantisoinniksi (learning vector quantisation, LVQ). Se merkitsee menetelmää, joka hienosäätää opetetun piirrekartan optimoidakseen tämän suorituskyvyn muuttuvissa olosuhteissa. Tavanomainen tilanne on uusien opetusvektorien lisääminen verkon yksittäisten naapurustojen suorituskyvyn parantamiseksi. Kuva 5.4. Muuan esitys painovektorien tilassa järjestymisen kehitykselle. Haluttu tavoite saadaan valitsemalla opetusvektoreita x, joiden luokitus tunnetaan, ja antamalla ne neuroverkolle epäonnistuneen luokituksen selvittämiseksi. Parhaiten täsmäävän vertailu suoritetaan jälleen jokaiselle solmulle, ja voittaja n merkitään.
8 90 91 Voittajasolmun vektori muunnetaan seuraavien mukaan. Oikein luokitellulle syötteelle muunnetaan: n ( t + 1) = n ( t) + ( t)( x( t) n ( t)) Virheellisesti luokitellulle syötteelle muunnetaan: n sääntöjen Termi η(t) kontrolloi muuntamisnopeutta ja toimii samoin kuin oppimisessa Foneettinen kirjoituskone ( t + 1) = n ( t) ( t)( x( t) n ( t)) Kohonen on soveltanut piirrekarttaansa menestyksellisesti mm. puheentunnistuksen vaikealla saralla jo 1980 luvulla. Tutkimusongelma koski foneemien eli äänteiden tunnistamista, johon tehtävään Kohosen kartat soveltuvat mitä parhaiten. Foneemit muodostavat näet pienen luokittelujoukon, jossa luokan näytteillä on vähäistä vaihtelevuutta. Tällöin tarvitaan vain vähän piirteidentunnistajia topologista karttaa muodostamaan. Kullakin näistä on useita solmuja naapurustossaan, ja solmut ovat hienosäädettyjä rajoitetussa piirissä. Foneemienluokittelu ei toki ole helppo tehtävä, päinvastoin. Puheentunnistus on vaikea hahmontunnistustehtävä. Ihmisen puheentunnistus toimii monilla havaintotasoilla. Puheen signaalinanalyysin perusteista lähtien tehdään paljon tunnistustyötä myös kontekstin, päättelyn, ekstrapoloinnin, jäsentämisen ja syntaktisten sääntöjen tasoilla. Ihminen kykenee näihin toimintoihin jopa varsin kohinaisissa ympäristöissä. Hän pystyy ymmärtämään ja ylläpitämään keskustelua samaan aikaan ympäröivän suuren ihmisjoukon jopa kovasta puheensorinasta huolimatta. Jos joku sivullinen satunnaisesti puheensorinan keskellä mainitsee henkilön nimen, tämä kykenee melko todennäköisesti tunnistamaan lausutun nimensä. Puhe signaalinkäsittelyn näkökulmasta on usein varsin huonosti määriteltyä ja vaikeasti käsiteltävää. Puheen foneemit vaihtelevat paljon signaalin voimakkuuden ja muodon mukaan puhujasta puhujaan. Jopa yksittäisen puhujan tapauksessa foneemit vaihtelevat riippuen sanojen kontekstista, jossa ne muodostetaan, ja eri foneemien signaalispektrit (taajuudet) menevät säännöllisesti osin päällekkäin. Näitä asioita on tutkittu paljon monia menetelmiä soveltaen. Kohosen tekniikka on tässä menestynyt hyvin. Kohosen foneettinen kirjoituskone on ollut laite, joka kirjoitti suoraan sanelusta. Vaikka tämä lienee helpompaa suomenkielen koska se on foneettinen kieli tapauksessa kuin monille muille kielille, tehtävä on silti sangen vaikea. Kohonen laati järjestelmänsä tavallaan usean menetelmän yhdistelmänä. Neuroverkot eivät toki ole mikään yleislääke ongelmaan kuin ongelmaan. Systeemi on esitetty kaaviona kuvassa 5.5. Kuva 5.5. Kohosen neuroverkkopohjaisen foneettisen kirjoituskoneen kaavio.
9 92 93 Neuroverkko koskee ainoastaan osaa kokonaisuudesta. Sitä käytetään foneemien luokituksen kriittisessä kohdassa. Tämä perustuu puhesignaalin spektrin vektorikvantisointiin Esiprosessointi Melkein minkä tahansa neuroverkkosovelluksen tapauksessa esiprosessoinnilla on merkittävä osuus, mitä ei voi liikaa painottaa. Neuroverkko saattaa toimia surkeasti, jos käytetään riittämätöntä tai epäedustavaa opetusdataa. Neuroverkot muodostavat piirreinformaatiota hajautettua koodausta soveltaen. Jokaisen hahmontunnistusmenetelmän kriittistä vaihetta ei kuitenkaan saa tässäkään ohittaa, ts. on oltava datan riittävän hyvin määritellyt piirteet käytössä. Kohosen systeemi käytti esiprosessoinnissa normaaleja signaalinkäsittelymenetelmiä foneemien spektridatan saamiseksi äänisyötteestä. Mikrofonisyötteestä puhe syötettiin alipäästösuodattimeen (katkaisutaajuus 5.3 khz) ja näytteistettiin 12 bitin analogia digitaali muuntimella näytteenottotaajuuden ollessa khz. Nopeaa Fourierin muunnos algoritmia (Fast Fourier Transform, FFT; 256 datapistettä) käytettiin spektrin laskentaan (9.83 ms intervalli). FFT tekniikka soveltui hyvin spektri komponenttien klusteriominaisuuksien saamiseen, mikä antaa hyvän lähtökohdan luokittelan opettamista varten. Se on myös nopea (O(n log n)) ja luotettava menetelmä. FFT algoritmin tulos suodatettiin ja muutettiin logaritmiseksi ennen ryhmittämistä 15 komponentin jatkuvaan hahmovektoriin. Vektorissa esitetty informaatio on 15 taajuuskaistan muunnettu spektriarvo. Kaistat rajoittuvat taajuuksiin 200 Hz 5 khz. Ennen neuroverkkoon syöttämistä spektridatasta poistettiin vielä keskiarvo (vähentämällä keskiarvo) eli tämä muutettiin arvoksi 0 sekä normalisoitiin vakiopituiseksi. Lisäinformaationa signaalista Kohonen käytti vielä puhesignaalin keskineliöarvoa (root mean square, RMS) 16. vektorikomponenttina. Esiprosessointivaiheessa äänisignaali kvantisoitiin 16 bittisten lukujen piirrevektoriin. Piirrevektori vastaa puheen pientä aikaviipaletta. Näillä piirrevektoreilla opetettiin neuroverkkoa eikä siis foneemidatalla. Verkon solmut herkistyivät silti foneemidatalle, sillä verkon syöte oli keskitetty foneemien ympäri. Verkko osasi löytää foneemit opetusjoukosta ilman näiden eksplisiittistä määrittelyä. Opetuksen aikana muodostuneet klusterit oli näin ollen nimettävä käsin jälkeenpäin. Eristetyt foneeminäytteet piti esittää neuroverkolle ja löytää maksimivasteen alueet topologisesta kartasta. Testeissä Kohonen käytti 50 näytettä kullekin foneemille nimettäessä verkkoa äänidatan opetuksen jälkeen. Topologinen piirrekartta on kuvassa 5.6. Siinä opetettu verkko on nimetty. Kuva 5.6. Foneemien piirrekartta. Piirrekartta käsitti helpoimmin määritellyt foneemit, so. ne, jotka esiintyivät suhteellisen stabiilin ja ennustettavan puhesignaalin yhteydessä. Tilanne on tässä kuvattu silti yksinkertaistettuna.
10 94 95 Foneemien luokittelussa käytettiin yksinkertaisia heuristisia sääntöjä. Esimerkiksi useilla foneemeilla on stationaaristyyppinen spektri, jonka mukaan ne ovat tunnistettavissa. Puhetta voidaan visualisoida dynaamisena reittinä pitkin karttaa (ks. kuva 5.7.). Reitti esittää lausuttujen foneemien stationaarisia tiloja, jotka ovat supenneet paikallistettuihin kohtiin kartalla. Luokittelu ei perustu näihin reitteihin, vaan tässä ideana oli visualisoida foneettisia jonoja ajatellen mm. kuulovammaisten oppimisvälineitä Jälkiprosessointi Foneettisen kirjoituskoneen viimeinen prosessointivaihe on käännös foneettisesta kirjoituksesta ortograafiseksi, oikeinkirjoitukseksi. Tällöin myös mahdolliset luokitusvirheet on korjattava. Valtaosa virheistä aiheutuu yhteisartikuloinneista, joissa foneemien ääntämys vaihtelee riippuen naapurifoneemien kontekstista. Tätä varten Kohonen käytti sääntöpohjaista järjestelmää, joka korjaa foneettisen käännöksen kieliopin mukaiseksi. Laaja sääntökanta ( sääntöä) käsitteli pääosin foneemien kontekstista riippuvia kysymyksiä. Se oli toteutettu hajautusmenetelmällä. Järjestelmän tuloksena saatiin kontekstin kannalta korjattuja foneettisia merkkonoja, jotka voitiin muuntaa oikeinkirjoitetuksi tekstiksi Laitteisto ja suorituskyky Systeemi toteutettiin 1980 luvulla senaikaisella IBM PC/ATlaitteistolla, johon oli asennettu kaksi signaalinkäsittelykorttia, toinen puhesignaalin esiprosessointia ja toinen piirrekartan luokitusta varten. Noillakin, nykykoneisiin verrattuna perin hitailla laitteilla systeemi pystyi toimimaan lähes reaaliajassa; ainoastaan lyhyt väliaika vaadittiin sanojen väliin. Kuva 5.7. Kartan foneettinen reitti sanalle Humppila Lisäkartat Plosiivifoneemeilla (esim. b, t ja g) on hyvin transientit spektrit, joita luonnehtii energian alkuosan iso purske ja tätä seuraava verrattainen hiljaisuus. Näiden foneemien luokitukseen ei kartta perusmuodossaan soveltunut hyvin. Kohonen ratkaisi ongelman käyttäen lisäkarttoja (transienttikarttoja) plosiivien luokitusta varten. Lisäkartta opetettiin plosiivien spektreillä. Tällä kartan yksinkertaisella muunnoksella systeemin tunnistustarkkuus parani 6 7 %. Oikein luokiteltuja foneemeja saatiin % puhujasta ja tekstistä riippuen. Sääntöpohjaista kieliopin korjausta käyttäen tulokseksi tuli % oikeellisia. Oikeellisuus laskettiin ortograafisesta tulosteesta ja koski rajoittamatonta sanastoa. Systeemi oli joustava uusille puhujille, jotka lisättiin käyttäen ohjattua oppimistekniikkaa, oppivaa vektorikvantisointia (LVQ). Siinä käytettiin 100 sanaa uutta puhujaa kohti. Tämä sovellus toi hyvin esiin, miten neuroverkot ovat usein parhaimmillaan käytettäessä niitä laajan kokonaisuuden osana ratkaisemaan kriittisiä tunnistusongelmia.
Kognitiivinen mallintaminen. Nelli Salminen
Kognitiivinen mallintaminen Neuraalimallinnus 24.11. Nelli Salminen nelli.salminen@tkk.fi Tällä kerralla ohjelmassa vielä perseptronista ja backpropagationista kilpaileva oppiminen, Kohosen verkko oppimissääntöjen
LisätiedotTällä kerralla ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus Kertausta: Perseptronin oppimissääntö
Tällä kerralla ohjelmassa Kognitiivinen mallintaminen Neuraalimallinnus 19.2. Nelli Salminen nelli.salminen@helsinki.fi D433 vielä perseptronista ja backpropagationista kilpaileva oppiminen, Kohosen verkko
LisätiedotKognitiivinen mallintaminen Neuraalimallinnus, luento 1
Kognitiivinen mallintaminen Neuraalimallinnus, luento 1 Nelli Salminen nelli.salminen@helsinki.fi D433 Neuraalimallinnuksen osuus neljä luentokertaa, muutokset alla olevaan suunnitelmaan todennäköisiä
Lisätiedot1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI
1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI 1 1.1 Funktion optimointiin perustuvat klusterointialgoritmit Klusteroinnin onnistumista mittaavan funktion J optimointiin perustuvissa klusterointialgoritmeissä
Lisätiedot1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI
1. OHJAAMATON OPPIMINEN JA KLUSTEROINTI 1 1.1 Funktion optimointiin perustuvat klusterointialgoritmit Klusteroinnin onnistumista mittaavan funktion J optimointiin perustuvissa klusterointialgoritmeissä
LisätiedotNeuroverkkojen soveltaminen vakuutusdatojen luokitteluun
Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Sami Hokuni 12 Syyskuuta, 2012 1/ 54 Sami Hokuni Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun Turun Yliopisto. Gradu tehty 2012 kevään
LisätiedotJOHDATUS TEKOÄLYYN TEEMU ROOS
JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN
LisätiedotJohdatus tekoälyyn. Luento 6.10.2011: Koneoppiminen. Patrik Hoyer. [ Kysykää ja kommentoikaa luennon aikana! ]
Johdatus tekoälyyn Luento 6.10.2011: Koneoppiminen Patrik Hoyer [ Kysykää ja kommentoikaa luennon aikana! ] Koneoppiminen? Määritelmä: kone = tietokone, tietokoneohjelma oppiminen = ongelmanratkaisukyvyn
LisätiedotJOHDATUS TEKOÄLYYN TEEMU ROOS
JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN
LisätiedotJOHDATUS TEKOÄLYYN TEEMU ROOS
JOHDATUS TEKOÄLYYN TEEMU ROOS NEUROVERKOT TURINGIN KONE (TAI TAVALLINEN OHJELMOINTI) VAIN YKSI LASKENNAN MALLI ELÄINTEN HERMOSTOSSA LASKENTA ERILAISTA: - RINNAKKAISUUS - STOKASTISUUS (SATUNNAISUUS) - MASSIIVINEN
LisätiedotFUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto
FUNKTIONAALIANALYYSIN PERUSKURSSI 1. Johdanto Funktionaalianalyysissa tutkitaan muun muassa ääretönulotteisten vektoriavaruuksien, ja erityisesti täydellisten normiavaruuksien eli Banach avaruuksien ominaisuuksia.
LisätiedotE. Oja ja H. Mannila Datasta Tietoon: Luku 2
2. DATASTA TIETOON: MITÄ DATAA; MITÄ TIETOA? 2.1. Data-analyysin ongelma Tulevien vuosien valtava haaste on digitaalisessa muodossa talletetun datan kasvava määrä Arvioita: Yhdysvaltojen kongressin kirjasto
LisätiedotTänään ohjelmassa. Kognitiivinen mallintaminen Neuraalimallinnus laskarit. Ensi kerralla (11.3.)
Tänään ohjelmassa Kognitiivinen mallintaminen Neuraalimallinnus 26.2. Nelli Salminen nelli.salminen@helsinki.fi D433 autoassosiaatio, attraktorin käsite esimerkkitapaus: kolme eri tapaa mallintaa kategorista
LisätiedotSpektri- ja signaalianalysaattorit
Spektri- ja signaalianalysaattorit Pyyhkäisevät spektrianalysaattorit Suora pyyhkäisevä Superheterodyne Reaaliaika-analysaattorit Suora analoginen analysaattori FFT-spektrianalysaattori DFT FFT Analysaattoreiden
LisätiedotEtsintä verkosta (Searching from the Web) T Datasta tietoon Heikki Mannila, Jouni Seppänen
Etsintä verkosta (Searching from the Web) T-61.2010 Datasta tietoon Heikki Mannila, Jouni Seppänen 12.12.2007 Webin lyhyt historia http://info.cern.ch/proposal.html http://browser.arachne.cz/screen/
LisätiedotKombinatorinen optimointi
Kombinatorinen optimointi Sallittujen pisteiden lukumäärä on äärellinen Periaatteessa ratkaisu löydetään käymällä läpi kaikki pisteet Käytännössä lukumäärä on niin suuri, että tämä on mahdotonta Usein
LisätiedotTEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA)
JOHDATUS TEKOÄLYYN TEEMU ROOS (KALVOT MUOKATTU PATRIK HOYERIN LUENTOMATERIAALISTA) KONEOPPIMISEN LAJIT OHJATTU OPPIMINEN: - ESIMERKIT OVAT PAREJA (X, Y), TAVOITTEENA ON OPPIA ENNUSTAMAAN Y ANNETTUNA X.
Lisätiedot10. Esitys ja kuvaus
10. Esitys ja kuvaus Kun kuva on ensin segmentoitu alueisiin edellisen luvun menetelmin, segmentoidut pikselit kootaan esittämään ja kuvaamaan kohteita muodossa, joka sopii hyvin jatkokäsittelyä varten.
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 8 1 Suunnattu derivaatta Aluksi tarkastelemme vektoreita, koska ymmärrys vektoreista helpottaa alla olevien asioiden omaksumista. Kun liikutaan tasossa eli avaruudessa
LisätiedotImageRecognition toteutus
ImageRecognition toteutus Simo Korkolainen 27 kesäkuuta 2016 Projektin tarkoituksena on tehdä ohjelma, joka opettaa neuroverkon tunnistamaan kuvia backpropagation-algoritmin avulla Neuroverkon opetuksessa
LisätiedotMistä on kyse? Pilvien luokittelu satelliittikuvissa. Sisältö. Satelliittikartoitus. Rami Rautkorpi 25.1.2006. Satelliittikartoitus
Pilvien luokittelu satelliittikuvissa Mistä on kyse? Rami Rautkorpi 25.1.2006 25.1.2006 Pilvien luokittelu satelliittikuvissa 2 Sisältö Satelliittikartoitus Satelliittikartoitus Pilvien luokittelu Ensimmäinen
LisätiedotSolmu 3/2001 Solmu 3/2001. Kevään 2001 ylioppilaskirjoitusten pitkän matematiikan kokeessa oli seuraava tehtävä:
Frégier n lause Simo K. Kivelä Kevään 2001 ylioppilaskirjoitusten pitkän matematiikan kokeessa oli seuraava tehtävä: Suorakulmaisen kolmion kaikki kärjet sijaitsevat paraabelilla y = x 2 ; suoran kulman
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 4. luento 24.11.2017 Neuroverkon opettaminen - gradienttimenetelmä Neuroverkkoa opetetaan syöte-tavoite-pareilla
LisätiedotLuku 7. Verkkoalgoritmit. 7.1 Määritelmiä
Luku 7 Verkkoalgoritmit Verkot soveltuvat monenlaisten ohjelmointiongelmien mallintamiseen. Tyypillinen esimerkki verkosta on tieverkosto, jonka rakenne muistuttaa luonnostaan verkkoa. Joskus taas verkko
LisätiedotKuulohavainnon perusteet
Kuulohavainnon ärsyke on ääni - mitä ääni on? Kuulohavainnon perusteet - Ääni on ilmanpaineen nopeaa vaihtelua: Tai veden tms. Markku Kilpeläinen Käyttäytymistieteiden laitos, Helsingin yliopisto Värähtelevä
LisätiedotMartingaalit ja informaatioprosessit
4A Martingaalit ja informaatioprosessit Tämän harjoituksen tavoitteena on tutustua satunnaisvektorin informaation suhteen lasketun ehdollisen odotusarvon käsitteeseen sekä oppia tunnistamaan, milloin annettu
LisätiedotSuora. Määritelmä. Oletetaan, että n = 2 tai n = 3. Avaruuden R n suora on joukko. { p + t v t R},
Määritelmä Suora Oletetaan, että n = 2 tai n = 3. Avaruuden R n suora on joukko { p + t v t R}, missä p, v R n ja v 0. Tässä p on suoran jonkin pisteen paikkavektori ja v on suoran suuntavektori. v p LM1,
LisätiedotHarjoitus 6: Simulink - Säätöteoria. Syksy 2006. Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1
Harjoitus 6: Simulink - Säätöteoria Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen säätötekniikkaan Takaisinkytkennän
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 2. luento 10.11.2017 Keinotekoiset neuroverkot Neuroverkko koostuu syöte- ja ulostulokerroksesta
LisätiedotA ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä.
Esimerkki otteluvoiton todennäköisyys A ja B pelaavat sarjan pelejä. Sarjan voittaja on se, joka ensin voittaa n peliä. Yksittäisessä pelissä A voittaa todennäköisyydellä p ja B todennäköisyydellä q =
LisätiedotLuku 6. Dynaaminen ohjelmointi. 6.1 Funktion muisti
Luku 6 Dynaaminen ohjelmointi Dynaamisessa ohjelmoinnissa on ideana jakaa ongelman ratkaisu pienempiin osaongelmiin, jotka voidaan ratkaista toisistaan riippumattomasti. Jokaisen osaongelman ratkaisu tallennetaan
LisätiedotMatematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 4 Jatkuvuus Jatkuvan funktion määritelmä Tarkastellaan funktiota f x) jossakin tietyssä pisteessä x 0. Tämä funktio on tässä pisteessä joko jatkuva tai epäjatkuva. Jatkuvuuden
LisätiedotViikko 1: Johdantoa Matti Kääriäinen matti.kaariainen@cs.helsinki.fi
Viikko 1: Johdantoa Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum C222, 29-31.10.2008. 1 Tällä viikolla 1. Käytännön järjestelyistä 2. Kurssin sisällöstä ja aikataulusta 3. Johdantoa Mitä koneoppiminen
Lisätiedot1 Kertaus. Lineaarinen optimointitehtävä on muotoa:
1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n
LisätiedotNumeeriset menetelmät
Numeeriset menetelmät Luento 13 Ti 18.10.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 13 Ti 18.10.2011 p. 1/43 p. 1/43 Nopeat Fourier-muunnokset Fourier-sarja: Jaksollisen funktion esitys
LisätiedotMS-A0004/A0006 Matriisilaskenta
4. MS-A4/A6 Matriisilaskenta 4. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto..25 Tarkastellaan neliömatriiseja. Kun matriisilla kerrotaan vektoria, vektorin
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematiikkaan Informaatioteknologian tiedekunta Jyväskylän yliopisto 3. luento 17.11.2017 Neuroverkon opettaminen (ohjattu oppiminen) Neuroverkkoa opetetaan syöte-tavoite-pareilla
LisätiedotS-114.3812 Laskennallinen Neurotiede
S-114.381 Laskennallinen Neurotiede Projektityö 30.1.007 Heikki Hyyti 60451P Tehtävä 1: Virityskäyrästön laskeminen Luokitellaan neuroni ensin sen mukaan, miten se vastaa sinimuotoisiin syötteisiin. Syöte
LisätiedotVapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.
Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +
LisätiedotSignaalien generointi
Signaalinkäsittelyssä joudutaan usein generoimaan erilaisia signaaleja keinotekoisesti. Tyypillisimpiä generoitavia aaltomuotoja ovat eritaajuiset sinimuotoiset signaalit (modulointi) sekä normaalijakautunut
LisätiedotYhtälöryhmät 1/6 Sisältö ESITIEDOT: yhtälöt
Yhtälöryhmät 1/6 Sisältö Yhtälöryhmä Yhtälöryhmässä on useita yhtälöitä ja yleensä myös useita tuntemattomia. Tavoitteena on löytää tuntemattomille sellaiset arvot, että kaikki yhtälöt toteutuvat samanaikaisesti.
LisätiedotOngelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida?
Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida? 2 Tieto on koodattu aikaisempaa yleisemmin digitaaliseen muotoon,
LisätiedotDemonstraatiot Luento
TEKNILLINEN KORKEAKOULU Tietoliikenne- ja tietoverkkotekniikan laitos S-8.45 Liikenneteorian perusteet, Kevät 8 Demonstraatiot Luento 8..8 D/ Tarkastellaan seuraavaa yksinkertaista piirikytkentäistä (runko)verkkoa.
Lisätiedot6.8 Erityisfunktioiden sovelluksia
6.8 Erityisfunktioiden sovelluksia Tässä luvussa esitellään muutama esimerkki, joissa käytetään hyväksi eksponentti-, logaritmi- sekä trigonometrisia funktioita. Ensimmäinen esimerkki juontaa juurensa
LisätiedotLukujonon raja-arvo 1/7 Sisältö ESITIEDOT: lukujonot
Lukujonon raja-arvo 1/7 Sisältö Esimerkki lukujonon raja-arvosta Lukujonossa a 1,a 2,a 3,... (jossa on äärettömän monta termiä) voivat luvut lähestyä jotakin arvoa, kun jonossa edetään yhä pidemmälle.
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotTaajuusmittauskilpailu Hertsien herruus 2008. Mittausraportti
Taajuusmittauskilpailu Hertsien herruus 2008 1. MITTAUSJÄRJESTELMÄ Mittausraportti Petri Kotilainen OH3MCK Mittausjärjestelmän lohkokaavio on kuvattu alla. Vastaanottoon käytettiin magneettisilmukkaantennia
LisätiedotIIR-suodattimissa ongelmat korostuvat, koska takaisinkytkennästä seuraa virheiden kertautuminen ja joissakin tapauksissa myös vahvistuminen.
TL536DSK-algoritmit (J. Laitinen)..5 Välikoe, ratkaisut Millaisia ongelmia kvantisointi aiheuttaa signaalinkäsittelyssä? Miksi ongelmat korostuvat IIR-suodatinten tapauksessa? Tarkastellaan Hz taajuista
LisätiedotTässä luvussa käsitellään optimaalisten piirteiden valintaa, luokittelijan optimointia ja luokittelijan suorituskyvyn arviointia.
1 Luokittelijan suorituskyvyn optimointi Tässä luvussa käsitellään optimaalisten piirteiden valintaa, luokittelijan optimointia ja luokittelijan suorituskyvyn arviointia. A. Piirteen valinnan menetelmiä
Lisätiedot110. 111. 112. 113. 114. 4. Matriisit ja vektorit. 4.1. Matriisin käsite. 4.2. Matriisialgebra. Olkoon A = , B = Laske A + B, 5 14 9, 1 3 3
4 Matriisit ja vektorit 4 Matriisin käsite 42 Matriisialgebra 0 2 2 0, B = 2 2 4 6 2 Laske A + B, 2 A + B, AB ja BA A + B = 2 4 6 5, 2 A + B = 5 9 6 5 4 9, 4 7 6 AB = 0 0 0 6 0 0 0, B 22 2 2 0 0 0 6 5
LisätiedotMatlab-tietokoneharjoitus
Matlab-tietokoneharjoitus Tämän harjoituksen tavoitteena on: Opettaa yksinkertaisia piirikaavio- ja yksikkömuunnoslaskuja. Opettaa Matlabin perustyökaluja mittausten analysoimiseen. Havainnollistaa näytteenottotaajuuden,
LisätiedotKenguru 2012 Junior sivu 1 / 8 (lukion 1. vuosi)
Kenguru 2012 Junior sivu 1 / 8 Nimi Ryhmä Pisteet: Kenguruloikan pituus: Irrota tämä vastauslomake tehtävämonisteesta. Merkitse tehtävän numeron alle valitsemasi vastausvaihtoehto. Väärästä vastauksesta
LisätiedotHarjoitustehtävät ja ratkaisut viikolle 48
Harjoitustehtävät ja ratkaisut viikolle 48 1. Tehtävä on jatkoa aiemmalle tehtävälle viikolta 42, missä piti suunnitella älykodin arkkitehtuuri käyttäen vain ennalta annettua joukkoa ratkaisuja. Tämäkin
LisätiedotJatkuvat satunnaismuuttujat
Jatkuvat satunnaismuuttujat Satunnaismuuttuja on jatkuva jos se voi ainakin periaatteessa saada kaikkia mahdollisia reaalilukuarvoja ainakin tietyltä väliltä. Täytyy ymmärtää, että tällä ei ole mitään
LisätiedotLuku 2. Datasta tietoon: mitä dataa? mitä tietoa?
1 / 14 Luku 2. Datasta tietoon: mitä dataa? mitä tietoa? T-61.2010 Datasta tietoon, syksy 2011 professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto 31.10.2011 2 / 14 Tämän luennon sisältö
Lisätiedot1 2 x2 + 1 dx. (2p) x + 2dx. Kummankin integraalin laskeminen oikein (vastaukset 12 ja 20 ) antaa erikseen (2p) (integraalifunktiot
Helsingin yliopisto, Itä-Suomen yliopisto, Jyväskylän yliopisto, Oulun yliopisto, Tampereen yliopisto ja Turun yliopisto Matematiikan valintakoe (Ratkaisut ja pisteytys) 500 Kustakin tehtävästä saa maksimissaan
LisätiedotLaskennallinen data-analyysi II
Laskennallinen data-analyysi II Ella Bingham, ella.bingham@cs.helsinki.fi Kevät 2008 Muuttujien valinta Kalvot perustuvat Saara Hyvösen kalvoihin 2007 Laskennallinen data-analyysi II, kevät 2008, Helsingin
LisätiedotKiinnostuspohjainen topologian hallinta järjestämättömissä vertaisverkoissa
Kiinnostuspohjainen topologian hallinta järjestämättömissä vertaisverkoissa Lektio 20.12.2012, Annemari Soranto Tietotekniikan laitos annemari.k.soranto@jyu.fi 1 Agenda Vertaisverkon määritelmä Haku vertaisverkossa
LisätiedotTopologia Syksy 2010 Harjoitus 9
Topologia Syksy 2010 Harjoitus 9 (1) Avaruuden X osajoukko A on G δ -joukko, jos se on numeroituva leikkaus avoimista joukoista ja F σ -joukko, jos se on numeroituva yhdiste suljetuista joukoista. Osoita,
LisätiedotHarjoitus 3 (3.4.2014)
Harjoitus 3 (3..) Tehtävä Olkoon kaaren paino c ij suurin sallittu korkeus tieosuudella (i, j). Etsitään reitti solmusta s solmuun t siten, että reitin suurin sallittu korkeus pienimmillään olisi mahdollisimman
LisätiedotKohosen itseorganisoituva kartta virtualisoitujen laskentaresurssien eksploratiivisessa data-analyysissa. Jaakko Routamaa
Kohosen itseorganisoituva kartta virtualisoitujen laskentaresurssien eksploratiivisessa data-analyysissa Jaakko Routamaa Tampereen yliopisto Informaatiotieteiden yksikkö Tietojenkäsittelyoppi Pro gradu
LisätiedotVerkon värittämistä hajautetuilla algoritmeilla
Verkon värittämistä hajautetuilla algoritmeilla 5 12 30 19 72 34 Jukka Suomela 15 77 18 4 9. tammikuuta 2012 19 2 68 Verkko 2 Verkko solmu 3 Verkko solmu kaari 4 Hajautettu järjestelmä solmu (tietokone)
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos K:n lähimmän naapurin menetelmä (K-Nearest neighbours) Tarkastellaan aluksi pientä (n = 9) kurjenmiekka-aineistoa, joka on seuraava:
LisätiedotMetsämuuronen: Tilastollisen kuvauksen perusteet ESIPUHE... 4 SISÄLLYSLUETTELO... 6 1. METODOLOGIAN PERUSTEIDEN KERTAUSTA... 8 2. AINEISTO...
Sisällysluettelo ESIPUHE... 4 ALKUSANAT E-KIRJA VERSIOON... SISÄLLYSLUETTELO... 6 1. METODOLOGIAN PERUSTEIDEN KERTAUSTA... 8 1.1 KESKEISTEN KÄSITTEIDEN KERTAUSTA...9 1.2 AIHEESEEN PEREHTYMINEN...9 1.3
LisätiedotT Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1
T-61.281 Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti 10.2.2004, 8:30-10:00 Kollokaatiot, Versio 1.1 1. Lasketaan ensin tulokset sanaparille valkoinen, talo käsin: Frekvenssimenetelmä:
LisätiedotGraafit ja verkot. Joukko solmuja ja joukko järjestämättömiä solmupareja. eli haaroja. Joukko solmuja ja joukko järjestettyjä solmupareja eli kaaria
Graafit ja verkot Suuntamaton graafi: eli haaroja Joukko solmuja ja joukko järjestämättömiä solmupareja Suunnattu graafi: Joukko solmuja ja joukko järjestettyjä solmupareja eli kaaria Haaran päätesolmut:
LisätiedotTämän luvun sisältö. Luku 6. Hahmontunnistuksen perusteita. Luokittelu (2) Luokittelu
Tämän luvun sisältö Luku 6. T-6. Datasta tietoon, syksy professori Erkki Oja Tietojenkäsittelytieteen laitos, Aalto-yliopisto 7.. Tämä luku käydään kahdella luennolla: ensimmäisellä luokittelu ja toisella
LisätiedotAlgoritmit lyhyiden sekvenssien rinnastamiseen referenssigenomia vasten. Krista Longi
Algoritmit lyhyiden sekvenssien rinnastamiseen referenssigenomia vasten. Krista Longi 19.05.2014 DNA:n sekvensointi DNA:n pilkotaan lyhyiksi mallipalasiksi, templaateiksi, joiden emäsjärjestys selvitetään.
Lisätiedot6. Analogisen signaalin liittäminen mikroprosessoriin 2 6.1 Näytteenotto analogisesta signaalista 2 6.2. DA-muuntimet 4
Datamuuntimet 1 Pekka antala 19.11.2012 Datamuuntimet 6. Analogisen signaalin liittäminen mikroprosessoriin 2 6.1 Näytteenotto analogisesta signaalista 2 6.2. DA-muuntimet 4 7. AD-muuntimet 5 7.1 Analoginen
LisätiedotDC-moottorin pyörimisnopeuden mittaaminen back-emf-menetelmällä
1 DC-moottorin pyörimisnopeuden mittaaminen back-emf-menetelmällä JK 23.10.2007 Johdanto Harrasteroboteissa käytetään useimmiten voimanlähteenä DC-moottoria. Tämä moottorityyppi on monessa suhteessa kätevä
LisätiedotTekstuurintunnistuksen lyhyt oppimäärä. Ts. pari tapaa erottaa tiiliseinä pensaasta.
Tekstuurintunnistuksen lyhyt oppimäärä Ts. pari tapaa erottaa tiiliseinä pensaasta. Mitä on tekstuuri? Vaikea määritellä, mutta: Pintakuvio Ornamentti tuntu kuviointi Miksi tämän pitäisi kiinnostaa? (Maantienmerkkausrobotti)
Lisätiedot7.4 Sormenjälkitekniikka
7.4 Sormenjälkitekniikka Tarkastellaan ensimmäisenä esimerkkinä pitkien merkkijonojen vertailua. Ongelma: Ajatellaan, että kaksi n-bittistä (n 1) tiedostoa x ja y sijaitsee eri tietokoneilla. Halutaan
LisätiedotKaksiluokkainen tapaus, lineaarinen päätöspinta, lineaarisesti erottuvat luokat
1 Tukivektoriluokittelija Tukivektorikoneeseen (support vector machine) perustuva luoikittelija on tilastollisen koneoppimisen teoriaan perustuva lineaarinen luokittelija. Perusajatus on sovittaa kahden
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille
LisätiedotVAASAN YLIOPISTO TEKNILLINEN TIEDEKUNTA SÄHKÖTEKNIIKKA. Lauri Karppi j82095. SATE.2010 Dynaaminen kenttäteoria DIPOLIRYHMÄANTENNI.
VAASAN YLIOPISTO TEKNILLINEN TIEDEKUNTA SÄHKÖTEKNIIKKA Oskari Uitto i78966 Lauri Karppi j82095 SATE.2010 Dynaaminen kenttäteoria DIPOLIRYHMÄANTENNI Sivumäärä: 14 Jätetty tarkastettavaksi: 25.02.2008 Työn
Lisätiedotẋ(t) = s x (t) + f x y(t) u x x(t) ẏ(t) = s y (t) + f y x(t) u y y(t),
Aalto-yliopiston Perustieteiden korkeakoulu Matematiikan ja systeemianalyysin laitos Mat-2.4129 Systeemien Identifiointi 1. harjoituksen ratkaisut 1. Tarkastellaan maita X ja Y. Olkoon näiden varustelutaso
LisätiedotTekoäly ja koneoppiminen metsävaratiedon apuna
Tekoäly ja koneoppiminen metsävaratiedon apuna Arbonaut Oy ja LUT University 26. marraskuuta 2018 Metsätieteen päivä 2018 Koneoppimisen kohteena ovat lukujen sijasta jakaumat Esimerkki 1 Koneoppimisessa
LisätiedotMS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi
MS-A0202 Differentiaali- ja integraalilaskenta 2 (SCI) Luento 4: Ketjusäännöt ja lineaarinen approksimointi Antti Rasila Aalto-yliopisto Syksy 2015 Antti Rasila (Aalto-yliopisto) MS-A0202 Syksy 2015 1
LisätiedotP (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.
Yhteenveto: Satunnaisvektorit ovat kuvauksia tn-avaruudelta seillaiselle avaruudelle, johon sisältyy satunnaisvektorin kaikki mahdolliset reaalisaatiot. Satunnaisvektorin realisaatio eli otos on jokin
LisätiedotMallipohjainen klusterointi
Mallipohjainen klusterointi Marko Salmenkivi Johdatus koneoppimiseen, syksy 2008 Luentorunko perjantaille 5.12.2008 Johdattelua mallipohjaiseen klusterointiin, erityisesti gaussisiin sekoitemalleihin Uskottavuusfunktio
LisätiedotKohina. Havaittujen fotonien statistinen virhe on kääntäen verrannollinen havaittujen fotonien lukumäärän N neliö juureen ( T 1/ N)
Kohina Havaittujen fotonien statistinen virhe on kääntäen verrannollinen havaittujen fotonien lukumäärän N neliö juureen ( T 1/ N) N on suoraan verrannollinen integraatioaikaan t ja havaittuun taajuusväliin
LisätiedotTee-se-itse -tekoäly
Tee-se-itse -tekoäly Avainsanat: koneoppiminen, tekoäly, neuroverkko Luokkataso: 6.-9. luokka, lukio, yliopisto Välineet: kynä, muistilappuja tai kertakäyttömukeja, herneitä tms. pieniä esineitä Kuvaus:
LisätiedotAlgoritmit 1. Luento 10 Ke 11.2.2015. Timo Männikkö
Algoritmit 1 Luento 10 Ke 11.2.2015 Timo Männikkö Luento 10 Algoritminen ongelman ratkaisu Suunnittelumenetelmät Raaka voima Järjestäminen eli lajittelu Kuplalajittelu Väliinsijoituslajittelu Valintalajittelu
LisätiedotDiskriminanttianalyysi I
Diskriminanttianalyysi I 12.4-12.5 Aira Hast 24.11.2010 Sisältö LDA:n kertaus LDA:n yleistäminen FDA FDA:n ja muiden menetelmien vertaaminen Estimaattien laskeminen Johdanto Lineaarinen diskriminanttianalyysi
LisätiedotDuaalisuus kokonaislukuoptimoinnissa. Mat , Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki
Duaalisuus kokonaislukuoptimoinnissa Mat-2.4191, Sovelletun matematiikan tutkijaseminaari, kevät 2008, Janne Karimäki Sisältö Duaalisuus binäärisissä optimointitehtävissä Lagrangen duaalisuus Lagrangen
LisätiedotTietorakenteet ja algoritmit Johdanto Lauri Malmi / Ari Korhonen
Tietorakenteet ja algoritmit Johdanto Lauri Malmi / Ari 1 1. JOHDANTO 1.1 Määritelmiä 1.2 Tietorakenteen ja algoritmin valinta 1.3 Algoritmit ja tiedon määrä 1.4 Tietorakenteet ja toiminnot 1.5 Esimerkki:
LisätiedotTilastolliset ohjelmistot 805340A. Pinja Pikkuhookana
Tilastolliset ohjelmistot 805340A Pinja Pikkuhookana Sisältö 1 SPSS 1.1 Yleistä 1.2 Aineiston syöttäminen 1.3 Aineistoon tutustuminen 1.4 Kuvien piirtäminen 1.5 Kuvien muokkaaminen 1.6 Aineistojen muokkaaminen
LisätiedotHarjoitus 3 (31.3.2015)
Harjoitus (..05) Tehtävä Olkoon kaaren paino c ij suurin sallittu korkeus tieosuudella (i,j). Etsitään reitti solmusta s solmuun t siten, että reitin suurin sallittu korkeus pienimmillään olisi mahdollisimman
LisätiedotLUKU II HOMOLOGIA-ALGEBRAA. 1. Joukko-oppia
LUKU II HOMOLOGIA-ALGEBRAA 1. Joukko-oppia Matematiikalle on tyypillistä erilaisten objektien tarkastelu. Tarkastelu kohdistuu objektien tai näiden muodostamien joukkojen välisiin suhteisiin, mutta objektien
Lisätiedot9. Tila-avaruusmallit
9. Tila-avaruusmallit Aikasarjan stokastinen malli ja aikasarjasta tehdyt havainnot voidaan esittää joustavassa ja monipuolisessa muodossa ns. tila-avaruusmallina. Useat aikasarjat edustavat dynaamisia
LisätiedotSuora 1/5 Sisältö ESITIEDOT: vektori, koordinaatistot, piste
Suora 1/5 Sisältö KATSO MYÖS:, vektorialgebra, geometriset probleemat, taso Suora geometrisena peruskäsitteenä Pisteen ohella suora on geometrinen peruskäsite, jota varsinaisesti ei määritellä. Alkeisgeometriassa
LisätiedotVektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on
13 Pistetulo Avaruuksissa R 2 ja R 3 on totuttu puhumaan vektorien pituuksista ja vektoreiden välisistä kulmista. Kuten tavallista, näiden käsitteiden yleistäminen korkeampiulotteisiin avaruuksiin ei onnistu
LisätiedotInversio-ongelmien laskennallinen peruskurssi Luento 7 8
Inversio-ongelmien laskennallinen peruskurssi Luento 7 8 Kevät 2011 1 Iteratiivisista menetelmistä Tähän mennessä on tarkasteltu niin sanottuja suoria menetelmiä, joissa (likimääräinen) ratkaisu saadaan
Lisätiedot1 Määrittelyjä ja aputuloksia
1 Määrittelyjä ja aputuloksia 1.1 Supremum ja infimum Aluksi kerrataan pienimmän ylärajan (supremum) ja suurimman alarajan (infimum) perusominaisuuksia ja esitetään muutamia myöhemmissä todistuksissa tarvittavia
Lisätiedot10.2. Säteenjäljitys ja radiositeettialgoritmi. Säteenjäljitys
10.2. Säteenjäljitys ja radiositeettialgoritmi Säteenjäljitys Säteenjäljityksessä (T. Whitted 1980) valonsäteiden kulkema reitti etsitään käänteisessä järjestyksessä katsojan silmästä takaisin kuvaan valolähteeseen
Lisätiedot10. Painotetut graafit
10. Painotetut graafit Esiintyy monesti sovelluksia, joita on kätevä esittää graafeina. Tällaisia ovat esim. tietoverkko tai maantieverkko. Näihin liittyy erinäisiä tekijöitä. Tietoverkkoja käytettäessä
LisätiedotKOHINA LÄMPÖKOHINA VIRTAKOHINA. N = Noise ( Kohina )
KOHINA H. Honkanen N = Noise ( Kohina ) LÄMÖKOHINA Johtimessa tai vastuksessa olevien vapaiden elektronien määrä ei ole vakio, vaan se vaihtelee satunnaisesti. Nämä vaihtelut aikaansaavat jännitteen johtimeen
LisätiedotMuodonmuutostila hum 30.8.13
Muodonmuutostila Tarkastellaan kuvan 1 kappaletta Ω, jonka pisteet siirtvät ulkoisen kuormituksen johdosta siten, että siirtmien tapahduttua ne muodostavat kappaleen Ω'. Esimerkiksi piste A siirt asemaan
LisätiedotTilastotiede ottaa aivoon
Tilastotiede ottaa aivoon kuinka aivoja voidaan mallintaa todennäköisyyslaskennalla, ja mitä yllättävää hyötyä siitä voi olla Aapo Hyvärinen Laskennallisen data-analyysin professori Matematiikan ja tilastotieteen
LisätiedotTilastotiede ottaa aivoon
Tilastotiede ottaa aivoon kuinka aivoja voidaan mallintaa todennäköisyyslaskennalla, ja mitä yllättävää hyötyä siitä voi olla Aapo Hyvärinen Laskennallisen data-analyysin professori Matematiikan ja tilastotieteen
Lisätiedot