muiden ollessa ART-2 ja ART Arkkitehtuuri ja toiminta

Transkriptio

1 26 7. Adapvnen resonansseora 7.. Johdano Sephen Grossberg on monpuolses vakuanu neuroverkkoukmuksessa. Hänen ukmusalansa on ulounu neurobologasa ja psykologasa verkkojen maemaasn perusesn. Yks Grossbergn ulos ol seorgansouvan syseemn sablsuuden osoamnen. Monmukasella syseemllä, kuen avo, jossa on massvses yhdseyjä omnoja ja "modulaarsa" arkkehuura, äyyy olla kyky ylläpää sablsuua. Seuraavaks käselävä neuroverkkoyypp kehy sablsuusukmukssa. Usemma neuroverkkoparadgma kärsvä sablsuusplassuus-ongelmasa. Tämä merksee perusongelmaa, jossa neuroverko evä kykene kunnolla oppmaan uua nformaaoa "vanhan päälle". Esmerkks monkerrokssessa percepronssa uuden opeusvekorn lsäysyrys jo opeeuun verkkoon saaaa aheuaa kaasrofaalsa svuvakuuksa uhoen kaken aemmn opun panoarvoja sokemalla. Suuren verkkojen vaaessa huomaavan määrän laskena-akaa (uneja, jopa pävä) ämä on vakava rajoe. Grossbergn parhaen unneu ulos on adapvnen resonansseora. Se on seorgansouva neuroverkko, joka osaa rakasa sablsuus-plassuus-ongelman. Verkon käyö hahmonunnsusongelmssa on ollu myös menesyksellsä Adapvnen resonansseora ART Adapvnen resonansseora (ART) kehen mallnamaan massvses rnnakkasa arkkehuura seorgansovaa neuraalsa hahmonunnsusverkkoa varen. 27 Verkon pääprre, jonka Grossberg ja Gal Carpener esvä, on kyky vahaa mooda plassen (oppmsla, jossa verkon ssäsä paramereja vodaan muuaa) ja sabln (knney luokusjoukko) välllä lman haaa aemmalle oppmselle. Verkko käsää myös usea käyäyymsyyppsä omnasuuksa, kuen koneksrppuvuus, joka sall verkon karsa epärelevana nformaaoa a osuvas verkolle eseyä nformaaoa. Seuraava ART-paradgman käsely on jokseenkn "mekaannen" puuumaa psykologsen a kognvsen ausan kuvaluun. Se päyyy perusasohn. Myös käsellään anoasaan lähesymsavan ensmmäsä versoa, ART-, muden ollessa ART-2 ja ART Arkkehuur ja omna ART-neuroverkko perusuu paljon enemmän arkkehuurn yksyskohn kun usemma muu neuroverkkoparadgma. Verkon kerrokslla on erlasa ehävä osn kun percepronn a Kohosen verkon jokseenkn homogeense kerrokse ja kerroksssa on ulkosa osa verkon läp kulkevan eovrran valvomseks. Näden syden aka on hyödyllsä selää arkkehuurn omnaapa ennen, kun kuvaaan verkon omna oppmsen ja luokuksen akana ART-arkkehuur ART-neuroverkko on esey kaavamases kuvassa 7.. Snä on kaks kerrosa. Ensmmänen on syöe-veralu-kerros ja onen ulos-unnsus-kerros. Koko arkaselun ajan käyeään erouksea ermejä veralu syöeelle ja unnsus ulokselle, koska kerrosen ehävä vahuva vaheleven jaksojen akana. Kerrokse on yhdsey osnsa, jälleen osn kun usemmssa mussa neuroverkossa, laajaa akasnkykenää sovelaen, s. uloskerroksesa syöekerrokseen ja myös uloskerroksen

2 28 solmujen välllä laeraalsella ehkäsyllä. Muuama näsä panoarvosa on esey kuvassa 7.2. Kuva 7.. ART-arkkehuur. Kuva 7.2. ART-arkkehuurn panoarvoja. 29 ART-neuroverkolla on eeenpänsyöävä panoarvovekorea syöekerroksesa uloskerrokseen ja akasnkykevä panoarvovekorea uloksesa syöekerrokseen. Nmeään nämä eeenpänsyöäven ja akasnkykeven polkujen vekor krjamlla w ja. Jokasa kerrosa varen on loognen konrollsgnaal, joka valvoo kerrosen läp kulkevaa eovraa kussakn omnajakson vaheessa. Nämä nmeään sgnaaleks konroll- ja konroll-2. Vasaava syöee ova yhesä syöe- ja uloskerrosen jokaselle solmulle. Syöe- ja uloskerrosen välllä on myös uudelleenalouspr. Tällä on keskenen merkys verkossa. Se suoraa muuakn kun ulossolmujen yksnkerasen uudelleenalouksen. Se on vasuussa syöeden veraamsesa "valppauskynnykseen", joka määrää, päskö uus hahmoluokka luoda syöehahmoa varen. Tällanen on ART-verkon perusarkkehuur. Huomaakoon mava akasnkykeven yheyksen laajuus, kunkn kerroksen erllse ehävä ja ulkose konrollsgnaal. Seleään nämä ny omnnan kannala ART--meneelmän omna ART-neuroverkossa on usea oppms- ja luokeluvahea. Ilmesn ero usempn muhn neuroverkkoparadgmohn nähden on jakuvas muueavan syöevekorn välämnen eeen- ja aaksepän (resonoden) kerrosen välllä jaksoasessa prosessssa. Verkon omnaa kuvaaan er kerrosen omnnan suheen er vahelle. Nämä vahee vodaan laajas oaen jakaa alusus-, unnsus-, veralu- ja esnävaheeseen Alususvahe ART-neuroverkon alusus vaa enemmän yöä kun usempen muden neuroverkkojen kohdalla, mkä e lene ylläävää snä

3 30 ollessa avallsa enemmän omnasuuksa. Kaks konrollsgnaala, konroll- ja 2, ohjaava eovraa verkon läp er oppms- ja luokeluvaheden akana. Konroll- määrää syöekerrokselle eovrran kulun. Sen bnäärarvo vahaa solmujen enskerroksen kahden moodnsa välllä, syöe ja veralu. Konroll-:n la on, mkäl kelvollnen syöe, so. nollasa eroava, anneaan verkolle, mua 0, jos mkä ahansa unnsuskerroksen solmu on akvnen. Konroll-2 on edellsä yksnkerasemp. Sen bnäärarvo kykee unnsuskerroksen solmu omnaan a pos äsä. Se on jokaselle kelvollselle syöehahmolle, mua 0 epäonnsuneen valppausesn jälkeen. Tämä kykee unnsuskerroksen solmu pos ja aseaa nden akvaaoaso nollks. Panoarvovekor w ja on aluseava. Takasnkykenäyheyde ova yksnkerasa. Nlle aseeaan bnäärarvo pääellen, eä jokanen ulossolmu yhdseään akasnkykenäyheydellä aluks jokaseen syöesolmuun. Eeenpänsyöävlle yheykslle aseeaan reaalvako w, + N mssä N on syöesolmujen lukumäärä. Valppauskynnys aseeaan vällle 0<ρ<. Tämän merkys ulee lmeseks omnajakson selvyksessä Tunnsusvahe Syöevekor väleään unnsusvaheessa syöekerroksesa verkon kaua. Sen arvo soveaan uloskerroksen solmussa eseyjen luokusen mukases. Käsellään, men 3 unnsuskerroksen solmu omaksuva nämä luokukse opeusjakson kuluessa. Syöekerroksen solmulla on kolme syöeä: syöevekorn komponen, akasnkykenäsgnaal uloskerroksesa ja konroll--sgnaal. Teovraa syöekerroksen kaua valvoaan Grossbergn ja Carpenern "kaks kolmasosaa -säännöllä". Jos solmun jokn kaks syöeä ova akvsa, solmun ulos on arvo, muuen solmu pdeään uloksessa 0. Tunnsusvahe on rnnaseavssa Kohosen verkkoon. Tunnsussolmun jokanen panoarvovekor w vodaan melää "alleeuks kaavameks" a luokkahahmon mallkappaleeks. Syöevekora verraaan kunkn solmun mallkappaleeseen, ja parhaen sovuva löydeään. Parhaen äsmäävän veralu ehdään laskemalla syöevekorn ja solmun panoarvovekorn pseulo. Sllon lähnnä syöearvovekora panoarvovekorlaan oleva solmu uoaa suurmman pseulon. Tunnsuskerroksen mone solmu saaava uoaa korkean akvaaon vaseen syöevekorlle, mua solmujenvälse laeraalse ehkäsy uleva ny mukaan ja käänävä kunkn solmun pos omnnasa lukuunoamaa maksmvaseen solmua. Tämä solmu aheuaa suurmman ehkäsyn muhn solmuhn, joen vakka kakk solmu yrävä ehkäsä osaan, juur maksmvaseen solmu määrää vakuuksen. Jokasella solmulla on myös posvnen akasnkykenä seensä vahvsaakseen omaa ulosarvoaan. Vahvsuksen ja laeraalsen ehkäsyn yhdsey vakuukse varmsava, eä anoasaan yks solmu jää kerroksessa merkäväs akvseks. Voajasolmun ulee ny välää alleeu luokkahahmonsa (, luokkamallkappale) akasn veralukerrokseen. Museaessa mallkappaleen olevan alleeuna bnäärsenä panoarvovekorna akasnkykenäyheyksssä syöekerrrokseen ymmärreään, eä mallkappale vodaan välää veralu-

4 32 kerrokseen yksnkerases kuvaamalla voajasolmun akvaao (joka on pakoeu arvoks posvsella vahvsuksella) akasnkykenäpanoarvojen kaua syöekerrokselle. Kuva 7.3. esää ää, mssä on van akasnkykenäyheyde unnsuskerroksen voajasolmusa syöekerrokselle. voajasolmu uloskerros 0 mallkappalevekor syöekerros Kuva 7.3. Takasnkykenävekor alleaa mallkappalevekorn Veraluvahe Syöekerroksessa on kaks vekora veraluvahea varen. Syöekerroksenhan jokasella solmulla on kolme syöeä. Solmun ensmmäsenä syöeenä on syöevekor, osena mallkappalevekor unnsuskerroksesa ja kolmanena konroll-, joka on 0 ämän vaheen kesäessä, koska unnsuskerroksella on äysn akvnen solmu. Tlanne on esey kuvassa z z2 z3 konroll 2 3 Kuva 7.4. Syöekerros sekä sen kolme syöeyyppä. Kaks kolmasosa -säänö soveluu solmun uloksen laskemseen. Mallkappalevekor ja syöevekor yhdseään loogsella ANDoperaaolla (konroll- on 0, joen sllä e ole vakuusa ulokseen) uuden vekorn uoamseks veralukerroksen ulokseen. Tää kusuaan veraluvekorks z. Veraluvekor väleään uudelleenalousprn nykysen syöevekorn myöä Valppauskynnys Uudelleenalouspr on vasuussa syöevekorn ja veraluvekorn samanlasuuden esaamsesa valppauskynnykseen verrauna. Tesnä on syöevekorn ja veraluvekorn arvojen määren suheen laskemnen. Saadaan helpos syöevekorn ja veraluvekorn pseulo, kunkn hahmon äsmääven arvojen lukumääränä. Saau luku jaeaan syöevekorn arvojen määrällä, jollon saadaan suhde S. Tää suhdea verraaan valppausarvoon. S j

5 34 es :Onko S > ρ Jos S on suuremp kun valppausarvo ρ, luokus on valms ja luokkajäsenyys saadaan uloskerroksen akvsa solmusa. Jos suhde on kynnysarvon alapuolella, ämä osoaa, ee ole löydey okeaa parhaen äsmäävää mallkappalea ja verkko sryy esnävaheeseen Esnävahe Esnävaheen akana verkko yrää löyää uuden äsmäävän vekorn nykyselle syöeelle unnsuskerroksesa. Aluks nykynen akvnen ulossolmu kykeään pos päälä ja sen ulos nollaaan. Tällä on kaksnkeranen vakuus. Solmua eseään anamasa parhaen äsmäävä veraluja nykyselle syöehahmolle, ja sgnaal konroll- pakoeaan arvoon 0, koska unnsuskerroksen kakk ulokse ova jälleen arvoja 0. Syöevekora käyeään jälleen unnsuskerrokselle ja parhaen äsmäävän veraamnen laskeaan uudelleen. Verkko sryy aas veraluvaheeseen, joka pääyy esaaessa jälleen uua unnsuskerroksen mallkappalea valppauskynnyksen suheen. Tää prosessa oseaan peräkkän kyken uloskerroksen solmuja pos päälä, kunnes löydeään unnsuskerroksen solmu, joka äsmää syöeen kanssa valppauskynnyksen rajossa. Mkäl sellasa solmua e löydeä, neuroverkko määrää syöevekorn unemaomaks luokaks ja varaa slle vapaan solmun uloskerroksesa. Tämä pääää ART-neuroverkon er vaheden kuvauksen ja selää, men eoa srreään dynaamses ympär verkkoa "resonovaan" apaan. Tämä erm on sovelas meneelmän aka, men syöevekor "ponnahaa" edesakasn syöe- ja uloskerrosen välllä ennen, kun se löyää sabln lan. 35 ART-meneelmä on monmukanen monn muhn neuroverkkohn verrauna. Algorm snänsä e ole käseellses ekä laskennallses monmukanen. Se vodaan oeuaa seuraavan esyksen mukaan ART-algorm Seuraavaks paneuduaan algormn. ART-algorm. Alusa seuraava arvo. j w j (0) (0) jossa ja + N 0,...,, N ja j 0,..., M Asea ρ, 0<ρ<. Nässä j() on yheys ylhäälä alas ja wj() yheys alhaala ylös solmujen ja j välllä hekellä. Nämä panoarvo määrelevä ulossolmun j määräämän mallkappaleen. Symbol ρ on valppauskynnys, joka määrää, men lähellä syöeen on olava äsmääkseen oken alleeun mallkappaleen kanssa. Tulossolmuja on M ja syöesolmuja N kappalea. 2. Anna uus syöe. 3. Laske äsmäys µ j N 0 w ( ) j, j 0,..., M

6 36 ja ässä µj on solmun j ulos ja on syöeen komponen, joka vo olla joko 0 a. 4. Valse parhaen äsmäävä mallkappale: µ j * ma µ j ( ) j 5. Tesaa: N 0 N j * ( ) 0 Onko > ρ? Jos vasaus on kyllä, nn mene kohaan 7, muuen kohaan Kyke parhaen äsmänny pos. Asea parhaen äsmänneen ulos arvoks 0. Mene kohaan Muokkaa parhaen äsmännyä: ) j * ( + ) j * ( w j * j * ( N ( + ) ) j 0 * ( ) 8. Tosa el kyke poskykey solmu käyöön ja mene sen kohaan ART-verkon opeus ART-verkon opeusflosofa on erlanen muhn neuroverkkohn verrauna. Oppmsalgorma opmodaan, joa verkko vos sryä opeusmoodn mllon ahansa ja ssällyääkseen uua daaa. Tämä on käyännöllnen rakasu sablsuus-plassuus-ongelmaan. ART-neuroverkko on yks nsä verkosa, joka selvyyvä oppmsesa jakuvas muuuvassa ympärsössä. Seuraavassa kuvaaan ekjöä, joka vakuava verkon oppmskykyyn. ART-verkkoa varen on kaks opeusmeneelyä, nopea ja hdas oppmnen. Nopeaks oppmseks kusuussa eeenpänsyööpolun panoarvo aseeaan opmnsa muuamassa oppmsjaksossa. Ise asassa usemmssa oeuuksssa ne opaan opeusdaan yksäsellä läpkäynnllä. Sä vason hdas oppmnen pakoaa panoarvo mukauumaan haas monen opeusjaksojen kuluessa. Tämän eknkan eu on se, eä panoarvo opeeaan edusamaan kunkn erysen luokan syöedaan lasollsa keskarvoa. Nän anneaan enemmän huomoa syöehahmojen keskesen preden löyämseks, mkä määrää luokukse. Yleensä nopeaa oppmsa näyeään käyeävän, kuenkn lähnnä sen hdasa yksnkerasemman oeuamsen vuoks. ART on varsn herkkä verkkoparamerensa vahelulle opeusjakson akana. Epälemää krsn paramer on valppauskynnys, joka vo dramaases muuaa verkon suoruskykyä. Eeenpänsyöäven panokeromen alusus on ärkeää. Ne on aseeava penks arvoks opeuksen alussa. Mkäl jokn vekor e ole aluseu penllä arvolla, se domno opeusprosessa, sllä se voaa säännöllses unnsusvaheen

7 38 parhaen äsmäävän veralun. Tämä arkoaa, eä kakk syöevekor määrääsn nmenomaan yhdelle ulossolmulle. Nän ollen algorm pakoaa alusuksessa kakk panoarvo yhäsuurks, penks arvoks. Valppausparamer valvoo luokusprosessn resoluuoa. Maala kynnys (<0.4) uoaa maalan resoluuon luokusprosessn anaen harvoja luokusyyppejä. Korkea valppauskynnys (lähellä arvoa ) akaansaa puolesaan hyvn henojakosen resoluuon luokuksen, s. jopa vähäse syöehahmojen vahelu pakoava luomaan uuden luokan. Korkea kynnysarvo ekee mones verkosa lan herkän saman luokan syöeden erlasuukslle ja määrää helpos kakk saaavlla oleva ulossolmu uusn luokkn. ART-verkon pääkrkk kohdsuu hekkoon suoruskykyyn kohnasen syöeden olosuhessa ämän valppauskynnysongelman ähden. Tämä e ollu huolmaomuua Grossbergn ahola, vaan pkemmn yrys saada verkon suoruskyky herkäks ympärsölleen. Tällä arkoeaan koneksn oamsa huomoon. Olosuhesa rppuen dskrmnaaoprobleema vo vaaa karkeaa a henoa luokelua. Esmerkkenä olkoo kaks yksnkerasa asaa. Jos on unnseava pöyä näden monnase muodo ja koo käsäen, e arvse oppa jokasen pöydän eryspreä kappaleen unnsamseks pöydäks. Sen sjaan puhelnnumeroden oppmsessa e rä eää, eä ne ssälävä esm. sesemän numeroa ja mahdollses suunanumero, operaaornumero jne. Loppujenlopuks se, onko neuroverkon valppausparamern herkkyys eu va haa, rppuu perspekvsä, joa vasen ARTmeneelmän ehävä ymmärreään. Opeusdaan koneksuaalsen rppuvuuden mallna se om hyvn vakuuavalla avalla verraaessa käyäyymsyyppseen daaan. 39 Hahmonunnsusehäven varjopuola. välneenä sllä on vakava Verkon herkkyyden valppausparamern muuokslle kuvaamseks arkasellaan seuraava Grossbergn kokeellsa esmerkkejä (kuva 7.5.). Kuva 7.5. Valppausparamer ρ valvoo verkon luokuskykyä. Kuvassa on esey kaks opeusesmerkkä erlasne arvoneen. Maalan valppausparamern (ρ0.2) apauksessa syöehahmon pysysuoran vvan ben lukumäärä on rävä akaamaan, eä jokanen syöevekor määräään samalle uloskerroksen solmulle ja äen samaan luokkaan. Korkealla valppausparamerlla (ρ0.8) syöehahmojen pree ukaan paljon huolellsemmn ja ne käseään rävän erlasks saadakseen kukn oman luokkansa.

8 40 Opmaalnen rakasu saaaa olla valppausparamern vahelemnen dynaamses opeusprosessn kuluessa. Maala alkuarvo uoas nopeas syöehahmojen karkean ryhmelyn ja ämän kasvaamnen myöhemmn saaaa opmoda luokusa. Grossberg kuvas mahdollsuua muunaa valppausparamera "rangasusapahumana" opeuksen akana. Jos verkko ekee vrheen vääränä luokuksena, sä päs "rangasa". Tämä merksee negavsa vahvsamsa, mkä lsää uudelleenalous-prn väleyä akvaaoa ja nän muuaa valppaus-paramera. Ulkosen, verkon vasea valvovan prn ulee säädellä rangasusa. Verkko käyää ällön pkemmn vahvsavaa oppmsa kun ohjaamaona Eeenpänsyöäven panoarvojen suheuamnen ART-mall käsää opeusalgormn prosessn, joka ssälää Grossbergn kuvaaman eeenpänsyöäven reaalarvosen panovekoren w "semoamsen". Tämän prosessn vakuus on yhä krnen verkon luokuskyvylle kun valppausparamer, sllä se edesauaa syöevekorn kohnan eroamsessa sgnaalsa. Suheuamsprosess vodaan selää eeenpänsyööpolun panoarvojen muokkaamsyhälön arkaselulla: w j Lz ( L + z k ) Nmäjän muuuja zk on yhä kun (bnäärsen) veraluvekorn akvsen ben lukumäärä. Nän ollen kakk panoarvokomponen zj on "normalsou" veraluvekorn akvsen ben määrällä. Tällön monen akvsen bn veraluvekor uoava penempä panoarvovekorea kun harvan akvsen bn veraluvekor. 4 Tämän vakuusa luokeluun selvenää seuraava esmerkk. Olkoo kaks syöehahmoa, joka edusava er luokka: Jos oppmsvaheen akana nää e suheuea el skaalaa, eeenpänsyöävä panoarvo aseeasn samoks arvoks, kun akasnkykenäpanoarvo, jossa e ole suheuusa: w w Jos opeuksen jälkeen sovelleaan syöeä verkkoon, unnsuskerroksen solmujen ja 2 vasee ova se asassa samoja, slä :n pseulo w:n ja w2:n kanssa ova sama. Kumpkn solmu on sks yhä odennäkönen parhaen äsmäävän veralun voaja. Jos solmu 2 voaa, verkko on vakeuksssa. Syöe luokellaan vrheellses, ja solmun 2 mallkappale väärsyy, koska sä muokaaan syöevekorn mukaan purkaen sen aempaa oppmsa. Käyeäessä opeuksen akana suheuusa saadaan seuraava eeenpänsyöävä panoarvo. Olkoon L2. w w Syöevekorn uudelleensovelamnen anaa ny erlasen pseuloarvon kullekn panoarvovekorlle ja ässä apauksessa van akvo solmun uoaakseen okean luokuksen. Suheuus esää vekorn, joka on jonkn osen osajoukko, luokelun samaan luokkaan. Tällön kaks vekora, jolla on

9 42 yhesä omnasuuksa, mua ova er luokssa, vodaan edelleen eroaa ossaan Opeusjakso Käydään läp opeusjakso kuvaen, men syöevekor väleään verkon vaheden läp ennen, kun lopuks määräään ulossolmu. Oleeaan, eä verkolla on kolme syöesolmua ja melvalanen määrä, esm. 20, ulossolmuja. Se aluseaan aseamalla sgnaal konroll- ja -2 nollks, ulossolmu nollks ja panoarvovekor alkulohnsa. Eeenpänsyöävä panoarvo aseeaan arvoon w j + N, mssä N on syöevekorn dmenso. Lsäks mallhahmo, joka on alleeu akasnkykenäpanoarvohn, aseeaan kakk bnäärarvoks. Syöevekora vodaan käyää syöekerrokselle. "Kaks kolmasosa -säänö" määrää kerroksen vaseen syöeelle. Tällön on anoasaan kaks akvsa syöeä syöekerrosa varen: syöesgnaal ja konroll-, joka on bnäärarvo (arkoaen kelvollsen syöeen esnymsä verkolle). Tämä merksee AND-operaaon suoramsa syöevekorlle ja konroll-- sgnaallle, s. syöevekor väleään sellasenaan seuraavalle kerrokselle. Seuraava kerros on luonnollses unnsuskerros, jossa syöevekor soveaan kunkn solmun eeenpänsyöävän vekorn kanssa laskemalla syöe- ja panoarvovekoren pseulo. Kun kuenkn kakk eeenpänsyöävä panoarvovekor aluseaan samalla alkuarvolla, parhaan valna on melvalasa. Tunnsuskerroksen voajaks valu solmu välää alleeun mallkappaleensa akasn syöekerrokselle ja konroll- pakoeaan akasn arvoks Syöekerroksella on kolme syöeä el syöevekor, mallkappalevekor ja konroll--sgnaal. Kerroksen ulos kaks kolmasosa -säänöön lyen on esey aulukossa 7.. Taulukko 7.. Kaks kolmasosa -säänö syöe unnsuskerros konroll- säännön ulos Veraluvekor ( 0) ja syöevekor ( 0) väleään molemma valppausesn uudelleenalousprn. Kahden vekorn samanlasuussuhde laskeaan, joka on ässä apauksessa yksnkerases :, sllä vekor ova dense, ja ulosa verraaan valppauskynnykseen. Valppausarvo on 0.8, joen samanlasuussuhde on kynnyksen yläpuolella ja syöevekor oleeaan oken luokelluks. Kun valppauses on käyy läp, voajasolmun panovekor päveään käsämään syöevekorn pree. Tämä suoreaan AND-operaaolla vanhan mallkappalevekorn ja nykysen syöeen välllä: j uus j vanha Täen voajasolmun mallkappalea muunneaan syöeelle seuraavas: j uus () (0) (0)

10 44 Syöevekor alleeaan luokkayyppnä unnsuskerroksen solmuun. Mkäl ny käyeään osa, 2 ( 0 ), syöeä verkolle ja laskeaan uudelleen unnsuskerroksela äsmäämsarvo, havaaan, eä syöeelle määräy solmu on voaja. Nän käy, koska eeenpänsyöävä arvo ova paljon suurempa kun muu, velä mllekään määräämäömä solmu. Luokan (syöe ) mallkappale väleään vrheellses veralukerrokselle, jossa on syöe 2. Jäljeäessä mallkappale uudelleenalousprn kaua aempaan apaan saadaan, kun nmäjän summa arkoaa syöevekorn ben lukumäärää: S S / Tällön on S<ρ, joen neuroverkko pääää, eä vakka solmu valn parhaen äsmääväks, se on odellsuudessa väärä luokus ja verkko sryy uudelleenalousvaheeseen. Tämä arkoaa, eä solmu kykeään pos (nykysen syöeen käselyn ajaks), unnsuskerros aseeaan uudelleen nollks ja vekora käyeään uudelleen unnsusvaheessa lman solmua. Tällön luokus eenee, kuen ensmmäsellä syöeellä, ja 2 määräään käyämäömälle ulossolmulle. j On huomaava, eä ART-verkon oppmnen on paljon nopeampaa kun usempen muden neuroverkkojen eravse suppenemsproseduur. Uua hahmoa oppessaan prosessn han osa on se asassa unnsuskerroksen haun suoramnen. Tämäkään e ole sl hdasa verrauna muhn neuraalsn laskenaparadgmohn, koska hakuprosess suoreaan "rnnakkan". Parhaen äsmäävän veralu laskeaan pkemmn samanakases unnsuskerroksen jokaselle solmulle kun peräkkäses. 45 Tärkempänä preenä on, ee yhään panoarvosa muuea ennen, kun hakuprosess on pysähyny ja jokn solmu valu. Nopeaa oppmsa käyäen panoarvo muueaan, joa luokus saadaan päveyä äydellses äsmäämään juur yhden syöeesyksen kanssa. On jälleen huomaava, eä suoruskykyyn vakuaa merkäväs valppauskynnyksen valna, joka valvoo melko äydellses verkon ylesys ja luokusomnasuuksa. On jonkn verran monselesä kusua ää prosessa oppmsjaksoks, koska kuvau oppmsmekansm jäävä koskemaomks verkon koko omnnan ajaks. Anneaessa luokuksen akana uus syöe verkolle, jos e sopvaa äsmäävää luokusa löydeä, unnsuskerrokseen lsäään sellanen. Tämän prosessn anoa rajous on sellasen solmujen määrä, joka jäävä määräämää kerroksessa. Haku- ja oppmsprosess pääyy ana määräämäömään solmuun. Jos e ole yhään ällasa solmua, syöe jää luokelemaomaks. Oppmsprosess aseuu käyännössä vakaaseen laan, kun merksevä määrä luokuksa muodoseaan unnsuskerroksessa, koska uuden syöeen äsmäämsodennäkösyys jonkn unneun luokan kanssa kasvaa Luokus ART-neuroverkko hyödynää neurolaskennan keskesä eua, nmän rnnakkasprosessona. Se mallnaa mekansmeja, joka mahdollsava hmsavojen nopean unnsuskyvyn huolmaa haeavan eämyskannan lmesen suuresa laajuudesa. Huolmaa myös avojen ssäsen esysmuoojen suuresa määräsä, joka koodaava absrakeja eämyskäseä, e ole mään lmesä ongelmaa unneujen objeken unnsamsessa a saamsessa mussa.

11 46 On epäodennäkösä, eä avo käyäsvä sellasa meneelmä, kun semanse verko a perääse puurakenee eojen ssäsä esämsä varen. Tää oaksumaa Grossberg ym. ukva ja panova rnnakkasen hakumeneelmen arvea. Tässä suheessa Grossberg ja Carpener esvä kaks väeä ART-verkon suoruskyvyn suheen. Huolmaa unnsuskerroksen koodauksen määräsä ja monmukasuudesa unneulla syöehahmolla (opeuksessa käyeyjen syöeden edusama luoka) on suora pääsy uloskerroksen luokussolmuhn. Toseks verkko käyää sesääävää hakua mussa, ja ämä hakee opmaalses rnnakkan unnsuskerroksela luokellakseen unemaoman syöeen. Nämä näkökohda on jo käsely haku- ja unnsusvahessa. Syöeen luokus ehdään rnnakkan, koska syöevekor anneaan samanakases jokaselle unnsuskerroksen solmulle. Tämä vodaan käeväs oeuaa rnnakkases. Tunemaon syöehahmo akvo unnsuskerroksen solmun, jos sllä on räväs yhesä merkävä preä aemmn opujen kanssa. Edellä kuvan, men valppauskynnys määrää näden preden lähesyyä ja eroeavuua. Verkon ärkempänä omnasuuena luokusason suheen on, eä se anaa mahdollsuuden oppa myös uua nformaaoa. Jos käyeään unemaona syöeä, ART-neuroverkko yrää ana määrää uuden luokan unnsuskerroksela kohdsamalla unemaoman syöeen solmuun. Tälle prosesslle kelenen rajoe on vapaana oleven solmujen määrä unnsuskerroksella. Olennasa on verkon kyky vahdella sabln ja plassen lan välllä lman aemmn opun edon huononemsa verkossa a luokusnopeuden hekkenemsä, mkä ekee sä jokseenkn anulaausen neuroverkon Johopääöksä Edellä on kuvau ART-neuroverkon omna pääpressään. Tarkaseln ART--versoa muden ollessa ART-2 ja 3. ART- ja ART-2 ova varsn samankalasa. Pääerona on verson ART-2 reaalarvoja käyävä oeuus. Syöekerrokselle anneaan syöeenä reaalarvosa vekorea, kun aas ART- saa bnäärvekorea. Esmerkknä vonee olla kuvankäselyn harmausasekko, mssä käyeään avallses dskreeejä arvoja, esm. kokonaslukuja Neuroverkkojen ART- ja ART-2 arkkehuur ova pohjmmlaan samoja, mua syöekerroksen oeuuksssa on heman eroja ART-2:n käsellessä reaallukuja. Syöekerros on snä myös jaeu usesn omnnallsn kerroksn, joa saaasn edellsä monmukasempa unnsuskerroksen ja veralukerroksen sovuksa. Tämä käsää sellasa vakuuksa kun predenkorosus ja kohnanposamnen. Syöekerroksen puskuren välllä käyeään myös posvsa akasnkykenää. ART-verkon suoruskykyä on nän kyey huomaavas paranamaan, ja sä on käyey eryses hahmonunnsusehävssä, kuen puheenunnsus ja ukakuven luokus. ART-3 käyää samaa verkkoopologaa kun ART-2, mua sovelaa kemallsen hermoväläjäaneden dynamkan mallnamskaavoja. Grossberg ja Carpener ova käänänee huomonsa bologsen neuroarkkehuurn esämseen. Lsäks he ova vasusanee verkkojen ART- ja -2 saamaa krkkä, kun nämä evä käyänee luokken ssäseen koodaukseen hajaueua esysä. Se merksee myös, eä verkon syöe- ja uloskerrokse ova samanlasa, koska ne käyävä samaa solmumalla. Verkko vodaan ällön järjesää osn nn, eä sen uloskerros syöää suoraan osen verkon syöekerrokseen, mkä mahdollsaa verkkoherarkoden rakenamsen. ART-3 hyväksyy myös reaalajassa muuuva

12 48 syöeä. Tämä verkko on ehkä lähmmäks päässy mall, mä ulee bologsen neuroverkon dynamkkaan Termnologasa Tässä esyksessä e ole käyey Grossbergn alkuperäsä ermnologaa, koska shen ol kykey "psykologsa fraseologaa". Sä on ässä pyry selkeyämään avanomaseen yyln. Grossberg määrel varsnkn panoarvovekor er avon. Hän es ne musjälknä, mua edellä käyen yksnkerases eeenpänsyöävä ja akasnkykeyjä panoarvovekorea. Talleeu mallkappalevekor ja eeenpänsyöävä panoarvo w hän nmes pkäkesosks musjäljks. Näden analoga on melko selkeä bologsen syseemen kanssa. Grossbergn mukaan mallkappalevekor "lukaan" musn oppmsen seurauksena. Uuden nformaaon ullessa eseään penehkö pävykse älä edola, ja äen ämä nformaao alleeaan pkäks akaa ja sablssa lassa. Lyhykesonen musjälk vasaa verkon ranseneja loja, s. unnsus- ja veralukerrosen omnoja. Nää loja e alleea. Nä muueaan jakuvas oppmsprosessn akana, kun mussa haeaan äsmäysnformaaoa. Kun sabl ulosla on löydey, nämä lyhykesose musjälje aloeaan uudelleen seuraavaa nformaaoa varen. Grossberg kuvas eeenpänsyöävä yheyde alhaala ylöspän suunnauks adapvseks suomeks (flerks). Tämä on suoravvanen apa ajaella syöevekorn muunnosa panoarvomarsn kaua. Kun ART-mall perusuu kognvsn vakuuksn, on ehkä melekäsä jossan lanessa ajaella panoarvoja nden läp kulkevan nformaaon "suodaamsena". 49 Grossberg käy myös musa ART-malln käsesä bologsväresä nmyksä, esmerkkenä velä prrerepresenaaoalue ja luokkarepresenaaoalue veralu- ja unnsuskerrokssa ART-neuroverkon yheenveo ART-verkolla on mona merkävä eroja verrauna muhn neuroverkkoparadgmohn. ART-malln huomaavn ulos on kyky käsellä oppmsen sablsuus-plassuus-ongelmaa vahelevssa olosuhessa. Neuroverkko jakaa uuden nformaaon lsäämsä, kunnes se saa hyödynneyä kaken vapaan musnsa, ja jalosaa jakuvas verkkoon alleeua eämysään uua nformaaoa eseäessä. Verkko on osoeu sablks ekä se kärs sellassa suppenemsongelmsa kun lokaalse mnm. Oppmsalgorm on ohjaamaon ja vaa anoasaan yhden opeusjoukon läpkäynnn oppakseen ssäsen esysmuodon (käyeäessä nopeaa oppmsa). ART-meneelmä osaa käsellä joko bnäärsä a reaalarvosa syöeä versossaan ART- a ART-2. ART--malln kohdsunu krkk myöhemmä mall ova suoruskyvylään huomaavas parempa on ollu varsnkn kohnasen syöeden uoamen hekkojen ulosen seurausa. Myös neuroverkon rakennea on krsou päen sä epäodennäkösenä boloogsn neuroverkkohn verraen, vakka nää on käyey perusena älle malllle.