Tänään ohjelmassa Kognitiivinen mallintaminen Neuraalimallinnus 26.2. Nelli Salminen nelli.salminen@helsinki.fi D433 autoassosiaatio, attraktorin käsite esimerkkitapaus: kolme eri tapaa mallintaa kategorista havaitsemista Ensi kerralla (11.3.) ajan esittäminen hermoverkoissa takaisinkytketyt verkot ja dynaamiset systeemit esimerkkitapaus: lyhytkestoinen muisti esimerkkitapaus: tarkkaavaisuus aikaa olisi vielä yhdelle esimerkille 4. laskarit kysymyksiä pohdittaviksi kohtuullisen helppolukuisen mallinnusartikkelin pohjalta artikkelivaihtoehtoja tulee olemaan varmaankin kaksi toivomukset edelleen tervetulleita 1
Autoassosiaatio verkko jonka tehtävänä on syötteen perusteella tuottaa tuo syöte itse verkko voi olla käyttökelpoinen jos esim. halutaan kohinaisen tai osittaisen kuvion perusteella löytää virheetön kuvio tai epätyypillisen esimerkin perusteella löytää prototyyppi takaisinkytketty verkko (recurrent) kaikki solut ovat yhteydessä toisiinsa kaikki solut ovat samassa kerroksessa (eli käytännössä verkossa ei ole kerroksia) toinen tapa piirtää neuronit ja niiden väliset yhteydet Hopfieldin verkossa w jk = w kj syöte annetaan kaikille verkon neuroneille syöte toimii neuronien aktiviteetin alkuarvoina tämän jälkeen aktiviteetti muuttuu painokertoimien määräämällä tavalla 2
aktiviteetti etenee ajassa, saman solun aktiviteetti lasketaan moneen kertaan vaihtoehto 1: lasketaan kaikkien solujen aktiviteetti kerralla vaihtoehto 2: päivitetään aktiviteetti yhdelle satunnaisesti valitulle solulle kerrallaan tätä jatketaan kunnes aktiviteetti ei enää muutu solun j aktiviteetti: a j = w j a oppimissääntö jolla verkko saadaan tekemään autoassosiaatiota: w jk = in j in k eli w jk = a j a k w jk = a j a k miksi tämä toimii? tarkastellaan tilannetta jossa a:t ovat 1 tai 1 1 1 = 1 ja -1 (-1) = 1, eli solut joilla on syötteessä sama aktiviteetti saavat positiivisen yhteyden eli yhteys pyrkii pitämään solujen aktiviteetit samoina 1 (-1) = -1 ja -1 1 = -1, eli solut joilla on syötteessä eri aktiviteetti saavat negatiivisen yhteyden eli yhteys pyrkii pitämään solujen aktiviteetit vastakkaisina 3
samaan verkkoon voidaan tallettaa useita kuvioita laskemalla keskiarvo kutakin kuviota vastaavista painokertoimista verkon kapasiteetilla on rajansa, kun kuvioita talletetaan liikaa ne häiritsevät toisiaan Demo: talletetaan on kuvia yksi pikseli vastaa verkon yhtä solua määritetään painokertoimet virheettömillä syötteillä ja katsotaan miten verkko toimii kohinaisella tai puutteellisella syötteellä Demo: verkko palauttaa virheettömän kuvion kohinaisen syötteen pohjalta Demo: verkko palauttaa virheettömän kuvion puutteelisen syötteen pohjalta 4
Demo: verkko palauttaa aina jonkun siihen talletetun kuvion vaikka sen syöte olisi mitä tahansa Demo: verkko saattaa epämääräisellä syötteellä palauttaa myös sinne talletetun kuvion vastakohdan Attraktorit verkon vakaita tiloja kutsutaan attraktoreiksi kun aktiviteetti päätyy attraktoriin se ei enää muutu Hopfieldin verkossa päädytään lopuksi attraktoriin, aktiviteetin alkuarvot ratkaisevat mihin niistä Attraktorit mahdollisten alkuarvojen joukko on jaettavissa osiin sen mukaan mihin attraktoriin ne lopulta johtavat 5
Attraktorit verkkoon talletetuista kuvioista tulee verkon attraktoreita talletettujen kuvioiden vastakohdista (eli 1 kertaa talletettu kuvio) tulee myös attraktoreita esimerkin verkossa oli siis neljä attraktoria, kaksi kuviota ja niiden vastakohdat verkon kapasiteetin ylittyminen saattaa ilmetä ylimääräisinä attraktoreina Muita tapoja tehdä autoassosiaatiota takaisinkytketyn autoassosiatiivisen muistin voi opettaa myös virheeseen (halutun ja saadun aktiviteetin erotukseen) perustuvalla oppimissäännöllä autoassosiatiivisen muistin voi tehdä myös backpropagation verkolla (esimerkki tulee kategorisen havaitsemisen yhteydessä) Esimerkkitapaus: Kategorisen havaitsemisen mallintaminen katsotaan miten samaa havaintopsykologista ilmiötä on mallinnettu erityyppisillä verkoilla 1. attraktori-verkko 2. backpropagation-verkko 3. hebbiläinen kilpaileva verkko muitakin malleja samasta ilmiöstä on olemassa Kategorisen havaitsemisen määritelmä (tässä yhteydessä) otetaan joukko stimuluksia jotka jonkin fyysisen ominaisuutensa perusteella ovat tasavälein toisistaan (esim. neliön koko tai kirkkaus, puheäänessä voice onset time) tutkitaan ovatko nämä stimulukset myös koehenkilön kokemuksen mukaan tasavälein mitataan siis havaittuja etäisyyksiä ja verrataan niitä todellisiin etäisyyksiin etäisyyden mittana toimii yleensä erottelukyky 6
Kategorisen havaitsemisen määritelmä (tässä yhteydessä) kategorioiden rajojen ja erottelukyvyn välinen suhde lähekkäin olevat stimulukset erotetaan toisistaan paremmin jos ne kuuluvat eri kategorioihin kuin jos ne kuuluvat samaan kategoriaan Kategorisen havaitsemisen määritelmä (tässä yhteydessä) todellisuudessa kategorioiden ja erottelukyvyn suhde ei ole näin jyrkkä erottelu onnistuu kategorioiden sisällä erottelukyky muuttuu asteittain Kategorinen havaitseminen stimuluksille altistumisen tuloksena puheäänten kategoriat opitaan puhetta kuulemalla puheen havaitseminen on eniten kokeellisesti tutkittu kategorisen havaitsemisen tapaus Kategorinen havaitseminen laboratoriossa tuotettuna kategorista havaitsemista voidaan tuottaa myös uusille stimuluksille kokeissa koehenkilö opetetaan ensin kategorisoimaan stimuluksia ja sen jälkeen mitataan tämän kategorisoinnin vaikutusta stimulusten erottelukykyyn 7
Vaihtoehto 1: attraktorit Hopfield-tyyppisen verkon attraktorit voidaan ajatella kategorioiden prototyypeiksi aktivaatiolle annettavat arvot ovat verkon syöte = koehenkilölle esitetty stimulus aktivaatiolla on jokin lopputila = koehenkilön havainto Attraktorit eri kategorioihin kuuluvat syötteet johtavat eri attraktoreihin eri eli havaintoihin erottelu on mahdollista samaan kategoriaan kuuluvat syötteet johtavat samaan attraktoriin eli identtisiin havaintoihin erottelu ei ole mahdollista Attraktorit Hopfield-tyyppinen verkko jossa kolme solua jotka ovat kaikki yhteydessä toisiinsa syötteet koodataan kolmen solun aktiviteeteiksi opetetaan verkko kuvioilla joissa aktiviteetit ovat ääriarvoissa, kahdeksan mahdollista ääriasentoa, näistä tulee kahdeksan attraktoria kun verkko saa syötteeksi jotain muuta se päätyy aina näihin opetettuihin ääritiloihin Attraktorit verkon eri tilat voidaan kuvata pisteiksi kuution sisällä, kukin ulottuvuus vastaa yhtä neuronia verkossa attraktorit ovat tämän kuution kulmissa tästä tulee mallin nimi brain-state-in-a-box 8
Vaihtoehto 2: backpropagation opetetaan backpropagation-säännöllä verkko luokittelemaan syötteet kahteen ryhmään, tässä tapauksessa eri mittaiset viivat pitkiin ja lyhyisiin katsotaan miten kategorioiden opetus vaikuttaa viivojen pituuden edustukseen verkossa Backpropagation muodostetaan ensin autoassosiatiivinen verkko syötteet ovat samat kuin halutut tulosteet piilokerroksessa on vähemmän soluja kuin syöteja tulostekerroksissa Backpropagation lisätään tuloste-kerrokseen kaksi kategoria-solua, solun 1 tehtävä on aktivoitua lyhyille, solun 2 pitkille viivoille jatketaan opetusta Backpropagation opetuksen jälkeen tutkitaan miten kategorisoinnin opetus vaikutti autoassosiatiiviseen osaan tulosteesta tulosteessa lyhyet viivat lähellä kategorioiden rajaa lyhenevät syötteeseen verrattuna, samoin pitkät viivat lähellä rajaa pidentyvät rajan läheisyydessä olevat syötteet ovat tulosteessa kauempana toisistaan 9
Vaihtoehto 3: kilpaileva verkko kilpaileva verkko on itseorganisoituva eli se on herkkä sille kuinka usein mitäkin stimulusta esitetään opetetaan verkkoa niin että sille esitetään ainoastaan prototyyppejä eli kategorioiden tyypillisimpiä jäseniä Kilpaileva verkko tällä opetuksella syntyy verkko jonka neuronit ovat erikoistuneet jollekin tietylle prototyypille kuvassa kukin piste vastaa yhden neuronin painokertoimia eli syötettä joka aktivoi neuronin parhaiten Kilpaileva verkko verkon havaintoa muodostuu siten että neuronit äänestävät siitä mikä syöte oli kyseessä neuronin vaikutusvalta on sitä suurempi mitä suurempi on sen aktiviteetti havainto = keskiarvo(neuronin aktiviteetti*neuronin suosikkisyöte) tästä seuraa että havainnot keskittyvät lähelle prototyyppejä prototyyppien läheisyydessä havainnot lähenevät toisiaan, prototyyppien puolivälissä etäisyydet kasvavat Attraktori-malli + verkon rakenne melko realistinen + opetus ei vaadi virhe- tai ohjaussignaaleja + verkon tuottama tuloste helposti tulkittava aktivaatio päätyy aina prototyyppiin eli havaitaan ainoastaan mihin kategoriaan syöte kuuluu, kaikki muu informaatio katoaa, todellisuudessa kategorinen havaitseminen ei ole näin äärimmäistä opetuksessa esiintyy ainoastaan prototyyppejä 10
Backpropagation-malli + verkon tuottama kategorinen havaitseminen vastaa melko hyvin todellisuutta + tuloste on helposti tulkittava backpropagation on oppimissääntönä epärealistinen Kilpaileva oppiminen + oppimismekanismi on realistinen + mitään ulkoisia opetussignaaleja ei tarvita tulosteen tulkinta on hankalaa opetuksessa esiintyy ainoastaan prototyyppejä 11