Kognitiivinen mallintaminen 1

Transkriptio

1 Kognitiivinen mallintaminen 1 syksy 2009, 1 ja 2 periodi luennot ti:13-15 Tero Hakala ( tero@haka.la) Lisäksi vierailijoita (Otto Lappi, Esko Lehtonen, ehkä muitakin) laskarit ti:15-17 Henri Kauhanen (henri.kauhanen@helsinki.fi) Laskarit alkaa 22.9 Suorittaminen tentillä (2. periodin lopussa) (muutos aiemmin kerrottuun infoon..) Lisäksi min 40% Laskaritehtävistä. Laskareista saa myös lisäpisteitä välikoe/tenttipisteisiin.

2 Kurssin sisältöä Kurssin sisältö jakautuu pääpiirteittäin kahteen osaan: 1.periodi: Symbolinen mallintaminen Symbolisysteemit, hakuavaruudet, ongelmanratkaisu, Turingin koneet, laskennan teoria. 2. periodi: Neuraalimallintaminen Neuroverkot, perseptronit, etc. + dynaamiset systeemit, vahvistusoppiminen ja jotain yleisiä mallinnuskäsitteitä.

3 Materiaalit, kirjallisuus yms. Luentokalvot, laskarit tulevatwebiin. Luentoja täydentäviä artikkeleita laitetaan webiin tarpeen mukaan Oheiskirjallisuutta(ei pakollista) symbolimallinnuksenosuus: Russell & Norvig, Artificial intelligence: a modern approach 2nd ed. Neuroverkot: R.Rojas: Neural Networks A Systematic Introduction.

4 Alustavaa aikataulua 8.9 Aloitusluento, mallinnusparadigmat 15.9 Hakuavaruudet, Ongelmanratkaisu 22.9 Logiikka, päättely, ontologiat... (Otto Lappi) Sovellus: Rajoitelaskenta käsitteellisen muutoksen mallintamisessa... Kognitiiviset arkkitehtuurit, ACT-R... (Esko Lehtonen) Sovellus: ACT-R ja säiteteoria autolla ajamisen mallintamisessa... (Otto Lappi) Dynaamiset systeemit... Sovellus: Soluautomaatit, Game of Life, neuroverkkojen dynamiikka... Laskennan teoria, Turingin kone... Vahvistusoppiminen... Neuroverkkoluennot (2. periodissa)

5 Malleja tieteissä analogiamalli malliorganismi malliesimerkki (prototyyppi) metamalli matemaattinen malli pienoismalli simulaatiomalli

6 Mallien käyttö Representaatio kohteen ominaisuuksista, prosesseista.. Helpottaa käsitteellistämään monimutkaisia ilmiöitä Mallillavoidaansimuloidakohdetta, kun suorat empiiriset kokeet olisivat epäkäytännöllisiä. Parhaimmillaan voidaan ennustaa ilmiöitä ja keksiä uusia empiirisiä koeasetelmia

7 Kuvaileva ja selittävä malli Kuvaileva malli on kohteensa idealisaatio Anatominen malli aivoista perustuu aivojen tunnettuihin ominaisuuksiin Skaalautuva malli aurinkokunnasta perustuu tunnettuihin planeettojen kokoihin, kiertoratoihin ja nopeuksiin. Selittävää mallia käytetään tilanteissa, joissa kohdetta ei voi suoraan havainnoida. Kaasun molekyylimalli perustuu idealisaatioihin ja yleistyksiin molekyylien ei-havaittavista ominaisuuksista: painosta, muodosta ja nopeudesta. Kognitiivisessa psykologiassa esim. Baddeleyn työmuistin malli perustuu hypoteeseihin muistijärjestelmän komponenteista(visuo-spatiaalinenlehtiö, keskusyksikkö, etc.), niidenominaisuuksistajavuorovaikutuksista.

8 Abstraktio ja idealisaatio A good model should be simple but not too simple Abstraktion ja idealisaation avulla mallista tulee käytännöllinen ja siinä esiintyvät säännönmukaisuudet tulevat esiin. Abstraktio: kohteen ominaisuuksien huomiotta jättäminen Idealisaatio: ominaisuuksien yksinkertaistaminen ja "siistiminen Mallin tulee toisaalta olla riittävän täydellinen, että kohteen olennaisetominaisuudettulisivatkuvattuariittävällä(halutulla) tarkkuudella. Abstrakti, ideaalinen realistinen

9 Malli ja teoria näkemys havainnot taustateoria matemaattinen rakenne malli ilmiö

10 Kognitiivinen mallintaminen Millaiset ihmisen (tai eläinten) kognition ominaisuudet soveltuvat mallinnettaviksi? Mitä kognitiivisilla malleilla voidaan saavuuttaa?

11 Mitä kognitiotiede tutkii? tiedostamaton päättely induktio havaitseminen mielikuvat nativismi & empirismi ajattelu TIETO oppiminen uskomuksen muodostaminen muisti ongelmanratkaisu. päättely, päätöksenteko käsitteet kieli sääntöjärjestelmät & säännön seuraaminen

12 Kognitiivisen mallintamisen paradigmat Symbolinen mallintaminen: perustuu semanttisten objektien (symbolien) algoritmiseen manipulaatioon Konnektionistinen/neuraalinen mallintaminen: perustuu yksinkertaisten, hermosolun kaltaisten laskennallisten yksikköjen muodostamiin verkkoihin Dynaamiset systeemit pohjautuvat yksinkertaisiin sääntöihin, joilla määritellään systeemin käyttäytyminen ajassa

13 Kognitiivisen mallintamisen paradigmat Symbolinen laskenta [logiikka] Universaalit Turingin koneet VonNeumann arkkitehtuurit Syntaktiset rakenteet Symbolisysteemit, tiedonkäsittely Neuraalilaskenta [neurotieteet] Boolean-verkot & loogiset neuronit Hebbian verkot Dynaamiset systeemit [fysiikka, geometria] Nestedynamiikka, kaaos Ekologia & populaatiogenetiikka Solun fysiologia & morphogenesis Soluautomaatit, itseorganisoituvuus, geneettiset algoritmit Kognitiotiede & neurotiede? Perseptronit Kybernetiikka: informaatio, takaisinkytkentä & kontrolli

14 symbolinen / analoginen Top Down / Bottom up

15 symbolinen/konnektionistinen Tiedon erilainen esitystapa Läpinäkyvyys

16 Symbolimallit: Tieto Tieto on koodattu representaatiohin Tiedon käsitettä ei käytetä samoin kuin vaikkapa (arki)psykologiassa tai filosofiassa (tosi ja perusteltu uskomus) Propositionaaliset asenteet a uskoo että P Representaatiot representaatiot sisältävät informaatiota organismin ympäristöstä representaatiot ovat tietoedustuksia, ne edustavat lukuja, propositioita jne. tiedonkäsittelyoperaatiot on määritelty näiden tieto-objektien avulla

17 Symbolisysteemin hypoteesi Newell ja Simon antoivat formaalin muodon kognitiotieteen komputationaaliselle mallille: symbolisysteemin hypoteesin (symbol system hypothesis). "A physical symbol system has the necessary and sufficient means of general intelligent action." (Newell & Simon 1976: Computer Science as Empirical Inquiry: Symbols and search. Idea symbolisysteemistä syntyi jo aiemmin.) Mitä tarkoitetaan symbolisysteemillä?

18 Symbolisysteemi "A physical symbol system consists of a set of entities, called symbols, which are physical patterns that can occur as components of another type of entity called an expression (or symbol structure). [...] Besides these structures, the system contains also a collection of processes that operate on expression to produce other expressions: process of creation, modification, reproduction and destruction. A physical symbol system is a machine that produces through time an evolving collection of symbol structures." (Newell& Simon 1976) symbolit ja symbolirakenteet prosessit jotka operoivat symbolirakenteilla: prosessit voivat luoda, muuttaa, kopioida ja poistaa symboleja ja symbolirakenteita.

19 Symbolisysteemi Newell Physical symbol systems: Fysikaaliset symbolisysteemit ovat universaalikoneita (Turingin koneen mielessä). Symbolirakenteet voivat olla representaatioita ympäristöstä, tai sitten ne voivat edustaa prosesseja joita symbolisysteemi tulkitsee ja suorittaa (designate objects, interpret processes). Toimiakseen käytännössä symbolisysteemin tulisi myös omaksua tietoa ympäristöstä ja tuottaa toimintoja jotka vaikuttavat ympäristöön.

20 Monitoteutuvuusperiaate Symbolien monitoteutuvuusperiaate: symbolilla voi olla erilaisia fysikaalisia toteutuksia. Näin aivot olisivat orgaaninen symbolisysteemin toteutus. Symbolisysteemin määritelmä on laaja, esimerkiksi tietokoneet (von Neumannin kone) ja Turingin kone ovat fysikaalisia symbolisysteemejä.

21 Ongelman formaali esitys Ongelmalla on potentiaalisesti ääretön joukko syötteitä. (tapauksia) Ongelman ratkaisu on algoritmi, joka liittää jokaiseen syötteeseen sen oikean vastauksen. Syötteiden ja vastausten on oltava äärellisesti esitettäviä. Laskentalaitteesta riippumaton esitys

22 Laskennallinen ongelma Laskennallinen ongelma on mikä tahansa kuvaus: π: Σ * Γ * millä tahansa *,Γ *, jossa * on aakkoston (äärellisten) merkkijonojen joukko. Jokainen syötejoukon merkkijono siis kuvautuu jollekin tulosjoukon merkkijonolle. Päätösongelma on kuvaus π: Σ * {0,1}

23 Esim: aritmeettinenongelma symbolimanipulaationa Ratkaisualgoritmi yhdistää syötteen symboleihin uuden symbolin jonkin säännön mukaan 34 -> > 5 Monitoteutuvuus: symboleilla voi olla muitakin toteutuksia. Ongelma on ratkaistavissa annettuja sääntöjä seuraamalla. Laskukoneen (tai koululaisen) ei tarvitse sinänsä ymmärtää matematiikkaa voidakseen seurata numeraalien manipulointiin liittyviä sääntöjä. Χδ ςφ βγ Χς > β δ φ > γ

24 Neuraalimallinnus: tausta biologiassa Hermokudos on erikoistunut informaation kuljettamiseen ja muokkaamiseen. Ihmisen aivoissa on noin neuronia, joista jokainen on yhteydessä jopa tuhansien muiden hermosolujen kanssa. Informaation kuljetus perustuu sähköisiin ja kemiallisiin signaaleihin.

25 Tausta biologiassa Yksittäinen hermosolu ei käsittele kovinkaan paljon informaatiota. Psykologiset toiminnot perustuvat suurten hermosolumäärien toimintaan. Esimerkiksi oppimisen ajatellaan tapahtuvan rakentamalla ja muuttelemalla neuroneiden välisiä yhteyksiä.

26 Neuraalinen mallintaminen: historia Neuraalimallinnus syntyi 1900-luvun puolivälissä, innoittajinaan psykologiassa muistin assosiaatioteoria ja biologiassa hermosolujen tutkimuksen kehittyminen Aristoteles: muisti koostuu elementeistä, jotka linkittyvät toisiinsa Brittiläiset empiristit (Berkeley, Locke, Hume): tieto on viimekädessä johdettu havainnoista ja ajattelu on havaintojen kautta saatujen kokemusten yhdistelyä. assosiationismi Aivot ovat ainoastaan assosiaatioiden tallettamiseen ja hakuun tarkoitettu koneisto.

27 Neuraalinen mallintaminen: historia Assosiationismi, aivotutkimuksen kehitys ja edelleen matematiikan ja tietojenkäsittelytieteen kehitys mahdollistivat neuraaliverkkojen formaalin tarkastelun. Donald Hebb (1949) The Organization of Behavior esitti, että oppiminen perustuu neuronien välisten synaptisten yhteyksien muutokseen.

28 Neuraalinen mallintaminen: historia Hebbin laki: kun yksiköt A ja B aktivoidaan yhtä aikaa, niiden välinen linkki vahvistuu Neurons that fire together, wire together" Linkkien vahvuus voidaan ilmaista numeerisesti. Ajatus neuraaliverkon oppimisalgoritmista otettiin assosiatiivisista malleista.

29 Formaali neuroni Formaali neuroni on yhteydessä toisiin neuroneihin. Kun solu aktivoituu, se lähettää signaalin, joka kulkee linkin (aksonin) välityksellä muihin soluihin. Oppiminen: kun signaali kulkee neuronista toiseen, linkin painoarvoa kasvatetaan.

30 Neuraalimallinnus keinotekoinen hermoverkko, neuroverkko: malli, joka kuvaa aivojen ja hermosolujen tiedonkäsittelyominaisuuksia neuraalilaskenta: laskenta, jonka perustana on hermosoluverkkoa muistuttava neuraalinen organisaatio.

31 Keinotekoisten neuroverkkojen vahvuuksia Neuraalimallinnus soveltuu hyvin luokitteluun ja hahmontunnistukseen, tiedonhakuun, yksinkertaisten eliöiden mallinnukseen,.. Neuroverkot pystyvät erottelemaan kohinaisesta eli häiriöisestä aineistosta olennaisia piirteitä. Keinotekoiset neuroverkot ovat oppivia järjestelmiä. ohjattu oppiminen ohjaamaton oppiminen

32 Neuraalinen mallintaminen Nykytutkimuksessa neuroverkon yhteys biologisten hermosolujen toimintaan lähes kadonnut. Neuraalimallinnusta käytetään mm. tekoälytutkimuksessa ja robotiikassa mutta myös taloustieteessä, kielitieteessä ja fysiikassa jne. Esimerkiksi näillä sovellusaloilla tarkoituksena ei ole mallintaa biologisen organismin kognitiivisia ominaisuuksia.

33 Neuraalinen mallintaminen Neuraalimallinnusta pidetään kuitenkin vaihtoehtona symboliselle mallintamiselle kognitiivisten prosessien kuvaustapana. Toinen vaihtoehto on pitää neuraalimallinnusta symbolisten prosessien toteutustasona (implementation level).

34 Yhteenveto Symbolimallinnuksessatietoa esitetään formaalisti symboleilla. Symboleiden manipulaatiosäännöt määrittelevät mallin toiminnan. Sopii käytännössä tilanteisiin, jossa asiat voidaan esittää eksaktisti. (Esim. Shakkipelin asetelma) Neuraalimallinuksessatieto on koodattu neuroneiden välisiin painokertoimiin. Yksittäisen neuronin/yhteyden merkitystä ei yleensä voi täsmällisesti määrittää, vaan on tarkasteltava verkkoa aina kokonaisuudessaan. Sopii käytännössä tilanteisiin, jossa asiat ovat epämääräisiä ja esitys yksikäsitteisillä symboleilla on hankalaa. Esim. näkeminen ja hahmontunnistus.