Esitietoja? Kognitiivinen mallintaminen I http://koete.identigo.com/ Logiikka filosofia, matematiikka, muu Matematiikka lineaarialgebra, diskreetti matematiikka Tietojenkäsittelytiede laskennan teoria, tekoäly Muuta? Kognitiivinen mallintaminen "Mallit" tieteessä Mallintaminen tieteellisenä metodina Kognitiotieteen mallinnusparadigmat konnektionistinen symbolinen dynaaminen Tekoäly, tekoälyn historiaa metamatemaattinen malli analogiamalli matemaattinen malli malliorganismi pienoismalli malliesimerkki (prototyyppi) simulaatiomalli Saara Huhmarniemi 1
Kuvaileva ja selittävä malli Kuvaileva malli on kohteensa idealisaatio Anatominen malli aivoista perustuu aivojen tunnettuihin ominaisuuksiin Skaalautuva malli aurinkokunnasta perustuu tunnettuihin planeettojen kokoihin, kiertoratoihin ja nopeuksiin. Selittävää mallia käytetään tilanteissa, joissa kohdetta ei voi suoraan havainnoida. Kaasun molekyylimalli perustuu idealisaatioihin ja yleistyksiin molekyylien ei-havaittavista ominaisuuksista: painosta, muodosta ja nopeudesta. Abstraktio ja idealisaatio Abstraktion ja idealisaation avulla mallista tulee käytännöllinen ja siinä esiintyvät säännönmukaisuudet tulevat esiin. Abstraktio: kohteen ominaisuuksien huomiotta jättäminen Idealisaatio: ominaisuuksien yksinkertaistaminen ja "siistiminen" Selittävä malli näkemys Malli ja teoria havainnot Selittävä malli auttaa luomaan hypoteeseja prosesseista ja rakenteista jotka eivät ole suoraan havaittavissa. Näillä hypoteeseilla voidaan selittää havaittavia ilmiöitä. Malli perustuu usein analogiaan jo olemassa olevasta kohteesta. Samasta kohteesta voidaan tehdä erilaisia malleja käyttötarkoituksen mukaan. Mallit muuttuvat uusien havaintojen ja teorioiden myötä. taustateoria matemaattinen rakenne malli ilmiö Saara Huhmarniemi 2
Mallien käyttö Tilojen ja prosessien analyysi Representaatiot mahdollisista kohteen ominaisuuksista Malleilla tehdyt kokeet tiedon lähteenä Parhaimmillaan malli "ennustaa" mallinnettavan systeemin ominaisuuksia. Millaiset ihmisen kognition ominaisuudet mielestäsi soveltuvat mallintamiseen? Millaista tietoa kognitiivisen mallin avulla voidaan saavuttaa? Mitä kognitiotiede tutkii? Mitä kognitiotiede tutkii? tiedostamaton päättely induktio havaitseminen oppiminen havaitseminen oppiminen TIETO mielikuvat nativismi & empirismi TIETO uskomuksen muodostaminen ajattelu muisti ajattelu muisti kieli ongelmanratkaisu. päättely, päätöksenteko käsitteet kieli sääntöjärjestelmät & säännön seuraaminen Saara Huhmarniemi 3
Tieto Tieto on koodattu representaatiohin Tiedon käsitettä ei käytetä samoin kuin vaikkapa (arki)psykologiassa tai filosofiassa tosi ja perusteltu uskomus Propositionaaliset asenteet a uskoo että P Tieto Representaatioihin koodattu (semanttinen) informaatio a:n kognitiivinen systeemi X sisältää tiedon siitä että P. To Know vs. To Cognize: Kogniseeraaminen on kognitiotieteen näkökulma tietämiseen subsystem X cognizes that P. Representaatiot Cognition Ympäristön muuttujat representaatiot sisältävät informaatiota organismin ympäristöstä Abstraktit tieto-objektit representaatiot ovat tietoedustuksia, ne edustavat lukuja, propositioita jne. tiedonkäsittelyoperaatiot on määritelty näiden tieto-objektien avulla representation information computation Competence to acquire, store and process information, and use it to to guide behavior in a complex environment Saara Huhmarniemi 4
Kognitiotieteen mallinnusparadigmat symbolinen mallintaminen: perustuu semanttisten objektien (symbolien) algoritmiseen manipulaatioon konnektionistinen/neuraalinen mallintaminen: perustuu yksinkertaisten, hermosolun kaltaisten laskennallisten yksikköjen muodostamiin verkkoihin dynaaminen.. Cognitive modeling symbolic computation [logic] Universal Turing machine VonNeumann architecture Syntactic structures Symbol systems, information processing languages dynamical systems neural computation [neuroscience] Boolean networks & logical neurons Hebbian plasticity Perceptron Cybernetics: information, feedback & control [physics, geometry] Macroscopic fluid physics, chaos Ecology & population genetics Cellular physiology & morphogenesis Cellular automata, self-organization, genetic algorithms, A-life & robotics Cognitive science & neuroscience? How much of the physical realization do you need to take into account? Tekoäly None cognition viewed as abstract, disembodied multiple realization, lower level mere implementation no relevant generalizations Basic organizational principles how a neural (parallel & distributed) system represents and processes information not biological (e.g. metabolic) constraints Key parameters the variables whose evolution in time the dynamic of the system determines these need not all be in the head Kognitiivinen mallinnusparadigma syntyi tekoälyn kehittymisen myötä. Mitä tekoäly on? Toimia kuten ihminen Ajatella kuten ihminen Ajatella rationaalisesti Toimia rationaalisesti Saara Huhmarniemi 5
Tekoäly Toimia kuten ihminen Turingin testi (Alan Turing: Computing Machinery and Intelligence 1950) Testin läpäistäkseen koneen tulisi hallita seuraavat osa-alueet: Kielen prosessointi Tiedon esittäminen representaatioina Automaattinen looginen päättely Koneoppiminen Testiä voidaan laajentaa uusilla osa-alueilla: Konenäkö Robotiikka Tekoäly "Ajatella" kuten ihminen Kognitiivinen mallintaminen Tekoäly "Ajatella" rationaalisesti Rationaalinen ajattelu perustuu loogiseen päättelyyn, "laws of thought". 1800-luvulla loogikot loivat formaalin (symbolisen) logiikan notaation, johon mikä tahansa tieto voitaisiin koodata. (Boole, Frege, Tarski,..) 1960-luvulle tultaessa oli olemassa ohjelmia, jotka pystyivät ratkaisemaan minkä tahansa ongelman joka oli esitetty tällä notaatiolla. Ongelmat: tiedon esittäminen formaalisti, tiedon epätäsmällisyys, käytännön laskenta Tekoäly Toimia rationaalisesti (Rationaalinen) agentti on jokin joka toimii: autonominen kontrolli ympäristön havainnointi muutokseen sopeutuminen Rationaalinen agentti saavuttaa parhaan lopputuloksen olosuhteet huomioon ottaen. Looginen päättely on vain osa rationaalista toimintaa Tehtäväspesifi vs. yleinen rationaalinen toiminta Saara Huhmarniemi 6
Tekoäly: perusteet Tekoäly kehittyi useiden eri tieteenalojen pohjalta Matematiikka, taloustieteet, neurotiede, psykologia, tietokonetekniikka, säätöteoria, kielitiede.. Tekoäly: matematiikka Logiikka Boolen logiikka: George Boole 1847 Symbolinen logiikka: Gottlob Frege Malliteoria: Alfred Tarski Algoritmin käsite Epätäydellisyysteoreema Kurt Gödel 1931 Turingin kone (Church-Turing teesi) Alan Turing 1936 Laskennan vaativuus, liian työläät ongelmat (intractability) Todennäköisyyslaskenta Tekoäly: taloustieteet Miten ihmiset tekevät päätöksiä jotka johtavat hyviin lopputuloksiin Utiliteetin käsite Päätösteoria Peliteoria Tekoäly: psykologia Neurotieteet... behaviorismi, kognitiivinen psykologia... Kognitiotiede: MIT:n työpaja 1956: George Miller: The Magic Number Seven Noam Chomsky: Three Models of Language Allen Newell & Herbert Simon: The Logic Theory Machine Miten tietokoneella voidaan mallintaa muistia, kieltä ja loogista päättelyä. Saara Huhmarniemi 7
Tekoäly: perusteita Tietokonetekniikka: tietokoneet yleistyivät nopeasti 1940-luvun jälkeen Säätöteoria, kybernetiikka Systeemit, jotka muuttavat itse toimintaansa palautteen perusteella Kielitiede Noam Chomsky 1957: Syntactic Structures Tekoälyn historiaa Ensimmäinen neuroverkko, McCulloch-Pitts - neuroni Warren McCulloch & Walter Pitts (1943) Neuronin oppimissääntö Donald Hebb (1949) Neuraalilaskentaa tekevä tietokone SNARC Marvin Minsky & Dean Edmonds 1951 Visio tekoälystä: Turingin testi, koneoppiminen, geneettiset algoritmit ja vahvistusoppiminen Alan Turing 1950 Tekoälyn historiaa: innostus Allen Newell & Herbert Simon Logic Theorist 1956 General Problem Solver (GPS) 1963 Ensimmäinen ohjelma joka esitti ongelman erillään sen ratkaisutavasta Fysikaalisen symbolisysteemin hypoteesi 1976 Lisp-kieli 1958 Mikromaailmat (Minsky) SHRDLU: Terry Winograd 1972, siirtelee palikoita tilassa luonnollisen kielen komennoilla http://hci.stanford.edu/~winograd/shrdlu/ ELIZA ym. Perseptonin oppimissääntö Frank Rosenblatt 1962 Tekoälyn historiaa: realismi Systeemit eivät skaalautuneet uusiin ongelma-alueisiin isoille aineistolle Esim. konekäännösohjelma Esim. geneettiset algoritmit eivät toimineetkaan halutulla tavalla Minsky & Papert osoittivat neuroverkkojen rajoitukset kirjassaan Perceptrons (1969) Saara Huhmarniemi 8
Tekoälyn historiaa: kehitys Tietämysjärjestelmät (knowledge-based systems) Siirryttiin kohti sovelluskohtaista ongelmanratkaisua Asiantuntijajärjestelmät Framet (Minsky 1975) Teollisuus otti sovellukset käyttöön (1980-) Neuraalilaskennan kehittyminen Neuraalimallinnus kehittyi 1980-luvulla Back-Propagation -algoritmi Bryson & Ho 1969 Parallel Distributed Processing (PDP) Rumelhart & McClelland 1986 Hobfieldin verkko 1982 Teuvo Kohosen SOM Tekoäly nykyään Tekoälyn sovellusaloja: Pelit Säätimet Kielen prosessointi Matemaattinen ongelmanratkaisu Robotiikka Logistiikka Miten nykyaikainen tekoäly eroaa alkuajoista? Mallintaminen: nykytilanne Yksittäiset mallit eri aihealueilta Kognitiiviset arkkitehtuurit Ennaltamääritelty joukko menetelmiä ja resursseja joihin ihmisen kognition ajatellaan yleisesti perustuvan ACT-R (John R. Anderson 1993) CAPS (Just & Carpenter 1992) EPAM (Feigenbaum & Simon 1984) EPIC (David E. Kieras and David E. Meyer 1997) Soar (Allen Newell & John Laird 1990 (Newell 1972))... Saara Huhmarniemi 9
Neuraalimallinnus: tausta biologiassa Tausta biologiassa Hermokudos on erikoistunut informaation kuljettamiseen ja muokkaamiseen. Ihmisen aivoissa on noin 10 10 10 11 neuronia, joista jokainen on yhteydessä jopa tuhansien muiden hermosolujen kanssa. Informaation kuljetus perustuu sähköisiin ja kemiallisiin signaaleihin. Yksittäinen hermosolu ei käsittele kovinkaan paljon informaatiota. Psykologiset toiminnot perustuvat suurten hermosolumäärien toimintaan. Esimerkiksi oppimisen ajatellaan tapahtuvan rakentamalla ja muuttelemalla neuroneiden välisiä yhteyksiä. Neuraalinen mallintaminen: historia Neuraalimallinnus syntyi 1900-luvun puolivälissä, innoittajinaan psykologiassa muistin assosiaatioteoria ja biologiassa hermosolujen tutkimuksen kehittyminen Aristoteles: muisti koostuu elementeistä, jotka linkittyvät toisiinsa Brittiläiset empiristit (Berkeley, Locke, Hume): tieto on viimekädessä johdettu havainnoista ja ajattelu on havaintojen kautta saatujen kokemusten yhdistelyä. assosiationismi Aivot ovat ainoastaan assosiaatioiden tallettamiseen ja hakuun tarkoitettu koneisto. Neuraalinen mallintaminen: historia Assosiationismi, aivotutkimuksen kehitys ja edelleen matematiikan ja tietojenkäsittelytieteen kehitys mahdollistivat neuraaliverkkojen formaalin tarkastelun. Donald Hebb (1949) The Organization of Behavior esitti, että oppiminen perustuu neuronien välisten synaptisten yhteyksien muutokseen. Saara Huhmarniemi 10
Neuraalinen mallintaminen: historia Formaali neuroni Hebbin laki: kun yksiköt A ja B aktivoidaan yhtä aikaa, niiden välinen linkki vahvistuu Neurons that fire together, wire together" Linkkien vahvuus voidaan ilmaista numeerisesti. Ajatus neuraaliverkon oppimisalgoritmista otettiin assosiatiivisista malleista. Formaali neuroni on yhteydessä toisiin neuroneihin. Kun solu aktivoituu, se lähettää signaalin, joka kulkee linkin (aksonin) välityksellä muihin soluihin. Oppiminen: kun signaali kulkee neuronista toiseen, linkin painoarvoa kasvatetaan. Neuraalimallinnus keinotekoinen hermoverkko, neuroverkko: malli, joka kuvaa aivojen ja hermosolujen tiedonkäsittelyominaisuuksia neuraalilaskenta: laskenta, jonka perustana on hermosoluverkkoa muistuttava neuraalinen organisaatio. Keinotekoisten neuroverkkojen vahvuuksia Neuraalimallinnus soveltuu hyvin luokitteluun ja hahmontunnistukseen, tiedonhakuun, yksinkertaisten eliöiden mallinnukseen,.. Neuroverkot pystyvät erottelemaan kohinaisesta eli häiriöisestä aineistosta olennaisia piirteitä. Keinotekoiset neuroverkot ovat oppivia järjestelmiä. ohjattu oppiminen ohjaamaton oppiminen Saara Huhmarniemi 11
Neuraalinen mallintaminen Neuraalinen mallintaminen Nykytutkimuksessa neuroverkon yhteys biologisten hermosolujen toimintaan lähes kadonnut. Neuraalimallinnusta käytetään mm. tekoälytutkimuksessa ja robotiikassa mutta myös taloustieteessä, kielitieteessä ja fysiikassa jne. Esimerkiksi näillä sovellusaloilla tarkoituksena ei ole mallintaa biologisen organismin kognitiivisia ominaisuuksia. Neuraalimallinnusta pidetään kuitenkin vaihtoehtona symboliselle mallintamiselle kognitiivisten prosessien kuvaustapana. Toinen vaihtoehto on pitää neuraalimallinnusta symbolisten prosessien toteutustasona (implementation level). symbolinen / analoginen symbolinen/konnektionistinen Top Down / Bottom up http://web.media.mit.edu/~minsky/papers/symbolicvs.connectionist.html Tiedon erilainen esitystapa Läpinäkyvyys: neuraaliverkkoon koodattu tieto ei ole saatavilla verkon ulkopuolelta http://web.media.mit.edu/~minsky/papers/symbolicvs.connectionist.html Saara Huhmarniemi 12
sarjallinen / rinnakkainen Hermosoluverkot prosessoivat tietoa rinnakkaisesti, mikä tarkoittaa että toiminto suoritetaan osissa, yhtäaikaisesti eri puolilla verkkoa sarjallisessa prosessoinnissa tehtävä jaetaan osiin, jotka prosessoidaan peräkkäin. Kognitio komputaationa Kognitiivinen prosessi voidaan esittää laskennallisesti. Onko tämä totta? Esimerkiksi päättely on kognitiivinen prosessi, joka voidaan esittää loogisen funktion evaluaationa. Kognitio = komputationaalinen informaationprosessointi, "tiedon käsittely" Ajattelu = kognitiota = komputaatiota? Formal systems Computational hypothesis or physical symbol system hypothesis considers the mind/brain as a formal system. Mitä tarkoitetaan formaalilla systeemillä? Entä mitä tarkoittaa laskettava ongelma? Miten formaaleja menetelmiä voidaan käyttää kognitiotieteessä? Saara Huhmarniemi 13
Formaali ongelma Ongelmalla on potentiaalisesti ääretön joukko syötteitä. (tapauksia) Ongelman ratkaisu on algoritmi, joka liittää jokaiseen syötteeseen sen oikean vastauksen. Syötteiden ja vastausten on oltava äärellisesti esitettäviä. Formal systems Knowledge can be formalized; semantic distinctions ( information ) can be coded into formal structure of expressions rules for determining well formed expressions ( grammar ) Descartes, Leibniz, Boole, Hilbert, Frege, Turing Formal systems Intelligence can be formalized; rules for transforming representations into other representations ( rules of inference ) some rules are rational or semantically coherent (e.g. truth preserving), others are not: these constitute a system of inference rules of inference can be finitely characterized, and automated (carried out by a mechanical system): algorithmic vs. mental calculation Formal system hypothesis: mental calculation is algorithmic Formal systems It is an empirical question what properties of the mind/brain (if any) qualify as a computational system It is an empirical question which of our thoughts, memories, beliefs etc. are explicitly represented (if any) Descartes, Leibniz, Boole, Hilbert, Frege, Turing Saara Huhmarniemi 14
Formal systems Mallinnuksen kohteena oleva "ajattelu" esitetään formaalisti. Mallinnettavan kohteen ympäristö, syötteet ja tulosteet esitetään formaalisti. Saara Huhmarniemi 15