Tietoa kurssista Luentomateriaali haettavissa netistä: https://matskut.helsinki.fi/ (kognitiivinen psykologia 2) Luennot maanantaisin (klo 14:15-16) ja keskiviikkoisin (klo 10:15-12) Aud A132 Lari Vainio, Marjaana Lindeman, Annika Svedholm Luento 1 (11.3). Semanttinen järjestelmä (LV) Luento 2 (16.3). Ajattelun tasot: intuitiivinen ja analyyttinen ajattelu (AS) Luento 3 (18.3). Ajattelun keskeisiä aihealueita: mentalistinen ja mekanistinen ajattelu (ML) Luento 4 (23.3). Mielikuvat ja ajattelu (LV) Luento 5 (25.3). Motorinen kognitio (LV) Luento 6 (13.4). Kognitio ja emootiot (LV) Luento 7 (15.4). Tietoisuus (LV) Tentti 27.4 à opiskellaan sekä luentomateriaali että kurssikirjallisuus Rästitentti kesäkuun laitostentin yhteydessä Kurssin oppimateriaalin ja luentojen teemat: Miltä osin ne vastaavat toisiaan? 1) Luentojen aiheet on valittu syventämään oppimateriaalin aiheita ja/tai kompensoimaan siinä ilmeneviä puutteita 2) Osaa luentojen aiheista ei käsitellä oppikirjassa. Näiltä osin oppimateriaaliin on valittu muutama review-artikkeli, jotka tukevat luennoilla käsiteltyjen aiheiden ymmärtämistä 1
Tentti Tentti testaa sekä luennoilla opetetun materiaalin että oppikirjamateriaalin hallitsemista Tentissä pärjääminen edellyttää pääasiassa asiakokonaisuuksien ymmärtämistä. Tentissä voidaan kuitenkin pyytää vaikkapa selittämään jokin kognitiivinen malli (jota on käsitelty oppikirjassa usean sivun verran). Matriaali: Luentomateriaali + sivut seuraavaista kirjoista + seuraavat artikkelit à Eysenck ja Keane - Cognitive Psychology: A Student's Handbook (6. painos) luvut 4, 8, 9, 11 (sivut: 417-441), 13, 14, 16 Pulvermuller & Fadiga (2010) Active perception: sensorimotor circuits as a cortical basis for language. Nature Reviews Neuroscience, 11, 351-359. Rizzolatti & Sinigaglia (2010) The functional role of the parieto-frontal mirror circuit: interpretations and misinterpretations. Nature Reviews Neuroscience, 11, 264-274. Barsalou (2008) Grounded cognition. Annu. Rev. Psychol. 59, 617-645. Kosslyn et al. (2001) Neural foundations of imagery. Nature reviews Neuroscience, 2, 635-641. Brosch et al. (2013) The impact of emotion on perception, attention, memory, and decisionmaking. Swiss Med Wkly, 143, 1-10. Kurssin tavoitteet Kurssin tavoite on selventää keskeisimpiä kognitiivisia ilmiöitä ja neuraalisia mekanismeja niiden takana Kurssi pyrkii tarjoamaan tuoreen näkemyksen siitä miten aivot tuottavat kokemusmaailmamme ja mahdollistavat selviytymisen jokapäiväisten tehtävien parissa Mm. seuraaviin kysymyksiin opiskelijoiden pitäisi pystyä kohtuullisella tasolla vastaamaan kurssin jälkeen: 1) Miten ymmärrämme merkityksen (semantiikan) havaitsemamme esineen tai toiminnan (esim. ilme) takana? 2) Miten syntyy mielikuva? 3) Miten päätökset syntyvät? 4) Miten suunnittelemme toimintaa? 5) Miten emootiot ovat mukana kognitiivisissa toiminnoissa? 6) Miten tietoisuus syntyy? 2
LUENTO 1 Semanttinen järjestelmä Lari Vainio Luennon sisältö 1) Mitä tarkoitetaan semanttisella representaatiolla ja kategorisoimisella? 2) Erilaisia näkemyksiä siitä miten semanttinen järjestelmä toimii 3) Kehollistunut kognitio : tutkimustuloksia 4) Kategoria-spesifit representaatiot 5) Konvergenssi alueet ja semanttinen representaatio 3
Mitä tarkoitetaan havaitun esineen representoimisella? Näköhavainto ei ole vain kuvan rakentamista nähdystä kohteesta!!! 1) Varhaiset näköprosessit rakentavat kuvan raakileen kohteesta 2) Kohde tunnistetaan esim. korvapuustina, joka on syötävää, pehmeää, tietyn tuoksuisista ja makuista jne. Vaihe 2 edellyttää kognitiivista prosessointia Kohteen näkeminen käynnistää automaattisesti siihen liittyvien semanttisten aspektien käsittelyn à verkosto mikä pitää sisällään opitut tiedot korvapuusteista aktivoituu (mitä sillä voi tehdä, miltä se maistuu ja tuoksuu, minkälaiseen emotionaaliseentilaan sen syöminen liittyy jne.) Representoimiseen siis liittyy keskeisesti ulkopuolisen kohteen liittäminen siihen liittyvään semanttiseen, moniaisitseen muistitietoon laajassa, hajautuneessa verkostossa Esine tai asia kategorisoidaan automaattisesti (esim. subliminaaliset priming efektit)! Mitä on kategorisointi? Käsite (concept) on mentaalinen representaatio joka liittyy johonkin esineeseen tai asiaan kun taas kategoriat (category) ovat objektiluokkia Kategorisoinnilla viitataan esineiden ja asioiden ryhmittämiseen joidenkin niiden ominaisuuksien tai piirteiden perusteella (esim. onko objekti biologinen vaiko ihmisen tekemä) Kun me havaitsemme jotain (jopa subliminaalisesti vaikkapa havaintokentän periferiassa) niin se automaattisesti representoidaan sille kuuluvassa kategoria-lokerossa semanttisessa aivoverkostossa Tässä samassa semanttisen verkoston lokerossa on semanttista muistitietoa kaikista vastaavista objekteista Tätä lokeroa ei pidä ymmärtää yksittäisenä alueena aivoissa vaan kohteen semanttinen representaatio on hajaantunut laajaan verkostoon aivokuorella (kattaen kaikki aivolohkot) Kuitenkin esim. temporaalilohkosta saattaa löytyä alueita jotka representoivat kategoria-spesifiä tietoa (yhdessä joidenkin toisten alueiden kanssa) 4
Miten kohteen semanttisen tason representoiminen ja kategorisointi voisi tapahtua? Amodaaliset-mallit: Aivoissa on jokin keskus-kognitiojärjestelmä, mikä mahdollistaa kohteen semanttisen tason representoimisen ja kategorisoinnin Havaintoprosessit vain tuovat keskus-kognitioon tietoa ympäristöstä (esim. kädellesi laskeutui inisevää ääntä pitävä pieni, musta objekti) ja motoriset prosessit (huitaise se pois) vain tottelevat keskus-kognition semanttista tulkintaa objektista (hyttynen joka voi pistää) Kehollistuneet-mallit: Neuraalinen koneisto mikä mahdollistaa semanttisen representaation rakentumisen ei toimi erillään havainto- ja motorisista prosesseista (prosesseista mitkä toteuttavat kohteen havaitsemisen ja siihen liittyvän toiminnan) Hypridi-mallit: Semanttinen representaatiojärjestelmä koostuu sensorisista ja motorisista alueista sekä korkeamman tason moniaistisista integraatioalueista Amodaaliset teoriat tiedon semanttisesta representoimisesta Amodaalisten teorioiden mukaan konseptuaalinen tieto representoituu erillään sensori-motorisista järjestelmistä omassa kognitiomoduulissaan (esim. Fodor, 1983; Pylyshyn, 1999) Havainto prosessit poimivat havaintotiedon ympäristöstä, joka sitten viedään erilliseen kognitiiviseen moduuliin. Tämän kognitiivisen moduulin funktiot tukevat korkeamman tason prosesseja kuten muisti, kieli, ajattelu, päättely, toiminta jne. Kutakin konseptia edustaa symboli Muistiprosesseihin liittyen: semanttinen tieto operoi semanttisessa symboli-perusteisessa verkostossa (keskuskognitio) mikä on erillinen siihen liittyvästä havaintomuistijäljestä à kohde representoituu sekä havainto- että symbolitasolla 5
Esimerkki amodaalisesta semanttisesta muistijärjestelmästä High-level cognition, such as inference, categorization, and memory, is believed to rely on abstract, linguistic symbols that bear arbitrary relations to input (sensory) and output (motor) modalities Pylyshyn (1999) Hierarkkinen verkosto malli (Collins & Quillian, 1969); Leviävän aktivoitumisen malli (Collins & Loftus, 1975) à Samassa verkostossa (mikä on erillinen sensorisista ja motorisista alueista) representoituu semanttisella tasolla (esim.) sekä kasvot että havaittu toiminta. Toisin sanoen, laadullisesti/muodollisesti samat amodaaliset symbolit representoivat molempia kohteita ne vain sijoittuvat hierarkkisen puun eri kohtiin Tätä puuta voidaan ajatella jonkinlaisena hierarkkisena sanakirjana jossa kutakin sanaa vastaa jokin symboli (tai noodi tai neuronipopulaatio) Amodaaliset teoriat - kritiikki Tutkimus ei ole pystynyt selvittämään miten tällaiset amodaaliset symbolit voisivat esiintyä aivoissa amodaalisten symbolien mallit tuntuvat toimivan kohtuullisen hyvin teoriassa (laskennallisina malleina ja tietokone simulaatioina) mutta niille ei ole löytynyt näyttöä aivoissa (esim. missä tällainen kognitiivinen moduuli aivoissa sijaitsee) Olisi neuraalisten resurssien tuhlaamista jos sama asia pitäisi olla edustettuna aivoissa sekä symbolina kognitiivisessa moduulissa että havaintomuistijälkinä sensorisessa muistissa 6
Kehollistunut kognitio: Havaintosymbolien järjestelmä (Lawrence Barsalou, 1999) Semanttinen symbolijärjestelmä mitä hyödynnetään havaitsemisessa, ajattelussa, muistitoiminnoissa, kielessä jne ei ole erillään sensori-motorisista järjestelmistä mitkä tuottavat kohteista havaintoja ja motorisia sekä emotionaalisia vasteita Semanttinen symbolijärjestelmä koostuu havaintosymboleista ja kukin symboli on varastoitunut muistijälkenä siihen modaliteettiin jossa sitä vastaava havainto on syntynyt. Esim. koiran haukunnasta tallentuu symboli (tai muistijälki) kuulojärjestelmään ja koiran näkeminen tuottaa sitä vastaavan symbolin (tai muistijäljen) näköjärjestelmään konsepti = moniaistinen, hajautunut verkko joka koostuu samaa kohdetta edustavista symboleista (esim. koiraan liittyvä kuulo- ja näkösymboli) à kun representoimme (ajattelemme tai havaitsemme) jonkun käsitteen niin simuloimme siihen liittyvää hajautettua moniaistista symboliverkkoa Havaintosymbolien järjestelmä: Esimerkki Konseptuaalisen tiedon representoituessa, aivoissa simuloituu moniaistinen verkko, joka on muodostunut kohteesta aikaisempien kokemusten yhteydessä Esimerkki. Aikaisempi havainto koirasta à Mm. nähty koira; kuultu koiran haukunta; koiran haju; emotionaaliset kokemukset koirista; sana KOIRA kuultuna ja nähtynä; koiriin läheisesti liittyvät muistikuvat ja esineet à nämä kaikki simuloituu kun ajattelet koiraa tai näet koiran Koira kategorisoidaan kotieläimeksi koska siihen liittyvät havaintosymbolit (mitkä kukin representoivat jotain koiran ominaisuutta) ovat osittain päällekkäisiä muihin vastaaviin eläimiin liittyvien havaintosymbolien kanssa à Osittain sama moniaistinen havaintosymbolien verkosto mikä representoi koiraa representoi myös vaikkapa kissaa - mutta pitkälle eri verkosto representoi vaikkapa pöytää 7
Alueet missä on havaittu kategoria-spesifiä aktivaatiota kielellisen semanttisen tiedon prosessoinnin yhteydessä Binder & Desai, 2011 (38 aivokuvantamistutkimusta) Toimintaan liittyvät konseptit (posterior frontal & anterior parietal lobes in or next to motor areas) Liikkeeseen liittyvä tieto (posterior inferolateral temporal regions in or next to V5) Kuulotietoon liittyvät konseptit (superior temporal & temporoparietal regions in or next to A1) Hajuun liittyvät konseptit (prepiriform cortex & amygdala in or next to piriform cortical regions) Makuun liittyvät konseptit (anterior orbital frontal cortex in gustatory cortex) Emootioihin liittyvät konseptit (primarily anterior temporal, medial & orbital prefrontal, & posterior cingulate region limbic system) Kehollistunut kognitio: miten makuaivokuori osallistuu ruokien representoimiseen Simmons, Martin & Barsalou (2005): Koehenkilöille esitettiin kuvia ruokahalua kiihottavista ruuista tai kuvia rakennuksista koehenkilöiden tuli ilmoittaa oliko esitetty kuva sama vai eri kuin edellinen kuva Vain ruuat aktivoivat (fmri) oikeanpuoleisen insula/operculumin (alueen tiedetään representoivan makuaistimuksia) Kun havaittu kohde representoidaan niin sitä vastaava makurepresentaatio (maku-symboli) aktivoituu kontribuoiden oman osansa kohteeseen liittyvästä konseptuaalisesta ymmärryksestä (kontribuoivat sen kategorisoimiseen) 8
Kehollistunut kognitio: Miten hajuaivokuori osallistuu ruokien representoimiseen Gonzalez et al. (2006): Koehenkilöille esitettiin sanoja jotka heidän tuli lukea hiljaa mielessään sanoilla oli joko voimakas tuoksu-assosiaatio (valkosipuli, kahvi) tai niillä oli heikko tuoksuassosiaatio (kynä, silmälasit) Voimakkaasti tuoksuun assosioituvat sanat aktivoivat hajujen representoimiseen liitetyn järjestelmän (piriform cortex, amygdala) näkö- ja kielialueiden lisäksi Laaja kehollistunut verkosto representoi sanan visuaaliset ja semanttiset ominaisuudet kohteeseen liittyvät sensoriset (esim. haju) muistijäljet kontribuoivat sen semanttiseen sisältöön (kontribuoivat sen kategorisoimiseen) Kehollistunut kognitio: Miten motorinen järjestelmä osallistuu toimintaan liittyvien sanojen representoimiseen (1) Hauk, Johnsrude & Pulvermüller (2005): Koehenkilöiden piti tunnistaa käden, suun tai jalan toimintaan liittyviä verbejä (esim. POIMIA, NUOLLA, POTKAISTA) tai vaihtoehtoisesti vain suorittaa motorinen liike samalla kehonosalla Osittain päällekkäiset alueet aktivoituivat sekä motorisen liikkeen että sanan tunnistamisen yhteydessä Esim. sekä sanan POIMIA lukeminen että käden liikuttaminen aktivoivat käden motorista aluetta Toimintaan liittyvän sanan konseptuaalinen tieto simuloituu osittain motorisessa järjestelmässä 9
Kehollistunut kognitio: Miten motorinen järjestelmä osallistuu toimintaan liittyvien sanojen representoimiseen (2) Williems, Hagoort & Casasanto, 2010: Koehenkilöille esitettiin verbejä jotka liittyivät kädentoimintaan (tarttua, kirjoittaa) tai jotka eivät liittyneet kädentoimintaan (polvistua, nauraa). Lisäksi heille esitettiin epäsanoja. Koehenkilön tehtävä oli arvioida mahdollisimman nopeasti oliko sana oikea vai epäsana Puolet (n = 32) koehenkilöistä oli vasenkätisiä fmri tulokset osoittivat, että kädentoimintaan liittyvien verbien tunnistamisen yhteydessä vasenkätisillä aktivaatio lisääntyi oikean aivopuoliskon motorisessa järjestelmässä ja oikeakätisillä vasemmassa motorisessa järjestelmässä Tämä tutkimus tukee ajatusta, jonka mukaan havaitun sanan kategoriaan assosioituvat motoriset prosessit osallistuvat sanan semanttisen tason representoimiseen Ihmisen tekemät objektit ja luonnolliset objektit representoidaan osittain erillisillä aivoalueilla (1) Warrington & Shallice, 1984: Leesio ohimolohkossa (ns. ventral stream) johtaa usein yleiseen vaikeuteen esineiden tunnistamisessa (potilas saattaa menettää esim. luonnossa esiintyviin objekteihin liittyvän tiedon). Vaurio tietyillä päälaenlohkon ja otsalohkon alueilla (ns. dorsal stream - alueilla joilla on motorisia funktioita) voi vaikeuttaa valikoivasti ihmisen tekemien objektien tunnistamista (objektien joilla on selkeä käyttötarkoitus). Toisaalta nämä potilaat tunnistavat usein normaalisti luonnossa esiintyviä objekteja. 10
Ihmisen tekemät objektit ja luonnolliset objektit representoidaan osittain erillisillä aivoalueilla (2) Chao & Martin, 2000: Koehenkilöille näytettiin useita erilaisia objekteja joista puolet oli biologisia ja puolet ihmiset tekemiä koehenkilöiden tuli hiljaa mielessään tunnistaa esineet Molemmat esinekategoriat aktivoivat (fmri) ventraalista näköjärjestelmää Vain ihmisen tekemät esineet aktivoivat sekä vasenta premotorista aivokuorta että vasenta posteriorista päälaenlohkon aivokuorta molemmat näistä alueista liitetään motorisen toiminnan suunnitteluun Ihmisen tekemien esineiden representoiminen työllistää enemmän motorisia prosesseja (niiden kategorisointi edellyttää niiden käyttötarkoituksen analysoimista à sillä juodaan ) Ihmisen tekemät objektit ja luonnolliset objektit representoidaan osittain erillisillä aivoalueilla (3) Chao, Weisberg & Martin, 2002: Koehenkilöille näytettiin lukemattomia eri objekteja joista puolet oli biologisia ja puolet ihmiset tekemiä; koehenkilöiden tuli hiljaa mielessään tunnistaa esineet Biologiset objektit assosioituivat aktivaatioon ventral occipito-temporal alueilla ihmisen tekemät esineet assosioituivat aktivaatioon medial occipital-temporal aluilla. Lisäksi ihmisen tekemät esineet aktivoivat sekä vasenta premotorista (7) aivokuorta että vasenta posterior parietal aivokuorta (8) à molemmat näistä alueista liitetään motorisen toiminnan suunnitteluun 11
Ihmisen tekemät objektit ja luonnolliset objektit representoidaan osittain erillisillä aivoalueilla (4) Mahon et al., 2009: Jopa syntymästään asti sokeilla eri näköjärjestelmän alueet ovat erikoistuneet representoimaan ihmisen tekemiä ja luonnollisia kohteita (fmri-tutkimus, jossa kohde-objektin nimi esitettiin auditorisesti) Näyttää, että tietyn havaintojärjestelmän alueen erikoistuminen tietyn objektin semanttiselle representoimiselle ei vaadi edes altistumista ärsykkeelle visuaalisella tasolla Tietyt aivoalueet ovat sisäsyntyisesti ominaisuuksiltaan optimaalisia tietyn spesifin kohteen representoimiseen Punaiseksi värjätyillä alueilla (kuva A) tapahtuu voimakasta luonnollisen objektin representoitumista Siniseksi värjätyllä alueella (kuva B) tapahtuu voimakasta ihmisen tekemän esineen representoitumista Aivovauriopotilaan semanttisen häiriön rajoittuminen yksittäiseen kategoriaan Caramazza & Shelton, 1998 à eläimet Samson & Pilloin, 2003 à hedelmät/kasvikset Laiacona & Capitani, 2001 à ihmisen tekemät esineet Nämä semanttiseen kategoriaan liittyvät häiriöt eivät yleensä ilmene vain yhden aistimodaliteetin yhteydessä vaan kyseiseen kategoriaan liittyvän esineen prosessointi häiriintyy riippumatta siitä missä muodossa esine esitetään Esim. potilas jolla on vaikeuksia tunnistaa hänelle esitettyjä visuaalisia kuvia eri eläimistä saattaa myös osoittaa kykenemättömyytensä selviytyä tehtävästä missä hänen tulee vastata eläimiä koskeviin kysymyksiin (Onko valaalla jalkoja? Ovatko koirat kotieläimiä?) tai tunnistaa eläimien ääniä Vaurio sensori-motorisen järjestelmän rajatulla alueella (ventraalinentemporaalinen näköjärjestelmä esim. ATL) vie potilaalta kyvyn representoida spesifin kategorian semanttisia aspekteja mahdollisuus simuloida kohdekonsepti sitä vastaavassa semanttisessa multimodaalisessa verkostossa häiriintyy 12
Ventraalinen näköjuoste ja kategoriat Tyler & Moss, 2001 Vaikka temporaalilohkosta on löytynyt kategoria-spesifejä alueita (esim. middle temporal à kehonosat; fusiform gyrus à kasvot) niin silti ajatellaan yleisesti, että pääosin objektit ja kategoriat representoituvat ventraalisessa näköjärjestelmässä hajautuneesti ja päällekkäisesti Ventraalisen näköjärjestelmän eri osien erikoistuminen representoimaan erilaisia objektikategorioita saattaa osittain myös perustua sen eri osien potentiaaliin representoida erilaisia muotoja ja erilaisten muotojen kombinaatioita (objektien kombonentteja) Usein saman kategorian objektit koostuvat samantyyppisistä osista jotka ovat samankaltaisesti suhteessa toisiinsa Semanttisen prosessoinnin neuroanatominen malli Binder & Desai, 2011 Voimakkaasti modaali-spesifit sensoriset, motoriset ja emootioihin liittyvät järjestelmät syöttävät kokemuksiin liittyvää tietoa ns. konvergenssi alueille (moniaistiset, assosiatiiviset alueet) missä tallennetaan ja representoidaan kokemuksista abstraktoitu tieto semanttisella tasolla Dorsomedial & inferior prefrontal -alueet kontrolloivat tehtävän kannalta keskeisen tiedon valitsemista konvergenssi alueilla Fuster (2009) on ehdottanut, että mitä abstraktimpaa tietoa tulee representoida, sitä enemmän prosessointi tapahtuu konvergenssi alueilla (vasemmanpuoleisessa kuvassa valkoisella) Hyvin konkreettisen kohteen representoiminen tapahtuu pääosin primääreillä havainto- ja motorisilla alueilla (tummalla) 13
Representoiminen työmuistitehtävän aikana Fuster, 2009 Etuotsalohkon toiminnoilla pidetään yllä representaatiota havainto/motorisessa järjestelmässä Oriboto-frontaalinen aivokuori osallistuu tehtäväkohtaiseen päätöksentekoon Kasvot Sijainti Kuultu ärsyke Etuotsalohko ja semanttisen tiedon pitäminen aktiivisena työmuistissa Miller & Cohen, 2001 Etuotasalohkon toiminnanohjausjärjestelmä (=työmuistijärjestelmä) on jakautunut biasoimaan tarkkaavaisuuden prosesseja joko sijaintia (dorsolateraalinen etuotsalohko) tai objektia (ventraalinen etuotsalohko) kohti Dorsolateraaliselta etuotsalohkolta on tiiviimpiä yhteyksiä dorsaalisen juosteen toimintoihin ja vetraaliselta etuotsalohkolta on tiiviimpiä yhteyksiä ventraaliseen juosteeseen 14
Johtopäätökset Objektin semanttinen representoituminen aivokuorella tapahtuu kehollistuneesti esim. vasaran semantiikka representoituu sen funktion simuloitumisella motorisessa järjestelmässä ja valkosipulin semantiikka representoituu sen tuoksun ja maun simuloimisella haju- ja makutietoon liitetyillä sensorisilla alueilla useat eri sensoriset, motoriset ja emootioihin liittyvät alueet osallistuvat kohteen semanttiseen representaatioon (korvapuusti à mitä sillä voi tehdä, miltä se maistuu ja tuoksuu, minkälaiseen emotionaaliseen tilaan sen syöminen liittyy jne.) Temporaalilohko osallistuu kaikentyyppisten objektien/kategorioiden representoimiseen sieltä on löydettävissä kategoria-spesifejä alueita mutta pääosin objektit representoituvat siellä hajautuneesti ja päällekkäisesti Moniaistiset assosiatiiviset alueet (esim. päälaenlohkon konvergenssi alueet) osallistuvat representaation muuttamiseen abstraktiin ja yleiseen muotoon 15