Moniaistinen havaitseminen Miksi moniaistisuus on tärkeää? Ilmiöitä ja niiden anatomiaa ja fysiologiaa joista tärkeimpinä: Puheen havaitseminen Mitä- ja missä-kanavat PSY221 Luento 6. Kaisa Tiippana 17.11.2010 Kytkeytyminen muuhun kurssiin Kirjassa ei moniaistisuutta juuri yhtään. Materiaalina luentokalvot ja tukena: Luku: Tiippana (2006): Moniaistinen havaitseminen. Kirjassa: Mieli ja aivot: kognitiivisen neurotieteen oppikirja. Toim: Hämäläinen, Laine, Aaltonen, Revonsuo (s. 177-184) löytyy Moodlesta. Luennolla korostan muun kurssin kanssa yhteisiä asioita. Markku päättää, painottaako tätä luentoa vähemmän tentissä. Moniaistisuus Ympäristöä havainnoidaan luonnostaan useiden aistien avulla. Mitä hyötyä on moniaistisuudesta? Informaatiota useista lähteistä Lisäinformaatio Päällekkäinen informaatio Puheen havaitseminen Puhe on luonnostaan audiovisuaalista. puheen tuottamiseen liittyvät artikulaatioliikkeet näkyvät (osittain) = visuaalinen puhe Auditorinen puhe yleensä määrää puhehavainnon. Visuaalinen puhe kuitenkin vaikuttaa havaintoon. Huuliltaluku Auditorinen puheentunnistus tarkempaa, koska visuaalisessa puheessa useat äänteet näyttävät samalta visuaalisten kategorioiden määrä riippuu mm. koartikulaatiosta, puhujasta ja havaitsijasta 1
Audiovisuaalisen puheen integraatio Kuulo- ja näköhavainnon yhdistäminen yhtenäiseksi puhehavainnoksi Etuna parempi puheentunnistus vaikeasti tunnistettavat auditorisen puheen piirteet ovat usein helposti tunnistettavia visuaalisesta puheesta yhden kanavan häiriöt voidaan usein kompensoida toisen kanavan avulla Audiovisuaalisen puheen integraatio Visuaalisesta puheesta on eniten hyötyä kun kuullun signaalin ymmärrettävyys on huono kohina kuulovauriot kognitiiviset vaikutukset vaikeatajuinen viesti vieras kieli Kuulovauriot vastausjakaumat: kuulo Kuulo + näkö näkö % oikeita vastauksia Kuulo kuulo+näkö Erber (1969) auditorinen signaali/kohina-suhde kuulo: normaali heikko kuuro Erber (1972) Vieras kieli Audiovisuaalisen puheen integraatio Japaninkielinen pitkä-lyhytvokaalierottelu parani englanninkielisillä kuuntelijoilla enemmän AV- kuin A- harjoittelulla. Vaikka visuaalisen puheen vaikutus tulee yleensä esiin vasta, kun auditorinen signaali on heikko, se ei ole kuitenkaan pelkkä varamekanismi McGurk-efekti Hirata & Kelly (2010). Effects of lips and hands on auditory learning of second-language speech sounds. J Speech Lang Hear Res, 53, 298-310. 2
McGurk-efekti McGurk & MacDonald (1976). Hearing lips and seeing voices. Nature, 264, 746-748. McGurk-efekti Visuaalinen puhe muuttaa havaintoa, niin että kuullaan jotain muuta kuin auditorinen signaali. Osoittaa, että visuaalinen puhe voi vaikuttaa myös kun auditorinen signaali on selkeä. Kuultu ja nähty puhe integroidaan yhtenäiseksi puhehavainnoksi. McGurk-efektin voimakkuus heijastaa audiovisuaalisen integraation voimakkuutta. Audiovisuaalisen puheen integraatio Mitkä tekijät vaikuttavat integraatioon? Tarkkaavaisuus Voiko kuulohavaintoa muuttaa vain näkötarkkaavaisuutta siirtämällä? Esimerkkejä: Tarkkaavaisuus Yksilöerot, eritysryhmät: Aspergerin syndrooma Andersen, Tiippana, Laarni, Kojo, Sams (2009) Tarkkaavaisuus 3
Tarkkaavaisuus Kuulohavainto muuttui, kun näkötarkkaavaisuuden kohde vaihtui vaikka kuulo- ja näköärsyke pysyivät samoina Audiovisuaalisen puheen integraatio riippuu tarkkaavaisuudesta. Aspergerin syndrooma Onko audiovisuaalisen puheen havaitseminen erilaista henkilöillä, joilla on Aspergerin syndrooma (AS)? AS: autismin kirjon häiriö, jossa vaikeuksia sosiaalisessa vuorovaikutuksessa Sensory integration theory ongelmia aistitiedon integraatiossa? Tarkkaavaisuushäiriöt ongelmia kohteen valikoimisessa? Saalasti, Tiippana, Kätsyri & Sams (submitted) Aspergerin syndrooma Tutkimuksessa käytettiin Andersen & muiden koeasetelmaa. Hypoteesit: Jos integraatio on heikompaa, McGurkefekti on heikompi AS-aikuisilla kuin verrokeilla. Jos tarkkaavaisuuden kohdentaminen on heikompaa, toiset kasvot häiritsevät AS-aikuisia enemmän kuin verrokkeja. 49 A/p/V/k/: yhdet kasvot 87 13 5 AS heard less K and more T than controls = difference in AV integration 38 8 A/p/V/k/: kahdet kasvot Aspergerin syndrooma 36 77 11 4 53 20 Audiovisuaalinen integraatio ei ollut heikompaa, vaan laadullisesti erilaista AS-aikuisilla kuin verrokeilla. Tukea ajatukselle, että aistitiedon yhdistämisessä on ongelmia. Tarkkaavaisuuden kohdentamisessa ei ollut eroja ryhmien välillä. Both groups gave similarly fewer K and more T responses when T-face was present = similar attention effect in both groups 4
Audiovisuaalinen puhe aivoissa Audiovisuaalinen puhe aivoissa Missä visuaalista ja audiovisuaalista puhetta prosessoidaan? Missä nähdyn ja kuullun puheen yhdistäminen tapahtuu? Ennen ajateltiin, että aistitietoa yhdistetään vasta ns. assosiaatioalueilla varsinaisten aistinalueiden prosessoinnin jälkeen. Auditorinen puhe aivoissa Muutokset kuuloärsykkeessä aiheuttavat ns. poikkeavuusnegatiivisuus ( mismatch ) MMN-vasteen kuuloaivokuorella. MMN syntyy toistuvan standardiärsykkeen seassa silloin tällöin esiintyvälle poikkeavalle ( deviant ) äänelle, kun se pystytään erottamaan standardista. esim. /pa/, /pa/, /pa/, /pa/, /pa/, /ta/, /pa/, /pa/ Näätänen (2001). The perception of speech sounds by the human brain as reflected by the mismatch negativity (MMN) and its magnetic equivalent (MMNm). Psychophysiology, 38, 1-21. Audiovisuaalinen puhe aivoissa Syntyykö poikkeavuusnegatiivisuusvaste myös, jos vain visuaalinen puhe muuttuu? Käytettiin hyväksi McGurk-efektiä: V/pa/A/pa/ V/ka/A/pa/ Auditorinen: /pa/ /pa/, /pa/ /pa/, /pa/, /pa/ Visuaalinen : /pa/ /pa/, /pa/ /ka/, /pa/, /pa/ Sams & al. (1991); Möttönen & al. (2002) Sams & al. (1991). Seeing speech: visual information from lip movements modifies activity in the human auditory cortex. Neurosci Lett, 127, 141-145. 5
Möttönen, Krause, Tiippana & Sams (2002). Processing of changes in visual speech in the human auditory cortex. Cogn Brain Res 13, 417-425. auditory A = V McGurk visual Voiko pelkkä visuaalinen puhe aktivoida primaaria kuuloaivokuorta? Pekkola, Ojanen, Autti, Jääskeläinen, Möttönen, Tarkiainen & Sams (2005): Primary auditory cortex activation by visual speech: an fmri study at 3T. NeuroReport, 16, 125-128. Keltaiset ääriviivat rajaavat kuuloaivokuoren. Visuaalisen puheen tuottama aktivaatio merkitty punaisella. Audiovisuaalinen puhe aivoissa Visuaalinen ja audiovisuaalinen puhe aktivoivat alueita mm. kuuloaivokuorella. Aistit voivat vaikuttaa toisiinsa jo hyvin varhaisessa prosessointivaiheessa. Aistitiedon prosessointi ei ole niin eriytynyttä kuin on luultu. Mitä- ja Missä-kanavat Liityvät havaintojärjestelmän tärkeimpiin tehtäviin: Ärsykkeiden tunnistaminen Mitä? Toiminnan suuntaaminen Missä? Miten? Tällä luennolla pari kanavien moniaistisuutta korostavaa esimerkkiä. 6
PM B M1 S1 A1 S what A where A what V what S where V where Mitä-kanavat Ohimolohkossa on tunnistamiseen liittyviä toimintoja Erilaisille visuaalisille ärsykkeille (objekteille) herkkiä soluja alaosassa (inferotemporal=it) Erilaisille auditorisille ärsykkeille (monimutkaisille äänille) herkkiä soluja etuosassa A=auditory, B=Broca, M=motor, PM=premotor, S=somatosensory, V=visual, Parietal=päälaenlohko, IT=ohimolohkon alaosa Mitä-kanava näössä: moniaistisuus Ihmisellä aktivoituu ohimolohkon eri osia riippuen nähdyn objektin kategoriasta kasvot, työkalut jne Onko visuaalinen kokemus edellytys kategorianmukaiselle järjestäytymiselle? Onko syntymästä asti sokeilla henkilöllä samantyyppinen alueellinen erikoistuminen ohimolohkossa kuin näkevillä? fmri-tutkimus: Koehenkilöryhmät: syntymästä sokeita / näkeviä Ärsykkeet: puhuttuja sanoja / kuvia eläimiä = elävä työkaluja tai muita esineitä = ei-elävä Mahon, Anzellotti, Schwarzbach, Zampini & Caramazza (2009). Category-specific organization in the human brain does not require visual experience. Neuron, 63, 397-405. ei-elävä > elävä elävä > ei-elävä B: Voxels showing differential BOLD responses for nonliving things compared to animals Figure 3. Contrast Maps for Animal versus Nonliving Stimuli for All Groups of Participants. A: Voxels showing differential BOLD responses for animal stimuli compared to nonliving stimuli 7
Mitä-kanava näössä: moniaistisuus Visuaalinen mitä-kanava on järjestäytynyt samantyyppisesti näkevillä ja sokeilla. Kategorianmukainen järjestäytyminen on mahdollista myös muiden aistien antaman tiedon avulla. Mukana luultavasti myös synnynnäinen ( hard-wired ) komponentti, joka voi riippua aivoalueen laskennallisesta tehtävästä ( computational goal ). Missä-kanavat Päälaenlohkossa yhdistetään eri aisteista tulevaa tietoa ärsykkeiden sijainnista (missä) sekä niihin liittyvästä motoriikasta (miten) Premotorisella aivokuorella (PM) koodataan liikkeitä tähän tietoon perustuen signaalit motoriselle aivokuorelle lihaksiin ( palaute aistien kautta) Päälaenlohko Näkö-tuntosolu Näkö-, kuulo- ja tuntoärsykkeisiin reagoivia soluja Myös kahden eri aistin ärsytykseen reagoivia soluja päälaenlohko & premotorinen aivokuori Juhani Hyvärinen oli tämän tutkimuksen pioneereja 1970-80-luvuilla (esim. review: Hyvärinen, 1982. Posterior parietal lobe of the primate brain. Physiological Reviews, 62, 1060-1129.) Graziano & Gross (1995) Premotorinen aivokuori Samantyyppisiä soluja kuin päälaenlohkossa, joiden lisäksi: Soluja, joissa raajaan sidotut reseptiiviset kentät Näkö-tuntosolu premotorinen aivokuori: visuaalinen reseptiivinen kenttä seuraa kättä; on ikään kuin sidottu käden somatosensoriseen reseptiiviseen kenttään (oikeassa kämmenessä) Vaste näköärsykkeeseen: Graziano & Gross (1995) 8
Peilisolut Peilisolut Hermosoluja, jotka antavat vasteen tietylle toiminnalle sekä omalle että havaitulle esim. esineen poimiminen, repiminen tarkat liikeradat eivät oleellisia Premotorisen aivokuoren alaosassa (Brocan alueella) ja päälaenlohkossa apinan F5 (= ihmisen Brocan alue) Rizzolatti & al. (2001) apinan F5 peilisolu V = näköärsyke S = kuuloärsyke M = motorinen vaste Peilisolut Yhteys eri aistien antaman tiedon ja motoriikan välillä Yhteys oman ja muiden toiminnan välillä Merkitys: Simulaatio, toiminnan ymmärtäminen, matkiminen, oppiminen Kohler & al. (2002). Hearing sounds, understanding actions: action representation in mirror neurons. Science, 297, 846-848. Reaktioiden AV-tehostuminen Reaktioiden AV-tehostuminen Näköärsykkeeseen reagoidaan nopeammin ja tarkemmin, jos sen yhteydessä esitetään ylimääräinen kuuloärsyke samasta suunnasta. Näkö- ja kuuloinformaatio vaikuttavat yleensä eniten toisiinsa, jos niiden voidaan tulkita tulevan samasta kohteesta. Paina vas/oik nappia, kun näet vas/oik valon. Älä välitä äänistä. Ääni yhtä aikaa valon kanssa. Simon & Craft (1970). Effects of an irrelevant auditory stimulus on visual choice reaction time. Journal of Experimental Psychology, 86, 272-274. 9
Reaktioiden moniaistinen tehostuminen liikenteessä Spence & Ho (2008). Multisensory warning signals for event perception and safe driving. Theor Iss Ergon Sci 9, 523-554. Posner & al (1976). Visual dominance: an information-processing account of its origins and significance. Psychol Rev 83, 157-171. Moniaistisuus yhteenveto Havaitseminen on moniaistista. Aisti-informaation vuorovaikutusta tapahtuu monilla eri tasoilla alkaen jo varhaisesta prosessoinnista ennen kuin kunkin aistin informaatio on käsitelty erikseen. Moniaistisuus yhteenveto Puhetta havaitaan sekä kuulon että puhuvien kasvojen antaman näköinformaation perusteella. Mitä-kanavassa yhdistetään eri aistien tietoa esineiden tunnistamista varten. Missä-kanavassa yhdistetään eri aistien tietoa toiminnan suuntaamista varten. 10