Moniaistinen havaitseminen Moniaistisuus Miksi moniaistisuus on tärkeää? Ilmiöitä ja niiden anatomiaa ja fysiologiaa Puheen havaitseminen Toiminnan suuntaaminen Ympäristöä havainnoidaan luonnostaan useiden aistien avulla. Luento kurssilla Cog101 Johdatus kognitiotieteeseen. Kaisa Tiippana 2.11.2010 Mitä hyötyä on moniaistisuudesta? Informaatiota useista lähteistä Lisäinformaatio Päällekkäinen informaatio Parempi kokonaishavainto Nopeammat ja tarkemmat reaktiot Pienempi häiriöherkkyys Puheen havaitseminen Puhe on luonnostaan audiovisuaalista puheen tuottamiseen liittyvät artikulaatioliikkeet näkyvät (osittain) = visuaalinen puhe Auditorinen puhe yleensä määrää puhehavainnon Visuaalinen puhe kuitenkin vaikuttaa havaintoon Audiovisuaalisen puheen integraatio Kuulo- ja näköhavainnon yhdistäminen yhtenäiseksi puhehavainnoksi Vanha käsitys: Auditorinen puhe dominoi, joten visuaalinen puhe vaikuttaa vain, jos auditorisen puheen havaitseminen on vaikeutunut kts. auditorisen signaalin ymmärrettävyyden vaikutukset Auditorisen signaalin ymmärrettävyyden vaikutukset Visuaalisesta puheesta on eniten hyötyä kun kuullun signaalin ymmärrettävyys on huono kohina kuulovauriot kognitiiviset vaikutukset vaikeatajuinen viesti vieras kieli 1
Audiovisuaalisen puheen integraatio % oikeita vastauksia Kuulo + näkö Kuulo Nykyinen käsitys: Auditorinen ja visuaalinen puhe integroidaan tiettyjen interaktiivisten sääntöjen mukaan, joissa auditorisen puheen painotus yleensä suurempi kts. McGurk-efekti Erber (1969) auditorinen signaali/kohina-suhde McGurk-efekti McGurk-efekti A/epe/ V/eke/ McGurk & MacDonald (1976). Hearing lips and seeing voices. Nature, 264, 746-748. AV/ete/ Visuaalinen puhe muuttaa havaintoa, niin että kuullaan jotain muuta kuin auditorinen signaali. Osoittaa, että visuaalinen puhe voi vaikuttaa myös kun auditorinen signaali on selkeä. Kuultu ja nähty puhe integroidaan yhtenäiseksi puhehavainnoksi. McGurk-efektin voimakkuus heijastaa audiovisuaalisen integraation voimakkuutta. Audiovisuaalisen puheen integraatio Mitkä tekijät vaikuttavat integraatioon? Tarkkaavaisuus Voiko kuulohavaintoa muuttaa vain näkötarkkaavaisuutta siirtämällä? Esimerkkejä: Tarkkaavaisuus Aspergerin syndrooma Andersen, Tiippana, Laarni, Kojo, Sams (2009) 2
Tarkkaavaisuus Aspergerin syndrooma Onko audiovisuaalisen puheen havaitseminen erilaista Aspergerhenkilöillä? Aspergerin syndrooma: autismin kirjon häiriö, jossa vaikeuksia sosiaalisessa vuorovaikutuksessa Sensory integration theory ongelmia aistitiedon integraatiossa? Tarkkaavaisuushäiriöt ongelmia kohteen valikoimisessa? Saalasti, Tiippana, Kätsyri & Sams (submitted) A/p/V/k/: one-face A/p/V/k/: two-face 87 77 53 49 38 36 13 5 8 11 4 20 AS heard less K and more T than controls = difference in AV integration Both groups gave similarly fewer K and more T responses when T-face was present = similar attention effect in both groups Audiovisuaalinen puhe aivoissa Audiovisuaalinen puhe aivoissa Missä visuaalista ja audiovisuaalista puhetta prosessoidaan? Missä nähdyn ja kuullun puheen yhdistäminen tapahtuu? Ennen ajateltiin, että aistitietoa yhdistetään vasta ns. assosiaatioalueilla varsinaisten aistinalueiden prosessoinnin jälkeen. 3
Audiovisuaalinen puhe aivoissa Muutokset kuuloärsykkeessä aiheuttavat ns. poikkeavuusnegatiivisuus ( mismatch )-vasteen kuuloaivokuorella esim. /pa/, /pa/, /pa/, /pa/, /ta/, /pa/, /pa/, /pa/ Syntyykö vaste myös, jos vain visuaalinen puhe muuttuu? Käytettiin hyväksi McGurk-efektiä: auditorinen /p/ + visuaalinen /t/ = kuulohavainto /t/ Sams & al. (1991); Möttönen & al. (2002) Möttönen, Krause, Tiippana & Sams (2002). Processing of changes in visual speech in the human auditory cortex. Cogn Brain Res 13, 417-425. auditory A = V McGurk visual Voiko pelkkä visuaalinen puhe aktivoida primaaria kuuloaivokuorta? Pekkola, Ojanen, Autti, Jääskeläinen, Möttönen, Tarkiainen & Sams (2005): Primary auditory cortex activation by visual speech: an fmri study at 3T. NeuroReport, 16, 125-128. Keltaiset ääriviivat rajaavat kuuloaivokuoren. Visuaalisen puheen tuottama aktivaatio merkitty punaisella. Audiovisuaalinen puhe aivoissa Visuaalinen ja audiovisuaalinen puhe aktivoivat alueita mm. kuuloaivokuorella jopa visuaalinen puhe yksinään A1:stä Aistit voivat vaikuttaa toisiinsa jo hyvin varhaisessa prosessointivaiheessa aistitiedon prosessointi ei ole niin eriytynyttä kuin on luultu Synestesia Ilmiö, jossa aistimus ei vastaa ärsytettyä aistia esim. vokaalien kuuleminen aiheuttaa väriaistimuksia esim. a=sininen/punainen, i=keltainen/ valkoinen Saattaa johtua voimakkaista assosiaatioista tai epänormaalisti toimivista aistien välisistä yhteyksistä. 4
Toiminnan suuntaaminen Reaktioiden AV-tehostuminen Missä-kanavat ja moniaistisuus Reaktioiden AV-tehostuminen Näköärsykkeeseen reagoidaan nopeammin ja tarkemmin, jos sen yhteydessä esitetään ylimääräinen kuuloärsyke samasta suunnasta. Näkö- ja kuuloinformaatio vaikuttavat eniten toisiinsa, jos niiden voidaan tulkita tulevan samasta kohteesta. Reaktioajat V Kohteen (V) ja vihjeen (A) puoli: sama A eri McDonald & al. (2000) McDonald & al. (2000) Oikeat vastaukset Kohteen (V) ja vihjeen (A) puoli: sama eri Mitä- ja Missä-kanavat Liityvät havaintojärjestelmän tärkeimpiin tehtäviin: Ärsykkeiden tunnistaminen Mitä? Toiminnan suuntaaminen Missä? Miten? McDonald & al. (2000) 5
Missä-kanava Päälaenlohkossa yhdistetään eri aisteista tulevaa tietoa ärsykkeiden sijainnista (missä) sekä myös niihin liittyvästä motoriikasta (miten) Premotorisella aivokuorella koodataan liikkeitä tähän tietoon perustuen signaalit motoriselle aivokuorelle lihaksiin Näin pystytään suuntaamaan toimintaa oikein. PM B A what M1 S1 A1 S what A where V what S where V where A=auditory, B=Broca, M=motor, PM=premotor, S=somatosensory, V=visual Näkö-tuntosolu 1 Näkö-tuntosolu 2 Vaste näköärsykkeeseen: päälaenlohko & premotorinen aivokuori premotorinen aivokuori: visuaalinen reseptiivinen kenttä seuraa kättä; on ikään kuin sidottu käden somatosensoriseen reseptiiviseen kenttään (oikeassa kämmenessä) Hyvärinen (1982) Graziano & Gross (1995) Graziano & Gross (1995) Peilisolut Hermosoluja, jotka antavat vasteen tietylle toiminnalle sekä omalle että havaitulle esim. esineen poimiminen, repiminen tarkat liikeradat eivät oleellisia Premotorisen aivokuoren alaosassa (Brocan alueella) ja päälaenlohkossa Peilisolut apinan F5 (= ihmisen Brocan alue) Rizzolatti & al. (2001) 6
apinan F5 peilisolu V = näköärsyke S = kuuloärsyke M = motorinen vaste Peilisolut Yhteys eri aistien antaman tiedon ja motoriikan välillä Yhteys oman ja muiden toiminnan välillä Merkitys? Simulaatio, toiminnan ymmärtäminen, matkiminen, oppiminen Kohler & al. (2002) Moniaistisuus yhteenveto Havaitseminen on moniaistista. Aisti-informaation vuorovaikutusta tapahtuu monilla eri tasoilla alkaen jo varhaisesta prosessoinnista ennen kuin kunkin aistin informaatio on käsitelty erikseen. Moniaistisuus yhteenveto Puhetta havaitaan sekä kuulon että puhuvien kasvojen antaman näköinformaation perusteella. Missä-kanavassa yhdistetään eri aistien tietoa toiminnan suuntaamista varten. 7