Kielen prosessointi aivoissa

Transkriptio

1 Kielen prosessointi aivoissa Alina Leinonen Luentorunko Aivokuvantamismenetelmät t lyhyesti Syntaksin ja semantiikan hermostolliset korrelaatit (herätevaste tevaste evidenssi) evidenssi) Leksikon rakenne ja morfologinen prosessointi: meillä ja maailmalla Suomen kielen morfologinen produktiivisuus 1

2 Aivokuvantamismenetelmät MRI fmri MEG EEG monia muita MRI Muodostaa tarkan kuvan aivojen rakenteesta mittaamalla vetyatomien ydinten resonanssia ja siten pystyy ilmaisemaan eri kudosten välisiä kontrasteja 2

3 fmri Funktionaalinen magneettiresonanssikuvaus Happea kuljettavat ja hapen hermosoluille luovuttaneet hemoglobiinimolekyylit ovat magneettisilta ominaisuuksilta erilaisia kontrasti näidenn vaikutukselle saadaan mitattua periaattessa samoin kuin kudosten välille v MRI:llä fmri Saadaan paikannettua ne aivojen alueet, joihin kuljetetaan lisähappea (hemodynaaminen vaste) epäsuora menetelmä aktivaation mittaamiseen Paikkaresoluutio muutamien millimetrien luokkaa, aikaresoluutio sekuntien 3

4 MEG Magnetoenkefalografiassa mitataan aivojen sähks hköisen toiminnan synnyttämi miä magneettikenttiä Sähkövirta synnyttää aina magneettikentän Lähteiden paikantamisessa EEG:tä parempi, koska kallo haittaa sähks hkö muttei magneettikentän n johtumista EEG 4

5 EEG elektroenkefalografia Mitataan suoraan aivojen sähks hköistä toimintaa pääp ään n pinnalle kiinnitetyillä elektrodeilla Raakasignaali syntyy kun iso joukko hermosoluja saa samanaikaisesti samankaltaista syötett tettä ERP event related potential Eristetää ään raakasignaalista ajallisesti tiettyyn ärsykkeeseen liittyvä vaste Keskiarvoistus vaimentaa satunnaista kohinaa Myös abstraktin säännön toisto Signaalin syntyehdot samat kuin EEG:lle, mutta nyt signaali voi olla niin heikko että se ei raakasignaalista erotu ilman kikkailua 5

6 ERD/ERS Ennen ärsykettä vallinneeseen oskillatoriseen toimintaan verrattuna ärsyke aiheuttaa aika, paikka ja taajuuskaistaspesifiä synkronisoitumista ja/tai epäsynkronisoitumista Synkronisaatio liittynee tiettyjen hermosolujoukkojen dynaamiseen yhdessätoimimiseen ja kommunikaatioon Kielen prosessointiin liittyvät herätevasteet Herätevasteet soveltuvat hyvin kielen prosessointiin erinomaisen ajallisen tarkkuutensa ansiosta Koeasetelmien suunnittelu vaatii kuitenkin nokkeluutta Useita eri herätevasteita jotka on yhdistetty kielen prosessointiin N400 (E)LAN P600 sekä mm. N280, N200, MMN tai PMN yms. 6

7 N400 N400 usein liitetty semanttiseen prosessointiin havaitaan usein myös s sanatasolla ja leksikaalisen prosessoinnin yhteydessä liittyy kaikenlaisiin potentiaalisesti merkityksellisiin ärsykkeisiin P600 kontrolli ei virhettä: The cat won t t eat the food that Mary leaves them. Syntaktinen virhe (verbin aikamuoto): The cat won t eating the food the Mary leaves them. Semanttinen virhe (käsitekategoriavirhe) The cat won t bake the food the Mary leaves them. 7

8 LAN Kieliopilliset virheet saavat aikaan tämän frontaalisen alueen negatiivisen vasteen Word category violations (disrupt the building of the phrase structure) early left anterior negativity (e.g. Friederici et al 1996) ~ ms Syntactic category category violation: The metal was refined by the goldsmith who was honored. The metal was for refined by the goldsmith who was honored. Syntactic category category ambiguity: The metal was for refining melted by the goldsmith who was honored. The metal was/became refining melted by the goldsmith who was honored. (L)AN Hagoort,, P. ym. (2003). Syntax related ERP effects in Dutc 8

9 LAN Morfosyntaktiset virheet (kongruenssivirheet, verbin taivutusvirheet) anterior negativity (e.g. Vos et al. 2001) ~ ms The tourist have a busy schedule and visit the theater that very famous is. The tourist have a busy schedule and visits the theater that very famous is. The tourist that a busy schedule have, visit the theater that very famous is. The tourist that a busy schedule have, visits the theater that very famous is. Liitetty myös työmuistin prosessointiin (Kutas & Kluender,, 1993) Friederici (2002): serial model of sentence processing: : 1) Alustava lausekerakenneanalyysi (ELAN), 2) Rinnakkainen mutta riippumaton morfosyntaktinen (LAN) ja leksikaalis semanttinen (N400) prosessointi ja myöhempi integraatiovaihe (P600) Mallille on esitetty vastaevidenssiä (Van den Brink & Hagoort, 2004; Palolahti ym., 2005) Lauseen prosessointi 9

10 Tauon paikka ja aivot narikkaan (tai laukkuun...) Morfologia Tarkastelee sanan sisäist istä rakennetta Miksi on kiinnostava? Suomen kielen morfologia: monet syntaktiset suhteet toteutetaan morfologisesti, eli pääp äätteiden avulla (vrt. germaaniset kielet) Morfologia maailmalla: sääs äännöllisten ja epäsää äännöllisten taivutettujen sääs ääntöjen tutkimus Suomen kielen psykolingvistiikka: morfologinen parserointi 10

11 Morfologinen prosessointi Hypoteesi: morfologinen parseri on olemassa jossain aivojen kohdassa Juurimorfeemeja vai kokonaisia sanoja? Yleisempiä morfologisesti kompleksisten sanojen prosessointimalleja: 1. Full listing listing model (Bybee, 1985; Butterworth, 1983) 2. Full parsing model (Taft, 1979; Taft & Forster, 1975) 3. MRM (Schreuder & Baayen, AAM Frekvenssin, semanttisen läpinl pinäkyvyyden, produktiivisuuden vaikutus Morfologinen prosessointi Säännöllisten ja epäsää äännöllisten rakenteiden tutkimus Englannin kielen taivutus: go vs. went Usein tutkittu violaatioparadigman avulla (grew *grewed) *grewed) Saavat aikaan erilaisia herätevasteita (LAN vs. N400) ja aktivoivat eri alueita 11

12 Morfologinen prosessointi Ullmanin (1997) proseduraalinen vs. deklaratiivinen malli Kielijärjestelm rjestelmä on jaettu sääs äännönmukaiseennmukaiseen kielioppiin (sovelletaan sääs ääntö 'Lisää pääte ed kantaan') ja leksikkoon säännölliset verbit käyttävät t proseduraalista muistijärjestelm rjestelmää (Brocan alue ja tyvitumakkeet) Morfologinen prosessointi Epäsää äännöllisiin sanoihin ei Ullmanin mukaan päde mikää ään n sääs ääntö (hmm...) Ne täytyy t säilytts ilyttää deklaratiivisessa (semanttisessa) muistissa Epäsää äännölliset sanat prosessoidaan posteriorisilla (temporaalisilla ja parietaalisilla alueilla Esim. ne potilaat joilla on posteriorisen alueen vaurio, eivät t pystyneet tuottamaan epäsää äännöllisiä verbejä ja he käyttivk yttivät t liikaa säännöllistä taivutusta 12

13 Ullmanin mallin testaus: ERP Newman ym. (2007) Kontrollilause: Yesterday I frowned at Billy Säännöllisen ja epäsäännöllisen taivuttuksen virhe Yesterday I *frown/frowened at Billy Yesterday I ground/*grindgrind up coffee Lausekerakennevirhe: Yesterday I drank Lisa's by brandy the fire Semanttinen virhe *Yesterday Daniel sipped his sarcasm for hours. Suomen kielen morfologinen prosessointi Psykolingvistiikka suomen kielessä Dekompositio kielen puhujat hajottavat sanat osiin ja sen jälkeen j yhdistävät t osia yhdeksi koherentiksi kokonaisuudeksi (mm. Bertram ym., 2000; Lehtonen ym., 2006). Jos kielen puhujat hajottavat sanat osiin, heillä täytyy olla jonkinlainen morfologinen jäsennysjärjestelmä (parseri) Core decompositional network (Marslen( Marslen Wilson & Tyler, 2007) 13

14 Taivutus Lukuisat reaktioaikakokeet ja afasia tutkimukset (katsaus Niemi ym. 1994) Jokainen nomini: 2000 eri muotoa Taivutetut sanat parseroidaan kantaan ja suffiksiin Yleisimmät t muodot (esim. kotona): sama RT kuin sanoissa kissa,, frekvenssi vaikuttaa Johdetut sanat (tutkija) haetaan leksikosta (sama RT kuin yksimorfeemisilla sanoilla kissa Taivutuksen prosessointia: fmri Lehtonen et al., (2006). Neural correlates of morphological decomposition in a morphologically rich language: An fmri study.. Brain Lang 98, sanaa (paketti), 85 taivutettua sanaa (uuni+ssa). 170 pseudosanaa: terukka, vama+ssa Visuaalisen pääp äätöksenteko Taivutetut sanat: aktivaatiota vasemmalla temporaalisella alueella sekä LIFG (alempi frontaalinen poimu, BA 44, 45 ja 47) Ks. Seuraava slaidi 14

15 Taivutuksen prosessointia: fmri Huippuaktivaatiot taivutetuille sanoille. (Top, right, back) The inflected words vs. monomorphemic words comparison. LOTC fusiform gyrus and inferior temporal gyrus (BA 37, BA 19); LPTA posterior parts of the middle and superior temporal gyri (BA 21, 22); LIFG inferior frontal gyrus (BA 44, 45, and 47). Taivutuksen prosessointia: fmri Ei taivutettujen ja taivutettujen aktivaatioero (BA 44, 45 ja 47) näyttn yttäisi liittyvän n morfologiseen parserointiin LIFG: BA 47: semanttinen prosessointi Vasen ohimoalue: BA 22/21/39: semanttinen (mutta myös s syntaktinen sekä fonologinen prosessointi on liitetty tähän t n alueeseen) Taivutettujen sanojen prosessointiin liittyy ainakin kannan ja pääp äätteen merkityksen integraatio Varhaisemmasta morfologisesta parseroinnista ei kuitenkaan saatu näyttn yttöä 15

16 Taivutuksen prosessointia: ERP Näkyisikö varhainen morfologinen parserointi herätevasteissa? Visuaalinen pääp äätöksenteko Sanat: Lusikka (ei taivutusta), hiha+ssa: taivutus Epäsanat: 1) ei taivutusta, lurkke,, 2) pseudokanta ja oikea suffiksi laspu+uun,, 3) oikea kanta ja pseudosuffiksi lasi+sso,, 4) kannan ja suffiksin virheellinen yhdistelmä kylpy+n Taivutuksen prosessointia: ERP Näkyisikö morfologinen parserointi online varhaisessa vaiheessa? Esim. ~ ms ärsykkeen esittämisen jälkeen j (vrt. MEG tutkimuksia) Parseroidaanko myös s pseudosanat ja jos kyllä,, niin miten? 16

17 Taivutuksen prosessointia: ERP Taivutetut sanat Taivutuksen prosessointia: ERP Taivutetut pseudosanat 17

18 Taivutuksen prosessointia: ERP Mitä tulokset kertovat? Ei evidenssiä varhaisesta morfologisesta prosessoinnista Kompleksisuusefekti alkaa näkyn kyä vasta n.~400 ms kohdalla Kyseessä on todennäköisesti semanttinen matching ja myöhemmin morfeemien integrointi n. 600 ms kohdalla) ja propositionaalisen sisäll llön n arvoiointi (sana/epäsana) sana) Modaliteetin vaikutus taivutettujen sanojen prosessointiin Auditiivisessa modaliteetissa sana prosessoidaan online Lexical decision: visuaalinen ja auditiivinen Taivutetut ja ei taivutetut sanat ja pseudosanat Pussi, pussi+ssa Vorsilo, vorsilo+ssa Mitä kertoo taivutuken prosessoinnista? Auditiivisessa modaliteetissa ei ole aikaisemmin tutkittu 18

19 Modaliteetin vaikitus taivutukseen Mitä tulosten perusteella voisi sanoa morfologisesti kompleksisten sanojen prosessoinnista? Mahdollinen malli siitä miten taivutettu sana prosessoidaan (vrt. osittain myös s Schreuder & Baayen, 1995) Taivutus vs. johtaminen Leinonen, A., Brattico, P. JärvenpJ rvenpää,, M., Krause, C.M. (in press). Event related potential (ERP) responses to violations of inflectional and > derivational rules of Finnish. Brain Research Taustalla pitkää ään jatkunut kiista taivutuksen ja johtamisen välisestä suhteesta Erottavatko aivot kahta eri sananmuodostustyyppiä? Taivutus (nukku+vat), määrittelee syntaktisia suhteista Johtaminen (nukku+ja), muodostaa uusia sanoja Onko morfologisten tyyppien ero illusorinen niinkuin jotkut lingvistit väittävät? Tätä lähdettiin testamaan herätevasteiden avulla 19

20 Taivutus vs. johtaminen Acceptability judgement task (Kieliopillinen( lause vai ei) Kaikki ärsykkeet uusia, testattu korpushaulla Kieliopillisia uusia sanoja: : Mies, joka omistaa basson, on basso+llinen mies Taivutusvirhe eli kongruenssivirhe: : Mies, joka omistaa basson, on *bassolli+set mies Johdosvirhe: Mies, joka juoksee,, on *juoksellinen* mies Molemmat virheet: Mies, joka juoksee,, on *juokselliset mies Taivutus vs. johtaminen 20

21 Taivutus vs. johtaminen Lineaarinen summaatio Mallinnettu käyrk yrä: (taivutus kontrolli)+ (johtaminen kontrolli) kontrolli) Suomen kielen morfologinen produktiivisuus Brattico, P., Leinonen, A., Krause, C.M. (2007) Suomen kielessä sanojen muodostus näyttn yttää olevan luova prosessi: esim. samaan vartaloon voidaan lisätä kolme kausatiivipää äätettä (tee tä ty tt ttä ä,, eli tee CAU CAU CAU CAU CAU V) V) Mutta sanojen muodostus on ei ole yhtä produktiivinen prosessi kuin lauseen muodostus, jossa voidaan muodostaa jopa 20 sanan lauseita 21

22 Suomen kielen morfologinen produktiivisuus Taustalla Bratticon (2005) kaksitasomalli, jossa oletetaan että sanan muodostus on kaksivaiheinen prosessi: 1) tee tä tt ttä (ilman kategoriaa), 2) tee tä tt ttä+v( +V( ä), tuloksena verbi tai +N ( ( minen), tee tä tt ttä minen (tuloksena nomini, riippuen lausekontekstista) Esim. minen pää äätteen jälkeen j johtaminen ei ole mahdollista Suomen kielen morfologinen produktiivisuus Ärsykkeet: sanat, joissa pääp äätteet lisätty satunnaisesti, sanan kompleksisuus kasvaa (1 5 pääp äätettä) 2 ryhmää ää: : kieliopillinen/epäkieliopillinen (Brattico, 2005) Semanttisuusarvio Kieliopillisuusarvio 22

23 Suomen kielen morfologinen produktiivisuus Kieliopilliset sanat: 1. Muuttaminen (kontrolli) 2. Antoinen 3. Kasvatetin 4. Apinallistattamassa 5. Mitatteuksellisuus Epäkieliopilliset sanat: Odottamava 3. Kuvatarustar 4. Ostatarusellike 5. Syketärellistar Suomen kielen morfologinen produktiivisuus Sanat tulkittiin epäsemanttisiksi ja epäkieliopillisiksi kun kyseessä oli kompleksisuustaso 5 (Mitatteuksellisuus) eli pisimmät t reaktioajat Epäkieliopilliset sanat: parseri pysähtyi htyi kahden pääp äätteen jälkeen j (odottamava) eli ei vaikutusta reaktioaikoihin Tärkein löydl ydös: Morfologinen parseri on produktiivinen, mutta rajallinen eli kompleksisuusefekti rajoittaa puhujien kykyä ymmärt rtää kompleksisia sanoja Ongelmana on semanttinen integraatio (l. vaikea yhdistää koherenttiin kokonaisuuteen) 23

24 Miten sana prosessoidaan aivoissa: yhteenveto Kirjoitetun kielen prosessoinnin ensimmäiset vaiheet: 1. Kielellisen aineksen tunnistus (kirjainjono eikä satunnaisia symboleja) 2. Kirjainjonon muuttaminen foneemeiksi 3. Leksikon aktivointi (mahdollisia vaihtoehtoja) 4. Oikean kohdesanan valinta Sanan prosessointi aivoissa: yhteenveto Kirjainjonon prosessointi Leksikon aktivointi ms (M170) ms (M250) ms (M350) ms 200 [ft] [msec] 24

25 Alustava malli sanan prosessoinnista Lexical semantic processing Decomposition of morphological constituents: roots rosvo and derivational morphemes sto ROSVOSTO N1, MMN Phonological processing Lexical matching N200 PMN N400/ (L)AN Lexical category NOUN Agreement features Inflectional closing suffixes Integrating the constituents Evaluating the propositional content of the word P600 25