Say it again, kid! - peli ja puheteknologia lasten vieraan kielen oppimisessa

Transkriptio

1 Say it again, kid! - peli ja puheteknologia lasten vieraan kielen oppimisessa Sari Ylinen, Kognitiivisen aivotutkimuksen yksikkö, käyttäytymistieteiden laitos, Helsingin yliopisto & Mikko Kurimo, signaalinkäsittelyn ja akustiikan laitos, sähkötekniikan korkeakoulu, Aalto-yliopisto

2 Say it again, kid! -projekti

3 Projektin tavoitteet 1. Tutkia puhutun vieraan kielen käsittelyn ja kielenoppimisen mekanismeja 2. Kehittää tietokonepohjainen kielenoppimispeli 3. Kehittää automattisen puheentunnistuksen menetelmiä: lasten ja kielenoppijoiden puheelle sopiva tunnistin

4 Tutkimus 1: Tietokonepohjainen vieraan kielen sanojen oppiminen ja palautteen vaikutus oppimiseen Vaikuttaako palaute oppimiseen tilastollisen oppimisen tehtävässä, jossa opetellaan vieraan kielen sanojen merkityksiä tilastollisten todennäköisyyksien perusteella? Menetelmä: toiminnallinen magneettikuvaus (fmri) Osallistujat: 15/20 aikuista 3 tilannetta, jossa kussakin opeteltiin 12 sanaa Tilastollinen oppiminen, palaute Tilastollinen oppiminen, ei palautetta Vahvistusoppiminen (engl. reinforcement learning), jossa epäjohdonmukainen palaute 3 vaihetta Oppimisvaihe Testivaihe Uusintatesti 1 vkon kuluttua (ei fmritä)

5 Tutkimus 1: Tietokonepohjainen vieraan kielen sanojen oppiminen ja palautteen vaikutus oppimiseen Oikeiden vastausten määrä 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Oppimisvaihe Testivaihe Uusintatesti 1 vkon jälkeen Tilastollinen oppiminen, ei palautetta Tilastollinen oppiminen, palaute Ylinen, Näätänen & Brattico, valmisteilla

6 Tutkimus 1: Tietokonepohjainen vieraan kielen sanojen oppiminen ja palautteen vaikutus oppimiseen Cross-situational learning Reinforcement learning Ylinen, Näätänen & Brattico, valmisteilla

7 Tutkimus 2: Oppimistehtävän vaikutus vieraan kielen sanojen oppimiseen lapsilla Verrattiin neljän oppimistehtävän vaikutusta vieraan kielen sanojen muodon ja merkityksen oppimiseen Menetelmä: behavioraalinen (vastaukset tablettitietokoneella) Osallistujat: 40 lasta (5-8 v) 4 tilannetta, jossa kussakin opeteltiin englanninkielisiä kuvaan yhdistettyjä sanoja Tahaton oppiminen: lapset kuulivat eläimen nimen englanniksi ja nimesivät suomeksi Tarkoituksellinen aktiivinen oppiminen: lapset kuulivat eläimen nimen englanniksi, imitoivat sen ja yrittivät painaa sen mieleen Tarkoituksellinen passiivinen oppiminen: lapset kuulivat eläimen nimen englanniksi ja yrittivät painaa sen mieleen Tilastollinen oppiminen: lapset kuulivat eläimen nimen englanniksi ja näkivät kaksi kuvaa, joista piti arvata, kumpi on oikein, ja yrittivät painaa sanan mieleen

8 Tutkimus 2: Oppimistehtävän vaikutus vieraan kielen sanojen oppimiseen lapsilla Sanamuodon oppiminen (oikeat sanat vs. fonologisesti samankaltaiset väärät versiot) Junttila, Näätänen & Ylinen, valmisteilla

9 Tutkimus 2: Oppimistehtävän vaikutus vieraan kielen sanojen oppimiseen lapsilla Sanan merkityksen oppiminen (oikean kuvan valitseminen 5 vaihtoehdosta) Junttila, Näätänen & Ylinen, valmisteilla

10 Say it again, kid! -peli

11 Yhteenveto 1. Oppimiskokeet: Tarkoituksellinen oppiminen, johon yhdistyy sanan tuottaminen, on lapsille tehokkain tapa oppia vieraan kielen sanoja Palaute nopeuttaa oppimista ja vaikuttaa kielen käsittelyyn osallistuvan aivosaaren (insula) aktivaatioon 2. Say it again, kid -peli 3. Automaattisen puheentunnistuksen kehittäminen lapsille ja kielenoppijoille soveltuvaksi

12 Kiitos! Yhteystiedot: Julkaisuja: Ylinen, S. & Kujala, T. (2015). Neuroscience illuminating the influence of auditory or phonological intervention on language-related deficits. Frontiers in Psychology, 6, 137. Ylinen, S., Bosseler, A., Junttila, K., & Huotilainen, M. (revision submitted). Predictive coding mediates word recognition and learning in the early stages of language development. Ylinen, S.. Huuskonen, M., Mikkola, K., Saure, E., Sinkkonen, T., & Paavilainen, P. (revision submitted). Predictive coding of phonological rules in auditory cortex: A mismatch negativity study