Say it again, kid! - peli ja puheteknologia lasten vieraan kielen oppimisessa Sari Ylinen, Kognitiivisen aivotutkimuksen yksikkö, käyttäytymistieteiden laitos, Helsingin yliopisto & Mikko Kurimo, signaalinkäsittelyn ja akustiikan laitos, sähkötekniikan korkeakoulu, Aalto-yliopisto www.helsinki.fi/yliopisto 6.6.2016 1
Say it again, kid! -projekti www.helsinki.fi/yliopisto 6.6.2016 2
Projektin tavoitteet 1. Tutkia puhutun vieraan kielen käsittelyn ja kielenoppimisen mekanismeja 2. Kehittää tietokonepohjainen kielenoppimispeli 3. Kehittää automattisen puheentunnistuksen menetelmiä: lasten ja kielenoppijoiden puheelle sopiva tunnistin www.helsinki.fi/yliopisto 6.6.2016 3
Tutkimus 1: Tietokonepohjainen vieraan kielen sanojen oppiminen ja palautteen vaikutus oppimiseen Vaikuttaako palaute oppimiseen tilastollisen oppimisen tehtävässä, jossa opetellaan vieraan kielen sanojen merkityksiä tilastollisten todennäköisyyksien perusteella? Menetelmä: toiminnallinen magneettikuvaus (fmri) Osallistujat: 15/20 aikuista 3 tilannetta, jossa kussakin opeteltiin 12 sanaa Tilastollinen oppiminen, palaute Tilastollinen oppiminen, ei palautetta Vahvistusoppiminen (engl. reinforcement learning), jossa epäjohdonmukainen palaute 3 vaihetta Oppimisvaihe Testivaihe Uusintatesti 1 vkon kuluttua (ei fmritä) www.helsinki.fi/yliopisto 6.6.2016 4
Tutkimus 1: Tietokonepohjainen vieraan kielen sanojen oppiminen ja palautteen vaikutus oppimiseen Oikeiden vastausten määrä 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Oppimisvaihe Testivaihe Uusintatesti 1 vkon jälkeen Tilastollinen oppiminen, ei palautetta Tilastollinen oppiminen, palaute Ylinen, Näätänen & Brattico, valmisteilla www.helsinki.fi/yliopisto 6.6.2016 5
Tutkimus 1: Tietokonepohjainen vieraan kielen sanojen oppiminen ja palautteen vaikutus oppimiseen Cross-situational learning Reinforcement learning Ylinen, Näätänen & Brattico, valmisteilla www.helsinki.fi/yliopisto 6.6.2016 6
Tutkimus 2: Oppimistehtävän vaikutus vieraan kielen sanojen oppimiseen lapsilla Verrattiin neljän oppimistehtävän vaikutusta vieraan kielen sanojen muodon ja merkityksen oppimiseen Menetelmä: behavioraalinen (vastaukset tablettitietokoneella) Osallistujat: 40 lasta (5-8 v) 4 tilannetta, jossa kussakin opeteltiin englanninkielisiä kuvaan yhdistettyjä sanoja Tahaton oppiminen: lapset kuulivat eläimen nimen englanniksi ja nimesivät suomeksi Tarkoituksellinen aktiivinen oppiminen: lapset kuulivat eläimen nimen englanniksi, imitoivat sen ja yrittivät painaa sen mieleen Tarkoituksellinen passiivinen oppiminen: lapset kuulivat eläimen nimen englanniksi ja yrittivät painaa sen mieleen Tilastollinen oppiminen: lapset kuulivat eläimen nimen englanniksi ja näkivät kaksi kuvaa, joista piti arvata, kumpi on oikein, ja yrittivät painaa sanan mieleen www.helsinki.fi/yliopisto 6.6.2016 7
Tutkimus 2: Oppimistehtävän vaikutus vieraan kielen sanojen oppimiseen lapsilla Sanamuodon oppiminen (oikeat sanat vs. fonologisesti samankaltaiset väärät versiot) Junttila, Näätänen & Ylinen, valmisteilla www.helsinki.fi/yliopisto 6.6.2016 8
Tutkimus 2: Oppimistehtävän vaikutus vieraan kielen sanojen oppimiseen lapsilla Sanan merkityksen oppiminen (oikean kuvan valitseminen 5 vaihtoehdosta) Junttila, Näätänen & Ylinen, valmisteilla www.helsinki.fi/yliopisto 6.6.2016 9
Say it again, kid! -peli www.helsinki.fi/yliopisto 6.6.2016 10
Yhteenveto 1. Oppimiskokeet: Tarkoituksellinen oppiminen, johon yhdistyy sanan tuottaminen, on lapsille tehokkain tapa oppia vieraan kielen sanoja Palaute nopeuttaa oppimista ja vaikuttaa kielen käsittelyyn osallistuvan aivosaaren (insula) aktivaatioon 2. Say it again, kid -peli 3. Automaattisen puheentunnistuksen kehittäminen lapsille ja kielenoppijoille soveltuvaksi www.helsinki.fi/yliopisto 6.6.2016 11
Kiitos! Yhteystiedot: sari.ylinen@helsinki.fi mikko.kurimo@aalto.fi Julkaisuja: Ylinen, S. & Kujala, T. (2015). Neuroscience illuminating the influence of auditory or phonological intervention on language-related deficits. Frontiers in Psychology, 6, 137. Ylinen, S., Bosseler, A., Junttila, K., & Huotilainen, M. (revision submitted). Predictive coding mediates word recognition and learning in the early stages of language development. Ylinen, S.. Huuskonen, M., Mikkola, K., Saure, E., Sinkkonen, T., & Paavilainen, P. (revision submitted). Predictive coding of phonological rules in auditory cortex: A mismatch negativity study. www.helsinki.fi/yliopisto 6.6.2016 12