Suullisen kielitaidon arvioinnin foneettiset taustatekijät. Heini Kallio, tohtorikoulutettava HY, Käyttäytymistieteiden laitos, fonetiikka 17.2.

Transkriptio

1 Suullisen kielitaidon arvioinnin foneettiset taustatekijät, tohtorikoulutettava HY, Käyttäytymistieteiden laitos, fonetiikka

2 Tutkimuksen lähtökohdat Tutkimus alkanut osana DigiTala -projektia Katse tulevissa ylioppilaskokeissa, joihin päätetty lisätä kielten suullinen koe 2019 alkaen Projektin tavoitteena kehittää verkkosovellus, jossa suullinen koe tehdään, sekä puheentunnistinsovellus arvioinnin avuksi Pilottikieli ruotsi, myöhemmin muut kielet Mukana OKL (HY), Signaalinkäsittely (Aalto), Fonetiikka (HY), SOLKI (JY) sekä Ylioppilastutkintolautakunta Fonetiikan tehtävät projektissa: Linkki insinöörien ja pedagogien välillä Tehdä mustista laatikoista läpinäkyvämpiä

3 Tutkimuksen lähtökohdat Puhuminen on oleellinen osa kielellistä kompetenssia (Bachman & Palmer, 1996) Suullisen kielitaidon testaaminen silti suhteellisen uusi kielenopetuksen alue, ongelmana arviointien luotettavuus ja objektiivisuus (Fulcher, 2003) Kuvailevia arviointitutkimuksia ja CEFR-asteikon soveltamista on tehty Suomessa pedagogisesta näkökulmasta (Hildén & Takala, 2007, Hildén, 2007) Foneettinen, puheen mitattaviin ominaisuuksiin keskittyvä lähestymistapa puuttuu

4 Tutkimuksen tavoitteet Tuoda suullisen kielitaidon arviointimenetelmiin lisää objektiivisuutta ja luotettavuutta Tuottaa uutta tieteellistä tietoa suullisen kielitaidon foneettisesta perustasta sekä puheen ja kielen suhteesta Metatavoitteet: lisätä kielenopettajien ja opiskelijoiden foneettista tietoisuutta ja toimia pontena uusille kielenopetuksen metodologisille ja materiaalisille innovaatioille

5 Mitä CEFR sanoo? In oral production (speaking) activities the language user produces an oral text which is received by an audience of one or more listeners. Suullisesta tuotoksesta puhutaan tekstinä, kriteerit lähinnä lingvistisestä perspektiivistä Kuvailevassa asteikossa käytettyjä termejä: selkeä, luontevasti soljuva, hyvin jäsennetty, sujuva, ymmärrettävä Paino ja intonaatio mainittu vieraan aksentin ja hienovaraisempien sävyjen tuoton yhteydessä

6 CEFR fonetiikaksi (vapaa käännös) Ymmärrettävä Riittävän selkeä, jotta kohde ymmärtää riippuu kuulijasta ja kontekstista Selkeä Riittävä ääntämisen tarkkuus esim. vokaaliavaruus, segmenttikestot Tarkoituksenmukainen ja sopiva ajoitus ja painotus puhenopeus, sana- ja lausepainot, tauot Sopiva intonaatio F0:n muutokset Luontevasti soljuva, Sujuva Sopiva prosodinen jaksottelu = natiivinkaltainen rytmi & intonaatio puhenopeus, tauot and F0:n muutokset Sanoja ei erotella toisistaan tauoilla Hyvin jäsennetty Kaikki ylläolevat + luovat verbaaliset taidot sekä kieliopillinen täsmällisyys?

7 Ymmärrettävyys & sujuvuus Ymmärrettävyys minimivaatimus puheelle Sujuvuus toistuva termi vieraskielistä puhetta arvioitaessa L2 tutkimuksissa usein keskitytty jompaankumpaan, harvoin molempiin

8 Puheen sujuvuus Sujuvuus suullisen kielitaidon yleisenä mittarina mitä termi pitää sisällään? Samule Johnson: Dictionary of the English Language (1843) Fluency (noun): The quality of flowing; smoothness; freedom from harshness or asperity. Readiness; copiousness; volubility. Affluence; abundance. Fluent (adjective) [fluens, Lat.]: Liquid. Flowing; in motion; in flux. Ready; copious, voluble. Fluently (adverb): With ready flow; volubly; readily.

9 Puheen sujuvuus Määritelmiä kognitiivisesta näkökulmasta foneettisempaan, kontekstisidonnaisuus Hankala määrittää ja mitata pätevästi Sujuvuus muodostuu useista temporaalisista tekijöistä Yhdistelmät vaihtelevat puhujakohtaisesti Eri kombinaatiot voivat olla yhtä sujuvia kontekstista riippuen

10 Äänteet vs. prosodia Prosodisten piirteiden todettu olevan yksittäisiä äännevirheitä tärkeämpiä L2-puheen ymmärrettävyydessä (Munro & al., 2006) Automaattisen arvioinnin tutkimuksissa esim. puhenopeus & toistotarkkuus parempia sujuvuuden ennustajia kuin äänteiden laadun mittaus (de Wet & al., 2009; Zechner & al., 2009) Kielikohtaiset prosodiset ominaisuudet helpottavat vieraan aksentin automaattista tunnistamista paremmin kuin äänteiden n- grammimallit (Shriberg & al., 2008) Puhesynteesin evaluoinnissa intonaatio on havaittu tärkeäksi ymmärrettävyyden kannalta (Vainio & al., 2002)

11 Sujuvuuden arviointi Yleensä natiivit kuuntelijat tai kohdekielen asiantuntijat arvioivat ei-natiivien puhenäytteitä Arvioita voidaan verrata akustisiin mittauksiin taukojen määrä äännekestot artikulaatio- ja puhenopeus intonaatio fonaation ja puhunnoksen kokonaiskeston suhdeluku

12 Tutkimuskysymykset Mitkä puheen prosodiset ominaisuudet ovat oleellisia suullisen kielitaidon arvioinnissa? Miten sujuvuus ja ymmärrettävyys liittyvät toisiinsa vieraskielisessä puheessa?

13 Aineisto & menetelmät Neljä menetelmällistä vaihetta: 1) Suullisen kielikokeen prototyypin kehittäminen & puheaineiston keruu 2) Asiantuntija-arvioiden kerääminen 3) Puheaineiston analysointi 4) Ymmärrettävyyden testaaminen

14 Aineisto & menetelmät Suomenkielisten lukiolaisten puhumaa ruotsia tällä hetkellä näytteitä n. 260 oppilaalta 6 lukiosta Referenssiaineistoksi suomenruotsalaisten lukiolaisten puhetta ei vielä kerätty Oppilaiden oman opettajan arviot sujuvuudesta & ääntämisestä Kerätty n. 100 oppilaan näytteistä (pilottiaineisto 2 lukiosta)

15 Aineisto & menetelmät Asiantuntija-arvioita ruotsinopettajilta & natiiveilta suomenruotsin puhujilta Kerätty 8 arvioijalta 11 satunnaisesti valitun oppilaan näytteistä Tulossa 2 lisäarvioijaa + 13 oppilaan näytteet (tasapainotettu kouluittain) 10 arvioijaa & 24 oppilaan näytteet Oppilaiden oman opettajan arvioinnin luotettavuuden selvittäminen asiantuntija-arvioihin vertaamalla

16 Oman opettajan arvioinnin poikkeamat asiantuntijoiden arvioinneista

17 To Do Puhenäytteiden ymmärrettävyyden tarkastelu puheen vastaanoton raja-arvoja mittaamalla Natiivien puhenäytteiden keruu Lukiolaisten & natiivien puhenäytteiden analysointi Mitattavien ominaisuuksien etsiminen Prosodisten muuttujien vaikutus ymmärrettävyyteen ja sujuvuuden arviointeihin Tilastollinen sekamalli (esim. lineaarinen regressio/mixed effects regression model)

18 Ongelmakohtia Puheaineiston laatu (tekninen laatu & tutkimuksellinen validius) Prototyyppikokeen didaktiset tarkoitukset täytyy myös ottaa huomioon Asiantuntija-arvioiden luotettavuus testattava (inter-subject reliability) Arviointiohjeistus & kielitaidon tasojen kuvausasteikon selkeys Predictor collinearity ennustavien muuttujien välinen korrelaatio Puheen ominaisuudet vaikuttavat yhdessä havaintoon

19 Kiitos! Tack! Thank you! Danke! Merci! Gracias! Grazie! Köszönöm! Děkuju! Aitäh! Giitu! Cпаси бо! どうもありがとう