Kielitaidon arvioinnin haasteita. Korkeakoulujen kielten ja viestinnän osaamiskuvaushanke, FT, Marita Härmälä Opetushallitus

Transkriptio

1 Kielitaidon arvioinnin haasteita Korkeakoulujen kielten ja viestinnän osaamiskuvaushanke, FT, Marita Härmälä Opetushallitus

2 Sisältö: I. Mitä arviointi on? II. Miksi ja mitä arvioidaan? - Erilaisia käsityksiä kielitaidosta III. Miten arvioidaan? - Arviointiasteikot ja kriteerit - Hyvän arvioinnin tunnusmerkkejä IV. Työelämän kielitaidosta

3 I. Mitä arviointi on (1)? Tiedon keräämistä päätöksenteon pohjaksi (Bachman, 2004) Lähes kaikkea voi arvioida Miten tietoa kerätään? havainnointi, kysely, haastattelu, portfolio, oppimispäiväkirja, vertaisarviointi, itsearviointi, koe, testi jne. Millaista tietoa? (työ)näyte, videotallenne, sanallinen kuvaus, pisteytys, tasoarvio jne.

4 Mitä arviointi on (2)? Arviointi tehdään suhteessa kriteereihin - valintojen tekemistä siitä, mikä on arvioinnin arvoista Arvioinnin vaikutukset ja seuraamukset eri osapuolille - oppilas, opettaja, koulu, opetussuunnitelma, yhteiskunta jne. Käytännöllisyys - aika, resurssit, kustannukset

5 II. Miksi ja mitä arvioidaan? Opetukseen liittyvä arviointi - suhteessa opetukseen ja oppimistavoitteisiin - formatiivinen, summatiivinen Osaamisen määrän ja laadun absoluuttinen arviointi - riittääkö osaaminen johonkin tarkoitukseen - pätevyys, kelpoisuus, esim. tutkintotodistus - valitseminen, sijoittaminen, esim. kurssille

6 Kielitaito: Yksi vai useampi taito? 1. Kämmenmalli - osataidot - strukturalismi - erilliset testit 2. Kielitaito yksi, integratiivinen taito - kokeet, testit tämän mallin mukaan

7 Teorioita kielitaidosta: Canale & Swain - kommunikatiivinen kompetenssi - kieliopillinen, sosiolingvistinen, diskursiivinen, strateginen Bachman & Palmer - kielitiedon alueet - organisatorinen tieto: kieliopillinen, tekstuaalinen - propositionaalinen tieto: sanasto - pragmaattinen tieto: funktionaalinen, sosiolingvistinen

8 Ikuisuuskysymyksiä: Muoto vs. käyttö? Rakenteet vs. viestintä? Kognitio vs. vuorovaikutus?

9 III. Arviointiasteikot ja kriteerit Arviointiasteikot: - eri tarkoituksiin ja eri käyttäjille laadittuja - holistinen vs. analyyttinen asteikko Arviointikriteerit: - perinteinen: kielioppi, ääntäminen, sanasto - kommunikatiivinen : tarkkuus, laajuus, sopivuus - kriteerien lukumäärä?

10 Esimerkkejä kriteereistä (1): Rakenteet: - morfologia, syntaksi jne. - perusrakenteet, harvinaisemmat rakenteet - monipuolisuus, varioivuus - systemaattiset virheet vs. lipsahdukset - vaikutus esim. ymmärrettävyyteen?

11 Esimerkkejä kriteereistä (2): Sanasto - laajuus: perussanasto, jokapäiväinen sanasto, alakohtainen sanasto jne. - tarkkuus - konkreettisuus, abstraktisuus - produktiivinen vs. reseptiivinen

12 Esimerkkejä kriteereistä (3): Sujuvuus: - näkökulma useita määritelmiä - tauot, epäröinnit, puhenopeus, vrt. epäsujuvuus - sisällöllinen sujuvuus (esim. koherenssi) - keskustelun, vuorovaikutuksen sujuvuus - esim. puhujan persoonalliset piirteet - painottuu kielitaidon alemmilla tasoilla

13 Esimerkkejä kriteereistä (4): Tarkkuus: - virheen käsite - virhe kohdekielen ominaisuutena - merkitys kasvaa ylemmillä taitotasoilla - mutta myös: tietojen virheettömyys (vrt. ammatillisen kielitaidon arviointi)

14 Esimerkkejä kriteereistä (5): Kompleksisuus: - määrällinen (lauseiden pituus, virkkeiden lausemäärä, alistusten määrä jne.) - laadullinen (varioivuus) - tekstitaidot - vasta B-tasolla

15 Esimerkkejä kriteereistä (5): Sopivuus: - kohteliaisuus, suoruus/epäsuoruus jne. - käsitykset vaihtelevat eri ihmisillä, eri tilanteissa, kielissä, kulttuureissa jne.

16 Kielitaidon kasvun dimensiot: SUJUVUUS TARKKUUS KOMPLEKSISUUS

17 Onkin siis pohdittava Arvioidaanko oikeita, oleellisia tietoja ja taitoja? Arvioidaanko johdonmukaisesti ja samalla tavalla ajankohdasta riippumatta? Arvioivatko eri arvioijat keskenään samalla tavalla? - yhdenmukaisuus - johdonmukaisuus

18 Hyvän arvioinnin tunnusmerkkejä: Validius Mittaavatko tehtävät kielitaitoa? Toistettavuus Mittaavatko tehtävät kielitaitoa johdonmukaisesti tilanteesta riippumatta? Evidenssin määrä Riittääkö kerätyn tiedon määrä päätelmiin osaamisesta? Arvioinnin yhdenmukaisuus ja johdonmukaisuus Arvioidaanko samojen kriteerien mukaan suorittajasta ja arvioijasta riippumatta? Eettisyys Kohdellaanko suorittajia tasapuolisesti ja reilusti? Arviointitulosten informaatioarvo ja uskottavuus Ennustavatko tulokset selviytymistä ja onko niillä käytettävyysarvoa? (Tarnanen 2002)

19 Arvioijan toimintaan vaikuttavat: Subjektiivisuus tunteet, vireystila, mieltymykset Tutkinnon suorittajien erilaisuus Arviointiasteikko sovellettavuus, monitulkintaisuus, epäselkeys Arvioitavat suoritukset suoritusten eritasoisuus peräkkäisten suoritusten taso Tehtävät tehtävien vaikeustaso suhteessa suorittajien taitoon tehtävien osuvuus suhteessa kriteereihin tehtävien määrä (Tarnanen 2002)

20 Arvioijan luotettavuutta vahvistavat: Pohdittu taitokäsitys Jaettu/neuvoteltu taitokäsitys Koulutus Kokemus Asteikon mahdollisimman hyvä yksiselitteisyys Asteikon johdon-/yhdenmukainen tulkinta Oman toiminnan reflektointi (Tarnanen 2002)

21 IV. Työelämän kielitaidosta Useita nimityksiä: - erityisalojen kielitaito (LSP), ammatillinen kielitaito, professionaalinen kielitaito, työelämän kieli- ja viestintätaidot, työkieli, ammattikieli jne. Keskeisiä kysymyksiä: - Yleiskieli vs. ammattikieli? - Missä ja milloin opitaan? - Kuka tarvitsee? Näkymättömyys? - Alakohtaisuus? - Riittävyys?

22 Kaksi lähestymistapaa: Tehtäväpohjainen - funktionaalinen lähestymistapa Konstruktipohjainen - kommunikatiivinen lähestymistapa Pystyy toimimaan yhteisössä kohdekielellä On kielitaitoinen kohdekielessä Kielitaitoa vaativat tehtävät Kielelliset kompetenssit, esim. sanasto Onnistunut kielellinen suoritus Kielitaito (Gysen & van Avermaet, 2005)

23 Tutkimuksia työelämässä tarvittavasta kielitaidosta (1) Akateemiset ammattialat - Sinkkonen 1997; Airola 2000; Elsinen 2000; Sjöberg 2002; Kankaanranta Mitä kieliä? Missä tilanteissa? Taitojen riittävyys? EK 2006, 2010 jne. - kielitaitoa tarvitaan myös työntekijäasteella - näyttötutkinnot (Härmälä 2008) Huhta, M. 2010: - professionaalinen kieli- ja viestintätaito teollisuuden ja liiketoiminnan tarvekartoitusten valossa

24 Tutkimuksia työelämässä tarvittavasta kielitaidosta (2) Holmes (2005): - small talk, anteeksipyytäminen, valittaminen, kieltäytyminen, ohjeiden antaminen Duff, Wong, Early (2002): - vuorovaikutusosaaminen, ruumiinkieli joskus jopa tärkeämpää kuin alakohtainen kielitaito Andersson 2008; Nelson 2010: - maahanmuuttajien integroituminen työelämään

25 III. Miten työelämän kielitaitoa arvioidaan? Mikä suhde kielitaidolla on ammattitaitoon? Arvioidaanko kielitaitoa erikseen vai muuhun ammatilliseen osaamiseen integroituna? Yleiskielitaito: Yleiset kielitutkinnot - Käytetään myös työelämässä tarvittavan kielitaidon osoittamiseen (esim. rauhanturvaajat, sairaanhoitajat, opettajat) Erityisalan kielitaito: aikuisten ammatilliset näyttötutkinnot (pt, at, eat)

26 Yhteenvetoa: Toiminnallinen kielitaitokäsitys (task-based) Kielenkäyttötilanteiden havainnointi, informanttien haastattelut testin sisältö, arviointimenetelmät ja kriteerit Testitilanteet autenttisia, tosielämän tilanteita (simulaatiot, roolileikit jne.) Kieli vuorovaikutuksessa erityisalan sisältötiedon (substanssin) ja testitehtävien kanssa Johtopäätökset testattavan kyvystä käyttää kieltä tietyllä alueella (Douglas, 2000)

27 McNamara (1997): vahvat vs. heikot suoritustestit Pedagoginen tehtävä Simulaatio Työnäyte Tosielämän tehtävä OET (Occupational English Test): kielitaito ja ammatillinen kielitaito erillisinä

28 OET:n arviointikriteereitä: Ymmärrettävyys Sujuvuus Kielen sopivuus (sanasto ja rekisteri) Kieliopilliset ja ilmaisulliset resurssit Yleinen kommunikatiivinen tehokkuus

29 Mutta myös (J. Pill, 2012): Kielitestien ulottumattomissa olevat seikat - ammatillinen tieto: sisältö, taidot ja toimintatavat - henkilökohtaiset ominaisuudet - non-verbaali viestintä Vuorovaikutukselliset työkalut (esim. kysymysten muotoilu) Tietoisuus potilaasta (esim. kuuntelemisen osoittaminen) Miten saada kriteerit työelämälähtöisemmiksi?

30 Kiitos mielenkiinnosta!