Kielitaidon arviointi: AHOT ja muita arvioinnin haasteita Marita Härmälä Soveltavan kielentutkimuksen keskus Jyväskylän yliopisto Kielten ja viestinnän arvioinnin workshop, Kuopio 30.8.2011 marita.harmala@jyu.fi
Tarina kolmelta vuosikymmeneltä: Osa I: 1990-luku - kouluttajana Jyväskylän aikuisopistossa kielitaidon arviointi näyttötutkinnoissa Osa II: 2000 -luku - tutkijana Yleisissä kielitutkinnoissa kielitaidon standardoitu arviointi Osa III: 2010-luku - sulkeutuuko kehä? - kielitaidon arviointi ja AHOT
Osa I Kielitaidon arviointi näyttötutkinnoissa
Jyväskylän aikuisopisto (Jao) V. 1990 kurssikeskuksesta aikuiskoulutuskeskukseksi Tutkintotavoitteinen koulutus: näyttötutkinnot vuodesta 1994 Ensin merkantti, sitten merkonomi (LPT) Ammatillisen osaamisen osoittaminen näytöin; myös kielitaito näytettiin
Näyttötutkinnot vs. ops-perusteiset tutkinnot Aikuiskoulutus: Näyttötutkinnot v. 1994 pt, at, eat Tutkintoon valmistava koulutus vapaaehtoista Joustavat koulutusmuodot Ammattitaito osoitetaan työelämässä, riippumatta osaamisen hankkimistavasta (vrt. AHOT) Osaaminen tietyllä hetkellä (taitotasoarviointi) Nuorisoaste: Ammattiosaamisen näytöt v. 2006 pt (120 ov = 3 v.) Osaaminen osoitetaan opintojen aikana (työssäoppimisjaksot) Jatkuva arviointi; osaamisen kehittyminen koulutuksen eri vaiheissa (summatiivinen arviointi) Arviointi osa oppimista
Riittääkö Ett ögonblick näytöksi merkonomin kielitaidosta? (Härmälä, 2008) Tutkimuskysymykset: 1. Millaiset ovat näyttötutkintojen kielitaitovaatimukset? 2. Miten kielitaito näytöissä osoitetaan? 3. Millaisin kriteerein suoritusta arvioidaan? LPT Aineisto: 1. Tutkintojen perusteet (51 pt + 183 at + 118 eat) 2. Kysely (14 akk:n kieltenopettajaa) 3. Esimerkkejä tehtävistä (yht. 45) ja arviointikriteereistä (10 asteikkoa) 4. Haastattelu (12 kieltenopea + 4 amm. opea)
Liiketalouden perustutkinto (2004) Tutkinnon yhteinen ammatillinen osaaminen Kiitettävä: osaa yrityksen eri toimintamuotoihin liittyvän perussanaston toisella kotimaisella ja yhdellä vieraalla kielellä, jotta osaa esimerkiksi esitellä yritystään ja työtään, palvella ja myydä sekä käsitellä asiakirjoja Tyydyttävä: ei mainintaa kielitaidosta
Tuloksia: Kielitaitoa edellyttävät tehtävät eri tutkinnonjärjestäjillä (1) Aihealueet/teemat varsin samanlaisia: esim. liikekirjeet, esittelyt, keskustelut Tehtävät kokonaisuutena varsin sopivantasoisia (A2-B1)
Tuloksia: Kielitaitoa edellyttävät tehtävät eri tutkinnonjärjestäjillä (2) Tehtävien vaikeustaso vaihteli - suoritusaika, -paikka, vastapuoli puhumisen tehtävässä Kielitaitovaatimus vaihteli - neljäntyyppisiä arviointiasteikkoja Näyttö pääosin oppilaitoksissa Näyttö kapea-alainen (1-2 tehtävää)
Haasteita arvioinnille näyttötutkinnoissa: Monenlaista näyttöä osaamisesta Kriteerien vaihtelu tehtävittäin, tilanteittain, tutkinnon järjestäjittäin, tutkinnon suorittajittain Kriteerit eivät välttämättä selkeitä, auki kirjoitettuja eivätkä tietoisia (vrt. uudet tutkinnon perusteet 2009, EVK) Näytön vastaanottaja varsin vapaa päättämään arvioinnistaan (tavat, muodot, kriteerit) Kielitaidon arvioi yleensä kieltenopettaja (jatkuva näyttö)
Voidaankin siis kysyä Arvioidaanko oikeita, oleellisia tietoja ja taitoja? Arvioidaanko johdonmukaisesti ja samalla tavalla ajankohdasta riippumatta? Arvioivatko eri arvioijat keskenään samalla tavalla?
Osa II Kielitaidon arviointi Yleisissä kielitutkinnoissa
Yleiset kielitutkinnot Kansallinen kielitaitotutkinto aikuisille (high-stakes testi) Järjestetty vuodesta 1994 Tutkinnon voi suorittaa kuka tahansa riippumatta siitä, miten on omaksunut kielitaidon Perustuu lakiin (964/2004) ja asetukseen (1163/2004) Todistuksen käyttötarkoituksia: kansalaisuuden hakeminen, kielitaidon todistaminen työpaikkaa tai opiskelua varten 64 tutkinnon järjestäjää, 174 rekisteröityä arvioijaa, 170 haastattelijaa, n. 40 tehtävien laatijaa
Testin sisältö: 9 kieltä: suomi, englanti, ruotsi, saame, saksa, ranska, espanja, italia, venäjä (viittomakieli?) 3 tasoa: perustaso; tasot 1-2 ( A1-A2), keskitaso; tasot 3-4 ( B1-B2), ylin taso; tasot 5-6 ( C1-C2) 5 osataitoa: TY, PY, PU, KIR, RS 6-portainen taitotasoasteikko, yhteismitallinen EVKn taitotasoasteikon kanssa (puhuminen ja kirjoittaminen) Tutkinnon suorittajalle yleistaitotasoarvio ja arvio osataidoittain
Keskitetty arviointitilaisuus Ykissä: Suoritukset arvioidaan keskitetysti, yleensä kaksi viikkoa testipäivästä Vain koulutetut ja virallistetut arvioijat voivat arvioida Arvioija arvioi yleensä yhtä taitoa ja tutkintotasoa samana arviointikertana Arviointitilaisuudet alkavat koulutuksella, johon osallistuminen on pakollista Henkilökohtainen palaute arviointilinjasta ja johdonmukaisuudesta Arviointitaito pysyy yllä vain arvioimalla säännöllinen osallistuminen arviointitilaisuuksiin Myös tehtävien toimivuudesta kerätään tietoa: erottelukyky ja ratkaisuprosentti
Vaihtelua taitotasossa aiheuttavat: Osallistuja - miten osallistujan taito määritellään Arvioija - lempeys/ankaruus - johdonmukaisuus - koko asteikon käyttäminen Tehtävä/osio - vaikeus - erottelukyky - johdonmukaisuus
Standardoidulle arvioinnille ominaista on: Validiuden seuraaminen Miten osuvasti testitehtävät mittaavat kielitaitoa? Toistettavuuden varmistaminen (reliabiliteetti) Miten johdonmukaisesti tehtävät mittaavat kielitaitoa testikerrasta toiseen? Arvioinnin yhdenmukaisuus ja johdonmukaisuus (reliabiliteetti) Arvioidaanko suorituksia samojen kriteerien mukaan suorittajasta ja arvioijasta toiseen? Evidenssin määrä Riittääkö tehtävien/osioiden määrä päätelmiin osaamisesta? Eettisyys Kohdellaanko testin suorittajia tasapuolisesti ja reilusti? Arviointitulosten informaatioarvo ja uskottavuus Ennustavatko tulokset selviytymistä ja onko niillä käytettävyysarvoa? (Tarnanen, 2002)
Mutta arvioijan toimintaan vaikuttavat myös: Subjektiivisuus tunteet, vireystila, mieltymykset Oppijoiden erilaisuus Arviointiasteikko Sovellettavuus, monitulkintaisuus, epäselkeys Arvioitavat suoritukset suoritusten eritasoisuus peräkkäisten suoritusten taso Tehtävät tehtävien vaikeustaso suhteessa suorittajien taitoon tehtävien osuvuus suhteessa kriteereihin tehtävien määrä (Tarnanen, 2002)
Arvioijien luotettavuutta vahvistavat: Pohdittu taitokäsitys Jaettu/neuvoteltu taitokäsitys Arviointikoulutus Arvioijakokemus Asteikon/kriteerien yksiselitteisyys Asteikon johdon-/yhdenmukainen tulkinta Oman toiminnan reflektointi (Tarnanen, 2002)
Osa III Kieliaidon arviointi ja AHOT
AHOTin taustaa: Eurooppalainen tutkintojen viitekehys (EQF) Opsit oppimistulosten (learning outcomes) kuvaamiseen perustuviksi Etuja: yksilölliset opiskelupolut, opintojen lyheneminen, päällekkäisyyksien poistuminen, parempi motivaatio, oman osaamisen tiedostaminen Liiankinkin räätälöidyt tutkinnot?
Non-formaalin ja informaalin kieli- ja viestintäosaamisen tunnistaminen ja tunnustaminen Korkeakoulututkintojen kieli- ja viestintäopinnot voidaan suorittaa osaamisen näytöillä, ellei korkeakoulu toisin päätä. Kieli- ja viestintäosaamisen näyttötapoja ovat esimerkiksi korvaavat/näyttökokeet, portfoliot, haastattelut, suulliset ja kirjalliset tuotokset, kielisalkku, osaamispäiväkirjat, oppimistehtävät ja asiantuntijaluennointi sekä näiden yhdistelmät. Tunnistaminen: HOPS (jatkuva prosessi)
Non-formaali vs. formaali oppiminen: Non-formaalisti eli epävirallisesti hankittu kieli- ja viestintäosaaminen on järjestelmällistä ja ohjattua ja siitä voi saada todistuksen, mutta se ei johda tutkintoon. Esimerkkejä ovat mm. työpaikkojen ja oppilaitosten antama kielikoulutus sekä vapaan sivistystyön opinnot. Informaalisti eli arkioppimisena hankittu kieli- ja viestintäosaaminen on koulutusorganisaatioiden ulkopuolella tapahtuvaa joko tietoista ja tavoitteellista oppimista tai toisen toiminnan ohessa tapahtuvaa oppimista. Arkioppimista voi tapahtua mm. työssä, ulkomailla, vapaa-aikana ja perheeseen liittyvissä toimissa, eikä siitä yleensä saada todistusta.
Billett (2011, 2002): Käsitteiden kritisointia ja muuta pohdittavaa Aiemmin opittu implikoi jotain, mikä on loppunut ja siksi nyt mitattavissa ja arvioitavissa; eli oppiminen ei jatku enää Oppiminen ja kehittyminen jatkuvaa ja eri paikoissa tapahtuvaa (esim. aiemmin opittu ei ole aikaan/paikkaan sidottu) Kun oppimista kuvataan oppimisympäristöstä (koulusta) käsin kielletään yksilön oma kontribuutio oppimisessa
Billett (2011, 2002): Käsitteiden kritisointia ja muuta pohdittavaa Tunnistamisen lähtökohtana se, mihin ja miten hankittua tietoa on käytetty Mentävä koulumaista osaamisnäyttöä pidemmälle mikä on sellaista tietoa/taitoa, mitä meidän tulisi tunnistaa työelämää varten? Oppimistulosten tarkastelussa tärkeää standardit ja maamerkit Recognition of prior learning Validation of learning Learning is ongoing, not just fixed and prior.
Billett (2005): AHOT voi kohdentua 1. Yksilön kehittymiseen - individualistinen, humanistinen ja mahdollisesti kriittinen lähestymistapa yksilön kehittymiseen 2. Toimintaan työpaikalla - tietyn työpaikan, jossa yksilö työskentelee, suoritusvaatimukset 3. Ammatilliseen toimintaan - fokus taidoissa, joita tietyllä ammattialalla työskentelevän odotetaan käyttävän tehokkaasti (esim. kokit, opettajat)
AHOTin haasteita: Maamerkkejä ei aina saatavilla Esim. kurssien oppimistulokset on abstrahoitu käytännöstä Tuloksia korostetaan enemmän kuin oppimista ja kehittymistä Luotettavuus ja pysyvyys? Evidenssiä hankittava useista eri lähteistä haaste testaukselle (reliabiliteetti, validiteetti)
Keskusteltavaa: Mitä lisäpiirteitä AHOT tuo arviointiin? Ketkä osallistuvat ja miten? Itsearviointi? Opettajien yhteistyö? Arviointikriteerit? Monikielisyyden ja verkkoviestinnän arviointi? Miten arviointiin luovuutta, rohkeutta, reippaita ratkaisuja arvioinnin luotettavuudesta ja läpinäkyvyydestä kuitenkaan tinkimättä?
Maamerkkien/tasojen havainnollistaminen: Euroopan neuvosto (portfolio ja tasoesimerkit) http://www.coe.int/t/dg4/portfolio/?l=e&m=/main_pages /illustrationse.html Materials illustrating the CEFR levels CEFTrain: http://www.helsinki.fi/project/ceftrain/ WebCEF www.webcef.eu/ (puhuminen) CEFcult http://www.cefcult.eu/page19/page19.html (kulttuurienvälinen viestintä) Hyvien käytänteiden edistäminen, EALTA (European Assiciation for Language Testing and Assessment)
Kiitos!