Naapurikielten oppijat itse- ja vertaisarvioitsijoina

Transkriptio

1 Naapurikielten oppijat itse- ja vertaisarvioitsijoina Natalia Iho, Eeva-Liisa Nyqvist & Marja Portin Arviointi- ja palautekäytänteet kielten opetuksessa teemapäivä

2 Taustaa Yliopisto-opetus on kehittymässä oppijakeskeisemmäksi, mutta arviointikäytänteet ovat usein edelleen opettajajohtoisia Lindblom-Ylänne et al. (2006): vertais- ja itsearvioinin rooli kasvamassa Kyky itse- ja vertaisarviointiin on kuitenkin relevantti taito oman oppimisen säätelyn ja työelämän vaatimusten kannalta Esim. Nicol & Macfarlane-Dick (2006): arviointiprosessin ymmärtäminen kehittää itsearviointikykyä Oppimaan oppiminen mainitaan HY:n uusissa kandidaattitutkinnon osaamistavoitteissa

3 Aikaisempi tutkimus: itsearviointi Antavatko opiskelijat itselleen liian hyviä arvosanoja? Leblay (201): oppijat onnistuvat pääosin arvioimaan osaamistaan validilla ja luotettavalla tavalla Luotettavuuteen vaikuttaa negatiivisimmin itsearviointikokemuksen puute, joka saattaa johtaa arvioinnin epäjohdonmukaisuuteen ja sattumanvaraisuuteen Lindblom-Ylänne et al. (2006): itsearviointi ja opettajan arviointi hyvin samankaltaista Joissain kriteereissä opettajan arviointi kriittisintä, toisissa itsen

4 Aikaisempi tutkimus: vertaisarviointi Luotettavuus ja validius pohdinnan alaisina Opiskelijaryhmien heterogeenisuus, vaihtelevat pohjatiedot, pää- ja sivuaineopiskelijoiden erot? Elliot & Higgins (2005): vertaisarvioijat antavat heikompia arvosanoja kuin opettaja Lindblom-Ylänne et al. (2006): vertaisarviointi ja opettajan arviointi hyvin samankaltaista Joissain kriteereissä opettajan arviointi kriittisintä, toisissa vertaisten Falchikov & Goldfinch (2000): selkeät kriteerit ja hyvin suunnitellut testaustilanteet takaavat validiteetin Asikainen et al. (201): ei tilastollisesti merkitseviä eroja vertaisarvioinnin ja opettajan arvioinnin välillä Pää- ja sivuaineopiskelijat yhtä päteviä arvioitsijoita

5 Osaprojektit: Natalia Iho: HY:n kielipalvelun venäjänoppijat itsearvioitsijoina Tasot A2, B2, C1-2 Marja Portin: Kielikeskuksen ruotsinopiskelijat itsearvioitsijoina Taso B1-2, käyttäytymistieteellisen tiedekunnan opiskelijoita E-L Nyqvist: Itse- ja vertaisarvioinnin suhde opettajan arviointiin Pohjoismaisten kielten 1-2. vuoden pää- ja sivuaineopiskelijoita (ruotsi toisena kielenä -linja), Tavoitetaso C.1.1

6 Itsearviointi Kielipalvelujen venäjän kursseilla Natalia Iho, HY

7 Taustaa Lähtötason arviointi kurssin alussa- lomakkeet tai haastattelu Opiskelijat vastasivat kysymyksiin edellisistä opiskelukokemuksista, kielen käytöstä ja arvioivat omaa kielitaitoaan Lomakkeet kurssijakson päättyessä Opiskelijat vastasivat kysymyksiin oppimisesta kurssin aikana; vastauksista opiskelijoiden kanssa käytiin palautekeskusteluja, joissa yhdessä pohdittiin, missä olisi parannettavaa. Säännöllistä ja linjakkaan opetuksen malliin pohjautuvaa itsearviointia kursseilla ei ollut aiemmin kokeiltu.

8 Tavoitteet ja toteutus Tutkimuskysymykset: Miten opiskelijoiden itsearviointitaidot suhteutuvat oppimistavoitteisiin? Miten opiskelijat kokevat itsearvioinnin tukeneen heitä oppimisessa? Kohderyhmä: A2, B2 ja C1-2 tasoiset venäjän opiskelijat Apuvälineet: Eurooppalaisen Kielisalkun itsearviointilistat Projektiryhmän tekemä e-lomake itsearvioinnin kokemuksesta A2 ja B1-2 -tason opiskelijat vastausten määrä: 6 vastausten tallennusaika C2-tason opiskelijat vastausten määrä: 6 vastausten tallennusaika

9 Opiskelijoiden vastaukset itsearvioinnin kokemuksesta (e-lomake) 1. Itsearvioinnin tekeminen oli mielestäni Melko vaikeaa 2 Hyvin vaikeaa 2 Itsearviointi on vaikeaa, pitää pohtia syvällisesti, osaanko jotain? Enkö osaa voisinko mahdollisesti oppia enemmän tai luulenko osaavani jo hyvin! mitään? Tai Melko helppoa 2 Halusin olla vaatimaton. En antanut itselleni liian hyviä arvosanoja. Hyvin helppoa 1 En osaa sanoa 1 2. Itsearvioinnin tekeminen oli mielestäni hyödyllistä ja opettavaista Erittäin hyödyllistä 1 Itsearvoinnin ajan piti pohtia hyvin ja ei se ole mikään "äkkiä pois alta -juttu". Syvätutkinta varmastikin avasi "uusia portteja", mitä haluan tulevaisuudeltani. Hyödyllistä ja opettavaista 2 Jossain määrin hyödyllistä 2 Melko hyödytöntä 1 Kielitaito ei muutu ei vähene tai parane tämän arvion täyttämisen myötä.

10 . Ohjaus itsearviointiin A. Tarvitsisin mielestäni ohjeita ja ohjausta itsearviointiin Saamani ohjeistus on ollut riittävää 1 2 Ehkä vähän enemmän 5 B. Olen saanut opintojeni aikana ohjeita ja ohjausta itsearviointiin Jonkin verran 2 Hyvin paljon 1 2 En osaa sanoa 1 2. Itsearvioinnin hyöty Itsearviointi on usein yhtä hyödyllistä kuin opettajan antama palaute 1 Itsearviointi on usein hyödyllistä, mutta ei niin hyödyllistä kuin opettajan antama palaute 2 Opettajan palaute on aina hyödyllisempää kuin itsearviointi

11 Havaintoja Oppimistavoitteiden määrittely on monille opiskelijoille vaikeaa itsearviointi kohdistuu enemmän opiskeluprosessiin kuin oppimistavoitteisiin Muutama oppilas uskoo, että itsearvioinnin perusajatus on harjoitella lomakkeiden täyttöä ja raportoida opiskelijoiden työnantajalle kurssien tuloksista C- tason kursseilla opettajan arviointi joissain kriteereissä on kriittisempi, kuin opiskelijoiden oma arviointi (kirjoittaminen), A- ja B-tason kursseilla opettajan ja opiskelijoiden oman arvioinnin välillä ei ole merkitseviä eroja Itsearvioinnin säännöllinen käyttö kursseilla kiinnostaa A ja B-tason opiskelijoita enemmän kuin C -tason opiskelijoita pohtia vertaisarvioinnin käyttöä C-tason kursseilla

12 Mitä seuraavaksi? Muokatut itsearviointilomakkeet A1-2 ja B1-2- tason oppilaille; oppimistavoitteiden selkeä määrittely Itsearviointi kurssin alussa ja lopussa Oppimista tukevat arviointimenetelmät C-tason oppilaille (vertaisarviointi?)

13 Itsearviointia Kielikeskuksen ruotsin kurssilla Kielitaidon itsearviointi ja opiskelijoiden kokemuksia itsearvioinnista Marja Portin

14 Kohderyhmä Toisen kotimaisen kielen suullinen ja kirjallinen taito, ruotsi, op, 2 h Tutkintoasetuksen mukainen, alempaan korkeakoulututkintoon kuuluva kielikurssi Käyttäytymistieteellinen tdk, (9 opiskelijaa). periodi

15 Tavoite Kielitaidon itsearviointi lomakkeella sekä kurssin alussa että kurssin lopussa Vastaaminen projektiryhmän yhteiseen e-lomakkeeseen, joka kartoittaa opiskelijoiden kokemuksia itsearvioinnista.

16 Itsearviointilomakkeen kysymykset ja esimerkkejä vastauksista

17 Mitkä koet olevan vahvuuksiasi ruotsin kielessä (esim. ääntäminen, sanasto, kielioppi, kuullun/tekstin ymmärtäminen, puheen/tekstin tuottaminen jne.)? Kurssin alussa: a. Koen, että minulla ei ole erityisiä vahvuuksia. Ehkä kuuntelu sujuu parhaiten. b. Ääntäminen, suht laaja sanavarasto ja yleishyvä kielitaito sekä puhutun että kirjoitetun kielen osalta kunhan kieltä on ensin aktivoinut. Kurssin lopussa: a. Kuuntelen sujuvasti, ymmärrys on kohentunut, kun olen joutunut käyttämään kieltä. b. Ääntäminen, kuullun ja luetun ymmärtäminen sekä arkikielen puhuminen.

18 Kuvaile, miten pystyt tällä hetkellä toimimaan ruotsiksi arkipäivän kielenkäyttötilanteissa (esim. kaupassa käynti, junalipun osto, oman itsen/perheen esittely lyhyesti, lyhyiden viestien tai tekstien kirjoittaminen/ lukeminen/ kuunteleminen). Kurssin alussa: a. Perusasioiden toimittaminen sujuu tyydyttävästi, sanavarasto on hieman suppeahko. b. Hyvin. Tietysti jotkut perussanatkin on tällä hetkellä vähän hukassa, mutta löytyvät kyllä pienen miettimisen jälkeen. Kurssin lopussa: a. Voin toimittaa perusasioita. Sanavarasto palautuu pätkittäin kunhan kieltä vaan käyttää ja lukee tekstejä sanaston kanssa. b. Onnistun mielestäni hyvin ja varmasti paremmin kuin kurssin alussa. Joidenkin sanojen löytäminen saattaa välillä kestää hetken.

19 Arvioi tämänhetkinen suullinen taitosi ruotsin kielessä: heikko, tyydyttävä, hyvä, erinomainen Kurssin alussa: a. heikko b. hyvä Kurssin lopussa: a. heikko-tyydyttävä b. hyvä

20 Arvioi tämänhetkinen kirjallinen taitosi ruotsin kielessä: heikko, tyydyttävä, hyvä, erinomainen Kurssin alussa: a. heikko b. tyydyttävä Kurssin lopussa: a. heikko-tyydyttävä b. hyvä

21 Kokemuksia itsearvioinnista (elomake)

22 Itsearvioinnin tekeminen oli mielestäni hyvin helppoa melko helppoa en osaa sanoa melko vaikeaa hyvin vaikeaa

23 Itsearvioinnin tekeminen oli mielestäni erittäin hyödyllistä, opin paljon hyödyllistä ja opettavaista jossain määrin hyödyllistä melko hyödytöntä täysin hyödytöntä 0

24 Olen saanut opintojeni aikana ohjeita ja ohjausta itsearviointiin Hyvin paljon Paljon Jonkin verran Vain vähän En lainkaan 1 0

25 Tarvitsisin mielestäni enemmän ohjeita ja ohjausta itsearviointiin Kyllä, paljon enemmän! Kyllä Ehkä vähän enemmän Saamani ohjeistus on ollut riittävää Olen saanut ohjeistusta ja turhankin paljon

26 Itsearviointi on usein hyödyllisempää kuin opettajan antama palaute 0 Itsearviointi on usein yhtä hyödyllistä kuin opettajan antama palaute Itsearviointi on usein hyödyllistä, mutta ei niin hyödyllistä kuin opettajan antama palaute Opettajan palaute on aina hyödyllisempää kuin itsearviointi 1 5 Itsearviointi ei ole hyödyllistä - toivon palautetta vain opettajalta 0 Lähes kaikki saamani palaute on ollut hyödytöntä 0

27 Pohjoismaisten kielten opiskelijoiden itse- ja vertaisarviointi aineopintotasolla Eeva-Liisa Nyqvist

28 Taustaa Miten aineopintotason ruotsinopiskelijat (n=1) arvioivat käytännön kielitaidon kurssilla omaa ja toistensa suullista kielitaitoa eri näkökulmista tarkoitukseen laaditun arviointimatriisin avulla? Tilastollinen analyysi SPSS, t-testi (paired samples t-test) Eri kriteerien keskiarvot ryhmätasolla: eroja opettajan, itse- ja vertaisarvion välillä? Eroja kriteerien välillä? Yleisiä tendenssejä yksilöiden välillä?

29 Tehtävä: 10 minuutin esitelmä ruotsiksi omavalintaisesta Suomen historian merkkihenkilöstä Matriisin kriteerit: sujuvuus ääntäminen sanavarasto oikeakielisyys C.1.1 =

30 Ryhmätason keskiarvot 5,5,5,15,8,7,6,9,9,9,,,,2 itse vertais opettaja 2,5 2 1,5 1 sujuvuus ääntäminen sanavarasto oikeakielisyys

31 Yksilötaso Opiskelijoiden enemmistö arvioi itsensä heikommaksi kuin vertaiset ja opettajat kaikilla kriteereillä neljän opiskelijan arvio omasta suoriutumisestaan merkitsevästi opettajan arviota alhaisempi (kaikkien kriteerien keskiarvo) Opettajan arvosana tavallisesti korkein kaikissa kriteereissä Sujuvuus & sanavarasto: opettajan arvio korkein lähes kaikissa tapauksissa Ääntäminen & kielioppi: opettajan arvio korkein yli puolessa tapauksista

32 Sujuvuus ,5,5,2,6,,,,1,8,8,6,5 2,9,,9 2,5 2 1, ,5 0 O1 O2 O O O5 O6 O7 O8 O9 O10 O11 O12 O1 Itsearviointi Vertaisarviointi Opettajan arvio

33 Sanavarasto 5,5,5,,1,9,5,,1,6,,5 5,9 2,5 2 1,5 1 0,5 0 O1 O2 O O O5 O6 O7 O8 O9 O10 O11 O12 O1 Itsearviointi Vertaisarviointi Opettajan arvio

34 Ääntäminen 5 5,5,5,2,6,7,,1,2,,,8,9,2,,9 2,5 2 1,5 1 0, O1 O2 O O O5 O6 O7 O8 O9 O10 O11 O12 O1 Itsearviointi Vertaisarviointi Opettajan arvio

35 Oikeakielisyys 5,5,5,6,6,7,5 5,,2,8,8,5 5 5,, 2,5 2 1,5 1 0,5 0 O1 O2 O O O5 O6 O7 O8 O9 O10 O11 O12 O1 Itsearviointi Vertaisarviointi Opettajan arvio

36 Lopuksi/Natalia Opiskelijoiden itsearviointitaidot ovat passiivisia enemmän ohjausta ja säännöllistä harjoittelua Suurin osa opiskelijoita kokee opettajan arvioinnin tukeneen heitä oppimisessa enemmän kuin itsearviointi Itsearviointitaitoihin ja suhtautumiseen arviointiin vaikuttavat paljon opiskelijoiden koulutustausta, työhistoria ja persoonallisuus

37 Lopuksi/Marja Ei eroja itsearvioinnin ja opettajan arvioinnin välillä Itsearvioinnin tekeminen koettiin helpoksi ja pääosin hyödylliseksi Ohjeita ja ohjausta itsearviointiin on saatu opintojen aikana riittävästi Monet kokivat kuitenkin opettajan arvioinnin hyödyllisemmäksi kuin itsearvioinnin

38 Lopuksi /EL Opiskelijoiden itsearviointi poikkeaa opettajan tekemästä ja vertaisarvioinnista; vertaisarviointi ja opettajan arviointi hyvin lähellä toisiaan Vrt. Lindblom-Ylänne et al. (2006); Asikainen et al. (201) Suullisen tehtävän arviointi erilaista kuin kirjallisen tehtävän Opettajan arvio lähtökohtana, mutta myös opettajan arviointi aina subjektiivista!

39 Kirjallisuutta Asikainen, H., V. Virtanen, L. Postareff, P. Heino 201: The validity and student's experieces of peer assessment in a large introductory class of gene technology. Studies in Educational Evaluation, s Atjonen, P. 2007: Hyvä, paha arviointi. Helsinki: Tammi. Bandura, A. 199: Perceived Self-Efficacy in Cognitive Development and Functioning. Educational Psychologist 28, s Elliot, N. & A. Higgins 2005: Self and peer assessment does it make a difference to student group work? Nurse Education in Practice 5, s Falchikov, N. & J. Goldfinch 2000: Student peer assessment in higher education. A metaanalysis comparing peer and teacher marks. Review of Educational Research, 70 (), s Leblay, T. 201: Voi ei, nää on tosi hyviä verrattuna muhun! Uudenlaisen arviointimenetelmän toimivuus ranskan suullisen kielitaidon itsearvioinnissa. Jyväskylä: Jyväskylä Studies of Humanities. Lindblom-Ylänne, S., H. Pihlajamäki & T. Kotkas 2006: Self-, peer- and teacher-assessment of student essays. Active learning in higher education 7(1), s Magin, D & P. Helmore 2001: Peer and Teacher Assessmants of Oral presentation Skills: how reliable are they? Studies in Higher Education 26 (), s