ARVIOINTIKÄYTÄNTÖJEN UUDISTAMINEN KOHTI ELINIKÄISEN OPPIMISEN TARPEITA Jyväskylän yliopisto 19.5.2016 Viivi Virtanen ja Telle Hailikari Helsingin yliopisto
OHJELMA 12.20 Arviointikäytäntöjen uudistaminen kohti elinikäisen oppimisen tarpeita, Viivi Virtanen ja Telle Hailikari, Helsingin yliopisto 13.00 Opiskelijoiden puheenvuoro, jossa pohditaan mm. miten arviointi ja opiskelumotivaatio liittyvät toisiinsa; auttaako arviointi opiskelijaa tunnistamaan osaamistaan ja johtamaan itseään; mitä opiskelija oppii arvioinnista; saako tehdä virheitä? 13.20 Kahvit 13.45 Pienryhmätyöskentelyä, Viivi Virtanen ja Telle Hailikari 15.00 Tilaisuus päättyy
ARVIOINNIN KEHITTÄMINEN HAASTAVAA Arvioinnin muuttaminen on kauttaaltaan hidasta Arvioinnin kehittämiseen liittyy paljon muutosvastarintaa (Deneen & Boud, 2014) Opettajatkaan eivät aina hahmota, että arviointi on keskeinen osa hyvää opetusta (Parpala & Lindblom-Ylänne, 2007; Postareff, Virtanen, Katajavuori & Lindblom-Ylänne, 2012; Ramsden, 1998)
TAVOITE TÄNÄÄN: Keskeiset käsitteet arviointiin ja opiskelijan osaamisen osoittamisen tapoihin Tilaisuudessa avataan arviointiin liittyviä kysymyksiä teoreettisesti ja käytännön esimerkein Pohditaan arvioinnin kehittämisen esteitä ja tekoja esteiden voittamiseksi (TYÖPAJA)
ARVIOINNIN KESKEISET KÄSITTEET Arviointikulttuuri Arvioinnin oikeudenmukaisuus ja luotettavuus; arviointikriteerit Arvioinnin eri tavoitteet (diagnostinen, formatiivinen, summatiivinen, integroiva) Sustainable assessment
SUSTAINABLE ASSESSMENT, KESTÄVÄ ARVIOINTI Arviointia, joka vastaa elinikäisen oppimisen tarpeisiin Kolme periaatetta: 1. Arvioinnista saadun palautteen tulisi hyödyntää opiskelijoita myös tulevaisuuden oppimistilanteissa 2. Arvioinnin tulisi antaa opiskelijoille mahdollisuuksia kehittää kykyä arvioida omaa edistymistään ja tavoitteiden saavuttamista 3. Opiskelijoita tulisi osallistaa arviointiin, jotta palaute hyödyttäisi pitkäkestoisemmin (Boud, 2014; Housell 2007; Falchikov, 2005)
ARVIOINTIKULTTUURI
MITÄ ARVIOINTIKULTTUURI TARKOITTAA? Arvot ja uskomukset, jotka vaikuttavat siihen, millaisena yhteisö näkee arvioinnin tavoitteet ja tehtävät ja jotka ohjaavat yhteisön arviointikäytäntöjä (Fuller & Skidmore, 2014)
ARVIOINTIKULTTUURIN MUUTOS MITTAAVASTA KULTTUURISTA OPPIMISEN KEHITTÄMISEN JA TUKEMISEN KULTTUURIIN (Birenbaum, 1996; Black, Harrison, Lee, Marshall & William, 2004; Brown, Bull & Pendlebury, 1997) KONTROLLISTA JA OPETTAJAJOHTOISUUDESTA OPISKELIJAN AKTIIVISEEN TOIMINNAN ARVIOINTIIN (Boud, 2000; Black ym., 2004; Bryan & Clegg, 2006; Kearney, 2013; Sluijsmans, Dochy & Moerkerke, 1999) LOPPUARVIOINNISTA JATKUVAAN PALAUTTEESEEN (Boud, 2000; Black ym., 2004; Bryan & Clegg, 2006; Sluijsmans, Dochy & Moerkerke, 1999)
ARVIOINNIN TAVOITTEET
ARVIOINNIN ERI TAVOITTEET (CRISP, 2012) 11
ARVIOINNIN OIKEUDENMUKAISUUS JA LUOTETTAVUUS
Voi luoja (huokaus), tää on itse asiassa aika hyvä vastaus. Niinkun mä sanoin, tää arvosana pitäis nostaa kolmoseen. Hitsi (huokaus) mä oon ollu huonolla tuulella kun mä oon lukenut tätä. Tässä vastauksessa olen ollut liian kiltti. Tai sitten en oo huomannut että vastauksen alussa opiskelija ei oikeastaan ole ymmärtänyt mitä olisi pitänyt. Lohduttakaa mua, tää opiskelija on tosissaan saanut liikaa pisteitä tästä. OPETTAJA mies 55 v. 13
ARVIOINNIN LUOTETTAVUUS JA OIKEUDENMUKAISUUS Arvioinnin validiteetti Arvioidaanko sitä, mitä on tarkoitus arvioida Miten hyvin arvosana kuvaa osaamisen tasoa (Sadler, 2009) Arvioinnin tulisi mitata keskeisten asioiden ymmärtämistä ja kurssin tavoitteita (Birenbaum, 1996, Sadler, 2009) Arvioinnin reliabiliteetti Arvioinnin tulisi olla samanlaista riippumatta arvioitsijasta ja tilanteesta (Sadler, 2009) Täysin objektiivinen arviointi on usein mahdotonta, koska arviointi on aina subjektiivista
ARVIOINTIKRITEERIT LIITTYVÄT LUOTETTAVUUTEEN JA OIKEUDENMUKAISUUTEEN Kriteeriperusteisessa arvioinnissa opiskelija saa arvosanan oman suorituksensa perusteella, arvosana ei ole riippuvainen muiden opiskelijoiden suorituksista Opiskelijan osaamista verrataan arviointikriteereihin ja tavoitteiden saavuttamiseen (vs. normiperustainen arviointi, jossa opiskelijan suoritusta verrataan suhteessa muiden opiskelijoiden suorituksiin) Arviointikriteerien tarkka määrittely auttaa opettajaa arvioimaan opiskelijan suoritusta ja lisää arvioinnin luotettavuutta (Yorke, Bridges & Woolf, 2000)
EPÄSELVÄT ARVIOINTIKRITEERIT JA PALAUTTEEN PUUTE Opiskelija: On se kyl vähän enemmän, mitä toi arvosana antaa olettaa, et en mä nyt, ei se must ihan täydellisesti se kurssi menny mut en mä kyl odottanu todellakaan noin huonoa arvosanaa. Opettaja: Voi luoja (huokaus). Tää on itse asiassa aika hyvä (vastaus). Niinku mä sanoin niin tää pitäisi nostaa kolmoseen (arvosana). Hitsi (huokaus), mä oon ollu huonolla tuulella, ku mä oon lukenu tätä.
LAADUKAS ARVIOINTI ON: Luotettavaa ja oikeudenmukaista Kriteeriperustaista Tukee opiskelijan oppimista Antaa opiskelijalle palautetta osaamisestaan Kehittää opiskelijan elinikäisen oppimisen taitoja 25.3.2015 17
MIKÄ KYSYMYS TAI AJATUS MIELESSÄ ARVIOINNISTA? Parikeskustelu: - Mitä elinikäisen oppimisen taitoja opettajat voivat ylipäätään arvioida (esim. viestintätaidot?)? - Mikä on palautteen ja arvioinnin välinen ero? - Mallivastaus massapalautemahdollisuutena
ELINIKÄISEN OPPIMISEN TUKEMINEN ITSE- JA VERTAISARVIOINNIN AVULLA ESIMERKKEJÄ 19
ELINIKÄISEN OPPIMISEN NÄKÖKULMASTA OLENNAISTA OPISKELIJAN OSALLISTAMINEN ARVIOINTIIN Yhdistää oppimisen ja arvioinnin prosessit toisiinsa Edistää opittavan asian ymmärtämistä Edistää arvioinnin taitoja Edistää ryhmätyöskentelyn taitoja Edistää itsereflektiota Voi olla itse- tai vertaisarviointia Vaatii selkeät arviointikriteerit 20
VERTAISARVIOINNIN LUOTETTAVUUS Esimerkki biotieteen kurssilta (Asikainen, Virtanen, Postareff & Heino, 2014) 84 opiskelijaa arvioi toistensa tenttivastauksia; myös opettaja arvioi kaikki vastaukset 58%:ssa tapauksista opettajan ja opiskelijan antama arvosana oli täysin sama 35%:ssa tapauksista arvosana poikkesi yhdellä 7%:ssa tapauksista arvosana poikkesi kahdella (tai kolmella) Käyttäytymistieteellinen tiedekunta 21
ESIMERKKI PBL- KURSSILTA
ITSE- JA VERTAISARVIOINTILOMAKE Oma osallistuminen ryhmätyöskentelyyn Miten osallistuin ryhmän toimintaan? Mitä hyötyä minusta oli ryhmälleni? KIRJALLINEN ARVIO: ARVOSANA 1-5: Oma sisällöllinen perehtyminen Miten hyvin perehdyin sisältöihin ja hallitsin asiakokonaisuudet?miten toin tietoni muun ryhmän saataville? KIRJALLINEN ARVIO: ARVOSANA 1-5: ITSEARVIOINTI OMA NIMI: Ryhmän työskentely Miten ryhmä toimi? Osallistuivatko kaikki tasapuolisesti ryhmän työskentelyyn? Jos ei, niin kenen/keiden ryhmän jäsenten osallistuminen oli poikkeavaa, ja miten? KIRJALLINEN ARVIO: ARVOSANA 1-5: Ryhmän sisällöllinen perehtyminen Miten hyvin ja tasapuolisesti ryhmäläiseni olivat perehtyneet sisältöihin? Miten ryhmäläiset jakoivat omaa osaamistaan?poikkesiko jonkun/joidenkin perehtyneisyys (kenen/keiden, miten?) Miten ryhmässä käsiteltiin opiskeltavia sisältöjä (eri näkökulmat, innovatiivisuus)? KIRJALLINEN ARVIO: ARVOSANA 1-5: RYHMÄN ARVIOINTI RYHMÄN NIMI:
TYÖPAJA
KEHITTÄMISEN ESTEITÄ Kokonaiskuva puuttuu (mitä osaamista tutkinto tuottaa) Yhteinen tavoite puuttuu Yhteinen ymmärrys käsitteistöstä puuttuu Teoreettinen käsitteistö puuttuu
POHDINTAA Onko oman alasi koulutusohjelmalla/tiedekunnalla oppimisen arvioinnista kokonaiskäsitys? Millaista osaamista oman tieteenalasi asiantuntija tarvitsee?
LAADUKKAAN TIETEELLISEN TUTKINNON OSA-ALUEET/ HELSINGIN YLIOPISTO
MINKÄLAISTA OSAAMISTA TAVOITELLAAN? (HAILIKARI, 2011, 2009) Toistava tieto Tuottava tieto Toistaminen Kuvaileminen Suhteuttaminen Soveltaminen Luominen Osaamisen tasot Indikaattori Tunnistaminen, luetteleminen, muistaminen Määritteleminen, kuvaileminen, merkityksen tietäminen tai ymmärtäminen, luokitteleminen Selittäminen, asioiden välisten suhteiden ymmärtäminen, vertaileminen, yhdistäminen Tiedon sovel- - taminen, ongelmanratkaisu, päätteleminen Tiedon tarkastelu uudesta näkökulmasta, tiedon rakentaminen Jatkumo Ymmärtäminen Soveltaminen, luominen Tietäminen 28
Medical: competencies as 7 roles (CanMEDS) Veterinary professional: competency framework (Bok et al. 2011) Medical expert Communicator Collaborator Manager Health advocate Scholar Professional Veterinary experise Communication Collaboration Entrepreneurship Health and welfare Scholarship Personal development
KOMPETENSSIEN ARVIOINTI määritetään koko koulutuskokonaisuuden kompetenssit, esim. A, B, C, D, E, F Rakennetaan arviointikokonaisuus niin, että kaikki kompetenssit tulevat arvioitua jossakin/useammassa jaksossa (ja eri tavoin) näiden auki kirjoittaminen A B C D E F Jakso1 x x Jakso2 x x Jakso 3 x x x Jakso 4 x Jakso 5 x Jakso 6 x x x x x x
POHDINTAA Millaisena näet oman tieteenalasi/koulutusohjelmasi/yksikön arviointikäytännöt suhteessa tänään esitettyihin teemoihin (elinikäinen oppiminen)? Kirjaa ylös: MITÄ PITÄISI KEHITTÄÄ? MITÄ (APUA/TUKEA) SIIHEN TARVITAAN?
MITÄ PITÄISI KEHITTÄÄ Opiskelijan oman osaamisen sanoittaminen ja sen tukeminen Miten saadaan organisaatiosta lähtevä puhe osaamislähtöiseksi puheeksi? Osaamisen aukikirjaaminen Miten arviointi palvelee oppimista? Mikä on arvioinnin suhde palautteeseen? Arvioinnin ja tavoitteiden sanoittaminen henkilökunnan ja opiskelijoiden kesken (kompetenssien arviointimatriisia hyväksikäyttäen?) Yhteisen kokonaiskuvan kehittäminen kuka opettaa mitäkin, missä vaiheessa, yhteiset tavoitteet 25.3.2015 32
LÄHTEITÄ / ARVIOINTIIN LIITTYVÄÄ KIRJALLISUUTTA Al-Kadri, H.M., Al-Moamary, M.S., Roberts, C. & Van der Vleuten, C. (2012). Exploring assessment factors contributing to students study strategies: Literature review. Medical teacher, 34, S42-S50. Asikainen, H., Parpala, A., Virtanen, V. & Lindblom-Ylänne, S. (2013). The relationship between student learning process, study success and the nature of assessment. A qualitative study. Studies in Educational Evaluation, 39 (4), 211 217. Barnett, R. (2004). Learning for an unknown future. Higher Education Research and Development 23 (3), 247-260. Biggs, J. 2003. Teaching for Quality Learning at University. What the student does. Toinen painos. Wiltshire: The Society for Research into Higher Education & Open University Press. Brown, G., Bull, J. & Pendlebury, M. (1997). Assessing student learning in higher education. London: Routledge. Crisp, G. T. (2012). Integrative assessment: Reframing assessment practice for current and future learning. Assessment & Evaluation, 37 (1), 33 43. Falchikov, N. (2005). Improving assessment through student involvement: practical solutions for higher and further education teaching and learning. London: Routledge. Gibss, G. 2006. How assessment frames student learning. Teoksessa: Bryan, C. & Clegg, K. 2006 (toim.) Innovative assessment in higher education. Routledge. Hailikari, T. 2009. Assessing university students prior knowledge: implications for theory and practice. Academic dissertation. Helsinki: Helsinki University Press. Hailikari, T. 2011. What do course grades tell us about the quality of learning? Paper presented at the Science Day of the Faculty of Behavioral Sciences, University of Helsinki, September 22, 2011. 33
Lindblom-Ylänne, S., Nevgi, A., Hailikari, T. & Wager, M. (2009). Oppimisen arvioinnin teoriaa ja käytäntöä. Teoksessa S. Lindblom-Ylänne & A. Nevgi (toim.) Yliopisto-opettajan käsikirja. Helsinki: WSOY, s. 156-191. Lindblom-Ylänne, S., Pihlajamäki, H., Kotkas, T., 2006. Self-, peer-and teacher assessment of student essays. Active Learning in Higher Education 7 (1), 51-62, Murtonen, M., Olkinuora, E., Tynjälä, P., & Lehtinen, E. (2008). Do I need research skills in working life? University students motivation and difficulties in quantitative methods courses. Higher Education, 56, 599-612 Parpala, A., Lindblom-Ylänne, S., Komulainen, E., Litmanen, T. & Hirsto, L. (2010). Students approaches to learning and their experiences of the teaching-learning environment in different disciplines. British Journal of Educational Psychology, 80 (2), 269-282. Parpala, A., Lindblom-Ylänne, S., Komulainen, E. & Entwistle, N. (2013) Assessing students experiences of the teaching-learning environments and approaches to learning: validation of a questionnaire used in different countries and varying contexts. Learning Environments Research, 16 (2), 201-215. Postareff, L., Virtanen, V., Katajavuori, N. & Lindblom-Ylänne, S. (2012). Academics conceptions of assessment and their assessment practices. Studies in Educational Evaluation. Price, M. & O Donovan, B. (2006). Improving performance through enhancing student understanding of criteria and feedback. In C. Bryan & K. Clegg (Eds.) Innovative Assessment in Higher Education. New York: Routledge, pp.100-109. Sadler, R. (2005). Interpretations of criteria-based assessment and grading in higher education. Assessment and Evaluation in Higher Education 30 (2), 175-194. Segers, M., Dochy, F., & Cascallar, E. (Eds.) (2003b). Optimising new modes of assessment: in search of qualities and standards. Dordrecht, The Netherlands: Kluwer Academic Publishers. Sluijsmans,D. A. (2006). Conceptual Framework for Integrating Peer Assessment in Teacher Education. Studies in Educational Evaluation, 32,1 6-22. Tynjälä, P, Slotte, V., Nieminen, J., Lonka, K. & Olkinuora, E. (2006). From university to working life: Graduates workplace skills in practice. In P. Tynjälä, J. Välimaa & G. Boulton-Lewis (Eds.) Higher Education and Working Life Collaborations, confrontations and challenges. Amsterdam: Elsevier, pp. 73-88. 34
ARVIOINTI SUUNTAA OPPIMISTA Arviointikäytännöillä voimakas vaikutus opiskeluun ja oppimiseen Arvioinnin avulla voidaan vaikuttaa opiskelijoiden oppimiseen positiivisesti tai negatiivisesti Arviointikäytännöt muodostavat piilo-opetussuunnitelman (hidden curriculum, backwash effect of assessment) Jos haluat muuttaa oppimista, muuta arviointia (Brown,1997). 35
OPETTAJAN JA OPISKELIJAN NÄKÖKULMA ARVIOINTIIN (BIGGS, 2003) Opettaja: tavoitteet Opetus arviointi Opiskelija: arviointi Opiskelu oppimistulokset Kohdista arviointi osaamistavoitteisiin! 36