Tietokantapohjaisen arviointijärjestelmän kehittäminen: kohti mielekästä oppimista ja opetusta Heidi Krzywacki, Jari Lavonen, Tiina Korhonen 12.2.2010 Käyttäytymistieteellinen tiedekunta Opettajankoulutuslaitos
Taustaa Arviointi ja sen kehittyminen opetuksessa tapahtuvien muutosten mukana päättöarviointi ja oppimistulosten tekeminen näkyväksi (summatiivinen): vertailtavuus yhteiskunnallinen merkitys oppimisprosessin tukeminen ja opetuksen arvioiminen (diagnostinen, formatiivinen) oppilas: palaute toiminnasta (myös itse- ja vertaisarviointi) ja prosessin tukeminen, motivointi opettaja: auttaa suuntaamaan oppimisprosessia, tietoisuus tarpeista luokkahuoneessa 2
kohti mielekästä opetusta ja oppimista Assessment is for learning, to ensure continuity and progress (Wellington & Ireson, 2008) 3
kohti mielekästä opetusta ja oppimista Assessment is for learning, to ensure continuity and progress (Wellington & Ireson, 2008) Arviointi eri näkökulmista: mitä arvioidaan? kognitiiviset tavoitteet ja niiden toteutuminen: tiedot ja taidot eri sisältöalueissa affektiiviset tavoitteet: motivaatio ja pätevyyden tunne psykomotoriset taidot proseduraaliset tavoitteet ja niiden toteutuminen 4
Arviointityökaluista: miten arvioida? Ajankohta (Milloin?) ajallisessa suhteessa opetusjaksoon Välineet ja tavat (Miten?) Prosessin arviointi (havainnointi, kuunteleminen, TVT:n tarjoamat mahdollisuudet ) Produktin arvioiminen (lukeminen ja kirjallisten töiden tarkastelu ) Arvioinnin subjektit (Kuka arvioi? Keitä arvioidaan?) Oppijan rooli Palaute ja arviointitiedon hyödyntäminen 5
Arviointijärjestelmän kehittäminen Tavoitteena tukea mielekästä oppimista, arvioida oppimisen määrää ja laatua sekä tukea oppilaan pätevyyden tunteen kehittymistä Toteuttamisessa huomioitavaa: luotava metatietojen avulla parametrit, joiden avulla tietokanta rakentuu - Kognitiiviset prosessit: vaikeustaso - Erilaiset tehtävätyypit - Sisältöalue - Tehtävän konteksti käyttötapa (arvioinnin muoto ja oppijan rooli) palaute ja arvosteltavuus itse järjestelmän käyttöön ja ymmärrettävyyteen liittyvä aspekti (käytettävyys) 6
Arviointitehtävät: esimerkki matematiikasta Merkitse ja laske a) Lukujen 8 ja 5 tulo jaetaan kahdella. b) Lukujen 18 ja 2 osamäärästä vähennetään 1. Metatiedot Kognitiiviset prosessit: soveltaminen ja tuottaminen Vaikeustaso/pisteytys:? Tehtävätyyppi: lasku (lyhyt tuottaminen) Sisältöalue: luonnollisten lukujen peruslaskutoimitukset Tehtävän konteksti: ei erityistä kontekstia 7
Arviointitehtävät: esimerkki fysiikasta Yhdistä oikeat vaihtoehdot Veden kiehumispiste 310 K Jään sulamispiste 100 C Alin mahdollinen lämpötila -273 C Ihmisen kehon lämpötila 0 C Metatiedot Kognitiiviset prosessit: muistaminen Vaikeustaso/Pisteytys: Tehtävätyyppi: yhdistelytehtävä Sisältöalue: lämpötila ja lämpölaajeneminen Tehtävän konteksti: ei ole 8
Kehittämisprosessi: prototyypin testaaminen (tapaustutkimus) Itse työkalun (simulointi) ja valikoitujen arviointitehtävien testaaminen keväällä 2009 yhteistyössä opettajien (ja oppilaiden kanssa) keskitytään itse systeemin sisällölliseen arviointiin sekä ymmärrettävyyteen: käytettävyys toissijaisena Tutkimusaineiston kerääminen opettajien kanssa toimittaessa videointi teemahaastattelut suorat havainnot ja observointi (dokumentointi) Lisäksi moniammatillinen yhteistyö järjestelmän kehittämiseksi: opettajat, tutkija, sisällöllinen tuottaminen, ohjelmointi 9
Arviointijärjestelmän arvioiminen Tarkoituksenmukaisuuden ja toimivuuden arvioiminen Erottelevuus (power of discrimination) Pisteytys ja arvioinnin objektiivisuus (objectivity of scoring) Validiteetti (tarkoituksenmukaisuus) Reliabiliteetti (luotettavuus) Hyödynnettävyys käytettävyys (usability): erityisesti pedagoginen aspekti tärkeä opettajan työn kannalta 10
Lopuksi Arviointi keskeinen osa mielekästä oppimista ja huomioitava jo opetuksen suunnitteluvaiheessa palautteen hyödyntäminen prosessin aikana Kontekstisidonnaisuus Opetussuunnitelman tavoitteiden ja oppisisältöjen huomioiminen Kunkin opettajan henkilökohtainen tapa opettaa ja ohjata Haasteina kehittää arviointijärjestelmä, jonka käytössä on mahdollisuus ottaa huomioon luokan ja yksittäisten oppilaiden tarpeet suhteuttaa yksittäiset testiosiot asetettuihin tavoitteisiin tukea oppimisen affektiivisia näkökulmia 11
Lähteitä Patton, M. Q. (2002). Qualitative Research & Evaluation Methods (3 rd edition). Sage Publications: Thousand Oaks. Reece, I. & Walker, S. (2007). Teaching, training & learning (6 th ed.). A practical guide. Tune & Wear: Business Education Publishers. Scaife, J. (2008). Focus on learning in science. In J. Wellington & G. Ireson (Eds.), Science Learning, Science Teaching (pp. 65-129). New York: Routledge. Stake, R. (1995). The Art of Case Study Research. Sage Publications: Thousand Oaks. Wellington, J. & Ireson, G. (2008). Science Learning, Science Teaching. New York: Routledge. 12