Osaaminen ja arviointi Markku Ihonen & Johanna Annala
Avaus Harri Melin Iltapäivän kulku Mistä arvioinnissa on kysymys Markku Ihonen Koulutuksen arviointi ja kehittäminen palautteen avulla Leena Ahrio K A H V I T A U K O Arvioinnin erityiskysymyksiä Johanna Annala Keskustelua Tilaisuuden päätös Mikko Markkola
OPINTOJAKSO Arvioinnin tasoja TOHTORIEN URASEURANTA T U T K I N T O T O D I S T U S Tohtorintutkinto Työelämä MAISTERIEN URASEURANTA NQF TUTKINTOJEN YLEISET OSAAMIS- TAVOITTEET OPINTOKOKONAISUUDEN ARVIOINTI KURSSI- JA OPINTOJAKSO- ARVIOINTI T U T K I N T O T O D I S T U S Maisterintutkinto T U T K I N T O T O D I S T U S Kandidaatintutkinto OPINTO- KOKONAISUUS HOPS- KESKUS- TELUT HOPS- KESKUS- TELUT MAISTERIEN SIJOITTUMISSEURANTA TaY:n OPISKELIJAKYSELY KANDIEN SIJOITTUMISSEURANTA YOPALA-KYSELY (valtakunnallinen) TaY:n OPISKELIJAKYSELY TaY:n OPISKELIJAKYSELY KOULUTUKSEN ARVIOINTI
Arvioinnin jännitteitä INSTITUUTION LAADUNVARMISTUS OPPIJAN KOKEMUS JA IDENTITEETTI TILIVELVOLLISUUS ULKOPUOLISILLE PALAUTETIETOA OMAAN KÄYTTÖÖN KONTROLLI, MITTAUKSET LUOTTAMUS, NEUVOTTELU, DIALOGI TOIMINTA SUUNTAUTUU ARVIOINNISTA SELVIÄMISEEN (KAKSOISRAKENNE) TOIMINTA SUUNTAUTUU TAVOITELLUN OSAAMISEN HANKKIMISEEN AVAINKYSYMYS: Millainen arviointi ja palautteen kerääminen ja käyttö kehittää parhaiten yliopistokoulutusta ja oppimista yliopistossa? yliopistoyhteisön jäsenten elinikäinen oppiminen
Arvioinnin omistajat ja hyötyjät ARVIOINNISTA HYÖTYMINEN YHTEISKUNTA: Työelämään akateemisin meriitein tulevan odotetaan selviytyvän sen ammatin tai alan tehtävistä, johon koulutuksen on ajateltu valmistavan (tutkintojen laadunvarmistus) YLIOPISTO (YKSIKKÖ): Kehittävä palaute onnistumisesta koulutustehtävässä sekä oppimiseen vaikuttavista seikoista (opetuksen, ohjauksen ja arvioinnin lisäksi esimerkiksi tiloista, laitteista, tietovarannoista) OPETTAJA: Kehittävä palaute opetuksesta, ohjauksesta ja arvioinnista sekä muista oppimiseen vaikuttavista seikoista OPISKELIJA: Kehittävä palaute omasta oppimisesta ja osaamisen karttumisesta sekä sen hyväksi tehdystä työstä
Arviointi linjakkaassa opetussuunnitelmassa Opettajan näkökulma OSAAMIS- TAVOITTEET OPETTAJAN TOIMINTA OPETUSMENETELMÄT OSAAMISEN ARVIOINTI Opiskelijan näkökulma ARVIOINNIN KOHDE JA MENETELMÄT OPISKELIJAN TOIMINTA OPISKELUMENETELMÄT JA -STRATEGIAT OSAAMINEN L I N J A K A S O P E T U S S U U N N I T E L M A Opetuksen suunnittelu ja toteuttaminen kokonaisuutena, jossa samaan suuntaan vaikuttavat OPPIMISEN TAVOITTEET, OSAAMISTAVOITTEET OPETUKSEN SISÄLLÖT OPETUS- JA OPPIMISMENETELMÄT OPPIMISEN ARVIOINTIMENETTELYT VUOROVAIKUTUSILMAPIIRI Hyvä oppiminen ja toivottujen osaamistavoitteiden saavuttaminen Biggsiä 2003 hyödyntäen
Osaamistavoite. Mitä osallistujien oletetaan osaavan ( is expected to ) iltapäivän jälkeen Osallistujat ymmärtävät arvioinnin tehtävät ja roolin yliopistollisen koulutuksen suunnittelussa ja toteutuksessa Opiskelumenetelmät Luentoja ja keskustelua, materiaalia sovellettavaksi etätyöskentelyssä (=opetussuunnitelmatyössä) Arviointimenetelmät Ei tenttiä ; tavoitteen saavuttaminen näkyy uusissa opetussuunnitelmissa Arviointikriteerit Uusissa opetussuunnitelmissa arvioinnin kohteet, kriteerit ja menetelmät on kirjattu siten, että tavoitteiden mukainen osaaminen voidaan tunnistaa ja tunnustaa. 7
Kaksi lähestymistapaa osaamiseen Lineaarinen painottaa taitoja (skills) ja niiden erilaisia jäsennyksiä, jolloin huomio kohdistuu standardien luomiseen ja tulosten mittaamiseen suhteessa ennalta määriteltyyn minimiin Dynaaminen - lähtökohta on henkilöiden potentiaaleissa ja toiminnassa, jolloin keskiössä on kysymys siitä, millaisia prosesseja mahdollisimman ansiokas suoriutuminen edellyttää (mm. Mäkinen & Annala 2010; Boyatzis 1983; Dubois 1993; Hogg 2008; Rowe 1995.)
Lineaarinen tulkinta osaamisesta opiskelija menee työharjoitteluun niin ensimmäisenä kysytään että mitä sä olet oppinut. Mitä sä osaat. Ei riitä, että sä oot lukenu laskentatoimea, ne kysyy, että osaatko sä SAP:ia. ---työelämässä ollaan aika konservatiivisia Helppo asettaa tavoitteet ja arvioida Entä kun täsmätoiveita esittänyt työelämä kaatuu tai SAPin syrjäyttää jokin toinen ohjelma? Tuottaako uutta tietoa, tutkimusta, innovaatioita? (Mäkinen & Annala 2010)
Dynaaminen tulkinta osaamisesta me ollaan hyvin niinku keskeisesti pyritty, että se opetussuunnitelma ja siihen rakennetut kasvamisen ja kehittymisen polut, ja laajentuvat osaamiset, niin tuottais sitten semmosen vahvan omakohtaisen tunnon sille opiskelijalle siitä, että nyt mulla on niinku sellaiset edellytykset, että mä uskallan ilman niitä, niinku lukuisia pelastusrenkaita, siirtyä työelämään Tavoitteiden määrittäminen ja arviointiperusteiden laadinta haastavampaa Ei valmisteta, vaan edistetään valmiuksia elinikäiseen oppimiseen ja potentiaalien käyttöönottoon (Mäkinen & Annala 2010)
Tiedollinen (knowledge) ulottuvuus Faktuaalinen tieto Käsitteellinen tieto Proseduraalinen tieto / taidot Intuitiivinen, äänetön tieto Metakognitiivinen, reflektiivinen tieto Kognitiivinen (cognitive) ulottuvuus muistaa ymmärtää soveltaa analysoida arvioida luoda Tavoitteet ja oppimisen tasot (Knight 2007; Krathwohl 2002; Tynjälä 2004)
Hyvät tavoitteet ovat riittävän joustavia, jotta opiskelijoille jää mahdollisuus suunnata omaa opiskeluaan ja oppimistaan omien tavoitteidensa suuntaan osaamis-/oppimistavoitteet sisältävät tiedot, taidot, eettiset valmiudet ja asenteet huomioivat tavoiteltavan tiedon ja osaamisen tason muutetaan toiminnaksi ja tehtäviksi joiden pohjalta tietämistä tai osaamista voidaan harjoitella ja lopulta arvioida opintojakson osaamistavoitteet ovat linjassa opintokokonaisuuksien ja tutkintotason osaamistavoitteiden kanssa
Esimerkkejä Kurssin lopussa opiskelija osaa: määritellä termit aallonpituus, taajuus ja amplitudi soveltaa Kolbin oppimismallia opetusohjelman suunnitteluun tehdä kirjallisen yhteenvedon kulttuurien moninaisuudesta työpaikalla tarkastella Bohrin mallin rajoitteita Vrt. osaa kvalitatiiviset tutkimusmenetelmät, hallitsee alan teoriaperinteen (kaiken?) Huom! Geneerisiä taitoja myös tavoitteisiin, jos ne ovat arvioinnin kohteena!
Taso Vastaa kysymykseen Verbit Muistaa Muistaako opiskelija tietoja? Tunnistaa, listata, määritellä, nimetä, esittää, kirjoittaa, toistaa, yhdistää, löytää, järjestää Ymmärtää Pystyykö opiskelija selittämään ajatuksia ja käsitteitä? Tulkita, antaa esimerkki, tehdä yhteenveto, päätellä, muotoilla uudelleen, raportoida, löytää, nimetä, luokitella, erotella, muokata, selittää Soveltaa Analysoida Pystyykö opiskelija käyttämään tietojaan muussa tutussa yhteydessä? Pystyykö opiskelija erottamaan olennaiset asiat? Toteuttaa, suorittaa, käyttää, soveltaa, ratkaista, esitellä, valmistaa, selittää(kuinka), valita, laskea, muuttaa Vertailla, organisoida, osoittaa ristiriita, erotella, jakaa, tutkia, luokitella, analysoida, arvioida, todistaa Arvioida Pystyykö opiskelija tekemään perustellun arvion tai päätöksen? Arvostella, tehdä johtopäätös, vertailla, perustella, selittää, tulkita, suhteuttaa, kommentoida Luoda Pystyykö opiskelija luomaan uusia tuotteita, ajatuksia, näkökulmia? Suunnitella, rakentaa, tuottaa, ehdottaa, kehittää, keksiä, yleistää, johtaa, laajentaa, muuttaa Lähde: http://www.lut.fi/fi/lut/studies/learningcentre/report/documents/lo_fi.html#4 14
Jacobs, Howy: Pure humbug from beginning to end, Acatiimi 9/2010 Shortly after I began teaching in University of Tampere, and the time came for me to set my first exam paper, I asked some colleagues to explain to me to whom I should submit the questions, by what date, with what accompanying documentation, and what were the formalities for marking and assessment. All of those whom I asked were completely nonplussed by these questions. The only answer seemed to be that I should submit the paper to the students on the day, and then grade the answers as I saw fit: You re the professor, it s just up to you. Coming from the British university culture this was quite a shock.
Arvioinnin kohteet eli minkä osaamisalueiden saavuttamista arvioidaan (vrt. osaamistavoitteet) Arvioinnin menetelmät: harjoitustehtävät, essee, tentti, opinnäytetyö, lukupäiväkirja, portfolio, opintopiirin blogi, esitelmä, posteri, tuote. Diagnostinen, formatiivinen, summatiivinen arviointi Arviointikriteerit: Osaamisperustainen arviointi kriteeriperustaista, ei vertailevaa! Solotaksonomia, Bloomin taksonomia, muita...? Tieto kriteereistä etukäteen läpinäkyvyys Arviointiasteikko: numeromuotoinen, hyv/hyl vai sanallinen Arvioija: Opettaja, vertaisarviointi, itsearviointi, ulkopuolinen arviointi/arvioija 16
Esimerkkejä 1) Arviointikriteerit suoritusvaatimuksina (eivät kuvaa osaamista): Opintojaksoon kuuluu kolme harjoitustehtävää ja kirjallinen koe. Harjoitustehtävät arvioidaan a' 20 pistettä, harjoitustehtävistä annetaan tarkemmat ohjeet ja aikataulu. Koe 40 pistettä. Kokonaisarviointi koostuu siten harjoitustehtävistä 60 % ja kokeesta 40 %. Hyväksytty arviointi edellyttää kaikista em. osista vähintään 40 % hyväksyttyä suoritusta. Arviointiasteikko 0-5. 2) Arviointikriteerit osaamisen kuvauksina: Opintojakson arvioinnissa huomioidaan opiskelijan kehitys opintojaksolle määriteltyjen osaamistavoitteiden mukaisesti. Opintojakso suoritetaan laaja-alaisella oppimistehtävällä, joka arvioidaan asteikolla 0-5. Myöhässä jätetty oppimistehtävä alentaa arvosanaa. Opintojakson menestyksekkäästi suorittanut opiskelija hallitsee strategisen suunnittelun keskeiset periaatteet, osaa tunnistaa yrityksen strategisen ja taloudellisen tilan tunnistaa strategiseen muutoksen johtamiseen tarvittavat toimenpiteet osaa suunnitella yrityksen toimintaa ja osaa käynnistää kannattavia ja asiakaslähtöisiä kehittämistoimintoja 17
Oppimisen ja osaamisen arviointi OPPIMISEN ARVIOINTI Kohteena oppimisprosessi Itsearviointi: Mitä olen oppinut? Mitä minun vielä pitää oppia että osaan? OSAAMISEN ARVIOINTI (AHOT!) Kohteena lopputulos riippumatta siitä miten sen on oppinut Itsearviointi: Mitä nyt osaan? SUUNTA kontrollista luottamukseen arvioinnista selviämisestä tavoitellun osaamisen saavuttamiseen palkitsemisesta / rankaisemisesta kehittävään palautteeseen AVAINKYSYMYS: Millainen arviointi harjaannuttaa opiskelijaa (koulutuksen jälkeiseen) itsenäiseen oppimiseen ilman opetusta ja ulkoista arviointia? opiskelijan elinikäinen oppiminen
Apua osaamistavoitteiden asettamiseen ja arviointiin Työkalu osaamistavoiteanalyysin tekemiseen: Oppaiden opas (toim. E. Myller), s. 92-97 + liite 5 http://lib.tkk.fi/tiede_teknologia/2011/isbn9789526041865.pdf Oppimisen arvioinnin ulottuvuuksista: Opettajan käsikirja (Hyppönen & Lindén) s. 55-78 http://lib.tkk.fi/reports/2009/isbn9789622480637.pdf Osaamistavoitteista arviointiin (U. M. Valleala) https://www.jyu.fi/hallintokeskus/koulutuspalvelut/palvelut/koulutu ksenkehittaminen/materiaalit/uv19042010 19