Osaamistavoitteista arviointiin Osaamistavoitetyöpaja Jyväskylän yliopisto 19.4.2010 KT Ulla Maija Valleala Osaamistavoitteiden saavuttamisen arviointi Osaamistavoitteet: mitä opitaan Arviointi: miten hyvin on opittu ja tavoitteet saavutettu Ks. arvioinnin käsitteestä esim. http://tievie.oulu.fi/arvioinnin_abc/artikkelit/arvioinninkasite.htm Osaamistavoitteiden laadintavaiheessa suunniteltava myös, miten saavutettua osaamista tullaan arvioimaan. Mistä tietää, että tavoiteltu osaaminen on saavutettu? Suhteellisen arvioinnin sijaan kyse tavoitearvioinnista 2 1
Miksi arviointikriteerit ovat tärkeitä (1)? Linjakas opetus opetuksen tavoitteet, sisällöt, menetelmät ja arviointi ovat linjassa, pyrkivät samaan päämäärään Jos osaamistavoitteet ja arviointikriteerit ovat ristiriidassa keskenään, arviointi ohjaa opiskelijan toimintaa, eivät tavoitteet Opiskelu on tavoitesuuntautunutta arviointikriteerit ovat viesti opiskelijalle: kiinnitä huomiota tähän, etene tähän suuntaan Arviointi on palautetta oppimisesta (Rapo-Kaarento 2006) 3 Miksi arviointikriteerit ovat tärkeitä (2)? JY:n tutkintosääntö: 16 Opettajan velvollisuutena on antaa opiskelijalle ennalta tieto opintosuorituksen vaatimustasosta ja arvioinnin kriteereistä sekä pitää huolta, että opintosuoritusten arviointi antaa opiskelijalle tietoa oppimisesta ja osaamisen kehittymisestä. Tämä edellyttää, että opiskelija saa suorituksestaan myös muun palautteen kuin arvosanan. 18 Opintojen arviointi perustuu opetussuunnitelmassa määritettyihin osaamistavoitteisiin. Arviointi antaa opiskelijalle tietoa asetettujen osaamistavoitteiden saavuttamisesta. Opintosuoritusten arviointiperusteet ovat julkisia ja ne on julkistettava hyvissä ajoin ennen kuulustelua. 4 2
Bloom ja oppimisen arviointi? 1. MUISTAA: Muistaako opiskelija tietoja? 2. YMMÄRTÄÄ: Pystyykö opiskelija selittämään ajatuksia ja käsitteitä? 3. SOVELTAA: Pystyykö opiskelija käyttämään tietojaan/ taitojaan muussa yhteydessä? 4. ANALYSOIDA: Pystyykö opiskelija erottamaan olennaiset asiat? 5. ARVIOIDA: Pystyykö tekemään perustellun arvion tai päätöksen? 6. LUODA Pystyykö luomaan uusia tuotteita, ajatuksia, näkökulmia? (Jäntti 2010) 5 Bloomintaksonomia arviointikriteerien pohjana Jos osaamistavoitteet laaditaan Bloomin taksonomian pohjalta niin, että ne määritellään osaamisen maksimitasolle, silloin osaamistavoitteet = arviointikriteerit Arviointi kohdistettava kaikkiin tavoitteisiin Ongelmana Bloomin taksonomian yksiulotteisuus 6 3
SOLO-taksonomia (Biggs & Collis 1982) 1 Esirakenteinen: ei lainkaan yhteyksiä esitettyjen asioiden välillä 2 Yksirakenteinen: yksinkertaisia ja pinnallisia kytkentöjä, mutta niiden merkitystä ei ole osoitettu 7 3 Monirakenteinen: voi sisältää useita yhteyksiä asioiden välillä, mutta kokonaisuutta ei ole hahmotettu 4 Relationaalinen taso: asioiden väliset suhteet on ymmärretty 5 Laaja abstratkti taso: Esitetyn asiaalueen sisäisten suhteiden lisäksi yhteyksiä sen ulkopuolelle: periaatteita yleistetty ja sovellettu muihin asiakokonaisuuksiin. http://www.learningandteaching.info/learning/solo.htm 8 4
Solo-taksonomia, 5 tasoa (Structure of the Observed Learning Outcome) 1. Esistrukturaalinen; epäjohdonmukaisuus, ei asiatietoa, kysymys ja vastaus eivät kohtaa 2. Yksistruktuurinen; vastauksessa yksi relevantti asia, kysymys ja vastaus yhteydessä, satunnaista tietoa 3. Multistruktuurinen; vastauksessa monia toisistaan irrallaan olevia relevantteja seikkoja, luettelomainen 4. Suhteutettu vastaus; induktiivista päättelyä, tiedon yhdistelyä, yleistämistä vain konkreettisiin kokemuksiin 5. Jatkettu abstrahointi; monipuolista induktiota ja deduktiota, tiedon yhteyksien taitavaa hahmottamista, hypoteesien ja yleistysten kuvailua (Biggs& Collis 1982, Niinistö 1984 mukaan) 9 Bloomin taksonomiaa ja SOLO-taksonomiaa soveltavat arviointikriteerit, esimerkki kasvatustieteen ja aikuiskasvatustieteen aineopinnoista (avoin yliopisto lv. 2008 2010 ) Arvosana ja sitä kuvaava osaaminen Esseen, oppimistehtävän, oppimispäiväkirjan tai lukupiiriraportin piirteitä Tenttivastauksen piirteitä 0 (hylätty) Sisältö hyvin niukka Ei ole käytetty lähteitä tai sisältö lähteitä toistavaa, (tahatonta) plagiointia Suuria ongelmia esseen rakenne-ja muotoseikoissa 1:tunnistaa, toistaa, muistaa Lähteitä käytetty, mutta lähteistössä puutteita (esim. perusopintotasoisia lähteitä) Asian kannalta hyvin harvoja olennaisia teemoja käsitelty luettelonomaisesti tai lähteitä referoiden Oma ajattelu puuttuu, jolloin ei tule esille yhteyksiä esitettyjen asioiden välillä Hyvin niukka Esille tuodut asiat epäolennaisia tai tenttikysymyksen ulkopuolelta Vastattu yleistiedon perusteella Joitakin harvojaasian kannalta olennaisia asioita käsitelty 10 5
2: ymmärtää Lähteistö pääosin aineopintotasoista Esim. omat esimerkit osoittavat ymmärtämistä ja omaa ajattelua, mutta yhteydet teoriatiedon ja esimerkkien välillä puutteellisia Sisältö niukka tai valittu sattumanvaraisesti, tehtyä rajausta ei kuvattu eikä perusteltu 3: soveltaa Esseen rajaus harkittu ja perusteltu Esimerkittai oma pohdita havainnollistavat esitettyä teoriatietoa Oman ajattelun kautta teoria ja esimerkit tai eri näkökulmat kytkeytyvät toisiinsa Aineopintotasoinen lähteistö 4:analysoi ja yhdistelee 5: yhdistelee ja arvioi Edellistä tarkempaa kytkentää eri näkökulmien välillä Esim.erojen ja yhtäläisyyksien selvittämistä näkökulmia vertailemalla Uusien näkökulmien tai kokonaisuuksien luomista yhdistelemällä asioita uudella tavalla Edellisen lisäksi tiedon kriittistäarviointia: esseessä esim. esitellään ja perustellaan kriteerit, joiden avulla tietoa arvioidaan Argumentoivaa ja hyvin perusteltua tekstiä, jossa myös vastakkaista näkökulmaa on pohdittu Esitettyteeman kannalta olennaisia asioita Sisältö niukka Useitaolennaisia asioita esitetty ja havainnollistettu esimerkein Tuotu esille olennaisia asioita ja vastauksesta on luotu oman ajattelun kautta jäsentynyt kokonaisuus Edellisen lisäksi tiedon ja eri näkökulmien syvällistä pohdintaa, vertailua tai arviointia 11 Suomen kielen arviointikriteerit (avoin yliopisto lv. 2009 2010) Työstettävässä (0) opintosuorituksessa aihetta ei ole rajattu lainkaan ja tekstistä puuttuu näkökulma. Aiheen käsittely on sekavaa ja epäjohdonmukaista. Teksti rakentuu pelkästään joko omakohtaisten kokemusten tai lähdekirjallisuuden referoinnin varaan. Työn kokonaisrakenne on jäsentymätön eivätkä tieteellisen tekstin kriteerit täyty. Kieliasu on heikko. Arvosanan 1 opintosuorituksesta puuttuu selkeä näkökulma, ja esitystapa on suppea ja pinnallinen. Työ saattaa sisältää myös muoto-ja asiavirheitä. Kirjoittaja osoittaa jonkinlaista perehtymistä aihealueeseen, mutta teoriaa tai käytäntöä ei ole tuotu tarpeeksi esille. Joko lähdekirjallisuuden näkökulmia ei ole huomioitu tarpeeksi eli teksti on liian omakohtainen tai teksti referoi liikaa lähdekirjallisuutta, jolloin oma pohdinta ei pääse esiin. Rakenne on epäselvä ja perustelematon, esimerkiksi väliotsikointi puuttuu, ja tekstissä on paljon epäjohdonmukaisuutta. Lukijan on vaikea seurata kirjoittajan päättelyä, ja akateemisissa viitekäytänteissä sekä tieteellisessä kirjoittamisessa on pahoja puutteita. Kieliasu on viimeistelemätön. 12 6
Arvosanan 2 opintosuorituksessa näkökulma olisi kaivannut tarkempaa rajaamista tai sitä ei ole otettu käsittelyssä huomioon riittävästi. Työ on sisällöllisesti suppea. Lähdekirjallisuuden lukeminen välittyy, mutta siihen ei ole syvennytty tarpeeksi ja käsittelytapa on yksipuolinen tai niukka. Keskeiset käsitteet on ymmärretty, mutta teoriaa ja käytäntöä ei ole pystytty yhdistämään, eli omaa pohdintaa ei ole liitetty lähdeaineistoon, sille ei ole etsitty lähteistä vahvistusta tai teorialle ei ole esitetty kritiikkiä. Tekstin sujuvuudessa ja loogisessa etenemisessä on puutteita. Kirjoittaja hallitsee viitteiden käytön osittain, mutta siinä on epäselvyyttä ja epäjohdonmukaisuutta. Kieliasu on puutteellinen ja tyyli voi olla vaikeaselkoista tai kankeaa. Arvosanalla 3 suoritetussa opintosuorituksessa näkökulman valinta on selkeä, tosin näkökulman säilyttämisessä voi olla horjuvuutta. Lähdekirjallisuuden asiasisältöjen keskeinen hallinta sekä syventyminen näkyvät. Suorituksessa on sekä omia näkemyksiä että teoreettista tietoa lähdekirjallisuuden pohjalta, mutta niitä ei ole välttämättä kaikin osin yhdistelty sujuvasti. Käsittelytapa on asiallinen ja selkeä, joskaan ei kovin monipuolinen ja tarkka. Teksti etenee pääosin sujuvasti ja loogisesti, ja kirjoitus muodostaa kattavan kokonaisuuden, joka on johdonmukainen kuvaus käsiteltävästä aiheesta. Tieteellisen kirjoittamisen perustekniikka on hallussa. Kieliasu on jokseenkin moitteeton. 13 Arvosanan 4 opintosuorituksessa aihe on rajattu selkeästi, ja valittu näkökulma säilyy koko käsittelyn ajan. Aihealueeseen on perehdytty hyvin ja työ osoittaa keskeisten sisältöjen hallintaa. Teoreettinen osaaminen ja lähteiden käyttö on vakuuttavaa, käsitteiden käyttö osaavaa. Työn rakenne on selkeä ja johdonmukainen, ja ulkoasu viimeistelty. Teksti osoittaa kykyä ymmärtävään omaan pohdintaan. Kirjoittaja hallitsee monipuolisesti tieteellisen tekstin kirjoittamiskäytänteet ja myös kieliasu on huoliteltu. Arvosanalla 5 tehdyssä opintosuorituksessa näkökulman valinta ja aiheen rajaus on tarkoituksenmukainen ja perusteltu. Näkökulma säilyy johdonmukaisena kautta koko esseen. Lähdekirjallisuuteen on perehdytty huolellisesti, ja kirjoittaja hallitsee aiheen asiasisällöt ja käsitteet. Työssä yhdistellään luontevasti teoreettista tietoa ja omia näkemyksiä. Ote asioihin on monipuolisesti pohtiva, arvioiva tai perustellun kriittinen. Tekstistä välittyykin arvioiva suhtautuminen lähdeaineistoon. Rakenne on selkeä ja johdonmukainen, ulkoasu virheetön. Työ osoittaa kypsää ja luovaa ajattelua. Argumentaatio on tieteellisen täsmällistä eli lukijan on helppo seurata kirjoittajan päättelyketjua. Muutoinkin tieteellisen kirjoittamisen muotoseikat ovat moitteettomat. Kieliasu on viimeistelty, teksti on hyvää ja elävää standardikieltä. 14 7
Jos osaamistavoitteet on määritelty vaadittavan osaamisen minimitasolle, arvioinnilla on osoitettava, miten hyvin kukin osaamistavoite on saavutettu Esim. SOLO-taksonomiaa soveltaen Muita mahdollisia lähtökohtia: Dualistinen ajattelutapa - > relativistinen ajattelu Ajattelun abstraktiotaso??? 15 Esimerkki: Kasvatustieteen ja aikuiskasvatustieteen arviointikriteerit (Kasvatustieteiden laitos) Arvosana Arvostelun perusteet 1 Yksirakenteinen Opiskelija on käsitellyt vastauksessaan vain yhtä tai vain hyvin harvoja asian kannalta relevantteja seikkoja. Ymmärtäminen on nimellistä. 2-3 Monirakenteinen Opiskelija tarkastelee asiaa monista eri näkökulmista, tuo esiin useita relevantteja aspekteja, mutta käsittelee niitä irrallaan toisistaan. Ymmärtäminen on asian kokonaisvaltaista hahmottamista, jossa ei vielä ole erittelevää otetta. 3-4 Relationaalinen Asiaa käsitellään monista näkökulmista, jotka kytketään toisiinsa ja niitä eritellään. 4-5 Laaja abstrakti (korkein oppimisen taso) Kuten edellinen. Lisäksi opiskelija laajentaa asian käsittelyä annetun informaation ulkopuolelle esimerkiksi tekemällä yleistyksiä, tarkastelemalla asiaa käsitteellisellä tasolla, tuomalla esiin erilaisia ratkaisuvaihtoehtoja tai pohtimalla asiaa sekä teoreettisesti että teoriaa käytäntöön soveltaen. 16 8
Osaamistavoitekohtaiset arviointikriteerit Opintojakson tavoitteet Osaamisen taso 1 2 3 4 5 Osaamistavoite 1 Osaamistavoite 2 Osaamistavoite 3 Esim. http://www.feto.fi/arv_fil_taulukko.htm 17 Arviointikriteereitä laatimaan 1. Jo olemassa olevien mutta kirjoittamattomien arviointikriteerien kirjoittaminen näkyviin 2. Ko. arviointikriteerien suhteuttaminen osaamistavoitteisiin ja niiden muokkaaminen 3. Kokeilu ja kokemusten kerääminen -> edelleen kehittäminen 18 9
Tehtävä Laatikaa pienryhmissä arviointikriteerit (esim.) niille kursseille, joihin edellisellä kerralla laadittiin osaamistavoitteet 19 10