Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 1/8

Transkriptio

1 Sisällysluettelo Teemaryhmä 4: Tutkimuksellisia välineitä opiskelun ja oppimisen arviointiin... 2 Sessio I: Lokikirjojen käyttö arviointimenetelmänä TIM ja Velpit Opetuksen, opinto-ohjauksen ja opiskelijoiden haltuunoton kehittäminen opiskelijakyselyiden tuloksia hyödyntäen... 4 Sessio II: Opiskelijapalaute työkaluna fysiikan yliopisto-opetuksen kehittämisessä Yliopisto-opiskelijan toimijuus - tutkimusmenetelmä ja työkalu pedagogiikan ja oppimisympäristöjen kehittämiseen Pedagogiset käytännöt ja geneeriset taidot Itsearviointiin perustuvan mittarin kehittäminen... 7 Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 1/8

2 Teemaryhmä 4: Tutkimuksellisia välineitä opiskelun ja oppimisen arviointiin Sessio(t):2 Puheenjohtajat: Päivikki Jääskelä ja Päivi Tynjälä Sessio I: 1. Lokikirjojen käyttö arviointimenetelmänä Kaisu Rättyä, Tero Juuti Itä-Suomen yliopisto, Soveltavan kasvatustieteen ja opettajankoulutuksen osasto; Tampereen teknillinen yliopisto, Kone ja tuotantotekniikka Pohdimme lokikirjan käyttöä opiskelijan tiedon muutoksen arviointimenetelmänä ja opettajan opetuksen kehityksen työkaluna. Tiedon oppimista arvioidaan usein tenttien, esseiden tai portfolioiden avulla. Opiskelijat suorittavat opintoja, johon kuuluu käsitteellisen tiedon lisäksi soveltavaa taitoa. Selvitämme, miten soveltavaa taitoa arvioidaan lokikirjan avulla. Tarkastelemme myös, miten arviointimenetelmä voi auttaa opettajan työssään kehittymistä. Tutkimusstrategia on opetuksenkehittämistutkimus, joka kohdistuu lokikirjojen kehittämiseen arviointimenetelmänä. Pilottivaiheessa keväällä 2015 kehitettyä lokikirjamallia kehitettiin nelipalstaiseksi malliksi. Toisessa vaiheessa syksyn 2015 opintojaksolla malliin liitettiin uuden opintojakson arviointikriteerit ja lokikirjan kirjoittamisen ohjeistus uusittiin. Aineistona on 72 luokanopettajaopiskelijan lokikirjaa, joita tarkastellaan aineistolähtöisen sisällönanalyysin keinoin. Alustavien tulosten mukaan opiskelijat reflektoivat lokikirjassa paitsi opittuja sisältöjä myös oppimistilanteita ja niissä käytettyjä työskentelytapoja ja oppimateriaaleja. Lokikirja eroaa tekstilajina muista arviointimenetelmistä, sillä sen rakenteellisuus (palstamaisuus) ohjaa opiskelijaa tarkastelemaan opintojaksolla työskentelyä paitsi sisällöllisesti myös työmenetelmien, käytetyn ajan ja omien kokemusten osalta. Tämä oli ainedidaktisessa näkökulmasta sekä opetuksen kehittämisen kannalta merkittävää, sillä siten päästiin käsiksi opiskelijoiden ymmärrykseen opintojakson aikana käytetyistä työmenetelmistä ja niiden sovellettavuudesta omaan tulevaisuuden työhön. Kestävän arvioinnin kehyksessä (Boud & Soler 2015) tämä kannustaa lokikirjan käyttöön arviointimenetelmänä. Opiskelijan lokikirjaan kirjaama ehdotus numeraalisesta arvosanasta ohjasi häntä perustelemaan Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 2/8

3 oppimisprosessin etenemistä. Opettajalle paljastuivat lokikirjoista oppilaille merkitykselliset oppimistilanteet ja käytettyjen tehtävien toimivuus. Lähteet: Boud, D. & Soler, R Sustainable assessment revisited. Assessment & Evaluation in Higher Education, 41: 3, Arviointimenetelmät, lokikirjat, kestävä arviointi, tiedon prosessoinnin tasot, ainedidaktiikka 2. TIM ja Velpit Vesa Lappalainen Jyväskylän yliopisto / Tietotekniikan laitos Isojen opiskelijamassojen palautteen antaminen on työlästä ja välillä vaikeata pitää tasoa samana. Osa arvioinnista voidaan hoitaa vertaispalautteena jos on hyvät kriteeristöt. Tavoitteena on nopeuttaa opettajan työtä palautteen annossa ja arvioinnissa. Osa tehtävistä voidaan arvioida automaattisesti (monivalinnat yms.), mutta osassa tehtävistä on pakko käyttää inhimillistä työvoimaa. Mikäli arvioitavia on satoja, on opettajan työmäärä lähes mahdoton. Velpit (Virtuaaliset Esipainetut Liukkaat PostIT laput) on apu nopeuttaa ja standradisoida arviointia. Opettaja voi tehdä tehtäväkohtaisesti valmiin joukon "korjauskriteerejä" (1 kriteeri=velppi, positiivisia, neutraaleja tai palautteita) joita voidaan sitten hiirellä vetää opiskelijan vastauksen päälle oikeaan kohtaan. Toki "esipainettuun" voi kirjoittaa vielä lisäkommentteja. Valmiin kriteeristön ansiosta korjaustyötä voidaan antaa tehtäväksi vertaispalautteena. Velpit toiminto valmistuu TIM-järjestelmään keväällä Etukäteen se on herättänyt kovasti kiinnostusta opettajissa. Esimerkiksi useamman opiskelijan samaan kohteeseen "sokkona" tekemä vertaisarviointi antaa aikaan viitteitä siitä, voidaanko vertaisarviointia käyttää varsinaisen arvioinnin perusteena. Tosin nykyisinkin esimerkiksi tietotekniikan kursseissa osa arvioinnista perustuu opiskelijoiden itsearviointiin ja Velppien avulla tätäkin voidaan paremmin strukturoida. Nykyisillä opiskelijamassoilla (kurssi voi olla yli 300 opiskelijaa) henkilökohtainen palaute on jäänyt vähiin. Velppien avulla tuntiopettajien on mahdollista antaa vertailukelpoista palautetta opiskelijoille. Aika siis näyttää voiko vertaisarviointiakin käyttää tähän jos se on Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 3/8

4 riittävän strukturoitua. Vertaisarviointiin tulenee "veto"-oikeus, eli jos opiskelija on tyytymätön saamaansa vertaispalautteeseen, voi hän "hälyttää" opettajan tarkistamaan arviointia. Tästäkin kokemukset näyttävät että tuleeko näitä hälytyksiä liikaa vai liian vähän. Ja sitten erityisesti vertailut aikaisempiin vastaaviin kursseihin tulevat osoittamaan onko arviointeihin käytetystä työstä vastaava hyöty verrattuna itsearviointeihin. Näiden tietojen perusteella voidaan jatkossa sitten säätää arviointien määrää ja tekijöitä. Itsearviointi ainakin tulee jäämään osaksi toimintaa. TIM. arviointikriteerit, velppi 3. Opetuksen, opinto-ohjauksen ja opiskelijoiden haltuunoton kehittäminen opiskelijakyselyiden tuloksia hyödyntäen Virpi Riissanen, Mari Martinmaa Aalto-yliopiston insinööritieteiden korkeakoulu Aalto-yliopiston insinööritieteiden korkeakoulun opiskelijoille lähetetään kaksi fuksikyselyä 1. lukuvuonna. Lisäksi kandidaattiopiskelijoille lähetään opiskelijakyselyt 2. ja 3. lukuvuonna. Kyselyjen avulla saadaan tietoa siitä, miten motivoituneita ja sitoutuneita opiskelijat ovat ja ovatko he löytäneet paikkansa korkeakoulussa ja opiskelijakavereiden keskuudessa. Taustaajatuksena on, että opiskelijoiden ryhmäytyminen ja korkeakouluyhteisöön sitoutuminen ja motivoituminen tukevat opintomenestystä. Fuksikyselyn avulla selvitetään 1. vuoden opiskelijoiden kokemuksia ja ajatuksia opiskelusta ja oppimisesta. Toisen ja kolmannen vuoden opiskelijoille suunnatussa kyselyssä selvitetään opiskelijoiden kokemuksia ja ajatuksia opiskelusta ja oppimisesta. Kyselyt ovat osa opiskelijan proaktiivista turvaverkkoa ja oppimispalveluiden kohdennettua palvelutuotantoa. Kyselyiden tuloksia käytetään korkeakoulun opetuksen sekä opintojen ohjauksen kehittämiseen. Syksyn 2015 fuksikyselyn perusteella näyttää siltä, että opiskelijoiden vastaanotto on sujunut hyvin ja opiskelijat ovat asettaneet tavoitteensa ensimmäisen opiskeluvuoden ja tutkinnon suorittamiseen käytettävän ajan osalta korkealle. Syksyn fuksikyselyn mukaan 56,6 % ilmoitti vastaanoton sujuneen erinomaisesti ja melko hyvin 37,9 %. Opiskelijat osoittivat Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 4/8

5 aloittavansa opinnot varsin määrätietoisina, sillä 90 % ensimmäisen vuoden opiskelijoista aikoo valmistua tavoiteajassa. 2. vuoden kysely on antanut korkeakoulullemme tietoa siitä, että opiskelijoiden opiskelumotivaatio on pysynyt edelleen korkeana, yli 71 % aikoo valmistua tavoiteajassa. 3. vuoden kyselystä käy ilmi, että suurin osa vastaajista aikoo suorittaa opintopistettä lukuvuoden aikana ja aikoo valmistua tavoiteajassa. Edellä mainituissa kyselyissä opiskelijat ovat saaneet tuoda esiin, millaista palvelua he kokevat tarvitsevansa. Opiskelijoiden vastausten perusteella he ovat saaneet kohdennettua palvelua eri palvelutuotteiden kautta: ohjaustapaaminen, työpaja ajankäytöstä tai ohjaava sähköpostiviesti. Lisäksi kohdennettua opinto-ohjausta tarjotaan opiskelijoille, jotka tarvitsevat monia palveluita tai joiden opinnot ovat hidastuneet. Opiskelijat ovat hyödyntäneet hyvin kohdennetun palvelun tarjoamat mahdollisuudet. Opiskelijakyselyt, opetuksen ja opinto-ohjauksen kehittäminen, opiskelijoiden haltuunotto, akateeminen ohjaus Sessio II: 1. Opiskelijapalaute työkaluna fysiikan yliopisto-opetuksen kehittämisessä Ilkka Hendolin Helsingin yliopisto, Fysiikan laitos Kurssipalautteiden hyödyntämistä kurssien ja opintokokonaisuuksien kehittämisessä käsitellään fysiikan perus- ja aineopintojen kontekstissa. Samalla esitetään keinoja tehostaa palautteen keräämistä ja käsittelyä. Kurssipalautetta kerätään opetuksessa yleisesti, mutta sen järjestelmällinen hyödyntäminen ei ole yhtä tavallista. Usein palaute jää vain opettajan käyttöön, jolloin osa sen sisältämästä tiedosta jää hyödyntämättä. Keskitetysti kerätyistä ja analysoidusta palautteista voidaan saada huomattavasti tietoa opetuksen kehittämisen tueksi. Helsingin yliopiston Fysiikan laitoksella peruskurssien palaute on käsitelty keskitetysti jo viiden lukuvuoden ajan. Palautedatan tilastollinen analyysi on luonut kuvaa opetukseen tehtyjen muutosten vaikutuksista opiskelijoiden tyytyväisyyteen, mielipiteisiin, kuormitukseen sekä oppimiseen. Data on yhdistetty myös kurssituloksiin sekä opiskelijoiden taustatietoihin ja kysymyspatteriston sisäistä rakennetta on selvitetty faktorianalyysilla. Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 5/8

6 Järjestelmän toimivuutta on arvioitu ensi käden kokemusten ja opettajilta saadun palautteen perusteella. Kurssipalautteiden keskitetty käsittely on toiminut hyvin. Opiskelijoiden motivoinnin ja palautejärjestelmän läpinäkyvyyden ansiosta palautetta on antanut yli 90 % kursseille osallistuneista. Opettajat ovat olleet hyvin tyytyväisiä laitoksen opetuksen tuntevan henkilön tekemiin palauteanalyyseihin ja niihin perustuviin kehitysehdotuksiin. Oleellista järjestelyn hyvän vastaanoton kannalta on ollut, että palaute on kerätty laitoksen oman opetushenkilökunnan toimesta ja nimenomaan opetuksen kehitystä silmällä pitäen. Laajan, pitkittäisen kurssipalautedatan analyysi on paljastanut joukon ilmiöitä, jotka kurssikohtaisessa käsittelyssä jäisivät helposti piiloon: Usean lukuvuoden mittaiset aikasarjat osoittavat esimerkiksi että luennoitsijan pitkäaikainen kiinnittäminen samalle kurssille parantaa opetuksen laatua selvästi. Huomattavia vaikutuksia on myös avustavien opettajien koulutuksella. Kurssikirjan ja oppisisältöjen vaihtumisen taas on havaittu heikentävän kurssin laatua tilapäisesti opettajien totutellessa uuteen materiaaliin. Tyytyväisyyden vaihtelu ei näytä heijastuvan oppimistuloksiin, mutta tyytyväisyyden paraneminen vaikuttaisi olevan yhteydessä vähentyneeseen kurssien keskenjättöön. Kaiken kaikkiaan kehitystarpeiden paikallistaminen on helpottunut kun yksittäisten kurssien palaute on voitu suhteuttaa yleiseen tasoon. Tämä on johdonmukaistanut opetuksen kehittämistä ja estänyt huonojen opetuskokeilujen tarpeetonta toistamista. Fysiikan laitoksella opiskelijapalaute on nykyään keskeinen työkalu opetuksen kehittämisessä. Opetuksen tarpeista lähtevä palautejärjestelmä tuottaa samalla myös laitos- ja tiedekuntatasolla hyödynnettävissä olevaa tietoa opiskelusta ja opiskelijoista. Opiskelijapalaute, palaute, yliopisto, fysiikka 2. Yliopisto-opiskelijan toimijuus - tutkimusmenetelmä ja työkalu pedagogiikan ja oppimisympäristöjen kehittämiseen Päivikki Jääskelä Jyväskylän yliopisto, Opettajankoulutuslaitos Jyväskylän yliopiston opetuksen kehittämishankkeessa kehitettiin yliopisto-opiskelijan toimijuutta mittaava kyselylomake (Jääskelä, Poikkeus, Vasalampi, Valleala & Rasku- Puttonen, 2016) välineeksi pedagogiseen kehittämiseen ja tutkimukseen. Toimijuus nähdään olennaisena osana elinikäistä oppimista ja työelämän asiantuntijuutta. Sitä Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 6/8

7 ei kuitenkaan systemaattisesti tueta yliopistokoulutuksessa. Opetus- ja oppimistilanteiden arviointiin kaivataan uudenlaisia menetelmiä, joiden avulla opiskelijoiden toimijuuden kokemuksia voidaan tunnistaa. Toimijuus käsitteellistettiin yliopistokoulutuksen kontekstissa opiskelijan kokemuksena käytössään olevista yksilöllisistä, sosiaalisista tai kontekstuaalisista resursseista, jotka edistävät tai estävät merkityksellistä oppimista. Käsitteellistämisen pohjalta kehitettiin opiskelijan itsearviointiin perustuva kyselylomake, jota testattiin eri tiedekuntien kursseilla (n=239). Mittarin rakennetta tutkittiin faktorianalyysien (EFA ja CFA) avulla. Validointityön tuloksena rakentui 10 ulottuvuutta sisältävä malli, jonka avulla voidaan tarkastella kurssikohtaisesti opiskelijan toimijuuden rakennetta. Ulottuvuuksia ovat 1) Kiinnostus ja motivaatio, 2) Kompetenssiuskomukset, 3) Minäpystyvyys, 4) Osallistumisaktiivisuus, 5) Tasavertainen kohtelu, 6) Opettajan tuki, 7) Vertaistuki, 8) Luottamus, 9) Vaikuttamismahdollisuudet ja 10) Valinnanmahdollisuudet. Faktoreiden sisäinen luotettavuus Cronbachin alfa -kertoimella arvioituna vaihteli välillä.74 ja.91. Esityksessä kuvataan toimijuuskyselyn sisältöä, sovellusmahdollisuuksia ja jatkokehittämistyötä sekä ensimmäisiä tuloksia opiskelijoiden toimijuuden kokemuksista. Tilaisuudessa pohditaan myös toimijuuden vahvistamisen mahdollisuuksia ja haasteita yliopistokoulutuksessa. Erityisen kiinnostavia kysymyksiä ovat, miten pedagogiikalla voidaan vahvistaa opiskelijan toimijuuskokemuksia sekä millainen oppimisympäristön kurssirakenne sekä pedagoginen tai teknologinen toteutus on yhteydessä opiskelijoiden vahvaan toimijuuskokemukseen. Opiskelijan toimijuus, pedagogiikan kehittäminen, arviointi 3. Pedagogiset käytännöt ja geneeriset taidot Itsearviointiin perustuvan mittarin kehittäminen Anne Virtanen, Päivi Tynjälä Jyväskylän yliopisto; Opettajankoulutuslaitos, Koulutuksen tutkimuslaitos Geneeristen taitojen oppimista voidaan edesauttaa erilaisten pedagogisten toimintatapojen ja käytäntöjen avulla (Kember, 2009; Tynjälä ym., 2016; Virtanen ym., 2014). Geneeristen taitojen rooli korostuu entisestään tulevaisuuden työelämässä toimimisessa ja Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 7/8

8 kansalaisena elämisessä (Ahonen & Kinnunen, 2015; Binkley ym., 2012; Oivallus, 2011). Sen vuoksi olisi tunnettava paremmin, miten niiden oppimista ja kehittymistä voitaisiin tukea. Tässä tutkimuksessa tarkastellaan mittaria, joka on suunniteltu geneeristen taitojen oppimista tukevien pedagogisten käytäntöjen hahmottamiseksi. Tarkasteltava kyselylomakkeen osa perustuu konstruktivistisen oppimisympäristön (mm. Loyens & Gijbels, 2008; Tynjälä, 1999) ja integratiivisen pedagogiikan mallin (mm. Tynjälä, 2008) piirteisiin. Kummatkin lähtökohdat ovat osoittautuneet lukuisissa, eri konteksteissa toteutetuissa tutkimuksissa oppimista tukeviksi ja edistäviksi toimintatavoiksi (esim. Kwan & Wong, 2014; Tynjälä ym., 2016). Toteutimme eri tieteenalojen yliopisto-opiskelijoilta (N=163; n=123) kerättyyn aineistoon faktorianalyysin (GLS, Varimax) mittarin osaan, joka tarkasteli konstruktivistista oppimisympäristön ja integratiivista pedagogiikan mallin piirteitä (yhteensä 24 piirrettä). Alustava faktoriratkaisumme ekstraktoi neljä faktoria, joiden selitysosuudet olivat % (faktori 1), % (faktori 2), (faktori 3) ja (faktori 4). Malli sopii aineistoon hyvin (KMO =.89; Bartlett χ2 = 1904,221, p =.001). Faktorille 1 latautuivat konstuktivististisen oppimisympäristön piirteet, joissa kokemusten jakaminen ja aiemman tiedon hyödyntäminen ovat keskiössä (mm. omakohtaisten kokemusten jakamista, muiden opiskelijoiden kokemuksista oppimista, opiskelijoiden aikaisemman tiedon hyödyntämistä). Faktorille 2 latautuivat kriittisen näkökulman kehittämiseen tähtäävät muuttujat (mm. teorioiden kriittistä arviointia opettajan toimesta, asioiden tarkastelua erilaisista näkökulmista, erilaisten teorioiden vertailua). Faktorille 3 latautui intergatiivisen pedagogiikan piirteitä (mm. teorian soveltamista käytäntöön, teorian ja käytännön yhdistämistä, tuttujen ilmiöiden tarkastelu teoriatiedon avulla). Faktorille 4 latautui metakognitiivisia taitoja (mm. palautteen saamista, palautteen antamisen harjoittelua, arviointitaitojen kehittämistä). Mittari/kyselylomake, faktorianalyysi, konstruktivistinen oppimisympäristö, integratiivinen pedagogiikka Teemaryhmä 4: Tutkimuksellisia välineitä oppimisen ja opiskelun arviointiin 8/8