Kohti uutta palautekulttuuria. Opiskelijapalautekäytännöt ja niihin liittyvät prosessit Jyväskylän yliopistossa. Soile Koriseva ja Milla Minkkinen 20.3.2012 Pro gradu - tutkielma
Tietoa tutkimuksesta Tutkimuksen tarkoitus: nykytilan kuvaus palautejärjestelmien kehittämistä varten Tulevaisuudessa palautteella tullee olemaan aiempaa suurempi merkitys yliopistojen saamaan perusrahoitukseen, koska opetus- ja kulttuuriministeriön työryhmän esityksessä yliopistojen uudeksi rahoitusmalliksi ehdotetaan, että vuodesta 2015 alkaen 3 % perusrahoituksesta jaettaisiin opiskelijapalautejärjestelmän avulla. Tämä kuitenkin edellyttää, että kaikissa yliopistoissa olisi käytössä valtakunnallinen, yhteinen opiskelijapalautejärjestelmä. (Opetus- kulttuuriministeriö 2011, 38.) Tämän vuoksi myös yksittäisten yliopistojen on hyvä kehittää palautejärjestelmiään ja pohtia mahdollisesti yhtenäisempien järjestelmien käyttöönottoa, jotta työryhmän esityksessä mainittu valtakunnallinen opiskelijapalautejärjestelmä olisi toteutettavissa ja hyödynnettävissä myös paikallisesti. Kohdejoukkona henkilöt, joiden toimenkuvaan kuului opetus ja/tai sen organisointi Mukana kaikki tiedekunnat ja avoin yliopisto Aineisto kerättiin: Kyselylomakkeella (N=319) Haastatteluilla (N=8), opintoasiainpäälliköt tai vastaavassa tehtävässä työskentelevät
Tutkimuskysymykset 1) Millä tavalla kurssipalautetta kerätään ja hyödynnetään sekä mitä haasteita palautetoimintaan liittyy Jyväskylän yliopistossa? 2) Minkälaisina palautetoimintaa määrittävät osa-alueet näyttäytyvät Jyväskylän yliopistossa? Osa-alueet ovat: arviointiote (kehittävä vrs. perinteinen arviointi), laatukulttuuri, kehittäminen sekä hyvän opetuksen määrittely ja oppimiskäsitykset. Tutkimuksen keskeinen tarkoitus oli kuvata Jyväskylän yliopiston ja avoimen yliopiston opiskelijapalautetoiminnan nykytilaa lukuvuonna 2009 2010. Kartoitus pohjautui ensisijaisesti ensimmäiseen tutkimuskysymykseen ja sitä taustoitettiin toisen tutkimuskysymyksen avulla. Kyselylomake sisälsi osioita kaikista tutkimuskysymyksien aiheista ja haastatteluissa paneuduttiin ensimmäisen tutkimuskysymyksen teemoihin ja lisäksi arviointiin sekä laatukulttuuriin
Palautteen keruu Palautetta kerättiin eri tavoin Yleisin tapa: keskustelu kurssin aikana tai sen jälkeen helpoin (?) tapa Toiseksi suosituin: itse laadittu palautelomake Yhteisten lomakkeiden hyödyntäminen vähäistä Verkossa täytettävistä lomakkeista hyödynnettiin lähinnä vain Korpin tarjoamia mahdollisuuksia Kuitenkin parhaaksi tavaksi kerätä palautetta mainittiin kirjallinen palaute (ristiriita käytännön ja ideaalin välillä) Paras ajankohta koota palautetta oli vastaajien mielestä kurssin loppupuoli tai sen jälkeen Vaikka palautetta kerättiin ahkerasti, käytössä oli usein vain yksi palautteenkeruutapa
Palautteen hyödyntäminen ja käsittely Opetuksen kehittämiseen palautetta käytettiin aina tai pääsääntöisesti annetulla palautteella on aina merkitystä Palautteen laatu? Palautetta hyödynnettiin vaihtelevin käytäntein Hiukan yli puolet tutkittavista käytti palautetta vain itse Puolet vastaajista käsitteli sitä laitoksen opettajien kesken Palautteen keruun motiivina yleisimmin oman toiminnan arviointi ja kehittäminen Kerätyn palautteen käsittely ja mahdollinen toiminnan kehittäminen sen avulla eivät näkyneet palautteen antajille! Selkeät, yhtenevät, opiskelijoille näkyvät palautteenkäsittelykanavat siis puuttuvat negatiivinen kierre
Palautteen hyödyntäminen ja käsittely: palautteen näkyvyys Palautteen käsittely ja sen hyödyntäminen näkyivät harvoin palautteen antajalle ongelma: negatiivinen kierre, joka ruokkii itseään. Opettajien mielestä opiskelijat eivät anna tarpeeksi käyttökelpoista palautetta. Toisaalta opiskelijat eivät anna palautetta siitä syystä, että he kokevat, että sillä ei ole merkitystä. Jos tehdyt kehittämistoimenpiteet näkyisivät opiskelijoille, myös palautteen antoaktiivisuus saattaisi nousta Palautteen pitää näkyä opiskelijoille ja palauteprosesseja täytyy kehittää jatkuvasti, jotta opiskelijat sitoutuvat palautteen antamiseen (Venna 2005)
Uusi palautekulttuuri Opintoasiainpäälliköt: uudenlaisen palautekulttuurin muodostaminen toiveena palaute luonnollisena osana kaikkien palauteprosessiin osallistujien toimintaa uudenlainen palautekulttuuri voisi koostua mm. palautteen antaminen luonnollisena osana opiskelua (opiskelijat) palautteen kerääminen ja hyödyntäminen luonnollisena osata omaa toimintaa (opettajat) yhteiset palautteen käsittelytavat nykyistä yhtenäisemmät opiskelijapalautejärjestelmät Lisäksi jotta toimivaan palautteenantokulttuuriin on mahdollista päästä, keskeistä on kehittää erityisesti palautteen avulla kehitetyn toiminnan näkymistä palautteen antajalle
Yhteiset käytännöt Oap:t: yliopistotason järjestelmän rakentaminen nähtiin tarpeellisena, mutta samalla painotettiin, että tarvitaan muitakin palautejärjestelmän tasoja ratkaisuksi ehdotettiin esimerkiksi lomaketta, jossa olisi kaikille yhtenäinen perusosa ja sen lisäksi koulutusalakohtaisesti muokattava osa Erityisesti kaivattiin yhteisiä koko yliopiston tasolla noudatettavia menettelytapoja esimerkiksi linjauksia siitä, miten palautetta tulisi käsitellä ja kuinka julkista sen pitäisi olla Ongelma palautteen näkyvyydessä sen antajalle tuli esiin myös tässä kohdassa, kun opintoasiainpäälliköt peräänkuuluttivat yhteisiä käytänteitä palautteen käsittelyyn ja sen julkisuuteen liittyen
Päätuloksia ja niiden tulkintaa Kehittävä ja perinteinen arviointi Tutkimuksessa arviointia tarkasteltiin perinteisen ja kehittävän arvioinnin määritelmien mukaan Kyselylomakkeen vastaajien mielipiteissä korostuivat vahvasti kehittävän arvioinnin piirteet Arviointitoiminnan liikkeelle paneva voima oli tutkimuksen mukaan toiminnan kehittäminen Yksi keskeinen kehittävän arvioinnin ominaisuus ei korostunut yhtä paljon kuin muut: arviointi toimintaa läpileikkaavana prosessina Jyväskylän yliopistossa olisikin hyvä tarkastella toiminnan jatkuvuutta Esimerkiksi palautteen keruu ajoittuu yleensä kurssin loppuun, joten toiminnasta puuttuu kehittävälle arvioinnille ominainen jatkuvuus ja prosessinomaisuus.
Laatu Laatua tarkasteltiin esimerkiksi Harveyn & Greenin (1993) sekä Ursinin (2007) jaottelujen mukaan Tulosten tulkinnassa otettava huomioon rajoitteet koulutuskontekstissa Kyselylomakkeeseen vastanneiden keskuudessa laadun määrittely tarkoituksenmukaisuutena, oikeudenmukaisuutena ja tasavertaisuutena painottuivat eniten Tarkoituksenmukaisuuden painottuminen oli luonnollista, koska yliopistossa on perinteisesti arvioitu paljon erilaisten, asetettujen tavoitteiden toteutumista Oikeudenmukaisuus ja tasavertaisuus universaaleina arvoina Vähiten puolestaan korostuivat laatu tuottavuutena sekä säännönmukaisuutta ja virheettömyyttä Näille laatuperspektiiveille yhteistä oli laadun todentaminen erilaisten standardien avulla oletus laadun helposta mitattavuudesta ei sovi yliopistokontekstiin Kun tarkasteltiin keskeisimpiä laatukulttuurin piirteitä vastaajien laitoksella, havaittiin, että niitä ei ollut vaikka laadusta puhutaan paljon ja laatutyötä tehdään yliopistoissa, laatu-käsite on epämääräinen eikä sitä osata välttämättä määritellä
Yhteenvetoa arvioinnista ja laadusta Kaiken kaikkiin arviointiin ja laatukulttuuriin liittyvien kysymyksien vastausten pohjalta voitiin todeta, että palautekäytännöissä ja toiminnassa oli paljon eroavaisuuksia tutkimukseen osallistuneiden henkilöiden kesken Arviointiin ja laatukulttuuriin liittyvissä vastauksissa oli paljon ei osaa sanoa tämä voi osaltaan kertoa siitä, että vastaaja ei yksinkertaisesti tiennyt kysytyistä asioista ja ilmiöistä tai sitten he eivät jaksaneet vastata kysymyksiin kunnolla. Jos kyseessä on tietämättömyys, voidaan yleisesti pohtia, kuinka hyvin laatukulttuuri on jalkautunut ja konkretisoitunut Jyväskylän yliopistossa Lisäksi henkilökunnan mielipiteissä korostui vahvasti kehittävän arvioinnin piirteet Tämä oli oletettavissa korkeakoulupolitiikan linjausten ja niiden myötä korkeakouluissa muodostuneiden arviointitrendien perusteella perinteisestä arvioinnista on siirrytty kohti kehittävää arviointia
Kehittäminen Tutkimus siis osoittaa, että suhteellisen suuri osa Jyväskylän yliopiston tutkimukseen osallistuneista henkilöistä ei tiedä, mitä asioita opetuksen kehittämistyöryhmässä on mahdollista käsitellä ja kehittää (esimerkiksi vajaa neljännes tutkittavista ei tiennyt, onko ryhmää edes olemassa) Kehittämistyön konkretisoitumisen kannalta on merkittävämpää, että henkilökunta tietää ryhmän toimintatavoista kuin vain sen olemassaolosta. Kurssipalautteiden keräämisen kehittäminen viimeisen kolmen vuoden aikana oli kohdentunut erityisesti erilaisten lomakkeiden ja kyselyiden kehittämiseen ei tuotu juuri esiin systemaattista kurssipalautteen kehittämistyötä Tutkimuksen perusteella voidaan sanoa, että suurempien kuin vain kurssikohtaisten kokonaisuuksien arviointi oli melko vähäistä Kysyttäessä, miten tutkittavat halusivat kurssipalautteen keräämistä kehitettävän, eniten korostettiin palautteen merkityksen nostamista (erityisesti opiskelijoiden vastausprosentin nostamista sekä palautteen hyödyntämistä ja käsittelyn näkyväksi tekemistä) Yhteistä palautejärjestelmää sekä toivottiin että kauhisteltiin lähes yhtä paljon Huomionarvoista oli, että yhteiseen palautejärjestelmään liittyvät vastausten yksityiskohdat keskittyivät lähinnä lomakkeen muotoiluun eikä tutkittavat esimerkiksi ottaneet kantaa palautteen käsittelyyn tai hallinnollisiin toimenpiteisiin
Hyvä opetus Kaiken kaikkiaan Jyväskylän yliopiston henkilökunnan mielestä tarkastellut hyvän opetuksen piirteet olivat melko tai erittäin tärkeitä Hyvän opetuksen piirteistä opettajaan itseensä kohdistuvia ominaisuuksia, kuten myönteinen asenne, pidettiin tärkeämpinä kuin opiskelijoihin liittyvää toimintaa, esimerkiksi palautteeseen reagoimista Tiedusteltaessa hyviä ominaisuuksia eri opetusmuodoille tavoitteellisuutta ja opetuksen tavoitetta ei mainittu kuin vain muutaman hajamaininnan verran Tämä on melko odottamatonta, koska kuitenkin nykyään koulutuksen kentällä korostetaan opetuksen tavoitteellisuutta ja sen suhdetta hyvään, laadukkaaseen ja onnistuneeseen arviointiin. Kuitenkin opintoasiainpäälliköt toivat tavoitteellisuuden vahvasti esiin koskien organisaatiotason toimintaa
Oppimiskäsitykset Vastaajat olivat enemmän konstruktivistisia kuin behavioristisia näkemyksiltään Jyväskylän yliopiston henkilökunnan näkemyksissä korostui siis opiskelijan aktiivinen rooli oppimisessa ja opettajan rooli suotuisten oppimistilanteiden luojana Lisäksi tutkimuksessa selvitettiin, erosivatko tiedekuntien edustajat oppimiskäsitystensä suhteen tiedekuntien edustajien välillä oli tilastollisesti erittäin merkitseviä keskiarvoeroja sekä konstruktivismi- että behaviorismisummamuuttujan suhteen. Kuhn (1970, Ylijoen 2004 mukaan), Biglan (1973a, 1973b) ja Kolb (1981) ovat todenneet, että eri tieteenaloilla vallitsevat erilaiset näkemykset oppimisesta, koska niillä on erilaiset alakohtaiset tiedekulttuurit Koska käsityksissä on eroavaisuuksia, on luonnollista, että se voi heijastua myös käytännön toimintaan ja ratkaisuihin oppimiskäsityseroista johtuen siis myös palautekäytännöissä tai -toiminnassa voi olla eroja nämä mahdolliset erot on otettava huomioon kehitettäessä opiskelijapalautejärjestelmiä Jyväskylän yliopistossa.
Yhteenvetoa Ongelmalliseksi osoittautui siis palautteen käsittelytapojen moninaisuus, vähäinen palautteen hyödyntäminen laitos- tai tiedekuntatasolla, palautteen ja sen merkityksen näkymättömyys opiskelijoille ja palautteen keräämisvastuun jääminen vain yksittäisen opettajan harteille Tärkeiksi koettiin yhtenäiset toimintamallit, erityisesti palautteen käsittelytapojen yhtenäisyys ja ylipäänsä palautteen hyödyntäminen sekä käsittely laitos- tai tiedekuntatasolla ja palautteen avulla kehitetyn toiminnan näkyminen palautteen antajille Näihin asioihin panostaminen voisi omalta osaltaan luoda uudenlaista palautekulttuuria, jossa palaute olisi luonnollinen osa kaikkien toimijoiden toimintaa
Lähteet Koriseva, S. & Minkkinen, M. 2012. Kohti uutta palautekulttuuria. Opiskelijapalautekäytännöt ja niihin liittyvät prosessit Jyväskylän yliopistossa. Kasvatustie teen ja aikuiskasvatustieteen pro gradu tutkielma. Julkaisematon. Harvey, L & Green, D. 1993. Defining quality. Assessment & Evaluation in Higher Education. 18, 9-34. Tulostettu 16.9.2011 (tulosteessa sivut 1-35) http://web.ebscohost.com/ehost/detail?vid=3&hid=14&sid=72949cac-8622-4800-94f5-b00323fe29da%40sessionmgr14&bdata= Biglan, A. 1973a. The Characteristics of Subject Matter in Difference Academic Areas. Journal of Applied Psychology 57, 195-203. Tulostettu 8.12.2009 Biglan, A. 1973b. Relationship between Subject Matter Characteristics and the Structure and Output of University Departments. Journal of Applied Psychology 57, 204-213. Tulostettu 8.12.2009 Kolb, D.A. 1981. Learning Styles and Disciplinary Differences. Teoksessa A. Chickering (toim.) The Modern American College. San Francisco/Washington/Lontoo: Jossey-Bass Publishers, 232-255. Opetus- ja kulttuuriministeriö. 2011. Laadukas, kansainvälinen, profiloitunut ja vaikuttava yliopisto ehdotus yliopistojen rahoitusmalliksi vuodesta 2013 alkaen. Opetus- ja kulttuuriministeriön työryhmämuistioita ja selvityksiä 26/2011. Tulostettu 30.11.2011 http://www.minedu.fi/export/sites/default/opm/julkaisut/2011/liitteet/okmtr26.pdf Ursin, J. 2007. Yliopistot laadun arvioijina: Akateemisia käsityksiä laadusta ja laadunvarmistuksesta. Jyväskylä: Koulutuksen tutkimuslaitos. Venna, M. 2005. (toim.) Ei kai palautetta turhaan kerättäisi opiskelijapalautteen kerääminen ja hyödyntäminen Helsingin yliopistossa. Helsingin yliopiston hallinnon julkaisuja 1/2005. Raportit ja selvitykset. Helsinki. Ylijoki, O-H. 2004. Akateemiset heimokulttuurit ja noviisien sosialisaatio. 4. painos. Tampere: Vastapaino.