Sisällysluettelo Teemaryhmä 11: Kuinka mitata opetuksen laatua?... 2 Sessio I:... 2 1. Kuinka OKM:n rahanjakomalli mittaa opetuksen laatua - opettajan näkökulmasta... 2 2. Pedagoginen toimintaympäristö opetuksen laadun mittarina... 3 3. Opiskelijapalaute - opetuksen laadun mittari?... 4 4. Vaihtoehtoiset opintojen suoritustavat ja vertaisarviointi opetuksen laadun takeina... 5 5. Laadukasta opetusta kenttätyössä... 6 Teemaryhmä 11: Kuinka mitata opetuksen laatua? 1/7
Teemaryhmä 11: Kuinka mitata opetuksen laatua? Sessio(t): 1 Puheenjohtaja: Terhi Ainiala Sessio I: 1. Kuinka OKM:n rahanjakomalli mittaa opetuksen laatua - opettajan näkökulmasta Erkki Pesonen Itä-Suomen yliopisto, tietojenkäsittelytieteen laitos, Kuopion kampus Yliopistojen tuloksen keskeinen mittari on opetus- ja kulttuuriministeriön rahanjakomalli. Miltä sen opetuksen laadun mittaus näyttää riviopettajan näkökulmasta? Opetus- ja kulttuuriministeriö on yliopistojen pääasiallinen rahoittaja, ja perustutkintokoulutuksen ainoa rahoittaja. Kun yliopistojen kehitetään, niin usein tavoitteena on rahanjaon optimointi yliopiston kannalta. Miten malli ohjaa tätä opetuksen näkökulmasta. Rahanjakomallin eri komponentteja tarkasteltiin riviopettajan näkökulmasta. Kuinka komponentit mittaavat riviopettajan työn laatua ja miten laatuun panostaminen näkyy mallin tuloksissa. Yliopistojen rahanjakomalli mittaa lähtökohtaisesti määrää eikä laatua. Mallin komponentit ovat pääosin määrällisiä suureita: suoritetut tutkinnot (30 %), suoritetut 55 op (12 %), suoritetut avoimen opetuksen opintopisteet (2 %). Tietyllä tavalla laadullisia komponentteja ovat valmistuneet työlliset (1 %) ja opiskelijapalaute (3 %). Näistäkin opiskelijapalautta käsitellään määrällisenä eikä laadullisena suureena. Jos opettaja haluaa vaikuttaa näihin komponentteihin, niin se on vaikeaa. Jos pitää tuottaa enemmän tutkintoja, niin pitäisi joko kehittää opetuksen laatua ja/tai päästää helpommin kursseista läpi; sama pätee 55 op suorittajiin. Kumpi kannattaa? Kummalla tavalla saa tuloksia vähemmällä rahalla? Lisäksi yksittäinen opettaja voi vaikuttaa vain oman kurssinsa opetukseen, mutta kokonaisen tutkinnon tai opintovuoden tulos on suuremman joukon yhteisponnistuksen tulosta. Vaikka yksittäinen opettaja tekisi kuinka erinomaista työtä, niin yksittäinen "ei-onnistunut" opettaja voi "tuhota" toisen tulokset. Mallin pinnallisen tarkastelun pohjalta riviopettajan kannattaa hoitaa opetus mahdollisimman helposti ja keskittyä tutkimuksen tekemiseen. Tämäkö on OKM:n tahto? Teemaryhmä 11: Kuinka mitata opetuksen laatua? 2/7
Opetuksen laatu, OKM rahanjakomalli 2. Pedagoginen toimintaympäristö opetuksen laadun mittarina Anne Nevgi Helsingin yliopisto, Yliopistopedagogiikan tutkimus- ja kehittämisyksikkö Tutkimuksen kohteena on pedagoginen toimintaympäristö ja sen laatu yliopistoissa. Kysymykset: Millaisin keinoin on mahdollista arvioida pedagogisen toimintaympäristön laatua? Miten pedagogista toimintaympäristöä voidaan kehittää? Pedagoginen toimintaympäristö sisältää: 1) opettajan tavoitteet ja pedagogisen kehittymisen mahdollisuudet, 2) tutkimuksen ja opetuksen käytäntöyhteisöt, 3) yliopiston ja sen laitosten opetushallinnon rakenteen ja resurssit. Pedagogisen toimintaympäristön tutkiminen systeemisenä kokonaisuutena tukee opetuksen laadun kehittämistä. Tutkimus on vasta alkamassa ja tavoitteena on kehittää tähän soveltuvia mittareita yhteistyössä Karolinska Institutet/Stockholm University kanssa. Opiskelijoiden kokemuksia oppimisympäristöstään on tutkittu paljon erilaisilla mittareilla ja tähän on kehitetty koko yliopistoa palvelevia oppimiskokemusten arviointijärjestelmiä (esim. HowULearn, HY). Opettajien kokemuksia pedagogisesta toimintaympäristöstään ei sen sijaan ole juuri tutkittu. Tutkimusmittareita on tarkoitus pilotoida yliopistopedagogisissa koulutuksissa. Tavoitteena on kehittää tutkimusmittaristo/järjestelmä, jonka avulla yliopistot voivat saada palautetietoa pedagogisen toimintaympäristön ongelmakohdista tiedekunnittain / laitoksittain. Lähtökohtana tutkimusmittariston kehittämiselle on Hollannissa kehitetty SPEED (http://www.ncbi.nlm.nih.gov/pubmed/26413836). Tutkimuksen avulla tavoitteena on saada tietoa 1) opettajien kokemista mahdollisuuksista kehittää itseään pedagogisesti osaavaksi opettajaksi ja edetä yliopistourallaan sekä tutkijana että opettajana, 2) millä tavoin opettajien lähiympäristö tukee heitä opetustyössä esimerkiksi millainen luottamus ja yhteisöllisyys vallitsee lähiympäristössä, miten opetusta suunnitellaan yhdessä, ja 3) miten toimintaympäristö on organisoitu ja esimerkiksi miten yliopiston opetushallinto tukee opettajien opetustyötä, millä tavoin toimintaympäristössä kohdataan ja toteutaan muutoksia, miten toimintaympäristö tukee sekä psyykkistä että fyysistä hyvinvointia. Tutkimuksen Teemaryhmä 11: Kuinka mitata opetuksen laatua? 3/7
tuloksena ymmärretään opetuksen laadun rakentumiseen vaikuttavia tekijöitä laajemmin pedagogisen johtamisen näkökulmasta ja niihin voidaan vaikuttaa esimerkiksi yliopiston strategisilla ja hallinnollisilla ratkaisuilla. Pedagoginen toimintaympäristö, pedagogiska miljö, educational environment, opetuksen laatu 3. Opiskelijapalaute - opetuksen laadun mittari? Sirkku Latomaa Tampereen yliopisto, Kieli-, käännös- ja kirjallisuustieteiden yksikkö Tarkastelen puheenvuorossani opiskelijapalautteen merkitystä opetuksen laadun arvioinnissa. Aineistoni on kerätty pilottihankkeessa, ja käsittelen saamiani tuloksia suhteessa aiheesta aiemmin tehtyihin tutkimuksiin. Aihe herättää tasaisin väliajoin keskustelua paitsi yliopistojen lounaspöydissä myös mediassa (esim. HS 28.3.2015). On esitetty, että opiskelijat eivätkä tiedä, mikä heidät saa oppimaan, eivätkä siksi osaa arvioida opetuksen laatua. Erityistä vastustusta on herättänyt palautteen käyttäminen rahoituksen mittatikkuna. Syksyllä 2015 Tampereen yliopistossa otettiin käyttöön sähköinen kurssipalaute. Yksiköissä on laadittu palautejärjestelmä, jossa määritellään palautteen käsittelyä koskevista tavoista. Sähköistä palautetta pilotoitiin 2014 2015, ja kuluneena lukuvuotena siitä on saatu ensimmäisiä kokemuksia. Kevätlukukaudella 2016 keräsin opettajien ja opiskelijoiden kokemuksia sähköisestä palautteesta ja sen käsittelystä. Verkkokyselyni fokuksessa oli palautteen merkitys opetuksen laadun arvioinnissa. Pilottihankkeeni alustavien tulosten (maaliskuu 2016) perusteella vaikuttaa siltä, että sähköisen palautteen ja palautteen käsittelytapojen sisäänajossa menee vielä aikaa. Kaikki tarkastelemani yksikön opettajat eivät ole ottaneet käyttöön sähköistä palautetta, jotkut teknisten haasteiden vuoksi, toiset muista syistä. Esimerkiksi palautekyselyn anonyymius on saanut arvostelua osakseen. Sähköisen palautteen sijaan tai rinnalla opettajat keräävät palautetta edelleen perinteiseen tapaan paperilla. Haasteena on myös ollut saada opiskelijoita vastaamaan sähköiseen palautekyselyyn, ja Teemaryhmä 11: Kuinka mitata opetuksen laatua? 4/7
vastausprosentit ovat jääneet alhaisiksi. Opiskelijoille ei ole ollut selvää, miten ja missä palautetta hyödynnetään. Vastaamismotivaatiota ovat laskeneet myös useat erilliset palautekyselyt. Tutkinto-ohjelmien järjestämiin palautepäiviin, joissa palautetta on ollut tarkoitus käsitellä yhdessä opiskelijoiden kanssa, on osallistunut varsin pieni osa opiskelijoista. Pohdin puheenvuorossani, millaisella aikajänteellä ja millaisin keinoin palautejärjestelmästä voisi tulla luonnollinen osa yliopiston arkea. Tavoitteenani on myös herättää keskustelua siitä, mikä merkitys opiskelijapalautteella on tai voisi olla opetuksen laadun arvioinnissa. Opetuksen laatu, opiskelijapalaute, palautekulttuuri 4. Vaihtoehtoiset opintojen suoritustavat ja vertaisarviointi opetuksen laadun takeina Jarkko Toikkanen Tampereen yliopisto, LTL Tarjoavatko vaihtoehtoiset opintojen suoritustavat kuten erilaiset projekti- ja PBL-lähtöiset työt uudenlaisia keinoja opetuksen laadun arviointiin, ja voiko arviointi perustua vertaisarviointiin? Opetuksen laadun arviointia on kehitettävä jufo-tyyppisten mittarien puuttuessa. Koulutuksen osalta yliopistojen rahanjakoa määritellään suoritettujen tutkintojen ja kandipalautteen muodossa, ja perinteisesti opetuksen laatua on arvioitu kurssitulosten ja opiskelijapalautteen avulla. Käytän esimerkkeinä kahta Tampereen yliopistossa kuluneen lukuvuoden aikana opettamaani englanninkielisen kirjallisuuden kurssia, joilla olen soveltanut projekti- ja PBL-lähtöisen työn opetus- ja arviointimenetelmiä. Tarkoitukseni on havainnollistaa, miten vaihtoehtoiset opintojen suoritustavat voivat tuottaa oppimisympäristön, jossa sekä opettajan että opiskelijoiden on mahdollista (vertais)arvioida oman toimintansa perusteita ja kehittämisideoita uudella tavalla. Toinen esimerkkeinä käyttämistäni kursseista on vielä kesken, joten tulosten työstäminen jää kesään. Esitän silti hypoteesin, että vaihtoehtoisten opintojen suorittamistavat voivat tuottaa uudenlaisia oppimisympäristöjä, jotka parhaimmillaan johtavat uudenlaisiin tapoihin taata ja Teemaryhmä 11: Kuinka mitata opetuksen laatua? 5/7
arvioida opetuksen laatua. Haaste on tietenkin siinä, miten uusi tieto otetaan vastaan ja laitetaan käytäntöön. Oma tekemisensä on arvioinnin käsitteen kehittämisessä sinänsä. Kuinka esimerkiksi vertaisarvioinnin käytänteet voivat toimia virallisen mittaamisen perusteina? Opetuksen laatu, vaihtoehtoiset opintojen suorittamistavat, vertaisarviointi 5. Laadukasta opetusta kenttätyössä Terhi Ainiala Helsingin yliopisto, suomen kieli Millä tavoin opiskelijat arvioivat opetustaan silloin, kun kurssin tulokset tulevat ulkopuolisen toimijan hyödyksi? Millaista opetus silloin parhaimmillaan on ja miten sitä voi mitata? Opiskelijat arvostavat monesti kurssisuorituksia, joita voidaan jopa välittömästi käyttää hyödyksi ja soveltaa yliopiston ulkopuolellakin. Selvitetään, mikä tällaisten kurssien ja kurssitöiden anti opiskelijalle on ja pohditaan, millaista opetusta silloin pidetään laadukkaana. Tarkasteltavana on kaksi Helsingin yliopiston kurssia, joilla opiskelijat keräsivät kieliaineistoja Loviisassa ja Helsingin Malmin lentokentän alueella. Keskeinen työmuoto olivat haastattelut. Tutkimustuloksista ja -aineistoista oli suoraa apua kieliarkistoille, kaupungin virastoille ja kaupunkilaisille. Opiskelijat kirjoittivat tutkimussuunnitelmia, - raportteja ja blogikirjoituksia sekä pitivät suullisia esitelmiä. Lisäksi selvitetään "tilaajien" palautetta opiskelijatöistä. Opiskelijoiden sitoutuminen kurssitöihin ja kurssin tehtäviin on suurta, kun tuloksista tiedetään olevan hyötyä ulkopuoliselle toimijalle. Opiskelijat kuvaavat ylittäneensä mukavuusalueen rajansa ja analysoivat perustellusti sitä, miten omat tutkimussuunnitelmat toimivat ja mitä kannattaisi seuraavalla kerralla tehdä toisin. Opetuksen laatua tarkastelevat ja arvioivat sekä opiskelijat itse että ulkopuoliset "tilaajat" (arkistot, kaupungin virastot, kaupunkilaiset). Toisinaan kurssin opettajalla/yliopistolla ja esimerkiksi paikallisella asukkaalla voi olla erilaisia toiveita siitä, millaista onnistunut opetus on ja mitä kurssin tulisi tuottaa. Pohdittavaksi jääkin, millaisia ristiriitoja voi syntyä ja miten niitä tulisi ratkaista. Kaikkiaan selviää kuitenkin se, että tällaisen "kenttäopetuksen" laatu tulee mitattavaksi Teemaryhmä 11: Kuinka mitata opetuksen laatua? 6/7
tavanomaista "saliopetusta" moniulotteisemmin ja näkyvämmin. Opetus, arviointi, laatu, kenttätyö Teemaryhmä 11: Kuinka mitata opetuksen laatua? 7/7