Kandipalautteen hyödyntäminen yliopistoissa. Olli Silvén

Transkriptio

1 Kandipalautteen hyödyntäminen yliopistoissa Olli Silvén

2 Voiko yliopistokoulutusta kehittää ilman opiskelijapalautetta? Syksy 2013, Oulun yliopisto: tutkinto-ohjelmien vastuuhenkilöt vastasivat Kandipalautteen rahakysymyksiin kuten odottaisivat keskimääräisen opiskelijan vastaavan pohjimmaisena ajatuksena oli varmentaa kyselykohtien sanamuotoja, viestiä kyselyn luonteesta ja asettaa kukin vastuuhenkilö pohtimaan tutkinto-ohjelmansa tilannetta Kyselyn tulos: selitysasteet opiskelijoiden Kandipalautteen pilottikierroksen vastauksia vasten: R 2 < = tutkinto-ohjelmien vastuuhenkilöillä ei johdonmukaista käsitystä opiskelukokemuksesta tai opiskelijat ja opettajat tulkitsevat kysymykset hyvin poikkeavasti tai vastuuhenkilö näkee kokonaisuuden, kun taas palaute mittaa vain onnistumiset Opintoneuvojilta kysyminen olisi ehkä johtanut parempaan selitysasteeseen tutkinto-ohjelmien vastuuhenkilöt ovat kuitenkin päättäjiä Kyetäänkö yliopistoissa tekemään päätöksiä, joilla koulutusta parannetaan myös opiskelijapalautteen antaman tiedon kautta, vaikka se olisikin vastoin ennakko-odotuksia?

3 Koulutuksen laatu = koulutuksen vuorovaikutteisuus? Kandipalautteen pilottikierroksen (2013) odottamaton tulos: opetuksen vuorovaikutteisuus korreloi vahvasti opiskelijan saaman laatumielikuvan kanssa Question A Question B r 2 The teaching was to a I am satisfied with the used teaching methods 0,93 large extent of good quality. I was satisfied with the communication I had with the teaching staff. 0,72 The feedback I received from the teaching staff has helped me with my studies 0,55 I was satisfied with the opportunities I had to influence and participate in my progamme 0,44 Näemmekö tässä todellisia kausaliteetteja B A, vai onko kyse jostain muusta? vuorovaikutteisimmat tutkinto-ohjelmat pärjäsivät liki kaikissa kysymyksissä parhaiten koulutuksen vuorovaikutteisuuden parantaminen on todennäköisesti kannattavin investointi, sillä vaikutukset näkyvät kautta kysymyspatteriston Voitettavana kuitenkin iso asennerakenteen haaste: Suomessa ei pidä paapoa opiskelijoita jenkki-/brittityyliin! 3

4 Kuinka on käynyt? Kaikkien yliopistojen kandipalautetulokset ovat parantuneet kierroksilla 2013, 2014, 2015! silkka sattuma? demografisen muutoksen vaikutus? jokainen on oikeasti kehittänyt koulutustaan? Olennaista: vaikka kaikki yliopistot ovat yhteenvetoluvuissa parantaneet, niin takana voi olla pelkästään yksittäisten koulutusalojen tai tutkinto-ohjelmien parannuksia, ja nekin voivat olla varsin epätasaisesti kehittyneitä Haasteita: miten saada aikaan parannusta kautta linjan? mikä on virheliikkujen riski? henkilöityminen: positiivinen kehitys näyttää monesti olleen yksittäisten henkilöiden riskinoton varassa Seuraaviin slaideihin on koottu joukko yliopistokohtaisia kandipalautetuloksia

5 Vastaus väittämään voin hyvin yliopistossani Huom: 95% luottamustasolla virhemarginaalit vaihtelevat HY:n 2-3%:sta Taideyliopiston 9%:iin

6 Vastaus väittämään olen tyytyväinen omaan opiskeluuni Opinnot ovat kaikkialla vauhdittuneet

7 Ovatko kaikki yliopistot yhtä suurta onnellista perhettä? 55 op saavuttaneiden %-osuudet yliopistoittain 41.2% (ennakkotieto) 40,0 % 38,0 % 36,0 % 34,0 % Aalto yliopisto Itä-Suomen yliopisto Lapin yliopisto Oulun yliopisto Taideyliopisto Tampereen yliopisto Vaasan yliopisto Kaikki yhteensä Helsingin yliopisto Jyväskylän yliopisto Lappeenrannan teknillinen yliopisto Svenska handelshögskolan Tampereen teknillinen yliopisto Turun yliopisto Åbo Akademi 32,0 % 30,0 % 28,0 % 26,0 % 24,0 % 22,0 % Ensimmäisen opintovuoden vauhti näyttää pysyvän ainakin kaksi seuraavaa 20,0 %

8 Heterogeenisuutta aloittain ja alojen sisällä 70,0 % 65,0 % 60,0 % 55,0 % Esimerkki alojen välisistä eroista: 55op saavuttaneiden osuus 31,0 % 29,0 % 27,0 % Teknistieteellinen ala: 55op saavuttaneiden osuus ovatko alan sisäiset erot kuroutumassa umpeen? 30,5% (2016 ennakkotieto) 50,0 % 25,0 % 45,0 % 23,0 % 40,0 % 35,0 % 30,0 % 21,0 % 19,0 % 25,0 % 17,0 % 20,0 % ,0 % Humanistinen Kauppatieteellinen Lääketieteellinen Teknillistieteellinen Kasvatustieteellinen Luonnontieteellinen Oikeustieteellinen Yhteiskuntatieteellinen Aalto-yliopisto Lappeenrannan teknillinen yliopisto Oulun yliopisto Tampereen teknillinen yliopisto Turun yliopisto Vaasan yliopisto Åbo Akademi Merkittävää heterogeenisuutta on edelleen samojen alojen tutkinto-ohjelmien välillä esim. Oulun yliopiston tekniikan ohjelmissa 55op saavuttaneita on 21.4%-44.3% (2016) pääsääntöisesti erot näkyvät myös Kandipalautteessa liki kaikki ovat pystyneet systemaattiseen parantamiseen

9 Vastaus väittämään koulutuksen myötä kehittynyt osaamiseni vastaa odotuksiani

10 Vastaus väittämään tarjolla on ollut riittävästi ohjausta kandintyön tekemiseen Vuonna 2013 havaittu iso hajonta yliopistojen välillä on liki kadonnut

11 Vastaus väittämään tarjolla on ollut riittävästi ohjausta opintojen suunnitteluun Alkuvaiheen ohjauksen vaikutus näkyy Kandipalautteessa viiveellä

12 Olen ollut tyytyväinen opinto-ohjelmani tarjoamiin vaikutusmahdollisuuksiin Yliopistot ovat selvästi tarjoamassa nopean etenemisen putkia; vaikka valinnanmahdollisuuksia on, niitä ehkä suositellaan harvemmin

13 Vastaus väittämään opettajilta saamani palaute on auttanut minua opinnoissani Näkyykö tässä muutosturbulenssi?

14 Keskiarvoltaan paras tutkinto-ohjelma (20 kysymyksen perusteella) Keskiarvoltaan heikoin tutkinto-ohjelma Palautearviot Haasteena merkittävä sisäinen heterogeenisyys 95,0 90,0 85,0 85,0 95,0 80,0 80,0 90,0 80,0 100,0 80,0 73,3 100,0 73,3 80,0 53,3 80,0 90,0 80,0 86,7 86,7 96,7 90,0 86,7 93,3 86,7 80,0 96,7 64,0 86,7 60,0 76,7 40,0 93,3 76,7 80,0 90,0 86,7 96,7 80,0 86,7 83,3 93,3 86,7 93,3 88,0 70,0 86,7 66,7 80,0 75,0 83,3 50,0 92,0 90,0 60,0 96,0 80,0 90,0 86,7 90,0 90,0 84,3 78,6 92,9 91,4 78,5 84,3 77,8 85,0 80,0 77,1 40,0 65,5 87,1 72,9 85,7 78,6 84,3 87,1 77,5 74,3 85,0 77,5 95,0 85,0 80,0 95,0 73,3 64,0 64,0 82,5 67,5 90,0 87,5 75,0 87,5 85,0 82,5 82,5 80,0 86,7 86,7 86,7 93,3 80,0 80,0 86,7 80,0 60,0 70,0 80,0 60,0 86,7 66,7 66,7 100,0 90,0 100,0 66,7 86,7 88,9 93,3 85,6 88,9 80,0 69,4 86,7 78,5 63,1 68,6 77,8 55,3 74,4 77,5 56,5 90,0 85,3 92,2 95,6 77,1 77,1 90,0 80,0 85,7 74,3 71,4 82,9 68,6 80,0 62,9 80,0 65,7 83,3 82,9 74,3 94,3 70,0 91,4 88,6 85,6 82,2 90,0 82,2 90,0 92,2 86,7 69,4 70,0 83,8 73,3 80,0 50,0 68,2 68,8 68,8 85,0 80,0 83,8 76,0 81,0 81,9 81,9 81,9 89,5 86,7 80,0 83,8 83,1 86,0 56,9 81,9 42,9 67,8 79,0 73,0 88,6 73,3 86,0 80,0 87,1 81,4 78,6 78,6 95,7 90,0 76,7 78,6 76,4 55,6 71,4 81,4 60,0 71,4 82,9 66,7 81,5 81,8 72,3 76,4 70,0 70,0 90,0 80,0 80,0 80,0 80,0 60,0 80,0 100,0 80,0 80,0 70,0 70,0 70,0 50,0 80,0 80,0 90,0 80,0 71,4 74,3 71,4 77,1 88,6 85,7 93,3 85,7 70,0 60,0 73,3 85,7 65,7 85,7 71,4 62,9 91,4 83,3 80,0 62,9 91,4 85,7 88,6 80,0 91,4 85,7 76,7 68,6 75,0 84,0 66,7 77,1 40,0 70,0 80,0 65,7 85,7 68,0 77,1 80,0 95,0 93,3 80,0 70,0 85,0 100,0 70,0 85,0 66,7 40,0 40,0 80,0 80,0 95,0 90,0 70,0 73,3 66,7 86,7 70,0 81,7 83,6 81,7 81,7 86,7 85,0 70,0 89,1 62,9 63,3 67,5 75,0 50,9 85,0 70,0 70,0 83,6 74,3 88,3 78,2 81,3 81,0 84,0 78,7 85,6 80,7 68,6 82,7 65,2 71,4 67,0 77,9 53,3 74,0 81,1 67,4 87,6 75,8 84,3 80,0 80,0 85,0 80,0 80,0 80,0 80,0 70,0 85,0 70,0 60,0 60,0 80,0 55,0 93,3 73,3 80,0 75,0 80,0 73,3 86,7 80,0 76,7 83,3 76,7 80,0 83,3 76,7 80,0 68,0 70,0 60,0 88,6 40,0 56,7 83,3 73,3 96,7 70,0 90,0 92,0 86,7 77,8 86,0 78,0 92,0 84,0 66,7 84,0 76,0 60,0 70,0 75,6 58,0 66,0 71,1 68,0 90,0 80,0 80,0 74,0 81,0 79,5 81,6 77,4 87,8 86,6 78,8 71,4 72,6 82,0 65,1 78,6 48,0 68,8 77,3 68,1 83,7 75,1 82,2 76,6 78,8 82,4 83,5 77,6 87,1 78,8 73,8 82,5 73,8 63,6 65,5 75,3 49,4 81,2 69,4 64,7 85,9 77,3 85,0 81,2 84,4 81,9 78,1 75,5 89,4 86,3 74,5 83,1 69,2 58,0 65,0 81,3 60,0 81,3 79,3 65,5 76,7 78,4 73,1 73,3 87,6 89,4 85,7 81,2 84,1 82,5 73,9 77,0 81,4 80,0 70,5 80,0 45,8 57,6 57,0 56,4 85,5 69,6 81,3 84,0 82,0 81,7 81,5 77,3 88,2 82,0 73,7 79,0 69,1 70,4 64,5 78,4 49,4 74,0 76,5 66,5 83,5 75,2 80,0 76,6 84,1 84,8 83,4 77,7 89,2 81,7 74,8 73,6 71,2 77,8 64,0 80,6 41,8 66,5 76,1 69,6 83,6 71,4 78,2 76,1 77,1 71,4 77,1 80,0 91,4 85,7 82,9 80,0 66,7 52,0 80,0 80,0 57,1 77,1 77,1 62,9 80,0 68,0 74,3 83,3 76,7 86,7 80,0 70,0 90,0 83,3 66,7 90,0 60,0 75,0 73,3 73,3 40,0 73,3 86,7 64,0 86,7 66,7 83,3 76,7 86,7 84,0 82,7 76,0 90,7 89,3 66,7 68,0 71,1 86,7 56,7 76,0 44,0 70,0 74,7 58,7 81,3 74,3 86,7 77,1 80,0 84,0 88,0 84,0 88,0 76,0 72,0 76,0 50,0 75,0 65,0 80,0 40,0 60,0 84,0 68,0 84,0 75,0 88,0 84,0 82,1 86,3 87,4 81,1 88,9 86,3 65,0 74,4 55,0 62,7 57,5 74,7 58,9 77,9 76,8 68,4 84,2 80,0 81,2 71,8 81,4 81,0 81,2 77,5 88,2 81,6 70,9 80,8 64,3 65,8 65,0 75,4 52,2 80,4 72,6 66,5 83,1 77,2 80,2 73,7 80,0 80,2 78,8 75,9 88,7 78,2 73,5 84,9 71,0 58,6 62,0 77,5 52,4 80,0 76,6 60,4 83,4 77,1 80,2 78,7 80,0 80,0 80,0 77,1 88,6 80,0 71,4 73,3 65,7 76,7 66,7 80,0 40,0 80,0 63,3 70,0 93,3 72,0 80,0 76,0 71,4 73,3 70,7 69,3 82,7 82,7 89,3 68,0 69,2 75,0 66,7 80,0 44,6 68,6 88,0 76,0 82,7 78,6 76,0 77,3 81,8 82,9 82,9 76,7 91,8 79,7 74,4 66,9 66,9 78,2 60,0 82,4 40,8 69,3 81,3 75,0 82,9 70,7 76,0 69,5 83,1 76,9 76,9 76,9 87,7 76,9 72,3 70,9 66,0 70,0 68,0 78,5 47,7 83,3 68,3 61,7 83,6 85,0 85,0 69,1 83,3 86,7 73,3 73,3 73,3 83,3 66,7 86,7 90,0. 80,0 72,0 40,0 50,0 80,0 64,0 84,0 75,0 76,0 75,0 90,0 85,0 90,0 75,0 80,0 85,0 80,0 80,0 80,0 65,0 80,0 80,0 40,0 50,0 60,0 55,0 75,0 80,0 75,0 80,0 82,5 80,0 75,0 72,5 87,5 82,5 80,0 80,0 65,7 56,0 80,0 77,5 62,5 80,0 70,0 55,0 77,5 76,7 70,0 70,0 74,3 71,4 88,6 77,1 82,9 71,4 56,7 85,7 68,0 80,0 62,9 74,3 65,7 76,7 77,1 62,9 70,0 71,4 76,7 72,0 80,0 75,0 80,0 75,0 85,0 75,0 60,0 75,0 60,0 55,0 60,0 75,0 70,0 80,0 86,7 53,3 80,0 86,7 86,7 66,7 81,3 82,5 67,5 68,8 90,7 76,3 70,7 85,0 75,0 50,9 56,0 76,0 48,0 85,3 81,3 61,3 80,0 75,7 73,3 65,7 78,0 78,0 76,0 71,1 86,0 78,0 75,6 88,0 60,0 62,5 62,9 82,0 53,3 86,7 71,1 55,6 72,0 77,8 70,0 66,7 78,0 78,1 73,3 71,4 87,6 79,0 75,0 82,0 65,0 57,1 61,8 71,6 43,3 83,8 74,4 65,6 78,9 71,4 71,1 74,7 76,7 73,3 83,3 73,3 90,0 86,7 68,0 70,0 70,0 75,0 60,0 76,7 40,0 56,0 73,3 66,7 80,0 60,0 73,3 66,7 77,1 70,0 80,0 77,1 88,6 82,9 48,0 80,0 52,0 53,3 45,0 70,0 60,0 83,3 83,3 76,7 80,0 70,0 73,3 60,0 76,0 76,0 76,0 68,0 80,0 84,0 65,0 80,0 60,0 65,0 50,0 72,0 40,0 64,0 88,0 84,0 80,0 66,7 72,0 64,0 73,3 73,3 73,3 73,3 73,3 66,7 80,0 80,0 60,0 50,0 60,0 80,0 40,0 93,3 66,7 53,3 73,3 80,0 80,0 80,0 79,2 76,8 72,8 70,4 85,6 71,2 68,3 83,2 63,6 57,1 53,3 75,2 45,0 75,7 75,7 53,6 76,8 69,5 73,6 73,6 80,0 66,7 80,0 73,3 86,7 86,7 46,7 46,7 50,0 60,0 60,0 53,3 60,0 73,3 73,3 66,7 66,7 60,0 86,7 73,3

15 The skills I acquired in my education meet my expectations I feel comfortable at my university Toimenpide-esitysten johtaminen palautteesta (Oulun yliopisto) tiedekunnilla velvoite selittää tilastollisesti merkittävät poikkeamat tutkinto-ohjelmiensa kandipalautteiden välillä, kuin myös yliopistosta (Kruskal-Wallis testi) korjaustoimien mallit menestyneemmistä saman alan ohjelmista Avainhavainto: ns. hyvät ohjelmat varsin homogeenisia = liki kaikki opiskelijat edistyvät hyvin ongelmat näkyvät sekä kandipalautteen vastaushajonnassa että opiskelijoiden etenemisen eriytymisessä I am satisfied with my course of studies There was sufficient support available for the preparation of the Bachelor thesis How easy or difficult was it to find information and support on different aspects of your studies? During my studies, I have stayed abroad for a longer period of time (a month minimum) University of Oulu Faculty X Program A Program B 81,4 82,2 88,4 78,9 87,5 89,6 96,8 88,9 81,5 87,4 92,6 84,4 76,7 81,9 81,1 87,8 Explanations for deviations and remedial actions Program A has clear professional identity creating realistic expectations. In Program B the subject is demanding in terms of quantitative understanding Programmes A appear to be very similar in all Universities. As above BSc thesis process of program B has been developed in many ways during the last 15 years. It is based on group-based seminars with supporting assignments. 78,4 81,5 81,1 83,3 Teaching development group in program B has actively worked based on student feedback for 15 years. Programme structures enable flexible exchange studies 52 61,9 56,8 57,6 and credit transfer. International experiences is generally expected in the field of the Faculty.

16 Erään tutkinto-ohjelman opiskelijoiden etenemisen eriytyminen jo alkuaskeleilla Esimerkkejä saman tutkinto-ohjelman aloittaneiden eri omaopettajien vastuulla olevien ryhmien jäsenten opintopistekertymistä syyslukukauden lopussa

17 Tutkinto-ohjelman nopea muutos Tutkinto-ohjelman sisäisen heterogeenisyyden syiden tunnistus, toimenpide-ehdotukset, johdon vastuunotto, päätökset, toimijoiden kouluttaminen ja toimenpano ydinryhmänä omaopettajatoiminnan vetäjä, tutkinto-ohjelman vastuuhenkilö, koulutussuunnittelija Ongelmat tunnistettu kandipalautteessa 2014 korjausten vaikutus 1vsk:n tuloksissa todennettu keväällä 2016 kandipalautteessa vaikutus nähtäneen

18 Opintosuoritusrekisteriaineisto vs. kandipalaute Opintosuoritusrekisteriaineisto vs. kandipalaute: suuren opintonopeushajonnan tutkinto-ohjelman palautteessa on yleensä suuri hajonta ja sen myötä heikentynyt keskiarvo (pätee ainakin Oulun yliopistoon) kandipalautteen laatua voi karkeasti ennakoida opintonopeushajonnasta opintojen lähdettyä jollekin etenemisuralle, ne harvoin siitä nopeutuvat

19 Lopuksi Kandipalaute ei ole yllättänyt tutkinto-ohjelmien anekdotaaliset ongelmat näkyvät paikoin tuloksissa jopa monen yliopiston erityispiirteet olivat 2013 pilottituloksista tunnistettavissa vuorovaikutteinen koulutus mielletään laadukkaaksi samoin kuin Keski-Euroopassa ja Yhdysvalloissa Kandipalaute on yllättänyt opiskelijoilta on saatu todella runsaasti sanallistakin palautetta ei ole paljastunut suomalaisia koulutuskulttuurillisia odotuksia, kuten oletettua opiskelijoiden pyrkimystä vältellä vuorovaikutusta Kandipalaute mittaa vain onnistumisia tarvitaan keinot selvittää epäonnistumisten taustat onnistumisasteen parantuminen ei välttämättä näy kandipalautteen laadullisena parantumisena vaan jopa stagnaationa Kandipalautteen perusteella yliopistot ovat onnistuneet parantamaan osa parantamisesta on selvästi seurausta palautteesta (kandintöiden ohjaus) muillakin parannuksilla selvä toimenpidetausta

20 ja ihan viimeiseksi Kandipalaute tai mikään muukaan palautekysely ei kehitä tai päätä mitään yliopistojen puolesta toimenpiteet ovat yliopistojen johdon vastuulla ja oikeat ratkaisut myös vaikuttavat Yliopistojen ratkaisut ovat olennaisia, sillä opintojen eteneminen määräytyy jo niiden alkuvaiheessa, ja niiden nopeuttaminen myöhemmin on hyvin vaikeaa/kallista/mahdotonta uuteen opiskelijaan ja olisi vaikutettava jo ennen kuin hänellä on ensimmäistäkään yliopisto-opintokokemusta palautetta kerättäessä on jo myöhäistä vaikuttaa opiskelijaan Millaista vastapalautetta opiskelijalle olisi tarjottava asianmukaisen palautteen antamisen kannusteeksi? näkymä aiempien vuosikurssien etenemiseen/palautteeseen/onnistumisiin? oman palautteen ja etenemisen vertaispeilaus? jotain muuta? Pitkien aikajänteiden vuoksi muutosten viivyttelyt voivat olla turmiollisia

21 Kandipalaute A very brief summary