AVOP -KYSELY A MMATTIKORKEAKOULUJEN V ALMISTUMISVAIHEEN O PISKELIJAP ALAUTEKYSELY Tutkija Leo Aarnio Opiskelun ja koulutuksen tutkimussäätiö Otus 17.9.2013
1. MITÄ MITATAAN JA MIKSI? KOULUTUKSEN LAATU JA METAFYSIIKALLE USKOLLINEN MITTAUSPROSESSI Opiskelijapalautteen paikka rahoitusmallissa kyselyn mittauskohde valmistumisvaiheen opiskelijan näkemys koulutuksensa laadusta Koulutuksen laatu on intersubjektiivinen, kiistelty ja alati muuttuva, mutta pääpiirteiltään riittävän pysyvä, yhteisymmärrykseen tai kompromissiin perustuva poliittinen käsitys hyvän koulutuksen tavoitetiloista Käsitykselle johdonmukaisesti AVOP -kyselyn koulutuksen laadun määrittely sekä sen muuntaminen mittariksi on tehty yhteistoiminnallisesti 700-800 ammattikorkeakoulukentän toimijan (henkilökunta ja opiskelijat) kesken Tutkijan rooli prosessissa on ollut ohjata keskustelua ja tehdä ehdotuksia siten, että lainsäädännölliset, (kasvatustieteelliset) ja mittausteoreettiset haasteet sekä kyselyn kognitiivinen testaus ja vertailukyselyt huomioidaan ratkaisuissa riittävissä määrin 19.9.2014 2
2. MITEN MITATAAN? TAVOITTEENA MÄÄRITYSVIRHEEN MINIMOIMINEN Laadun käsitteen muuntaminen empiiriseen muotoon: ensisijaisena tavoitteena määritysvirheen minimoiminen Ainoa objektiivinen koulutuksen laadun mittari on tutkintojen määrä. Kysymys: Mutta mitä on (mittaus- tai) määritysvirhe, jos ei ole olemassa koulutuksen laadun tosiarvoa? Vastaus: Niin kattava, tasapainoinen, oikeellinen ja tarkka arvio koulutuksen osa-alueista, että sitä voidaan tehokkaasti ja oikeudenmukaisesti (eli onnistuneesti) käyttää arvioimaan ja ohjaamaan ammattikorkeakoulutusta (pragmatistinen totuuskriteeri) 19.9.2014 3
2. MITEN MITATAAN? TYÖVAIHEET 1. SYKSY 2012 Syksy 2012: koulutuspoliittisten trendien, lainsäädännön, vertailukyselyiden sekä kasvatustieteellisen mittausteorian läpikäynti Kaksi kyselyn kognitiivista testausta Erityisalojen asiantuntijoiden kuuleminen Hahmotelma kolmesta näkökulmasta koulutuksen laatuun: 1) hyvät käytännöt (yleinen), 2) oppiminen (poikkeuksellinen) ja 3) opiskelutyytyväisyys (harvinainen itsenäisenä mittana) 19.9.2014 4
2. MITEN MITATAAN? TYÖVAIHEET 2. KEVÄT JA KESÄ 2013 Yksi laaja kognitiivinen testaus kevään 2013 alussa Keskustelua kommenttiryhmässä lokakuusta 2012 heinäkuuhun 2013 Kansallinen verkkokyselypilotointi huhti-, touko- ja kesäkuussa 2013 Loppuraportti julkaistu alkuvuodesta 2014: tilattavissa osoitteesta http://otus.fi/index.php/julkaisut/kaikki-julkaisut Ajankohtaista: kyselymittarin käyttöönotto osana rahoitusmallia ja ammattikorkeakoulujen kehitys- ja laadunvalvontatoimintaa sekä opiskelijapalautejärjestelmiä 19.9.2014 5
2. MITEN MITATAAN? SISÄLTÖ KOULUTUKSEN LAADUN KOKONAISINDIKAATTORI 1 5 koulutuksen laadun mittaria, joiden (standardoiduista) arvoista johdetaan kokonaisindikaattori väittämämäärillä painotettuna keskiarvona Koulutuksen laadun näkökulmien väliset painoarvot ovat silloin karkeasti: 1. Koulutuksen käytännöt = ~ 68 % 2. Osaaminen = ~ 25 % 3. Opiskelutyytyväisyys = ~ 7 % 19.9.2014 6
Näkökulma laatuun Kokonaismittarin komponentit Osiot Opetus ja oppiminen Osa alueet Opintojen sisältö Opintojen suunnittelu ja ohjaus Opetus Opiskelu Oppimisympäristöt Opiskelun tukipalvelut Hyvät käytännöt Hyvät käytännöt Palaute ja arviointi Kansainv. monik. ja kieli Työelämäyht. ja neuvonta Harjoittelu Opinnäytetyö Työelämäyhteydet Työelämäneuvonta Harjoittelun järjestäminen Harjoittelun hyödyllisyys Opinnäytetyön järjestäminen Opinnäytetyön hyödyllisyys Oppimisen taidot Työyhteisöosaaminen NQF osaaminen (osaaminen Innovaatio osaaminen valmistumishetkellä + osaamisen Kansainvälistymisosaaminen Osaaminen kehittyminen) Yhteiskunta ja eettinen osaaminen Minäpystyvyys Yleisosaaminen Asiantuntijaosaaminen Laaja alainen osaaminen Tyyt. opetus ja ohjaus Tyyt. kansainvälisyys Tyyt. työelämäheisyys Opiskelutyytyväisyys osa alueittain Opiskelutyytyväisyys Tyyt. työelämätuki Tyyt. harjoittelujakso Tyyt. opinnäytetyöprosessi Tyyt. osaamisen kehittyminen Tyyt. ammatillinen kasvu Yleistyytyväisyys
2. MITEN MITATAAN? TYYLI FORMATIIVISET JA HEIJASTAVAT INDIKAATTORIT Tavoitteena mahdollisimman konkreettiset väittämät, joiden pohjalta voidaan suoraviivaisesti johtaa koulutuksen kehitystoimenpiteet Muotoilulla kiinnitetty erityistä huomiota siihen, että väittämät kantavat riittävästi informaatiota erotellakseen kunkin arvioinnin kohteen sekä näiden hyvät ja huonot koulutuksen osa-alueet toisistaan Koulutuksen 5 komponenttia latentin koulutuksen laadun heijastavia, epäsuoria indikaattoreita Kukin komponentti muodostuu puolestaan formatiivisista, komponentin määrittävistä suorista indikaattoreista 19.9.2014 8
2. MITEN MITATAAN? KOULUTUKSEN LAADUN MITTARIN RAKENNE 19.9.2014 9
3. MITEN MITTARI TOIMII? KOKEMUKSIA PILOTOINNISTA 1. RELIABILITEETTI Edellä hahmoteltu yhden faktorin (koulutuksen laatu) rakenne pätee (mittari homogeeninen) Koulutuksen laadun komponenttien Cronbachin alfa 0,86 Mittari stabiili (touko-, huhti- ja kesäkuun mittauksissa) Keskiarvoestimaattorin keskivirhe 0,02; suhteellinen keskivirhe 0,004, kun n=1338 Jakauma normaalinen keskiarvoestimaattori harhaton, tarkentuva ja täystehokas 19.9.2014 10
2. MITEN MITTARI TOIMII? KOULUTUKSEN LAADUN KOKONAISINDIKAATTORI
3. MITEN MITTARI TOIMII? KOKEMUKSIA PILOTOINNISTA 2. KONVERGENSSI Faktorilataukset komponenteilla korkeat, lukuun ottamatta NQF osaamisen mittaria Komponentit osoittavat samaan suuntaan 19.9.2014 12
5,6000 Koulutuksen laatu indikaattori 1. Hyvät käytännöt 5,4000 2. Osaaminen valmistumishetkellä 3. Osaamisen kehittyminen 5,2000 4. Yleisosaaminen Koulutuksen laatu indikaattori 5,0000 4,8000 4,6000 4,4000 5. Tyytyväisyys osa alueittain 6. Yleistyytyväisyys Lin. (Koulutuksen laatuindikaattori) Lin. (1. Hyvät käytännöt) Lin. (2. Osaaminen valmistumishetkellä) Lin. (3. Osaamisen kehittyminen) Lin. (4. Yleisosaaminen) 4,2000 4,0000 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. Lin. (5. Tyytyväisyys osaalueittain) Lin. (6. Yleistyytyväisyys)
3. MITEN MITTARI TOIMII? KOKEMUKSIA PILOTOINNISTA 3. METODITEKIJÄT Kyselyn pituus arviolta 19 minuuttia Pituudella ja en osaa sanoa vastausvaihtoehdolla ei merkittäviä sisällöllisiä vaikutuksia vastauksiin Sen sijaan yksikkö- ja erävastauskato sekä huolimattomasti vastanneiden osuudet huolestuttavia; en osaa sanoa vaihtoehdolla ja pituudella vaikutuksensa molempiin 19.9.2014 14
3. MITEN MITTARI TOIMII? KOKEMUKSIA PILOTOINNISTA MITTAUSVIRHE 4. SYSTEMAATTINEN Koulutuksen laadun mittari vaihtelee merkittävästi ammattikorkeakouluittain myös silloin, kun suuri määrä taustamuuttujia on kontrolloitu Erot laadun arvioissa eivät siis johdu eroista epäoleellisissa tekijöissä Sen sijaan koulutuksen laadun indikaattoriin vaikuttavat myös opintomenestys, oppimisstrategia, koulutusala ja kieli Näistä huolestuttava lähinnä kieli: englannin- ja ruotsinkieliset arvioivat koulutustaan merkittävästi suomenkielisiä myönteisemmin 19.9.2014 15
3. MITEN MITTARI TOIMII? KOKEMUKSIA PILOTOINNISTA 5. EROTTELUKYKY Eroja korkeakoulujen välillä saadaan esiin, mutta ne ovat pieniä Havaituista eroista määrittämätön osuus johtuu mittaus- ja määritysvirheistä Kaikkien laadulta peräkkäin järjestettyjen korkeakoulujen tilastollisesti merkitsevä erotteleminen (p<0,05) vaatii noin 90% vastaajajoukon perusjoukon koosta (onko mielekäs tavoite?) Tämä takaa vasta, että erot ovat nollasta poikkeavia, eivät että ne ovat sisällöllisesti merkittäviä tai riittävän suuria ollakseen merkityksellisiä 19.9.2014 16
5,40 Koulutuksen laadun estimaattien 95% lv, kun vastaajajoukko 50%, 70%,a 90% pjoukosta 5,30 5,20 5,10 5,00 4,90 4,80 4,70 4,60 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
3. MITEN MITTARI TOIMII? TULKINTA PILOTOINNISTA: PÄÄASIALLISET HAASTEET OSAAMISEN MITTARI JA VASTAUSKATO Kokonaismittari toimii hyvin, kansallisen viitekehyksen yleisten kompetenssien (NQF) mittari ei Osaamisen itsearvioinnin vaikeus ja epäluotettavuus, retrospektiivisen arvion hataruus, erotuksen johtaminen yhdestä mittarista, osaamismääreiden abstraktius jne. NQF osaamisen mittarin toimimattomuuteen liittyy ratkaistavissa olevia ongelmia: erityiset kompetenssit (ja ehdotus opintojaksoksi)? NQF osaamisen mittarin lisäksi yleistettävyyden (ennen kaikkea laatuerojen yleistettävyyden) kannalta huolena vastauskato 19.9.2014 18
4. TOIMEENPANOEHDOTUKSET RAHOITUSMALLI Laaturyhmien muodostamisen sijaan mittari voisi toimia jatkuvana: Insentiivi kehittää koulutusta pienempi kuin epäjatkuvalla mittarilla, koska efektiiviset erot rahoituksessa pieniä jatkuva mitta vastaa kuitenkin tarkemmin mittaustulosten eroja kuin paremmuusjärjestys Kysely suunniteltu toimimaan kokonaisuudessaan osana rahoitusmallia: suositeltavampaa poistaa komponentteja kuin juustohöylällä väittämiä 19.9.2014 19
4. TOIMEENPANOEHDOTUKSET KYSELYMITTARIN KÄYTTÖÖNOTTAMINEN OSANA YHDEN OPINTOPISTEEN OPINTOJAKSOA Mikään mittari ei ole sellaisenaan hyödyllinen: se täytyy ottaa käyttöön osana koherenttia palaute- ja arviointijärjestelmää Kyselyyn liittyvät vastauskadon, pituuden ja NQF osaamisen mittarin ongelmat sekä systemaattisen käyttöönoton asettamat haasteet voidaan kaikki ratkaista esimerkiksi 1 opintopisteen palautteen antamisen ja vastaanottamisen opintojaksolla Jos näin tehdään, mittari toimii hyvin laadun arvioinnissa Mittarin sisäinen rakenne ja väittämien muotoilu mahdollistaa tehokkaat käytännön toimenpiteet koulutuksen laadun kehittämiseksi 19.9.2014 20
4. TOIMEENPANOEHDOTUKSET MITÄ SEURAAVAKSI? 1) Painotus? 2) Tiedonkeruun standardoiminen? 3) Tulosten raportointi? 4) Tulosten tulkinta? 5) Tulkinnan mukainen toimeenpano? 1) Uudelleenpainotus suositeltavaa varsinkin jos vastauskato suurta 2) Vaihtelevat tiedonkeruukäytännöt eivät saisi vaikuttaa opiskelijoiden antamaan koulutuksen laadun arvioon 3) Tulokset tulee esittää havainnollisessa visuaalisessa muodossa ja julkisesti sekä tuleville opiskelijoille että koulutuksen laadun arvioista muuten kiinnostuneille ryhmille. Aineisto yhteiseen tietokantaan? 4) Korkeakouluille toimitettavat yhteenvedot (esim.) rahoituskausittain? Määrätyt henkilöt arvioimaan ja toteuttamaan kehitystoimenpiteitä annetun palautteen perusteella? 19.9.2014 21
KIITOS KÄRSIVÄLLISYYDESTÄ! Kysymyksiä? Kyselyn mahdollisen käyttöönoton aikataulua koskevat kysymykset voinette esittää seminaarissa Hannu Sirénille, muissa yhteyksissä ARENEssa tai SAMOK:ssa vastattaneen mielellään tiedusteluihin. Kyselyn ja sen käyttöönoton sisältöön liittyvät yhteydenotot osoitteeseen leo.aarnio@otus.fi Raportti sähköisine liitteineen selattavissa slidesharessa sekä tilattavissa osoitteessa: www.otus.fi 19.9.2014 22