Laadunvarmistuksen ajankohtaiset näkymät ja lähiajan haasteet Riitta Pyykkö Puheenjohtaja, Korkeakoulujen arviointineuvosto Yhteistyötä laadun vuoksi Ammattikorkeakoulun laatutoimijoiden tapaaminen Mikkeli 9.12.2010
Sisältö Suomalaisen korkeakoulutuksen arvioinnin perustasta ja arviointipolitiikan taustasta KKA:n arviointiperiaatteet ja nykyiset arviointityypit Ajankohtaista kansainvälisessä keskustelussa Auditoinnit Kokemuksia 1. kierrokselta 2. kierroksen malli 2
Arvioinnin säädösperusta Ammattikorkeakoululaki 9 (564/2009) Ammattikorkeakoulun tehtävänä on vastata järjestämänsä koulutuksen ja muun toiminnan laatutasosta ja jatkuvasta kehittämisestä. Ammattikorkeakoulun tulee arvioida koulutustaan ja muuta toimintaansa ja niiden vaikuttavuutta. Ammattikorkeakoulun on myös osallistuttava ulkopuoliseen toimintansa ja laatujärjestelmiensä arviointiin säännöllisesti ja julkistettava järjestämänsä arvioinnin tulokset. Opetusministeriön yhteydessä toimii riippumattomana asiantuntijaelimenä korkeakoulujen arviointineuvosto, josta säädetään tarkemmin valtioneuvoston asetuksella. 3
Korkeakoulujen arviointineuvoston tehtävät (VN asetus 794/2009) Avustaa korkeakouluja ja opetusministeriötä korkeakoulujen arviointia koskevissa asioissa Järjestää korkeakoulujen toimintaan ja laatujärjestelmiin liittyviä arviointeja Tukea korkeakoulujen laadun varmistamista ja kehittämistä Osallistua kansainväliseen arviointitoimintaan ja arviointia koskevaan yhteistyöhön KKA voi ottaa vastaan toimeksiantoja kotimaisilta ja ulkomaisilta toimijoilta (EQAR 13.11.2010) KKA:n on osallistuttava säännöllisesti oman toimintansa kansainväliseen arviointiin (ENQA 2.9.2010) 4
Suomalaisen arviointipolitiikan taustaa 1/2 1990-luvulla ensisijaisesti kansalliset syyt tulosohjaus / sopimusohjaus: jatkuva arviointi itseohjautuvuuden edellytyksenä ammattikorkeakoulujen perustaminen (kansallisten arviointiorganisaatioiden synty eräisiin muihin maihin) => Korkeakoulujen arviointineuvoston perustaminen 1996 5
Suomalaisen arviointipolitiikan taustaa 2/2 2000-luvulla taustana kansainvälinen kehitys, erityisesti Eurooppalaisen korkeakoulualueen rakentaminen eli Bolognan prosessi laadunvarmistuksen käyttöönotto (Berliinin kommunikea 2003) laadunvarmistuksen eurooppalaiset suositukset (Bergenin kommunikea 2005, European Standards and Guidelines) eurooppalainen arviointiorganisaatioiden rekisteri EQAR (Lontoon kommunikea 2007); aloitti toimintansa 2008 European Quality Forums 2006 => Uusi kansallinen arviointipolitiikka välttämätön => auditointi 6
Lähtökohtana kehittävä arviointi KKA tuottaa tietoa, jota korkeakoulut voivat käyttää hyväkseen kehittäessään omaa toimintaansa Tavoitteena myös välittää arvioinneissa esiin tulleita hyviä käytänteitä muihin korkeakouluihin = kehittää suomalaista korkeakoulutusta kokonaisuudessaan Vastuu arviointitiedon hyödyntämisestä ja soveltamisesta on korkeakouluilla itsellään (vrt. yo- ja amk-lait) 7
KKA:n arviointityypit ja toteutusta 2010-2013 Korkeakoulujen laadunvarmistusjärjestelmien (laatujärjestelmien) auditoinnit 1. kierros päätökseen 2011 (2012) 2011 aloitetaan 2. kierros Teema-arvioinnit Tutkinnonuudistuksen arviointi 2010 Tohtorikoulutuksen laajennettu seuranta-arviointi 2011 TKI-toiminnan arviointi 2011 Kansainväliset ohjelmat 2012 Koulutusala-arvioinnit Merenkulkualan koulutus 2011 Varhaiskasvatus 2012 Koulutuksen laatuyksikköjen valinta 8
Mistä nyt erityisesti keskustellaan? Eurooppalainen/kansainvälinen arviointimallien yhtenäisyys, standardisointi vs. kansallisen kontekstin huomioiminen Kansainväliset alakohtaiset arvioinnit vs. kansallisesti vertailtavissa olevan tiedon merkitys Lisääntyykö laadullisen arviointitiedon tarve/käyttö? Miten? Korkeakoulujen laatu Rankingit ja luokittelut Kansalliset ja kansainväliset laatuleimat, ohjelmaakkreditointien merkitys ja tarve Tutkintojen tuottaman osaamisen laatu Tutkintojen viitekehykset ja laadunvarmistus AHOT ja laadunvarmistus AHELO (Assessment of Higher Education Learning Outcomes) Tarvitaanko korkeakoulu-pisaa? Toimiiko se? 9
Suomen auditointimallin lähtökohtia Kukin korkeakoulu voi kehittää itselleen sopivan laadunvarmistusjärjestelmän Laadunvarmistuksen tulee kattaa koko toiminta Olennaista järjestelmän toimivuus ja tarkoituksenmukaisuus Auditoinnissa arvioidaan järjestelmän kattavuus, toimivuus ja vaikuttavuus Kehittävän arvioinnin periaatteiden mukainen, ja Täyttää yhteisesti sovitut eurooppalaiset vaatimukset (ESG) 10
Laatutyö korkeakouluissa ennen varsinaisia laadunvarmistusjärjestelmiä Laatutyöllä usein pitkä historia osana korkeakoulun strategioita ja toiminnan kehittämistä Ensimmäisinä elementteinä useimmiten opetuksen palautemenettelyt Ammattikorkeakouluissa perustamisvaihe arviointeineen tärkeä Kokeiltu useita erilaisia laatutyökaluja; työllä ei vielä järjestelmärakennetta Liittäminen johtamiseen ja toiminnanohjaukseen tehnyt toiminnasta järjestelmällisempää ja tavoitteellisempaa 11
Auditointien vaikuttavuuden seuranta Auditoinnin päätösseminaari korkeakoulussa Mitä opimme? Miten tästä eteenpäin? hyvien käytänteiden levittäminen korkeakoulussa Palaute korkeakouluilta ja auditointiryhmältä KKA:lle mahdolliset muutokset toimintaan Seurantaseminaarit noin kolme vuotta auditoinnista KKA:ssa tehdyt analyysit (Moitus 2009) Muu, esimerkiksi korkeakoulujen itse organisoimat benchmarkingit Auditointien 2. kierros 12
Auditoinnin vaikutus? Muutoksia runsaasti > vaikea erottaa, mikä kehitystyö seurannut juuri auditoinnista Auditointiin valmistautuminen (ml. itsearviointi) ja osallistuminen koettu tärkeiksi vakiinnuttaneet laadunvarmistusta käytännön toiminnaksi, osaksi arkityötä lisänneet laatutietoisuutta, auttaneet sisäistämään laatutyön merkityksen antaneet vahvistusta valitulle suunnalle / nostaneet esiin uusia asioita Kehittävä arviointi koetaan edelleen lähtökohtana oikeaksi; akkreditointien hyödyt/tarve nähdään kansainvälistymisessä 13
Kaksi esimerkkiä kehittämisalueista Strateginen johtaminen yhä tärkeämpää > laadunhallinta kytketty aiempaa vahvemmin johtamiseen seurantaindikaattorien käytön lisääminen (yo) / tarkoituksenmukaistaminen (amk) johtamisen palautejärjestelmien kehittäminen henkilöstön kehittämisestä suunnitelmallisempaa Osaamisperusteisen ajattelun lisääntyminen > pedagogiset strategiat huomiota opetuksen johtamiseen, opetussuunnitelmatyön laadunvarmistukseen, opetuksen laadun muuhun kehittämiseen (esim. työelämäyhteistyöhön), pedagogiseen koulutukseen jne. 14
Miten auditoinnista eteenpäin? Auditoinnin läpäisemisen jälkeen vaarana työn pysähtyminen Uusinta käynnistänyt aina voimakkaan kehittämistyön Suhtautumisessa jonkin verran eroa sektorien välillä (yotutkijat kriittisimpiä) Rakenteellinen muutos ja sisäiset organisaatiomuutokset sekä haaste että mahdollisuus Laadunvarmistusjärjestelmän yhtenäistäminen ja virtaviivaistaminen yleistä Hyvien käytänteiden levittämiseen korkeakoulun sisällä ja korkeakoulujen välillä lisää huomiota (myös kansainvälinen benchmarking lisääntynyt) Palautetiedon hyödyntäminen 15
Kohti toista kierrosta Tausta-aineistoina: KKA:n omat kokemukset ja analyysit Ensimmäisellä auditointikierroksella auditoiduilta korkeakouluilta ja auditoijilta kerätty palaute Kansallinen seminaari 13.4.2010: Laaja kentän kuuleminen suunnitteluryhmän työstä - tukea näkemykselle KKA:n kansainvälisen ulkoisen arvioinnin palaute Uusi auditointikäsikirja vuosiksi 2011-2017: Hyväksyttiin 17.11.2010 Julkaistiin KKA:n verkkosivuilla 30.11.2010 Toinen auditointikierros alkaa vuoden 2011 aikana 16
Toisen kierroksen lähtökohdat ja tavoitteet Tavoitteena tukea korkeakoulujen autonomiaa ja korkeakouluja niiden omien strategisten tavoitteidensa saavuttamisessa ja tulevan kehittämistoiminnan suuntaamisessa edellytykset korkeakoulujen jatkuvalle kehittymiselle Kansainvälisyyden oleellinen vahvistaminen tärkeimpiä toisen kierroksen tavoitteita, mutta korkeakouluilla edelleen mahdollisuus valita joko kotimainen tai kansainvälinen auditointiryhmä Läpäisyelementti: läpäisykynnys sama kuin aiemmin läpäistyään auditoinnin, korkeakoulu saa laatuleiman laatuleima voimassa kuusi vuotta laatuleima-asiakirjaan maininta siitä, toteuttiko arvioinnin kotimainen vai kansainvälinen ryhmä ja tiivistelmä auditoinnin keskeisistä tuloksista 17
Uusia käsitteitä Laatujärjestelmä Laadunhallinnan organisaatiosta, vastuunjaosta, menettelytavoista ja resursseista muodostuva toiminnan kehittämisen kokonaisuus Laadunhallinta Menettelytavat, prosessit tai järjestelmät, joiden avulla korkeakoulu pitää yllä ja kehittää toimintansa laatua Laatupolitiikka Laatujärjestelmän tavoitteista ja vastuista, järjestelmän ja sen tuottaman tiedon dokumentoinnista sekä järjestelmän viestivyydestä muodostuva kokonaisuus Laatukulttuuri Kuvaa esimerkiksi toiminnan kehittämisen ilmapiiriä ja yksilöllistä ja kollektiivista sitoutumista laatutyöhön Korkeakoulu itse konkretisoi sen, mitä laatukulttuuri tarkoittaa sen omassa toimintakontekstissa 18
Auditoinnin kohteet 1/2 1. Korkeakoulun laatupolitiikka 2. Strateginen johtaminen ja toiminnanohjaus 3. Laatujärjestelmän kehittäminen 4. Korkeakoulun perustehtävien laadunhallinta a) Tutkintotavoitteinen koulutus b) Tutkimus-, kehitys- ja innovaatiotoiminta c) Yhteiskunnallinen vaikuttavuus ja aluekehitystyö d) Valinnainen auditointikohde 5. Tutkintotavoitteisen koulutuksen näytöt 6. Laatujärjestelmän kokonaisuus 19
Auditoinnin kohteet 2/2 Painopiste tutkintotavoitteisen koulutuksen laadunhallinnassa: näyttöinä pääsääntöisesti kolme koulutusohjelmaa tai vastaavaa tutkintoon johtavaa kokonaisuutta korkeakoulu valitsee kaksi ja auditointiryhmä yhden Korkeakoulujen autonomiaa ja strategista kehittämistä tukee myös vapaavalintainen auditointikohde strategian tai profiloitumisen kannalta keskeinen toiminto, jonka laadunhallintaa korkeakoulu haluaa erityisesti kehittää Ensimmäisen auditoinnin jälkeisen järjestelmän kehittämistyön tarkastelu Laatujärjestelmän yleisarvion osalta menettelytapojen toimivuuden ja niiden vaikuttavuuden tarkastelu; tutkintotavoitteisen koulutuksen näyttöjen osalta tarkastellaan myös sitä, miten laadunhallinnan menettelyt ovat vaikuttaneet toiminnan tuloksiin 20
Auditointikriteeristö Auditointikriteeristö skaalattu edelleen neljä eri kehitysvaihetta sisältävälle asteikolle (puuttuva, alkava, kehittyvä ja edistynyt) Kunkin auditointikohteen kehitysvaihe määritellään erikseen (myös alakohteiden 4 a-d sekä kunkin tutkintotavoitteisen koulutuksen näytön osalta erikseen); valinnaista auditointikohdetta ei oteta huomioon läpäisyä arvioitaessa Auditointiryhmä voi esittää läpäisemistä, mikäli mikään kohde ei ole tasolla puuttuva ja laatujärjestelmän kokonaisuus on vähintään tasolla kehittyvä Kriteeristö uudistettu ja erityistä huomiota kiinnitetty kriteerien läpinäkyvyyteen ja ymmärrettävyyteen 21
Yleistä menetelmästä Arviointi edelleen kolmivaiheinen: aineisto/itsearviointi, vierailu, raportti Aineistomenettely uudistettiin täysin auditointi painottuu ensimmäistä kierrosta enemmän itsearviointiin, josta ohjeistus käsikirjan liitteenä raportin tulee painottua enemmän arviointi- kuin kuvausosuuteen Auditointiryhmän kokoonpano 5-7 jäsentä edustus molemmilta korkeakoulusektoreilta, opiskelijoista ja työelämästä korkeakoulu voi valita kansallisen tai kansainvälisen ryhmän; kansainvälisessä aina myös kotimaisia, kansallisen järjestelmän hyvin tuntevia jäseniä Auditoinnin hinta porrastetaan korkeakoulun ja auditointitehtävän laajuuteen perustuviin hintaluokkiin 22
Yhteenvetoa 2. kierroksen menetelmästä Lähtökohtana luottamus korkeakoulujen vastuuseen toimintansa laadusta Menetelmää kehitetty saadun palautteen ja ensimmäisen auditointikierroksen analysoinnin pohjalta siten, että: auditointi kytkeytyy tiiviimmin korkeakoulun strategisiin tavoitteisiin pyritään pääsemään syvemmälle erityisesti tutkintotavoitteisen koulutuksen laadunhallintaan aineistomenettely on selkeytetty ja se painottuu itsearviointiin helpottaa sekä korkeakoulun että auditointiryhmän työskentelyä ja lisää arvioinnin luotettavuutta 23
Auditoinneista lisää Auditointiraportit 2005- Sirpa Moitus: Analyysi korkeakoulujen laadunvarmistusjärjestelmien auditointien tuloksista vuosilta 2005-2008. KKA 14:2009 Analysis on FINHEEC Audit Outcomes 2005-2008. FINHEEC 15:2010 Auditoitujen korkeakoulujen hyvät käytänteet kooste. http://www.kka.fi/index.phtml?681_m=682&s=98 Korkeakoulujen laatujärjestelmien auditointikäsikirja vuosiksi 2011-2017. http://www.kka.fi/files/1201/kka_1610.pdf 24