KKA:n sihteeristön itsearviointi toteutettiin tällä kertaa CAF-itsearviointimallia (Common Assessment Framework) hyödyntäen.

Transkriptio

1 Korkeakoulujen arviointineuvosto Yhteenveto kehittämistoiminnasta Matti Kajaste Vuosien aikana Korkeakoulujen arviointineuvosto käytti ja kehitti omaa laadunvarmistusjärjestelmäänsä. Osana järjestelmän toimintaa sihteeristö valmistelee arviointineuvostolle 1 yhteenvedon vuoden aikana tehdystä kehittämistoiminnasta. Sen keskeisen osan muodostavat neuvoston ja sihteeristön kehittämispäivillä tekemät havainnot KKA:n arviointiryhmiltä ja korkeakouluilta kerätystä palautemateriaalista sekä niiden pohjalta päätetyt toimenpiteet. Kehittämispäivillä hyödynnettiin myös toiminnan tunnuslukutietoja sekä sihteeristön itsearviointia, joka toteutettiin CAF-itsearviointityökalua käyttäen. Arviointineuvosto evästi omilla kehittämispäivillään toisen auditointikierroksen suunnitteluryhmää sekä valmistautui KKA:n ulkoiseen arviointiin. Tämä yhteenveto on kooste niistä kehittämistoimista, jotka KKA on toteuttanut kesäkuun 2009 alusta toukokuun 2010 loppuun mennessä. Palauteaineistoa on näin voitu hyödyntää kuudesta korkeakoulun laadunvarmistusjärjestelmän auditoinnista 2, yhdestä uusintaauditoinnista 3 sekä ammattikorkeakoulujen koulutuksen laatuyksikköarvioinnista. Palauteaineisto arvioinneista Arviointeihin osallistuneilta korkeakouluilta kerättiin palautetta sähköisellä, internetpohjaisella Webropol-palautteenkeruujärjestelmällä. Laatuyksikköarvioinnin kyselyn kysymykset erosivat hieman auditointien kysymyksistä. Kyselyyn vastasivat pääsääntöisesti korkeakoulujen yhteyshenkilöt. Arviointiryhmien jäseniltä kerättiin palautetta Webropolin avulla ryhmille laaditun yhteisen lomakkeen avulla. Kyselyt lähetettiin korkeakouluille ja arviointiryhmille arvioinnin päätyttyä. KKA:n sihteeristön itsearviointi toteutettiin tällä kertaa CAF-itsearviointimallia (Common Assessment Framework) hyödyntäen. 1 Tässä asiakirjassa käytetään termiä arviointineuvosto, kun puhutaan 12-jäsenisestä päätöksentekoelimestä. Sihteeristöä käytetään, kun puhutaan arviointineuvoston päätökset valmistelevasta ja toimeenpanevasta elimestä. Korkeakoulujen arviointineuvosto (KKA) käsittää arviointineuvoston ja sihteeristön muodostaman kokonaisuuden. 2 DIAK, Turkuamk, RAMK, LY, TAIK ja ÅA. 3 Savonia-amk.

2 Sihteeristön kehittämispäivät Korkeakoulujen arviointineuvoston sihteeristö käsitteli vastaanottamansa palauteaineiston ja toiminnan tunnuslukutiedot vuosittaisilla kehittämispäivillään, jotka tällä kertaa järjestettiin Arviointiprojektista vastannut suunnittelija esitteli arvioinnista kerätyn palauteaineiston nostaen esiin KKA:n toiminnan vahvuuksia, kehittämiskohteita ja muita havaintoja. Seuraavaksi havainnoijana toiminut toinen suunnittelija täydensi esitystä havainnoillaan palauteaineistosta. Keskeisimmät havainnot koottiin yhteen ja päätettiin niitä koskevista toimenpiteistä, vastuista ja aikataulusta. Lopuksi tarkasteltiin toiminnan tärkeimpiä tunnuslukuja ja asetettiin tavoitteet seuraavalle vuodelle. Auditointien palauteaineistosta nostetut tärkeimmät kehittämiskohteet jaettiin kahteen osaan: toiseen auditointikierrokseen liittyvät asiat sekä kehittämiskohteet, joihin voidaan tarttua jo käynnissä olevalla kierroksella. Auditointimenetelmän kehittämisessä ei haluttu kuitenkaan vaarantaa korkeakoulujen tasapuolista kohtelua. Havainnot ja toimenpiteet korkeakoulujen ja arviointiryhmien palautteiden pohjalta Palauteaineistosta nousi esiin tarve uudistaa auditointimateriaalin kokoamista koskevaa ohjeistusta. Joidenkin korkeakoulujen kokoama materiaali koettiin auditointiryhmissä liian laajaksi ja osittain epäolennaiseksi. Toisen kierroksen auditointimalliin toivottiin näin sisältyvän yksiselitteisempi ohje materiaalin kokoamisesta. Auditointiaineiston tuottamiselle toivottiin lisäksi takaraja, joka olisi hyvissä ajoin ennen auditointivierailua. Näin arviointi kohdistuisi nykyistä tarkemmin olemassa olevaan laadunvarmistukseen, josta on varmasti näyttöä, eikä vain juuri ennen auditointia tuotettuun aineistoon. Palauteaineistossa korostettiin niin korkeakoulujen kuin auditointiryhmien taholta tarvetta selkeyttää auditointikohteita ja -kriteeristöä entisestään. Yksityiskohtia kaivattiin korkeakoulujen perustehtäviä koskeviin kriteereihin sekä erityisesti taiteellista toimintaa koskevaan auditointikohteeseen. Nykyisin korkeakoulujen perustehtäviä kohden on yhteinen kriteeriteksti. Lisäksi täydennyskoulutusta ja maksullista palvelutoimintaa toivottiin nostettavan kriteeristössä merkittävämpään asemaan. Auditointiryhmät kokivat, että haastateltavia kannattaa olla läsnä kerrallaan korkeintaan kahdeksan. Suuremmissa ryhmissä kaikki eivät pääse ääneen, eikä keskustelussa päästä syvälle asian ytimeen. Toisen auditointikierroksen mallin toivottiin lisäksi olevan kevyempi korkeakoulujen kannalta. Nämä havainnot on välitetty toisen auditointikierroksen sunnitteluryhmälle, joka ottaa ne huomioon työssään. Osaan palautteista nouseviin kehittämiskohteisiin voidaan tarttua jo käynnissä olevan auditointikierroksen aikana korkeakoulujen tasapuolisen kohtelun vaarantumatta. Auditoijien perehdytystä kehitetään edelleen. Auditointivierailujen järjestelyissä pyritään varaamaan riittävästi aikaa auditointiryhmän omille kokouksille. Myös haastatteluilta toivottiin tiukempaa rakennetta, jotta ryhmän jäsenet voivat olla varmoja siitä, että ehtivät esittämään ainakin tärkeimmät kysymyksensä. Auditointiryhmien jäseniltä tuli lisäksi toive, että auditointiraporttien lukujen pituudesta ja sisällöstä annettaisiin tarkemmat ohjeet. Sihteeristö päätti liittää aiheesta kalvon auditoijien perehdytykseen.

3 Auditointiryhmillä oli vaihtelevia kokemuksia Google Docs -alustan käytöstä prosessikirjoittamisessa. Yhteydet joidenkin taustaorganisaatioiden tietokoneilta toimivat heikosti ja yhteensopivuus Word-ohjelmaan on osittain keskeneräinen. KKA tarjoaa vastaisuudessa auditointiryhmille mahdollisuutta käyttää Google Docsin sijasta Microsoft Sharepoint-pohjaista Eduuni-alustaa. Lisäksi sovittiin, että KKA:n suunnittelijat hankkivat koulutusta kuluvan vuoden aikana erilaisista ryhmätyötavoista arviointiryhmien työskentelyä silmällä pitäen. Toiminnan tunnusluvut Korkeakouluille lähetettävissä palautekyselyissä on kuusi asenneväittämää, jotka mittaavat KKA:n onnistumista arvioinnin eri osa-alueilla. 1) KKA:n tiedotus ja ohjeet arvioinnissa olivat selkeät. 2) Arvioinnin eri osuuksille oli varattu riittävästi aikaa. 3) Arviointiryhmän antama palaute oli osuvaa ja käyttökelpoista. 4) KKA:n arviointiryhmä oli ammattitaitoinen. 5) Arvioinnin kriteerit olivat selkeät ja toimivat. 6) Itsearvioinnista oli paljon hyötyä toimintamme kehittämisessä Asenneväittämiin vastataan valitsemalla yksi seuraavista vaihtoehdoista: Täysin eri mieltä, jokseenkin eri mieltä, jokseenkin samaa mieltä sekä täysin samaa mieltä. Myös En osaa sanoa - tarjotaan vaihtoehtona. Vastauksista lasketaan keskiarvot, joita KKA seuraa keskeisimpinä toimintansa tunnuslukuina. Vuosien toiminnan keskeisimmät tunnusluvut paranivat huomattavasti edelliseen vuoteen nähden. Arvioinnin laatua parhaiten indikoivien tunnuslukujen 3 ja 4 lukemat (palautteen laatu ja arviointiryhmän ammattitaito) olivat hyvin myönteisiä. Lähes kaikki kyselyyn vastanneet olivat täysin samaa mieltä näiden asenneväittämien kanssa. Vastausten perusteella arviointeihin osallistuneet korkeakoulut olivat hyvin tyytyväisiä KKA:n toimintaan näissä arvioinneissa. Tunnuslukutietoihin on kuitenkin suhtauduttava varauksella, sillä vastaajamäärät ovat hyvin pieniä (arviointeihin osallistuneet korkeakoulut). Arviointineuvoston kehittämispäivät Korkeakoulujen arviointineuvoston kehittämispäivät vietettiin Johtamistaidon opistolla Aavarannassa Päiville nostettiin kaksi tärkeää aihetta: toisen auditointikierroksen malli sekä KKA:n ulkoinen arviointi. Projektisuunnittelija Kirsi Hiltunen alusti aiheesta "Palautetta auditoiduilta korkeakouluilta ja auditointiryhmiltä auditointimallin kehittämiseksi." Auditointiin osallistumisen ja siihen valmistautumisen on koettu korkeakouluissa vaikuttaneen merkittävästi laadunvarmistuksen vakiintumisessa osaksi käytännön toimintaa. Kehittävä arviointi sai käytössä olevana lähestymistapana paljon kiitosta ja sen toivottiin jatkuvan myös toiselle kierrokselle.

4 Arviointineuvosto evästi toisen auditointikierroksen suunnittelua varten koottua ryhmää toteuttamalla SWOT-analyysin nykyisen auditointimallin vahvuuksista, heikkouksista, mahdollisuuksista ja uhkista. Vahvuuksina pidettiin korkeakoulukentällä auditointia koskevaa luottamuksen ilmapiiriä ja mallin läpinäkyvyyttä. Lisäksi hyvänä pidettiin sitä, että malli kattaa korkeakoulun koko toiminnan ja kehittää arvioinnin kohteena olevan korkeakoulun toimintaa. Eri sidosryhmien osallistamista mallissa kiiteltiin. Tärkeänä pidettiin myös sitä, että auditointimalli sallii hyvinkin erilaiset ratkaisut korkeakouluissa. Auditointimallin heikkouksina neuvosto piti vahvaa painotusta laadunvarmistuksen järjestelmään suhteessa käytäntöön ja korkeakoulun arkeen. Ulkoiset sidosryhmät ovat myös korostuneessa asemassa suhteessa korkeakoulujen todellisuuteen. Auditointiraporttia ei pidetty myöskään ongelmattomana välineenä auditointiryhmän näkemysten välittämiseen. Korkeakoulun voi olla vaikea saada selkoa ryhmän johtopäätöksistä ja tulkinnoista. Malli painottaa melko voimakkaasti koko korkeakoulun laadunvarmistusta, jolloin yksikkö- tai tiedekuntakohtainen palaute jää vähäiseksi. Tämä on ongelma erityisesti suurten yliopistojen kohdalla. Malliin liittyvinä mahdollisuuksina nostettiin esiin mm. kansallisen ja kansainvälisen tason vertailu yhtenäisen kriteeristön avulla. Käytössä oleva malli sisältää myös mahdollisuuden, että toisella auditointikierroksella otettaisiin huomioon korkeakoululle jo annetut kehittämissuositukset, hyvät käytänteet ja vahvuudet. Jos auditointipäätöksestä ja ns. laatuleimasta tulisi yleisesti hyväksytty kelpuutus päästä osaksi kansainvälistä yhteistyötä, niiden merkitys kasvaisi olennaisesti. Uhkina neuvosto näki mm. sen, että samaan arviointimenetelmään jämähtäminen tarjoaisi korkeakouluille yhä vähemmän lisäarvoa ja aiheuttaisi kasvavaa turhautumista. Lisäksi auditointi työllistää KKA:ta siinä määrin, että sihteeristön asiantuntemus ja kokemus muista arviointimenetelmistä uhkaa kaventua. The European Quality Assurance Register for Higher Education (EQAR) -rekisterin kautta arviointitoiminta saattaa avautua kansainväliselle kilpailulle, jossa ulkomaisen toimijan arviointi voisikin olla kotimaista kiinnostavampi. Uhka voi myös olla se, että mikäli auditointimalli muuttuu liian vähän, se yksinkertaisesti opitaan läpäisemään, jolloin auditointi ei kehitä korkeakouluja enää entiseen tapaan. Neuvoston kehittämispäivien toinen aihe oli käynnistyvä KKA:n ulkoinen arviointi. Suunnittelija Matti Kajaste esitteli ensin European Standards and Guidelines (ESG) - dokumentin, jonka perusteella keväällä 2010 alkava ulkoinen arviointi tehtäisiin. Neuvosto ja sihteeristö työstivät yhdessä arviointia varten tuotettua itsearviointiraporttia. KKA:n ulkoinen arviointi Korkeakoulujen arviointineuvosto osallistui keväällä 2010 ensimmäistä kertaa toimintansa ulkoiseen arviointiin. Arvioinnin koordinoi European Association for Quality Assurance in Higher Education (ENQA) -verkoston sihteeristö, joka kokosi seuraavat henkilöt arviointiryhmään: Jon Haakstad, NOKUT, Norja (puheenjohtaja)

5 Peter Findley, QAA, Britannia (sihteeri) Tia Loukkola, EUA, Belgia Maria Helena Nazaré, EUA, Portugali Christian Schneijderberg, ESU, Saksa Arviointiryhmä vastaanotti KKA:n tuottaman itsearviointiraportin sekä muun Suomen korkeakoulujärjestelmää ja arviointitoimintaa kuvaavan materiaalin maaliskuun alussa Ryhmä suoritti arviointivierailun Helsinkiin toukokuun alussa Vierailun ohessa haastateltiin KKA:n johtoa, neuvoston ja sihteeristön jäseniä, korkeakoulujen edustajia, arviointiryhmissä toimineita henkilöitä, opiskelijoiden sekä ulkoisten sidosryhmien edustajia. Arviointiryhmän antama ennakkopalaute oli varsin positiivinen. Ryhmä oli vaikuttunut kehittävän arvioinnin toteutumisesta sekä lähestymistavan nauttimasta hyväksynnästä korkeakoulujärjestelmässä. Kritiikkiä KKA ja auditointimalli saivat koulutuksen laadunvarmistuksen suhteessa kevyemmästä painotuksesta. ESG keskittyy juuri koulutuksen laadunvarmistukseen ja KKA:n auditointimalli taas korkeakoulun koko toimintaan, kuten tutkimuksen, t&k-työn ja yhteiskunnallisen vuorovaikutuksen laadunvarmistukseen. ESG:n ensimmäinen luku korostaa myös joitakin asioita, joihin KKA:n auditointimallissa ei suoraan pureuduta, kuten opiskelijoiden suoritusten arvostelu. Arviointineuvostoa kannustettiin myös lisäämään arviointitoiminnan kansainvälisyyttä. Arviointiryhmä kertoi kuitenkin kokonaisuutena saaneensa hyvin positiivisen kuvan KKA:n toiminnan ammattimaisuudesta. Ulkoinen arviointiryhmä lähetti raporttinsa KKA:han heinäkuussa 2010 asiatarkistukseen. ENQA:n hallitus tekee päätöksen KKA:n täysjäsenyyden uusinnasta syyskuussa Mikäli päätös on positiivinen, tarkoitus on anoa myös pääsyä luotettujen arviointiorganisaatioiden EQAR-rekisteriin. Huoltokirja Vuosittaisten kehittämispäivien ohella KKA parantaa toimintaansa ja arviointimenetelmiä päivittäisessä työssään. Näitä arkityössä tehtyjä muutoksia ja parannuksia on kirjattu KKA:n Huoltokirjaan. Kirjan tarkoitus on tehdä näkyväksi joustavasti toteutettu jatkuva parantamistoiminta. Neuvoston kehittämispäivillä todettiin, että auditointipäätösten julkinen tiedote olisi hyvä julkaista samana päivänä kuin auditointiraportti. Näin tiedotusvälineillä olisi käytössään raportti uutista tehdessään. Arviointineuvoston puheenjohtaja totesi marraskuussa 2009, että olisi eduksi, jos jokainen neuvoston jäsen osallistuisi auditoinnin päätösseminaariin ainakin kerran toimikauden aikana. Tämä laajentaisi heidän näkemyksiään auditointien vastaanotosta, vaikuttavuudesta ja raporttien tulkinnoista. Koulutuksen laatuyksikköarviointien kohdalla neuvosto totesi, että pelkkien kirjallisten palautteiden perusteella on hankalaa tehdä päätös valittavista laatuyksiköistä. Neuvosto kaipaisi jonkinlaista pisteytystaulukkoa tai muuta numeerista vertailua. Asia päätettiin ottaa esiin seuraavien laatuyksikköarviointien yhteydessä. Neuvoston joulukuun kokouksessa 2009 todettiin myös, että OPM:n tiedotus lähettää embargo-uutiset myös korkeakoulujen viestintäyksiköihin, jotka eivät aina kunnioita embargoa. Päätettiin, että tiedote lähtee vastedes vasta, kun päätös on tehty. Vastaisuudessa embargoa käytetään vain koulutusala- ja teema-arviointien kohdalla. Arviointineuvosto totesi maaliskuussa 2010

6 kaipaavansa päätöksentekonsa tueksi lisää informaatiota siitä, miten auditointiryhmä on päätynyt juuri kyseisiin kehitysvaiheisiin (puuttuva, alkava jne.) auditointikohteittain. Päätettiin ohjeistaa auditointiryhmien puheenjohtajia näiden toiveiden mukaisesti. Sihteeristön itsearviointi KKA:n sihteeristön itsearviointi toteutettiin alkukesällä 2010 jälleen CAFitsearviointityökalua käyttäen. Keskeisimpinä johtopäätöksinä päätettiin käydä sihteeristön kesken keskustelu arvoista, jotka toimintaa ohjaavat. Lisäksi työtehtävien jakamiseen toivottiin kirjattua järjestelyä. Henkilöstön koulutuksen ja kehittämiseen pohdittiin pidemmän aikavälin suunnittelua. Sihteeristö päätti myös kerätä vastedes palautetta KKA:n järjestämien seminaarien osallistujilta sekä tutkia mahdollisuuksia seurata KKA:n virkojen hakijamääriä. Todettiin tarve päivittää KKA:n viestintäsuunnitelma ja lisätä uutisia englannin- ja ruotsinkielisille verkkosivuille. Päätettiin kerätä arviointiryhmien jäseniltä numeerista palautetta arvioinnin onnistumisesta sekä uudistaa ja laajentaa muutenkin arviointeja koskevaa mittaristoa. Yhteenveto Kokonaisuutena Korkeakoulujen arviointineuvoston kehittämistyötä vuosina leimasi vahvasti toisen auditointikierroksen malliin liittyvä valmistelu- ja kehittämistyö sekä ulkoiseen arviointiin valmistautuminen. Vuodenvaihteessa astui voimaan lisäksi uusi KKA:sta annettu asetus, joka vahvistaa osaltaan arviointineuvoston itsenäisyyttä ja täsmentää organisaation tehtäviä ja toimintamahdollisuuksia. Korkeakoulujen antamat palautteet sekä arviot arviointien onnistumisesta olivat ajanjakson aikana niin positiivisia, että vuosien haasteeksi nousee ylläpitää saavutettu taso.