Auditointiprosessi ja sen vaikutukset yliopistossa

Transkriptio

1 Arja Haapakorpi Auditointiprosessi ja sen vaikutukset yliopistossa KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA 7:2011

2 ISBN (painettu) ISBN (pdf) ISSN Julkaisija: korkeakoulujen arviointineuvosto Kansi: Juha Ilonen Layout: Pikseri Julkaisupalvelut Tammerprint Oy Tampere 2011

3 Esipuhe Korkeakoulujen arviointineuvoston tehtävänä on arviointien järjestämisen lisäksi tukea myös muuten korkeakoulujen laadun varmistamista ja kehittämistä. Tärkeä osa työtä on arvioinneissa havaittujen hyvien käytänteiden jakaminen ja toimintojen kehittäminen. Tässä tarkoituksessa arviointineuvosto jakaa vuosittain arviointitukirahoitusta kansallisesti merkittäviin hankkeisiin. Tällä rahoituksella on tuettu esimerkiksi hankkeita, joiden tavoitteena oli laadunvarmistuksen yhteisöllisyyden ja laadunvarmistuksen ja toiminnanohjauksen välisen yhteyden vahvistaminen sekä laadunvarmistusjärjestelmien kehittäminen usean korkeakoulun benchmarking-hankkeina. Viime vuosina Korkeakoulujen arviointineuvosto on pitänyt tärkeänä tukea kansalliseen arviointitoimintaan liittyvää riippumatonta ulkopuolista tutkimusta. Vuonna 2008 arviointineuvosto päätti suunnata arviointitukirahoituksen auditoinnin ja muun arviointitoiminnan vaikuttavuuden tutkimukseen. Auditointi on viime vuosina koskettanut kaikkia suomalaisia korkeakouluja, mutta tutkimusta siitä ei kansallisella tasolla ole tässä mittakaavassa aiemmin tehty. Määräaikaan mennessä Korkeakoulujen arviointineuvosto sai yhteensä 14 hakemusta, joiden arviointikriteereinä olivat tutkimussuunnitelman toteuttamiskelpoisuus, aiheen merkittävyys, tulosten hyödynnettävyys kehittämistoiminnassa ja ajankohtaisuus. Rahoitettavaksi valittiin kaksi tutkimushanketta, joista tämä Helsingin yliopiston Koulutus- ja kehittämiskeskus Palmenian tutkimus Auditointiprosessi ja sen vaikutukset yliopistossa on toinen. Tutkimuksen tavoitteena oli tarkastella auditointiprosessin suoria ja välillisiä vaikutuksia kahden monialaisen yliopiston tiedekunnissa ja laitoksilla. Tutkimus toteutettiin yliopistoja osallistavalla otteella. Tutkimuksen vastuullisena tutkijana toimi erikoistutkija, VTT Arja Haapakorpi. Tutkimuksen toteuttamisen tueksi perustettiin ohjausryhmä, jonka puheenjohtajana oli professori Kauko Hämäläinen Helsingin yliopiston Koulutus- ja kehittämiskeskus Palmeniasta ja jäseninä kehitysjohtaja Ossi Tuomi, professori Turo Virtanen ja dekaani Jari Niemelä Helsingin yliopistosta sekä laatupäällikkö Pirjo Rauhala ja dosentti, erikoistutkija Oili-Helena Ylijoki Tampereen yliopistosta. Tutkimus toteutettiin vuosina 2009 ja Kiitämme Korkeakoulujen arviointineuvoston ja Koulutus- ja kehittämiskeskus Palmenian puolesta erikoistutkija Arja Haapakorpea hyvin tehdystä työstä. Uskomme, että tämä auditointien vaikutuksista tehty tutkimus

4 tuo uusia näkökulmia ja uutta tietoa arvioinneista käytävään keskusteluun. Tutkimusraportti soveltuu myös oppimateriaaliksi korkeakoulujen laadun ja ar viointien parissa työskenteleville asiantuntijoille ja tutkijoille sekä korkeakouluhallinnon ja -johtamisen koulutusohjelmiin. Riitta Pyykkö, professori Korkeakoulujen arviointineuvoston puheenjohtaja kauko Hämäläinen, professori Helsingin yliopisto, Koulutusja kehittämiskeskus Palmenia

5 Sisällys 1 Johdanto 7 2 Tausta Globaalit korkeakoulutuksen markkinat ja EU:n tavoite yhtenäisestä korkeakoulualueesta Julkisen sektorin reformit ja yliopistojen ohjauksen muutos Yliopistojen ohjausmalli ja johtaminen 13 3 Yliopistojen laadunvarmistuksen ja arvioinnin kuvausta ja käsitteitä Laadunvarmistus Arvioinnin käsitteitä ja kuvaus yliopistojen arviointitoiminnasta 17 4 Tutkimusongelma, menetelmät ja aineistot Tutkimusongelma Aineisto ja tutkimusmenetelmä 24 5 Auditointiin valmistautuminen Helsingin ja Tampereen yliopistoissa ja auditointipäätöksenteon prosessi Auditointiprosessin johtaminen ja toteutus Helsingin ja Tampereen yliopistoissa Helsingin yliopiston tiedekuntavetoinen toteutus Tampereen yliopiston malli laitos vastuuyksikkönä Lääketieteellisen tiedekunnan yliopistorajat ylittävä malli Tunnollisuus ja laadunvarmistus Auditointipäätöksenteon prosessi 37 6 Auditointiprosessin vaikutukset Suorat vaikutukset Näkyväksi tekeminen Systemaattinen jäsentäminen ja kehittäminen Toimintojen näkyväksi tekemisen kautta arvostuksen kohentuminen Auditointiin valmistautuminen sosiaalisena integroijana Välilliset vaikutukset Johtamiseen ja ohjaukseen liittyvät välilliset vaikutukset Opetukseen ja muuhun toimintaan liittyvät epäsuorat vaikutukset Auditointiprosessin vaikutusten rajat ja kielteiset seuraukset Laadunvarmistuksen niukat hyödyt tiedekunta- ja laitostasolla Kuormittavuus Raportin ja auditointipäätöksen vaikutukset Raportin hyödyntäminen perustehtävätasolla Tampereen yliopiston kielteisen auditointipäätöksen seuraukset 74

6 7 Johtopäätökset ja keskustelu Johtopäätökset Laadunvarmistuksen kriittiset kysymykset Arvioinnin kehityskulkuja ja jatkotutkimusaiheita 86 Kirjallisuus 87 Liite: Tutkimusaineisto: yliopistojen kuvaus ja dokumentit 91

7 7 1 Johdanto Korkeakoulujen laadunvarmistusjärjestelmien arviointeja toteutetaan eri tavoin Euroopan eri korkeakoulualueilla. Yleinen malli on akkreditointi, jossa korkeakoulujen tulee läpäistä määritellyt vähimmäisvaatimukset ja arvioinnin tulos on ehdoton hylkääminen tai hyväksyminen. Hylkäämisestä seuraa yleensä sanktioita. Toisena mallina on kehittävä arviointi, jossa arvioinnin tarkoituksena on saada korkeakoulun käyttöön arviointitietoa toiminnan kehittämiseksi. Kritiikistä ei seuraa sanktioita. Korkeakoulujen arviointineuvosto (KKA/FINHEEC) on kirjannut toimintaperiaatteeksi kehittävän arvioinnin eli suomalaisessa auditointimallissa korkeakoulu voi itse päättää omasta laadunvarmistusjärjestelmästään ja arviointineuvosto arvioi sen toimivuuden (Korkeakoulujen laadunvarmistusjärjestelmien auditointi 2007: 3). Mallissa on kuitenkin mukana myös kontrollielementti, sillä auditointiin sisältyy hyväksymisjärjestelmä. Korkeakoulujen arviointineuvosto aloitti Suomessa korkeakoulujen laatu järjestelmien auditoinnit vuonna 2005, mutta korkeakoulujen arvioinnit tutkimuksen, opetuksen ja strategiseen ohjaukseen liittyvä toiminta eivät ole uusi ilmiö. Ensimmäinen päätös yliopistojen ohjaukseen ja strategiseen suunnitteluun liittyvästä arvioinnista tehtiin jo 1980-luvulla luvulla hallitus teki päätöksen yliopistojen institutionaalisesta arvioinnista (Liuhanen 2008: 16), mikä liittyi yliopistojen ohjauksen muutokseen aloitettuihin auditointeihin liittyvät tavoitteet ja taloudelliset ehdot poikkeavat aikaisemmista arvioinneista, sillä uutta on laadunvarmistuksen systemaattisuus sekä kattavuus ja kytkentä johtamis- ja ohjausjärjestelmään. Kun aikaisemmin arviointien tavoitteissa painottui yliopistojen oman toiminnan kehittäminen, kontrollitehtävä on vahvistunut tultaessa 2000-luvulle. Auditointien kehittämistavoitteeseen on liitetty tuloksellisuuden seuraaminen (Saarinen 2005: 68). Auditointiprosessi muistuttaa osin akkreditointimallia, mutta siihen ei kytkeydy välittömiä ja selvästi määriteltyjä sanktioita. Prosessi päättyy neuvoston tekemään päätökseen auditoinnin läpäisemisestä. Jos korkeakoulu ei läpäise auditointia, uusinta-auditointi tehdään parin vuoden kuluttua päätöksestä. Auditoinnin merkitys on ollut epäselvä. Uudessa yliopistolaissa arviointi on kirjattu pakolliseksi (Yliopistolaki, /558), minkä voidaan arvioida täsmentävän ja vahvistavan laadunvarmistusjärjestelmien arviointien asemaa. Arviointien suorittajainstituutiota ei kuitenkaan nimetty

8 8 lainsäädännössä, joten hypoteettisesti on mahdollista, että laadunvarmistusjärjestelmien arviointiin osallistuu myös muita toimijoita kuin KKA. Korkeakoulujen auditointia ei ole Suomessa tutkittu vielä kovin mittavasti, mutta arviointitoimintaa ja sen taustoja on erityisesti 2000-luvulle tultaessa ryhdytty selvittämään ja tutkimaan enenevässä määrin. Taustalla on kansainvälinen tutkimus, sillä muualla Euroopassa, erityisesti Norjassa ja Portugalissa, laadun arviointi on ollut tiiviin tutkimustoiminnan aiheena kymmenisen vuotta. Käsillä olevan tutkimuksen tavoitteena on tarkastella auditointiprosessin vaikutuksia yliopistossa tiedekuntien ja laitosten toiminnassa. Jotta laadunvarmistuksella ja auditoinnilla olisi vaikuttavuutta, sitä pitäisi toteuttaa perustehtävien toteuttamisessa tiedekunta- ja laitostasolla. Korkeakoulujen arviointineuvoston auditointitoimintaa koskevassa auditointiraporttien analyysissa tuodaan esille se, että henkilökunnan sitoutumisella on tärkeä merkitys laadunvarmistusjärjestelmän kehittyneisyydelle (Moitus 2009: 52). Tutkimuksen kohteena ovat auditointiin valmistautumisen prosessi ja sen seuraukset. Auditointiin valmistautuminen tarkoittaa tässä pääasiassa laadunvarmistusjärjestelmän dokumentointia ja itsearviointimateriaalien tuottamista. Auditoinnin vaikutukset kattavat raportin hyödyntämistä ja seurauksia auditoinnin lopullisesta tuloksesta eli läpäisemistä koskevasta myönteisestä tai kielteisestä päätöksestä. Auditointiin valmistautumisen prosessi on koonnut merkittävästi useampia ja laajempia henkilöstöryhmiä asian äärelle kuin varsinainen auditointitapahtuma ja sitä seurannut raportointi ja päätöksenteko, minkä vuoksi myös se on tässä tarkastelun kohteena. Analyysin laajempana kohteena on yliopisto erityisenä yhteiskunnallisena instituutiona ja sen toimintaympäristö. Yliopistolle annettu asema ja rooli tieteellistä tutkimusta ja opetusta toteuttavana organisaationa ja sen suhde muihin instituutioihin, kuten sitä valvovaan opetusministeriöön, ovat keskeisiä yliopiston toiminnassa. Tutkimuksen kohteena ovat monialaiset yliopistot, jotka koostuvat erilaisia tieteenaloja edustavista yksiköistä. Tieteenalojen sisällöllinen mutta myös kulttuurinen erilaisuus hallinnollisia käytäntöjä myöten tekee yliopistoista organisaatioina hajanaisia ja niiden johtamisesta ja arvioinnista varsin haasteellisia (ks. Sipilä 2007). Vuonna 2010 voimaan tullut uusi yliopistolaki oli tutkimusajankohtana valmisteluvaiheessa ja tämä vaikutti auditoinnin hyödyntämiseen ja uusintaauditointiin valmistautumiseen. Lakimuutos koettiin erittäin merkittäväksi yliopistojen aseman ja organisaation sekä johtamisen uudelleen muotoilussa, minkä vuoksi useat hallinnolliset uudistusprosessit odottivat lain valmistumista ja toteutumista. Auditoinnin kommenttien hyödyntäminen on samalla tavoin ollut suvantovaiheessa, mikä täytyy ottaa huomioon seurauksia arvioi taessa.

9 Auditointijärjestelmän ja voimistuvan arviointitoiminnan taustalla on useita kansainvälisiä prosesseja ja julkisen hallinnon reformeja. Euroopan Unionin yhtenäisen korkeakoulualueen luominen ja eurooppalaisten yliopistojen kilpailukyvyn vahvistaminen kansainvälisessä kilpailussa sekä yliopistojen uusi ohjausjärjestelmä ovat näitä prosesseja. Tutkimuksen teoreettinen tausta muotoutuu pääasiallisesti korkeakoulututkimuksen ja hallinto- sekä organisaatioteoreettisista lähestymistavoista. Laadunvarmistus liittyy yliopistojen ohjaukseen ja yliopisto-organisaation johtamiseen, minkä vuoksi ne ovat näkökulmana teoreettisessa taustassa. Raportin aluksi luodaan lyhyt katsaus auditoinnin ja arviointitoiminnan kansainväliseen taustaan ja siihen kytkeytyvään julkisen sektorin reformiin, minkä jälkeen tarkastellaan auditointijärjestelmää. Tämän jälkeen muotoillaan tutkimusongelma ja siihen liittyen tarkastellaan keskeisiä käsitteitä. Tutkimusaineisto ja menetelmät esitellään, minkä jälkeen esitellään tutkimustulokset. Johtopäätöksien yhteydessä keskustellaan myös auditoinnin merkityksestä yliopistojen toiminnalle ja siihen liittyvästä problematiikasta. 9

10 10 2 Tausta 2.1 Globaalit korkeakoulutuksen markkinat ja EU:n tavoite yhtenäisestä korkeakoulualueesta Korkeakoulutus ja tutkimus kytkeytyvät osaksi globaaleja intellektuaalisen pääoman markkinoita ja näihin markkinoihin liittyvät myös EU:n tavoitteet kilpailukyvyn kehittämisestä (Rhoades & Sporn 2002). Tutkimuksen rahoituslähteet ovat yhä useammin kansainvälisiä, tutkimusrahoitus kansainvälisesti kilpailtua ja kansalliset yliopistot kytkeytyvät osaksi kansainvälistä korkeakoulutuksen verkostoa. Arvioinneilla halutaan tietoa koulutuksen ja tutkimuksen laadusta yhdenmukaisessa kehyksessä ja tähän arviointitietoon perustuu kilpailu rahoituksesta ja resurssien jako. Yliopistojen ohjauksen ja johtamisen uudistamisen ja niihin liittyvän arvioinnin edelläkävijä on ollut Yhdysvallat (Rhoades & Sporn 2002). Euroopassa on otettu käyttöön näitä malleja 1980-luvulta lähtien, mutta soveltaen niitä eurooppalaisiin poliittisiin, taloudellisiin, sosiaalisiin ja kulttuurisiin oloihin. Euroopassa on otettu käyttöön arvioinnin nelivaihemalli. Nelivaihemallissa edetään sopimuksesta itsearvioinnin kautta ulkoiseen arviointiin ja johtopäätöksiin; ulkoinen arviointi perustuu itsearviointiin. Eri korkeakoulualueiden tai kansallisvaltioiden välillä on kuitenkin vaihtelua tämän mallin toteutuksessa (Brennan & Shah 2000; Rhoades & Sporn 2002). On havaittu, että Pohjoismaissa on mahdollisuus kehittävään, yliopiston omiin lähtökohtiin perustuvaan arviointiin, vaikka kontrollitehtävä on voimistunut. Kyseinen malli perustuu pohjoismaiseen arvomaailmaan. (Danø & Stensaker 2007) EU:ssa on pyritty yhtenäiseen korkeakoulualueeseen, ja ns. Bolognan prosessin ja Berliinin kommunikean päämääränä on ollut eurooppalaisen korkeakoulualueen rakentaminen vuoteen 2010 mennessä. EU:lla ei ole varsinaisesti omaa korkeakoulupolitiikkaa, sillä sitä toteutetaan kansallisella tasolla. Korkeakoulutus tulee kuitenkin merkittäväksi EU:n politiikkaohjelmien kautta; näiden ohjelmien strategiset tavoitteet edellyttävät korkeaa osaamistasoa ja laadukasta tutkimus- ja kehittämistyötä kilpailukykyisen talouden ja työmarkkinoiden kehittämisessä (Magalhães, Santiago, Machado, Sousa, Tavares & Ribeiro 2010). EU:n toimintamallina on verkostojen ja välittävien organisaatioiden (esim. ENQA, the European Association for Quality Assurance in Higher Education eli eurooppalainen korkeakoulutuksen laaduvarmistuksen

11 11 yhdistys) hyödyntäminen korkeakoulutusta koskevien tavoitteiden saavuttamisessa (Magalhães, Santiago, Machado, Sousa, Tavares & Ribeiro 2010). Eurooppalaisen yhtenäisen korkeakoulualueen tavoitteet eli tutkintojen eurooppalainen vastaavuus, opintojen hyväksi lukeminen ja liikkuvuuden edistäminen liittyvät läheisesti korkeakoulujen laatutyöhön (Moitus & Seppälä 2004: 3). Bolognan prosessin myötä laadunvarmistus- tai akkreditaatioulottuvuus on kytkeytynyt osaksi eurooppalaista korkeakoulutusta (Saari 2006). Tutkimustulokset uuden, läpinäkyvyyttä korostavan politiikan vaikutuksista ovat olleet ristiriitaisia. On havaittu, että laadunvarmistusjärjestelmien kaltaiset mallit voivat yhdenmukaistaa rakenteita ja toimintamalleja kansallisella tasolla (Stensaker, Frølich, Gornitzka & Maassen 2008). Toisaalta tutkimuksissa on tullut esille, että laadunvarmistusjärjestelmät ja niiden arviointijärjestelmät ja -menetelmät vaihtelevat Euroopassa alueittain siinä määrin, että yhteismitallisuus tai läpinäkyvyys ei ole mahdollista. Vaihtelu liittyy siihen, että Bolognan tavoitteita on toteutettu soveltaen niitä kansallisiin korkeakoulupoliittisiin tavoitteisiin ja erityisiin kansallisiin arviointijärjestelmiin (Amaral & Neave 2009; Serrano-Velarde 2008). Tämän näkemyksen mukaan kansalliset erityispiirteet, arvioinnin järjestäminen, toimijat ja arviointimenetelmät tekevät korkeakoulujen laadun arvioinnista siinä määrin heterogeenista, että asiakkaan eli esimerkiksi opiskelijan on mahdoton saada yhteismitallista tietoa sen kautta korkeakoulujen toiminnasta. Arviointeja voivat tehdä itsenäiset, kaupallisella toimintaperiaatteella toimivat arviointikonsultit tai virkamiehet; arviointimenetelmänä voi olla akkreditointi tai väljempi, kehittävä arvioin - ti. (Serrano-Velarde 2008). EU:n tavoitteita on hyödynnetty kansallisessa korkeakoulupolitiikassa omiin tarkoituksiin ja hyödynnetty olemassa olevia käytäntöjä ja rakenteita EU:n tavoitteiden soveltamisessa. Ilmiötä on kutsuttu käsitteellä re-nationalization, jolla on haluttu korostaa EU-tason tavoitteiden hyödyntämistä kansallisen politiikan uudistamisessa ja legitimoinnissa (Musselin 2009). 2.2 Julkisen sektorin reformit ja yliopistojen ohjauksen muutos Julkista sektoria ryhdyttiin uudistamaan muutama vuosikymmen sitten New Public Management -johtamisdoktriinilla, joka on julkisen sektorin johtamisen ja hallinnoinnin periaatteita koskeva kansallisvaltioiden rajat ylittävä oppi. Se liittyi 1980-luvulla tapahtuneisiin taloudellis-poliittisiin muutoksiin ja uusliberalistisiin ajatuksiin reformin perusteista. Tarkoituksena oli julkisen sektorin taloudellisuuden ja tehokkuuden parantaminen sekä joustavuuden, asia-

12 12 kaslähtöisyyden ja toiminnan läpinäkyvyyden lisääminen (Pollitt & Bouckaert 2004: 5 8). Johtamisesta hallinnoinnin sijaan ja johtajien toimintavapauden lisäämisestä ryhdyttiin hakemaan keinoja vastata julkisen sektorin uusiin tavoitteisiin. Kyse oli myös mielikuvista eli johtaminen ja johtajien toimintavapauden lisääminen antoivat kuvan tehokkaammasta julkisen sektorin johtamisesta. (Pollitt & Bouckaert 2004: 4 15; Lähdesmäki 2003: 9 16, 33). Julkisen sektorin reformien toteutus on ollut kansainvälinen muutostrendi, mutta se on muotoutunut kansallisten piirteiden kanssa yhdessä erityisiksi sovelluksikseen (Pollitt & Bouckaert 2004). Anglosaksisen (UK, Australia, Uusi-Seelanti) alueen reformit ovat olleet radikaaleja ja keskittyneet palveluiden talouden ja hallinnon tehostamiseen. Tämä malli on liittynyt useisiin tekijöihin, joista tärkeimpänä on ollut poliittinen, yhden puolueen hallitusvastuun malli. Näissä maissa uudistuksia on viety läpi radikaalisti. Suomessa ja Ruotsissa reformi on ollut vähemmän mullistava, ja sitä on toteutettu pitkän ajan kuluessa hallitusten puoluepohjan muuttuessa. Suomessa koalitiohallitusmalli on sitonut poliittiset puolueet tiiviimmin reformien taakse ja reformin toteutus on tämän vuoksi ollut luonteeltaan kompromissiluonteista. Pollittin ja Boukaertin mukaan Suomessa ja Ruotsissa prosessiin vaikuttavia tekijä ovat olleet kansalaisten osallistaminen ja julkisen hallinnon hajautettu malli. (2004: 28 34, 97) Erityinen reformeja muotoileva ominaisuus on ollut Suomessa ja Ruotsissa korporatiivinen toimintamalli eli poliittisen päätöksenteon laajentuminen puoluejärjestelmän yli muihin vaikutusvaltaisiin instituutioihin, erityisesti työmarkkinajärjestöihin (emt. 2004: 54). Reformi ei ole ollut kokonaisvaltainen vaan toimijoista ja tilanteista nouseva erityinen sovellus. Reformeihin ovat vaikuttaneet useat toimijat pitkän ajan kuluessa ja vaikutukset ovat olleet osin sektorikohtaisia (emt. 2004: 49). Suomessa julkisen sektorin uudistamisen radikaalit motiivit ovat nousseet esille verrattain myöhäisessä vaiheessa. Talouden lama 1990-luvun alussa, kansainvälistymiskehitys, liittyminen Euroopan Unioniin ja talouden EMU-kuntoon saattaminen ovat kehystäneet Suomessa julkisen sektorin uudistamista (Lähdesmäki 2003: 17 19; Temmes & Kiviniemi 1997: 15 17). Julkisten palvelujen laatu ja asiakaskeskeisyys julkisen sektorin hallinnonuudistuksessa ovat olleet keskeisellä sijalla tehokkuusperiaatteen rinnalla. Arviointimenetelmien ja mittareiden kehittämistä on pidetty tärkeänä, sillä niiden avulla kyetään seuraamaan julkisten palveluiden laadun kehitystä. Tähän ovat kytkeytyneet oleellisesti palvelujen arviointi ja laatutyökalut sekä asiakaspalautemenetelmien kehittäminen (Lähdesmäki 2003: 140). Taloudellisuusperiaatteeseen on liittynyt tuloskulttuurissa talouden ja toiminnan kytkeytyminen toisiinsa, jolloin toiminnasta vastaavan virkamiehen on myös vastattava taloudesta (Mecklin 2002: 13 14).

13 Yliopistojen ohjausmalli ja johtaminen Yliopistoissa otettiin käyttöön 1990-luvun puolivälissä tulosohjaus uutena yliopistopolitiikkaa toteuttavana ja yliopistojen toimintaa ohjaavana mallina. Tulosohjaus antoi tietynlaista väljyyttä yliopistojen toiminnalle, mutta lisäsi samalla vastuuta 1. Yliopistoilta ryhdyttiin odottamaan enemmän vastuunottoa toiminnastaan ja talouden ja toimintaympäristönsä hallinnastaan (Kuoppala 2005; Välimaa 1999). Tulosneuvottelut yliopistojen kanssa ovat olleet yksi keskeinen ohjausmenetelmä: yliopistojen kanssa on sovittu tulostavoitteet, joiden toteutumista on seurattu. Tulosohjauksen myötä yliopistoissa on pyritty strategisempaan johtamisotteeseen eli toimintamalliin, jossa tulostavoitteiden asettaminen ja niiden seuranta tulosjohtamisen keinoin olisi aikaisempaa systemaattisempaa. Johtamisen ja hallinnon rooli on yliopistoissa samalla kasvanut, vaikka yliopiston ydintoiminta perustuu edelleen tieteenalakohtaiselle rakenteelle. Arvioinneilla on tulosohjauksen menetelmänä keskeinen rooli. Suoritusperustaisessa ohjauksessa osoitetaan saavutetut tulokset usein kvantitatiivisesti, esimerkiksi suoritettujen tutkintojen määränä, mutta osin myös kvalitatiivisena kuvailevana aineistona. Yliopistot tuottavat arviointitietoa toiminnastaan erilaisilla työkaluilla ja mittareilla. Laadunvarmistusjärjestelmän auditointi kytkeytyy eri tavoin eri yliopistoissa tähän toimintaan. Tilivelvollisuus ja toiminnan läpinäkyvyys ovat tulleet arvioinneissa keskeisemmäksi (Liuhanen 2008: 27) luvulla voimaan tullut laki (645/1997) irrotti yliopistoja valtion välittömästä ohjauksesta ja vuoden 2010 alusta tullut uusi yliopistolaki (2009/558) teki niistä itsenäisiä oikeushenkilöitä. Samalla taloudelliset ehdot ovat kuitenkin tiukentuneet ulkopuolisen rahoituksen hankkimisen velvoitteineen ja talousvastuun laajan jakamisen kautta. Myös muissa Pohjoismaissa on toteutettu samankaltaisia uudistuksia 2000-luvulla. Yliopistojen rakenne tekee niiden johtamisesta erityisen tehtävän, sillä niiden organisatorinen rakenne ja toiminnan luonne ei anna kaikkein otollisinta maaperää yhtenäisyyttä edellyttävälle johtamiselle. Yliopistoissa on organisatorinen kaksoisrakenne, joka koostuu tieteenalatasosta ja institutionaalisesta tasosta (Clark 1983). Yliopiston ydintoimintaa on koulutuksen lisäksi tutkimus, jonka sisältö, työskentelytavat ja kulttuuri ovat tieteenalakohtaiset ja tiedekunnittain hyvinkin erilaiset (Becher 1989). Tiedekunnat ja laitokset ovat olleet verrattain itsenäisiä, minkä vuoksi yliopisto-organisaatio on ollut 1 Tulosohjauksella tarkoitetaan organisaation ulkopuolelta tulevaa ohjausta: siihen sisältyy ne päätöksenteko-, koordinointi- ja sopimisprosessit, joilla pyritään varmistamaan valtionhallinnon tuloksellisuus kokonaisuutena. Tulosjohtaminen taas viittaa johtamisjärjestelyihin organisaation sisällä (Lähdesmäki 2003, 187).

14 14 luonteeltaan hajanainen. Tieteellinen toiminta on ollut usein enemmänkin yliopistojen välistä kuin yliopiston sisäistä toimintaa ulottuen institutionaalisten rajojen yli. Kaksoisrakenne muotoilee yliopistojen toimintaa hallinnon merkityksen kasvusta huolimatta. Yliopistoja on luonnehdittukin löyhiksi yhteenliittymiksi ja niiden päätöksentekoa on kutsuttu organisoiduksi anarkiaksi (Clark 1983). Päätöksenteko on ollut ennemminkin kompromissien jatkumo kuin vahvaan linjaukseen perustuva ohjaus (ks. Sipilä 2007). Yliopistoilla on tieteenalakohtaisesta hallitsevuudesta huolimatta todettu olevan integroivia elementtejä, kuten arvot, organisaatiokulttuurit ja institutionaaliset tarinat (Clark 1986), jotka helpottavat johtamista ja yhteistä toimintaa. Yliopistojen uuden ohjausmallin myötä yliopistojen organisaatio-ulottuvuus on vahvistunut. Johtamisen ja hallinnon vahvistamisella on pyritty strategiseen toiminnan suuntaamiseen ja toimintaympäristöstä tulevien muutosten parempaan hallintaan, mutta hallinnon kasvun myötä johtamisen etäisyys keskushallinnon ja tiedekuntien sekä laitosten välillä on kasvanut (Kuoppala 2005). Yliopistojen hallinnollinen rakenne on myös monimutkaistunut, kun päätösvaltaa on delegoitu alemmaksi (emt.) Taustalla on yliopiston tehtävien laaja-alaistuminen ja lisääntyminen ja rahoitusrakenteen monipuolistuminen. Yliopistojen massoittuminen eli opiskelijamäärien ja tutkimustoiminnan kasvu ja aktiviteettien ja organisaation monimutkaistuminen on nähty taustana uudelle ohjausmallille ja strategiselle johtamiselle. Erityisesti on korostettu massoittumisen merkitystä yliopistojen toiminnan läpinäkyväksi tekemisen ja laadunvarmistuksen tarpeelle (Teelken & Smeenk 2003). Tutkimusten mukaan johtamisen vahvistaminen ei ole johtanut laitosten ja tiedekuntien suurempaan kiinnostukseen yliopiston yhteisten tavoitteiden ja toimintakäytäntöjen asettamista ja toteuttamista kohtaan (ks. Kuoppala 2005). Ilmiö ei ole yllättävä, koska uusien hallinnollisten toimintamallien käyttöönotto toteutuu hitaasti erityisesti yliopistossa (Teelken 2008). Hallinto rakentuu ajallisista kerrostumista, joissa vanhat ja uudet rakenteet ja peri aatteet elävät rinnakkain (Lähdesmäki 2003: 153). Ajan myötä ne voivat lomittua toisiinsa, jolloin niiden väliset ristiriidat hioutuvat vähemmän kärjekkäik si. Hallinnon ja organisaatioiden uudistamista on tarkasteltu myös uusinstitutionalistisen teorian näkökulmasta. Keskeinen teesi on organisaatioiden yhdenmukaistuminen rakenteellisesti ja toiminnallisesti toimintaympäristön paineessa riippumatta toiminnan luonteesta; olennaista on vakauden hakeminen (Brignall & Modell 2000). Samanlaisesta organisaatiomallista haetaan suojaa toimintaympäristössä pärjäämiseksi: sillä turvataan resurssit ja legitimiteetti (Meyer & Rowan 1983). Kyse voi myös olla erityisten sanastojen omaksumisesta, joilla viestitään ulkomaailmalle ajan tasalla pysymisestä. Julkisen sektorin

15 reformeja käsittelevässä tutkimuksessa Pollitt ja Bouckaert ovat analysoineet reformeihin kuuluvia sanastoja ja diskursseja ja todenneet niiden olevan reformeissa omalakista toimintaansa. Reformit eivät aina toteudu konkreettisina toimenpiteinä, vaan ne voivat olla vain uusia toimenpideohjelmia ja sanastoja, jotka kuitenkin saavat paljon huomiota osakseen (2004:137). Ulkoisiin paineisiin liittyvää yliopistojen yhdenmukaistumista ja sen seurauksia on tutkittu. On havaittu, että uusi organisaatiomalli uussanastoineen ei aina vastaa toiminnan sisältöä ja luonnetta, mistä on seurauksena ritualistisia toimintamalleja, organisaation alayksiköiden keskinäistä epäsuhtaa ja ulkoisten arviointien välttämistä (Meyer & Rowan 1983). Yhdenmukaistumista koskevan väitteen kanssa on kuitenkin ristiriidassa tutkimusten tuottama havainto siitä, että doktriineja ja malleja sovelletaan aina kansallisesti ja organisaatiotasolla historiallisesti erityisinä muotoina (ks. esim. Pollitt & Bouckaert 2004; Serrano-Velarde 2008). 15

16 16 3 Yliopistojen laadunvarmistuksen ja arvioinnin kuvausta ja käsitteitä 3.1 Laadunvarmistus Laadunvarmistus voidaan määritellä prosessien ja käytäntöjen tarkoituksenmukaisuudeksi; sen tavoitteena on johtaa korkean laadun saavuttamiseen ja ylläpitämiseen, sen arviointiin ja kehittämiseen (Saari 2006). Korkeakoulujen auditointitoimintaa on määritelty lyhyesti esitettynä seuraavalla tavalla. Lainaukset ovat Korkeakoulujen arviointineuvoston auditointikäsikirjasta vuosille (2007: 7 11). Korkeakoulujen ulkoinen arviointi on kuulunut Suomessa pääsääntöisesti Korkeakoulujen arviointineuvostolle (KKA), jonka toiminta perustuu lainsäädäntöön. Tiedepolitiikan ja tieteellisen tutkimuksen arviointi kuuluu Suomen Akatemialle. Auditointimalli on rakennettu eurooppalaisten laadunvarmistusperiaatteiden mukaiseksi ( Standards and Guidelines for Quality Assurance in the European Higher Education Area pdf.) Auditointi kohdistuu niihin menettelytapoihin ja prosesseihin, joilla korkeakoulu ohjaa ja kehittää koulutuksen ja muun toiminnan laatua. Auditoinnissa ei oteta kantaa korkeakoulun päämääriin, eikä toiminnan sisältöön tai tuloksiin sinänsä. Tulosten arviointi kuuluu korkeakouluille itselleen ja tietyiltä osin opetusministeriön tavoite- ja tulosohjauksen piiriin. Korkeakoulujen autonomian periaatteeseen kuuluu myös, että laadunvarmistuksen toteuttaminen perustuu vertaisarvioinnin periaatteelle. Edellä mainituista lainauksista tulevat esille seuraavat keskeiset piirteet. Korkeakoulujen arviointineuvosto vastaa lainsäädännöllisesti auditointitoiminnasta noudattaen eurooppalaista mallia. Sitä toteutetaan vertaisarviointina, ja kohteena ovat korkeakoulujen menettelytavat ja järjestelmät, joilla pyritään laadun nostamiseen. Auditointitoiminnan tavoitteet ja käytännöt ovat muuttuvia ja vuosille suunnattu auditointikäsikirja poikkeaa hieman vuosille suunnatusta käsikirjasta. Eroavuuksia käsitellään suppeasti tutkimustuloksien yhteydessä. Painotuseroilla voi olla merkitystä toiminnan kan-

17 17 nalta esimerkiksi tämän tutkimuksen kohteena olevissa yliopistoissa: Helsingin yliopisto auditoitiin vuonna 2007 varhaisemman ohjeistuksen ja Tampereen yliopisto vuonna 2008 uudemman käsikirjan ohjeiden mukaan. Käsillä oleva tutkimus keskittyy yliopistojen laatujärjestelmien auditointiin, joka poikkeaa luonteeltaan tutkimuksen ja opetuksen arvioinneista. Laatu sinänsä on monitulkintainen ilmiö niin käsitteellisesti kuin arviointitoiminnankin näkökulmasta. Laadunvarmistuksessa ei arvioida tutkimuksen tai opetuksen laatua, vaan niitä menettelytapoja, prosesseja ja rakenteita, joilla pyritään päämääriin. Kärjistäen voidaan todeta yhtä tähän tutkimukseen haastateltua akateemista johtajaa lainaten: yliopiston laatujärjestelmä voi olla hyvä, mutta itse toiminnan laatu huono ja päinvastoin. Tämä tekee laadunvarmistuksen merkityksen määrittelystä vaikeata, minkä myös haastateltavat toivat esille yliopiston keskusjohdosta laitosten henkilökuntaan asti. Auditointiraporteissa tulee myös paikoin esille hankaluus tietyssä määrin erottaa laatua ja laadunvarmistusjärjestelmää toisistaan. Seuraavassa esimerkissä eli Helsingin yliopiston auditointiraportissa keskustellaan sidosryhmille suunnattavasta tiedotuksesta, ja samassa yhteydessä puhutaan sekä laadusta että laadunvarmistuksesta. Yliopisto on määrittänyt keskeiset sidosryhmänsä ja välittää niille aktiivisesti toimintansa laatua koskevaa tietoa useita eri kanavia hyödyntäen. Tämä tieto ei ole kaikilta osin tavoittanut ainakaan haastateltujen sidosryhmien edustajia, eivätkä he tunne Helsingin yliopiston laadunvarmistusjärjestelmää. Yliopiston olisi tarpeen analysoida, mitä laadunvarmistustietoa eri sidosryhmät tarvitsevat ja mikä on toimiva tapa kyseisen tiedon välittämiseen. (Helsingin yliopiston laadunvarmistusjärjestelmän auditointi 2008: 65). 3.2 Arvioinnin käsitteitä ja kuvaus yliopistojen arviointitoiminnasta Yliopistojen arviointeja koskevissa selvityksissä ja tutkimuksissa on hyödynnetty vakiintuneita käsitteitä tarkastelun välineinä. 2 Seuraavassa esitellään kolme keskeistä lähestymistapaa laadunvarmistuksen tarkastelua varten. Vakiintunut määritelmä arvioinnille on summatiivisuuden ja formatiivisuuden näkökulmien muodostama kokonaisuus (Patton 1997: 67). Yliopistoihin kohdistuvien arviointien vaikutuksia koskevissa selvityksissä ja tutkimuksissa on käytetty myös toiminnan aktiivisuusastetta kuvaavaa jakoa aktiiviseen hyödyntämiseen (use) ja vaikutuksiin (impacts) (ks. esim. Liuhanen 2008: 68). 2 Vaikuttavuuden ja arvioinnin käsitteistä ei sinänsä ole yhteistä ymmärrystä tai määritelmää (Rajavaara 2006). Käsitteet kietoutuvat monenlaisiin arvioinnin tarkoituksiin, käytäntöihin ja sanastoihin, minkä vuoksi niistä tuskin voidaan saavuttaa yksimielisyyttä (emt.). Lisäksi arvioinnin toimintaympäristö muokkaa käsitteiden sisältöä arvioinnin kohteen mukaiseksi.

18 18 Arviointitoiminnan tarkoitusta tai arviointiympäristöä kuvataan erityisen usein Michael Pattonin mallin mukaisesti tilivelvollisuutena, valistuksena eli tiedon tuottamisena tai kehittämisenä (Patton 1997: 65). Summatiivisessa arvioinnissa tarkastellaan lopputulosta ja formatiivisessa analyysin kohteena on itse prosessi. Arviointeja koskevassa selvitys- ja tutkimustoiminnassa on yleensä ollut mukana kumpikin näkökulma, minkä taustalla on havainto prosessiin kuuluvan itsearvioinnin merkittävästä roolista. Itsearviointeja on pidetty hedelmällisenä toimintamuotona yliopistojen oman toiminnan kehittämiseksi ja keskustelun virittäjäksi (ks. esim. Valovirta 2000: 91). Tutkijat ovat olleet kiinnostuneita laadunvarmistuksen lisäksi siitä, miten yliopistot kehittävät toimintaansa. Yliopistoihin kohdistuvia arviointeja koskevassa tutkimuksessa on tarkasteltu niiden vaikutuksia sekä aktiivisena hyödyntämisenä että tarkoittamattomina seurauksina. Verrattain usein on havaittu tarkoittamattomia vaikutuksia, kuten arviointien tuottama kasvanut työmäärä ja byrokratisoituminen (Ursin 2007; Ursin & Huusko & Aittola & Kiviniemi & Muhonen 2008). Aktiivinen hyödyntäminen on ilmennyt arviointiraportin hyödyntämisenä ja sen kommenttien hyödyntämisenä toiminnan suunnittelussa (Liuhanen 2008: 129). Aktiivisen hyödyntämisen organisatoristen ehtojen tarkastelu on ollut tutkimuksessa keskeistä, sillä esimerkiksi laitoksilla alttius auditoinnin aktiiviseen hyödyntämiseen on vähäisempää kuin hallinnossa. Yksi lähestymistapa auditoinnin vaikutusten tutkimisessa on ollut yliopiston henkilöstöryhmien roolin ja aseman jäsentäminen suhteessa laatutyöhön. Stensakerin mukaan tutkimusten heikkoutena on ollut hierarkkinen näkökulma vaikutuksiin, sillä auditoinnin oletettu vaikuttavuus tai tehokkuus on perustunut hierarkkiseen, ylhäältä alaspäin suuntautuvaan näkemykseen tai laatujärjestelmän jäsentäminen teknis-metodologisena suorituksena (2008). Hänen mukaansa vaikutusten tutkimuksen tulisi perustua seuraavanlaiseen käsitteelliseen kehykseen: yliopisto on erityinen organisaatioympäristö ja yliopistolaiset ovat aktiivisia toimijoita ja laatutyö toteutuu sille annettujen merkitysten kautta. Stensakerin kommentti on osuva, sillä laatutyön ja johtamisen tapaisia toimintoja tarkastellaan valitettavan usein yksisuuntaisena kausaalisena toimintana. Vaikutusten tarkasteleminen vain aktiivisena, merkitysten kautta heräävänä toimintana on kuitenkin sekin liian kapea, koska vaikutuksissa kietoutuvat toisiinsa aktiivinen, tavoitteellinen hyödyntäminen ja tarkoittamattomat vaikutukset. Organisaatioympäristön prosessit, rakenteet ja käytännöt saavat aikaan myös laadunvarmistukseen liittyviä tarkoittamattomia seurauksia. Useissa tutkimuksissa on havaittu, että yliopistoihin kohdistuvien arviointien käyttötarkoitukset ovat virallisesti määriteltyjä tavoitteita moninaisemmat

19 ja vaihtelevat arviointiprosessin kuluessa (ks. Liuhanen 2008: 70 75). Käyttö ei rajoitu prosessin alussa mainittuihin tarkoituksiin eikä kaikkia mahdollisia käyttötarkoituksia edes tiedetä arvioinnin alussa. Yliopistojen laadunvarmistusjärjestelmien arvioinnissa on tutkimusten mukaan läsnä ainakin tilivelvollisuuden ja kehittämisen tarkoitukset (Saarinen 2005: 68). Tilivelvollisuus liittyy seurantaan tai kontrolliin; vastuullisen toimijan odotetaan selvittävän toimintaansa ja tuloksiaan suhteessa asetettuihin tavoitteisiin. Kontrollin hallitsevuuden on todettu muotoilevan yliopistoväen suhtautumista arvioinnin toteuttamiseen (Liuhanen 2008: 50; Serrano-Velarde, 2008). Ylhäältä alaspäin suuntautuvan autoritaarisen kontrollin on havaittu tuottavan kielteisiä vaikutuksia arviointien kehittämiselle: odotettavissa olevien sanktioiden on todettu ehkäisevän avointa itsekriittisyyttä. Tutkimuksissa on tuotu esille, että vahvasti kontrollipainotteinen arviointi voi johtaa yliopistojen vinoutuneeseen toimintaan arvioinnissa. Itsearviointi tehdään mieluiten pinnallisesti, jos kysymykset asetetaan ylhäältä (Saari 2002: 114) ja jos arviointia käytetään kilpailussa (Williams 2001: 114). Tällaisissa tapauksissa menestys varmistetaan käyttämällä itsearvioinnin retoriikkaan perehtyneitä laadunvarmistuksen ammattilaisia (ks. Saari 2003: 21 23). Pohjoismaiden yliopistoissa tilannetta kuvaa hyvin Stensakerin määritelmä tilivelvollisuuden ja kehittämisen tavoitteiden välisen tasapainon hakemisesta (Stensaker 2008). Kontrolli ja tilivelvollisuus ovat vahvistuneet arviointitoiminnassa kansainvälisten ja kansallisten korkeakoulupoliittisten muutosten myötä, mutta siitä huolimatta on kyetty säilyttämään yliopistojen omaehtoisuutta ja neuvotteluvaraa arvioinnin tavoitteiden ja menetelmien asettamisessa. Laatujärjestelmä ja laadunvarmistus ovat erityisesti johdon ja hallinnon toiminta-aluetta. Ne ovat osa strategista johtamista, sillä ne toimivat välineinä sekä sisäisessä suunnittelussa ja seurannassa että suhdetoiminnassa toimintaympäristön kanssa. On havaittu, että laitoksilla ja tiedekunnissa opetuksen ja tutkimuksen arviointi koetaan tärkeämmäksi kuin laadunvarmistus (Liuhanen 2008: 140). Ne liittyvät läheisesti perustyöhön, kun laadunvarmistus koetaan hieman epämääräiseksi. Anna-Maija Liuhanen on havainnut tutkimuksessaan, että laadunvarmistusta toteutetaan laitostasolla usein ritualistisena tai siihen suhtaudutaan välinpitämättömästi. Se nähdään vain yhdeksi raportointivelvoitteeksi muiden joukossa (Liuhanen 2008: 132). Laitosten henkilökunnan suhtautuminen arviointeihin vaihtele sen mukaan, millaista hyötyä niistä koetaan saatavan (Liuhanen 2008: 141). Arviointeihin osallistuminen edistää niiden hyödyntämistä, koska asia tulee ymmärrettäväksi ja se otetaan omaksi (Liuhanen 2008: 138 9). Arviointeihin osallistuneiden osuus vaihtelee laitoksittain huomattavasti (Liuhanen 2008: 133). 19

20 20 Toisaalta on havaittu, että välinpitämätön suhtautuminen laatujärjestelmän arviointiin muuttuu ensimmäisen vaiheen jälkeen seuraavassa arvioinnissa, kun sen merkitys ja tavoitteet tulevat ymmärrettävämmiksi. Laadunvarmistukseen paneudutaan vakavammin myöhemmässä vaiheessa, mutta toimintamalli on kuitenkin instrumentaalinen. (Teelken 2008) Yliopisto-organisaatioiden yhdenmukaistuminen arviointien myötä on mielenkiintoinen hypoteesi auditoinnin vaikutusten tutkimisen näkökulmasta. Tutkimukset ovat tuottaneet tuloksia, jotka sekä vahvistavat että kiistävät yhdenmukaistumisteesin. On havaittu, että yliopistoissa toimintaa ohjataan erityisesti tilivelvollisuuspainotteista arviointia varten siten, että se tuottaa arvioinnin indikaattoreihin sopivia tuloksia (Leeuw 2001: 104, 112) ja yhdenmukaistaa siten rakenteita ja toimintoja. On kuitenkin todettu, että auditoinnissa on yhdenmukaistamista suosivia, mutta myös yliopistolähtöisyyttä ja erilaisuutta tukevia elementtejä (Stensaker 2000: 315; Vartiainen, 2000: 67 69). Yhdenmukaistumista arvioitaessa on tärkeätä pohtia arvioinnin kehystä, koska sillä voi olla ratkaiseva merkitys tämän oletetun tendenssin toteutumiselle. Esimerkiksi tieteenalojen välinen arviointi voi yhdenmukaistaa tutkimustoimintaa, mutta siihen voivat vaikuttaa samanaikaisesti myös rahoituksen järjestelyt. Oma kysymyksensä on arviointien kansallisen tai kansainvälisen luonteen merkitys arviointien seurauksille. Jatkotutkimuksen aiheina nämä ovat keskeisiä kysymyksiä.