Kansalliset ja kansainväliset auditoinnit ja akkreditoinnit Riitta Pyykkö Tampere 3.12.2008 Suomen yliopistokirjastojen laatuseminaari
Kansallisen arviointipolitiikan taustat Korkeakouluneuvosto 1966-1995 Tutkimuksen arviointi Suomen Akatemia 1983 VNp 1986 Tulosohjaus/sopimusohjaus/markkinaohjautuvuus: jatkuva arviointi itseohjautuvuuden edellytyksenä Eräissä Euroopan maissa valtiolliset arviointi-instituutiot Ammattikorkeakoulujen perustaminen Riippumattoman arviointielimen tarve KKA 1996-2
Kansallisesta kansainväliseen Kansallisten arviointielimien perustaminen 1990-luvulla > kansainvälisten quality assurance -verkostojen synty Paineita ylhäältä (Lissabonin strategia, Bolognan prosessi) ja alhaalta (kansalaisilta ja elinkeinoelämästä) Euroopan komission aktiivisuus (pilottiprojekti 1995) Tavaroiden, pääomien, työvoiman, opiskelijoiden, palveluiden liikkuvuus > edellyttää luottamusta laatuun OECD:n raportit Kansainväliset rankingit 2000-luvulla Bolognan prosessi ja eurooppalaisen korkeakoulutusalueen rakentaminen keskeiseksi laadunvarmistustyön suuntaamisessa European Quality Assurance Forums 2006-3
Bolognan prosessi ja laadunvarmistus 1(2) prosessi rytmittyy kahden vuoden välein järjestettävin ministerien seurantakokouksin Bolognan julistus 1999: Euroopan tasoisen yhteistyön vahvistaminen laadunvarmistuksessa; vertailukelpoisten kriteerien ja menetelmien kehittäminen Praha 2001: korkeakoulujen, arviointiorganisaatioiden ja ENQA:n sekä muiden vastaavien organisaatioiden kehitettävä yhteinen viitekehys ja levitettävä hyviä käytänteitä Berliini 2003: Quality has proven to be at the heart of the EHEA; kansallisten järjestelmien sisällettävä 2005 mennessä: * eri elinten ja laitosten vastuunjako * koulutusohjelmien tai korkeakoulujen arviointi (ml. sisäinen arviointi, ulkoinen arviointi, opiskelijoiden osallistuminen arviointiin sekä tulosten julkistaminen) * akkreditaatio-, sertifiointi- tai muu vastaava järjestelmä * osallistuminen kansainväliseen toimintaan, yhteistyöhön ja verkostoihin E4:n (ENQA, EUA, EURASHE, ESIB/ESU) kehitettävä yhteiset suositukset vertaisarvioinnille 4
Bolognan prosessi ja laadunvarmistus 2(2) Bergen 2005: hyväksyttiin European Standars and Guidelines for Quality Assurance in the EHEA (ESG): yhteinen viitekehys ja periaatteet; määrittää sen, mitä tulisi tehdä, ei sitä, miten; noudattaminen edellytys eurooppalaiseen rekisteriin pääsemiselle seuraavaksi tehtäväksi eurooppalaisen laadunvarmistusorganisaatioiden rekisterin luominen Lontoo 2007: E4:n esitys rekisterin (European Quality Assurance Register for Higher Education, EQAR) rakenteeksi rekisteri perustettiin Brysseliin maaliskuussa 2008 ENQA:n täysjäsenyys normaalisti osoittaa myös rekisterikelpoisuuden mielipide kansallisten laadunvarmistusorganisaatioiden keskuudessa positiivisen odottava (4/5 aikeissa hakeutua rekisteriin) 5
Suomen valinta: auditointi kehittävän arvioinnin periaate kolmijako: korkeakouluilla vastuu toimintojensa laadusta, OPM:llä ohjaus ja päätöksenteko, KKA:lla kansallinen vastuu laadunvarmistuksesta Berliinin kokouksen jälkeen kansallinen työryhmä esitti auditointimallia tavoitteena malli, joka 1) sopii kansalliseen korkeakoulu- ja arviointiperinteeseen ja 2) on kansainvälisesti pätevä ja uskottava sekä täyttää eurooppalaisen kehityksen vaatimukset ottaa huomioon korkeakoulujen erot; perustuu luottamukseen korkeakoulujen autonomiaan ja omaan vastuuseen fittness for purpose -ajattelu: korkeakoulu itse päättää laadunvarmistusjärjestelmästään, auditoinnissa arvioidaan, onko se tarkoituksenmukainen: kattava, toimiva ja vaikuttava; auttaako se korkeakoulua saavuttamaan ne tavoitteet jotka se on itselleen asettanut tukee kehittämistyötä I Auditointikäsikirja 2005-2007; II 2008-2011 kaikkien korkeakoulujen laadunvarmistusjärjestelmät auditoidaan 2011 mennessä 6
Akkreditointi vs. auditointi tarpeen korkeakoulujärjestelmän voimakkaasti kehittyessä tai muuttuessa kyllä / ei -tulos korostaa tilivelvollisuutta perustuu luvattuihin tuloksiin standardit tulevat korkeakoulujen ulkopuolelta käytössä esimerkiksi Itävallassa, Saksassa, Ranskassa, Italiassa, Alankomaissa, Espanjassa sopii kypsälle korkeakoulujärjestelmälle antaa kehittämissuosituksia korostaa kehittämistä ja kriittistä itsearviointia arvioi aiempia ja nykyisiä tuloksia korkeakoulut itse määrittelevät standardit vakiintunut Suomessa, Tanskassa (nyt muutoksessa), Norjassa, Skotlannissa, Englannissa, Pohjois- Irlannissa, Walesissa (osassa maita samalla käytössä ohjelma-akkreditointi); tulossa käyttöön Itävallassa, Saksassa, Espanjassa; Alankomaissa myös kiinnostusta 7
Euroopan maiden erilaiset ratkaisut (ENQA Survey 2008) arvioinnit (evaluations): oppiainetaso (5/33), koulutusohjelmat (23/35), kokonaiset korkeakoulut (14/35), teemat (2/31) auditoinnit: korkeakoulutasolla 13/32, hyvin harvoin ohjelmatasolla akkreditoinnit: koulutusohjelmat (25/38), korkeakoulut (13/34) benchmarking: useimmissa maissa korkeakoulujen kesken; voi koskea oppiaineita, koulutusohjelmia, kokonaisten korkeakoulujen toimintaa tai teemoja; hyvien käytänteiden levittämistä ulkoinen arviointi tapahtuu useimmiten säännöllisin välein (tavallista 5-6 vuotta), paitsi teema-arvioinnit lähes 2/3 arvioi (eri tavoin) ohjelmia, vain 40% kokonaisia korkeakouluja 90% organisaatioita käytössä useampi arviointityyppi, kolme neljästä muuttanut äskettäin tai muuttamassa repertuaariaan eroja myös: Kuka tilaa arvioinnit? Kuka maksaa? Kuka organisoi? Mikä on eri tahojen, erityisesti opiskelijoiden rooli? Mitä seurauksia arvioinneista on? ratkaisut nähtävä kansallisessa kontekstissa (contextualisation of QA), mutta päästävä kuitenkin vertailukelpoisiin malleihin (standardisation of QA) laatu on aina suhteellinen käsite 8
Kokemuksia auditoinneista 1(2) auditoijien valintaan kiinnitettävä erityistä huomiota: oltava kkkentän ja laatujärjestelmien hyvä tuntemus sekä arviointikokemusta; ryhmiin kokeneita ja uusia oltava kunnolla aikaa perehdytykseen sekä auditointiaineistoon tutustumiseen puheenjohtajan rooli keskeinen (ml. ilmapiirin ylläpitäminen!) opiskelijoiden osallistuminen tärkeä: varmistavat arviointiprosessin monipuolisuuden ja kattavuuden ja ovat tärkeitä tulosten saattamisessa käytäntöön yo/opiskelijakunnissa ja korkeakoulujen hallinnossa ryhmien oltava tarkkana, että eivät ala arvioida tulosten laatua (tässä sihteerien rooli tärkeä) arvioivan tekstin kirjoittaminen vaativaa (evidenssivelvoite) raporttien vertailtavuus noussut yhä tärkeämmäksi auditointien edetessä, erityisesti uusintaan päätyvien kohdalla kuinka paljon ja miten raportteja hyödynnetään korkeakouluissa? tästä kerätään palautetta, mutta lisääkin tietoa olisi hyvä saada 9
Kokemuksia auditoinneista 2(2) kaikkien KKA:n arviointien tulokset julkisia: raportit julkaistaan KKA:n julkaisusarjassa ja julkistetaan seminaarissa > mahdollisuus avoimeen keskusteluun vastaa kehittävän arvioinnin periaatetta seminaarit voivat lisätä arvioinnin julkisuutta ja sitä kautta myös vaikuttavuutta (entä kielteinen julkisuus uusinnan kohdalla?) seminaarien keskusteluissa korostuu itse prosessin, itsearvioinnin ja arviointivierailun merkitys seminaareilla pyritään ehkäisemään mahdollisia pelkän kirjoitetun raportin pohjalta syntyviä väärinkäsityksiä tai kärjistyksiä seminaareissa(kin) saadaan myös palautetta itse mallista valmisteluvaiheessa 2003-2004 korkeakoulut itse toivoivat, että menetelmällä olisi seuraamuksia 5/19 johtanut uusinta-auditointipäätökseen (marraskuu 2008); 1/5 läpäissyt jo uusinnan alkujärkytyksen jälkeen koettu hyödyllisenä: antaa suunnatun kehittämisimpulssin, aikatauluttaa ja jäntevöittää kehittämistyötä, on hyvä väline korkeakoulun johdolle voidaan nähdä myös mahdollisuutena saavuttaa keskinkertaisen asemesta erityisen hyvä taso neuvottelumahdollisuus kehittämissuunnitelmasta koettu hyvänä 10
Entä seuraava kierros? 1. = KKA:n tekemä toisen kierroksen auditointi KKA aloittaa vuonna 2009 mallin kehittämisen kuten 1. kierroksella, voidaan organisoida kansallisena tai kansainvälisenä (lisääntyykö kansainvälisten valinta?) todennäköisesti kevyempi: kohdistuu 1. kierroksen suositusten täytäntöönpanoon ja mahdollisesti joihinkin ajankohtaisiin teemoihin 2. = koko korkeakoulun kattava, jonkun muun tekemä eurooppalainen rekisteri mahdollistaa arvioinnin tilaamisen myös muualta (ja KKA:n tekemät muiden maiden arvioinnit) OPM asettanee kuitenkin joitakin edellytyksiä malleille, jotta voi varmistaa vertailukelpoisen tiedon saamisen 3. = kansainvälinen alakohtainen arviointi kansainväliset alakohtaiset akkreditoinnit/arvioinnit (esimerkiksi EQIS, CEMS) kirjastoalalla olemassa ainakin Helicon library accreditation framework (lääketieteellisille kirjasoille, UK), myös Yhdysvalloissa on tehty yliopistokirjastojen akkreditointia eivät luultavasti korvaa jatkossakaan kokonaisarviointia (vrt. 1. kierros esimerkiksi HSE) Kaikki vaihtoehdot maksullisia korkeakouluille 11
Kansainvälisen arvioinnin pohdiskelua antaa mahdollisuuden laadun kansainväliseen vertailuun leimalla voi olla merkitystä kansainvälisessä markkinoinnissa opiskelijoiden ja työvoiman liikkuvuus edellyttää luottamusta toisten korkeakoulujen laatuun niin kansallisesti kuin kansainvälisesti > kansainväliset arvioinnit luottamusta rakentamassa kansallinen vertailtavuus ehkä heikompi istuuko kansalliseen (ja korkeakoulutasoiseen) kontekstiin? (esimerkiksi vastuunjakoon korkeakoulujen, ministeriöiden ja laadunvarmistusorganisaatioiden kesken tai kansalliseen kk-traditioon ja -kulttuuriin) rankingit ja laatuleimat: kukaan niistä ei pidä, mutta kaikki niitä lukevat kaikki mallit edellyttävät jatkossakin henkilöstön ja opiskelijoiden koulutusta, jotta päästäisiin todelliseen laatukulttuuriin laadun arviointien tulee olla kirjoitettuja niin että myös suuri yleisö ymmärtää niitä oltava varuillaan, ettei menetetä perinteisiä akateemisia arvoja: akateemista vapautta, autonomiaa, opetuksen ja koulutuksen korkean laadun tavoittelemista, kriittistä ajattelua Miten säilyttää tasapaino yhteistyön ja kilpailun kesken (kun resurssit ovat yhä tiukemmassa)? 12