1 Sirpa Moitus & Kirsi Mustonen Ohjeita arvioitsijalle Korkeakoulujen arviointineuvoston arviointiryhmien tukimateriaali KORKEAKOULUJEN ARVIOINTINEUVOSTO VERKKOJULKAISUJA :
2 Korkeakoulujen arviointineuvosto PL 1425 00101 Helsinki Puh.: +358-9-1607 6913 Fax: +358-9-1607 6911 E-mail: finheec@minedu.fi Korkeakoulujen arviointineuvosto 2004 Taitto: Pikseri Julkaisupalvelut 2004
3 Sisällys 1 Johdanto 4 2 Suomen korkeakoulujärjestelmä 5 2.1 Korkeakoulujärjestelmän rakenne 5 2.2 Hallinto ja ohjausjärjestelmä 6 2.3 Yliopistojen tehtävät ja yliopisto-opinnot 7 2.4 Ammattikorkeakoulujen tehtävät ja ammattikorkeakouluopinnot 8 2.5 Muut koulutus- ja yhteistoiminnan muodot 8 2.6 Ajankohtaista 9 3 Korkeakoulujen arviointineuvoston tehtävät ja toimintaperiaatteet 11 3.1 Miksi arvioidaan? 13 3.2 Mitä arvioidaan? 14 3.3 Miten arvioidaan? 17 3.4 Miten arviointeja hyödynnetään? 18 4 Keskeiset käsitteet 19 5 Arviointiprosessi 23 5.1 Suunnitteluvaihe 24 5.1.1 Arviointien käynnistäminen 24 5.1.2 Suunnittelu- ja johtoryhmän rooli 24 5.2 Itsearviointi 25 5.3 Ulkoinen arviointi 26 5.3.1 Arviointiryhmän rooli 26 5.3.2 Arviointivierailun tavoitteet ja ohjelma 27 5.3.3 Arviointivierailuun valmistautuminen 28 5.3.4 Arviointiteemat 29 5.3.5 Arviointipalaute 30 5.4 Arviointiraportti 31 5.4.1 Arviointiraportin rakenne 31 5.4.2 Arviointitekstin luonne 31 5.4.3 Arviointitekstin tuottamisen malleja 33 5.4.4 Arvioinnin julkistus ja tulosten esittely 34 6 Seuranta-arviointi 35 Arviointilinkkejä 36 Liitteet 1: Suomen koulutusjärjestelmä 37 2: Arvioitsijoiden palkkio ja matkakulut 38
4 1 Johdanto Tervetuloa mukaan Korkeakoulujen arviointineuvoston toimintaan! Teidät on kutsuttu asiantuntemuksenne perusteella osallistumaan arviointiprojektiin arvioitsijan roolissa. Kiitos suostumuksestanne tähän tehtävään. Korkeakoulujen arviointineuvosto (KKA) toteuttaa vuosittain useita arviointiprojekteja, joihin se kutsuu eri alojen asiantuntijoita. Arviointiprojektien tavoitteet, sisällöt ja menetelmä suunnitellaan suunnittelu- ja johtoryhmissä. Arviointien käytännön toteutuksesta ja arviointivierailuista vastaa arviointiryhmä. Nämä eri ryhmät koostuvat arvioinnin luonteesta riippuen yliopistojen, ammattikorkeakoulujen, opiskelijajärjestöjen ja sidosryhmien edustajista. Osa ryhmien jäsenistä osallistuu arviointeihin ensimmäistä kertaa. Erityisesti korkeakoulujen ulkopuolelta nimetyille jäsenille korkeakoulujen arviointitoiminta on usein uutta. Projektien johto- ja arviointiryhmien työn käynnistyessä jäsenet saavat arviointitehtävään lyhyen perehdytyksen. Perehdytys koostuu kahdesta osasta: perehdytystilaisuudesta ja kirjallisesta ennakkomateriaalista. Perehdytystilaisuudessa keskustellaan KKA:n tehtävistä ja toiminnasta sekä perehtytään erityisesti käsillä olevaan arviointiprojektiin ja sen problematiikkaan. Perehdytysmateriaali koostuu tästä arvioitsijan tukimateriaalista sekä projektikohtaisesta materiaalista. KKA järjestää lisäksi lyhyt- ja pitkäkestoista arviointikoulutusta. Esimerkkinä lyhytkestoisesta koulutuksesta on mm. arviointikoulutus, jota KKA on järjestänyt opiskelijoille yhdessä opiskelijajärjestöjen kanssa. Pitkäkestoisena arviointikoulutuksena toteutetaan vuosina 2004 2005 täydennyskoulutusohjelma Korkeakoulutuksen laatu ja sen arviointi (10 ov) yhdessä Vantaan täydennyskoulutuslaitoksen kanssa. Tämän tukimateriaalin tarkoituksena on antaa arvioitsijalle käsitys Suomen korkeakoulujärjestelmästä, kuvata Korkeakoulujen arviointineuvoston toimintaa ja toimintaperiaatteita sekä esitellä arviointiprosessi ja näin helpottaa arvioitsijan orientoitumista tehtäväänsä. Tukimateriaalissa keskitytään erityisesti arviointiryhmän rooliin, arviointivierailun toteutukseen ja arvioinnin raportointiin, koska tämä tieto on erityisen tarpeellista arvioitsijalle. Tämä tukimateriaali on laadittu loppuvuonna 2003, joten tässä kuvataan KKA:n menneen toimikauden 2000 2003 toimintaa ja toimintaperiaatteita. Uusi, toimikaudelle 2004 2007 asetettu Korkeakoulujen arviointineuvosto linjaa toimintansa keväällä 2004. Opasta on tarkoitus päivittää tämän jälkeen määräajoin.
2 Suomen korkeakoulujärjestelmä 1 5 2.1 Korkeakoulujärjestelmän rakenne Suomen koulutusjärjestelmä muodostuu peruskoulusta, toisen asteen koulutuksesta (ammatillisen koulutus ja lukiokoulutus) sekä korkeakouluista, joita ovat ammattikorkeakoulut ja yliopistot. Aikuiskoulutusta tarjotaan kaikilla koulutustasoilla. (Ks. liite 1.) Korkeakoulukelpoisia ovat ylioppilastutkinnon, vähintään kolmivuotisen ammatillisen perustutkinnon, ammatillisen korkea-asteen tutkinnon ja ammatillisen opistoasteen tutkinnon tai näitä vastaavat ulkomaiset opinnot suorittaneet henkilöt. Yliopistot valitsevat itse opiskelijansa yleensä aikaisemman opintomenestyksen (ylioppilastutkintotodistuksen ja lukion päättötodistuksen arvosanojen) ja valintakokeiden perusteella. Ammattikorkeakouluihin haetaan valtakunnallisen yhteishaun kautta. Valintaperusteina ovat yleensä koulumenestys ja työkokemus, ja monilla aloilla järjestetään myös valintakoe. Vuosia 2003 2008 koskeva koulutuksen ja tutkimuksen kehittämissuunnitelma korostaa koulutusmahdollisuuksien tasa-arvoa. Jokaisella tulee olla yhtäläinen oikeus saada kykyjensä ja erityisten tarpeidensa mukaista opetusta sekä kehittää itseään varallisuudesta riippumatta. Väestön koulutustason kohottamiseen kiinnitetään erityistä huomiota. Tavoitteeksi on asetettu, että vuoteen 2015 mennessä korkea-asteen tutkinnon suorittaneiden osuus 30 34-vuotiaasta väestöstä kohoaa nykyisestä 40 %:sta vähintään 50 %:iin. Korkeakoulututkintoon johtava opetus on opiskelijalle maksutonta. Opiskelijat voivat saada opintotukea korkeakouluopintoihin. Opintotuki koostuu opintorahasta tai aikuisopintorahasta, asumislisästä sekä valtiontakauksesta opintolainaan. 1 Luvussa pyritään mahdollisimman tiiviillä tavalla hahmottamaan Suomen korkeakoulujärjestelmän peruspiirteet. Lisätietoja kaivatessanne pyydämme perehtymään seuraaviin lähteisiin, joihin luku perustuu: Opetusministeriön verkkosivut: www.minedu.fi/opm/koulutus/koulutusjarjestelma.html Opetusministeriö. 2003. Koulutuksen ja tutkimuksen kehittämissuunnitelma vuosille 2003 2008. Opetusministeriö. Korkeakoulusanasto. [Toistaiseksi julkaisematon lähde.] Eurydice. Eurooppalaisten koulutusjärjestelmien kuvaukset: www.eurydice.org/eurybase/ frameset_eurybase.htm
6 2.2 Hallinto ja ohjausjärjestelmä Eduskunta päättää opetustoimen lainsäädännöstä ja koulutuspolitiikan yleisperiaatteista. Valtioneuvosto, opetusministeriö ja Opetushallitus vastaavat tämän politiikan toimeenpanosta keskushallinnon tasolla. Opetusministeriö on Suomen korkein opetusviranomainen. Opetusministeriön tehtävänä on valmistella koulutusta ja tutkimusta koskeva lainsäädäntö sekä niitä koskevat valtion talousarvioesitys ja valtioneuvoston päätökset. Keskeisiä korkeakoulutusta sääteleviä lakeja ja asetuksia ovat Yliopistolaki (645/1997) ja -asetus (115/1998), Ammattikorkeakoululaki (351/2003) ja -asetus (352/2003) sekä Laki ja asetus ammattikorkeakouluopinnoista (255/ 1995; 256/1995). Yliopistot ovat valtion yliopistoja, ja pääosa niiden rahoituksesta tulee valtiolta. Vuonna 1994 kaikki yliopistot siirtyivät tulosbudjetointiin. Yliopistot ja opetusministeriö sopivat määrärahoista vuosittaisissa tulosneuvotteluissa. Varat osoitetaan yliopistolle yhtenä summana, jonka kohdentamisesta yliopistot itse päättävät. Toimintamenot muodostuvat perusrahoituksesta, hankerahoituksesta ja tuloksellisuusrahoituksesta. Yliopistojen perusrahoitus määräytyy laskennallisin perustein. Malli ottaa huomioon mm. tutkintotavoitteet, suoritetut tutkinnot ja eri koulutusalojen erilaiset kustannukset. Tuloksellisuusrahaa jaetaan esimerkiksi koulutuksen laatuyksiköiden, opiskelijoiden työllistymisen ja opintojen kulun perusteella. Ulkopuolisen rahoituksen osuus on lisääntynyt yliopistoissa viime vuosina erityisesti tutkimustoiminnassa. Rahoitus sisältää julkista tutkimusrahoitusta, yritysten ja säätiöiden myöntämää rahoitusta sekä ulkomaista rahoitusta. Ulkopuolisen rahoituksen osuus oli 36,5 % vuonna 2002. Yliopistoissa harjoitettavan tutkimuksen tärkein rahoittaja on Suomen Akatemia. Korkeakoulut hankkivat myös muita tuloja ulkopuolisena rahoituksena ja maksullisen palvelutoiminnan avulla. Ulkopuolisia rahoituslähteitä ovat Suomen Akatemian lisäksi mm. Teknologian kehittämiskeskus Tekes, Euroopan Unioni ja yksityinen sektori. Ammattikorkeakoulujen toimintaa rahoittavat sekä valtio että kunnat. Valtion osuus ammattikorkeakoulujen käyttökustannuksista on keskimäärin 57 % ja kuntien osuus 43 %. Rahoitus määräytyy opiskelijamäärän mukaan. Opetusministeriö vahvistaa eri tutkinnoille opiskelijakohtaisen yksikköhinnan. Valtio voi myöntää ammattikorkeakouluille myös ylimääräisiä valtionavustuksia. Nämä jaetaan eri kehittämishankkeisiin ja ammattikorkeakoulujen tuloksellisuuden perusteella. Koulutuksen järjestäjien tulee arvioida antamaansa koulutusta ja sen vaikuttavuutta sekä osallistua ulkopuoliseen koulutuksen arviointiin. Yliopistojen ja ammattikorkeakoulujen ulkopuolista arviointia varten opetusministeriön yhteyteen on perustettu Korkeakoulujen arviointineuvosto. Tutkimuksen arvioin-
7 nista vastaa Suomen Akatemia. Perusasteen ja toisen asteen koulutuksen arvioinnista vastaa Koulutuksen arviointineuvosto. Kehittämissuunnitelman mukaan arviointitoiminnan tavoitteena on tuottaa tietoa valtakunnallisen koulutuspoliittisen päätöksenteon ja koulutuksen paikallisen kehittämisen pohjaksi. 2.3 Yliopistojen tehtävät ja yliopisto-opinnot Suomessa on 20 yliopistoa, joista kymmenen on monitieteellisiä, kolme teknillisiä yliopistoja, kolme kauppakorkeakouluja ja neljä taidekorkeakouluja. Maanpuolustuskorkeakoulu on puolustusministeriön alaisuudessa toimiva korkeakoulu, joka antaa sotilasalan ylintä koulutusta. Yliopistolaitoksen toiminnan lähtökohtana on tutkimuksen ja opetuksen yhteys. Yliopistojen perustehtävänä on harjoittaa tieteellistä tutkimusta ja antaa siihen perustuvaa ylintä opetusta. Yliopistosektorin oppilaitokset ovat joko monitieteisiä tai yhdelle (tai kahdelle) alalle erikoistuneita yliopistoja. Monitieteisissä yliopistoissa voi olla opetusta myös niillä koulutusaloilla (teknilliset, kaupalliset ja taidealat), joiden koulutusta yleensä antavat niille erikoistuneet oppilaitokset. Monitieteisissä yliopistoissa kunkin alan opetusta antaa vastaava tiedekunta, joka jakaantuu yleensä vielä ainelaitoksiin. Yliopistotutkintojen rakennetta ollaan uudistamassa kaksiportaiseksi lähes kaikilla koulutusaloilla. Uusi tutkintojärjestelmä tuo lähes kaikille aloille alemman korkeakoulututkinnon (kandidaatin tutkinto), jonka laajuus on vähintään 120 ov eli kolme vuotta täysipäiväistä opiskelua. Ylemmän tutkinnon (maisterin tutkinto) vähimmäislaajuus on 160 ov eli vähintään viisi vuotta täysipäiväistä opiskelua tai kaksi vuotta kandidaatin tutkinnon suorittamisen jälkeen. Teknillisissä korkeakouluissa suoritettavat diplomi-insinöörin, arkkitehdin tai maisema-arkkitehdin tutkinnot ovat 180 opintoviikon laajuisia. Alempia korkeakoulututkintoja ei teknillisellä alalla toistaiseksi ole. Perustutkinnot suoritetaan yleensä oppiainepohjaisina koulutusohjelmina. Perustutkintoihin sisältyy tavallisesti yhden pääaineen ja yhden tai useamman sivuaineen opintoja. Viime aikoina on pyritty edistämään sivuaineiden vapaampaa opiskeluoikeutta yli tiedekuntien ja oppilaitosten. Useimmilla aloilla voi halutessaan suorittaa lisensiaatin tutkinnon, johon kuuluvat opinnot vievät noin kaksi vuotta. Tohtorin tutkinnon voi täysipäiväisesti työskennellen suorittaa neljässä vuodessa ylemmän korkeakoulututkinnon jälkeen.
8 2.4 Ammattikorkeakoulujen tehtävät ja ammattikorkeakouluopinnot Opetusministeriön alaisuudessa toimii 29 ammattikorkeakoulua. Näiden lisäksi Ahvenanmaalla toimii Högskolan på Åland, ja sisäasiainministeriön alaisuudessa toimii Poliisiammattikorkeakoulu. Ammattikorkeakoulut ovat kuntien, kuntayhtymien, kunnallisten, yksityisten osakeyhtiöiden tai säätiöiden ylläpitämiä. Ammattikorkeakoulut ovat luonteeltaan pääosin monialaisia ja alueellisia korkeakouluja, joiden toiminnassa korostuu yhteys työelämään. Ammattikorkeakoulujen tehtävänä on antaa työelämän ja sen kehittämisen vaatimuksiin perustuvaa korkeakouluopetusta ammatillisiin asiantuntijatehtäviin, tukea yksilön ammatillista kasvua ja harjoittaa ammattikorkeakouluopetusta palvelevaa sekä työelämää ja aluekehitystä tukevaa tutkimus- ja kehitystyötä. Ammattikorkeakouluissa suoritettavat tutkinnot ovat luonteeltaan ammatillispainotteisia korkeakoulututkintoja. Ammattikorkeakoulututkintoon johtavat opinnot järjestetään koulutusohjelmina, joissa voi olla suuntautumisvaihtoehtoja. Koulutusohjelmat koostuvat perus- ja ammattiopinnoista, vapaasti valittavista opinnoista, ammattitaitoa edistävästä harjoittelusta sekä opinnäytetyöstä. Opetusministeriö on vahvistanut koulutusohjelmien laajuudeksi yleensä 140 tai 160 opintoviikkoa eli 3,5 4 vuotta kokopäiväistä opiskelua. Opintoviikolla tarkoitetaan arvioitua opiskelijan keskimääräistä 40 tunnin työpanosta. Lukuvuoden opintojen laajuus on noin 40 opintoviikkoa. Kokopäiväopiskelijan on suoritettava opinnot viimeistään yhtä vuotta niiden laajuutta pitemmässä ajassa, jollei ammattikorkeakoulu erityisestä syystä myönnä opiskelijalle tästä poikkeusta. Ammattikorkeakoulujen jatkotutkinnot ovat laajuudeltaan 40 60 opintoviikkoa. 2.5 Muut koulutus- ja yhteistoiminnan muodot Suomessa käynnistettiin vuoden 1995 alussa uusi tutkijakoulujärjestelmä täydentämään perinteistä tutkijankoulutusta. Tutkijakouluja on vuoden 2003 alusta lukien yhteensä 114. Valtaosa päätoimisista jatko-opiskelijoista suorittaa jatko-opintojaan tutkijakouluissa. Yliopistojen tarjoama aikuiskoulutus toteutetaan pääasiallisesti yliopistojen täydennyskoulutuskeskusten kautta. Avoin yliopisto-opetus vastaa opetussisältöjensä sekä vaatimustasonsa puolesta yliopistojen perusopetusta. Muodollisia pääsyvaatimuksia koulutukseen ei ole. Avoimessa yliopistossa ei ole mahdollista suorittaa tutkintoja, mutta opiskelijat voivat käyttää avoimessa yliopistossa suorittamansa opinnot hyväkseen, mikäli he saavat opiskeluoikeuden vastaaviin opintoihin yliopistossa. Lisäksi molemmat korkeakoulusektorit ovat perustaneet verkostotoimintansa kehittämiseksi projektit, joiden tavoitteena on edistää uuden tieto-ja viestintätekniikan käyttöönottoa, verkko-opetusta ja opiskelua ja tietoverkkojen hyö-
9 dyntämistä tutkimuksessa. Yliopistosektorilla verkkopalvelun nimi on Suomen virtuaaliyliopisto 2 ja ammattikorkeakoulusektorilla VirtuaaliAMK 3. Virtuaaliopiskelu tapahtuu joko kokonaan tai osittain verkon avulla etäopiskeluna. 2.6 Ajankohtaista Yliopistosektorilla yksi ajankohtaisimpia muutosprosesseja on ns. Bologna-prosessi. Bolognan julistuksen perimmäinen tavoite on synnyttää yhteinen eurooppalainen korkeakoulutusalue vuoteen 2010 mennessä. Tarkoituksena on lisätä eurooppalaisen korkeakoulutuksen kilpailukykyä ja vetovoimaa muihin maanosiin verrattuna. Tavoitteeseen pyritään lähinnä seuraavin keinoin: 1. Ymmärrettävät tutkintorakenteet. Tässä työkaluina käytetään erityisesti ECTS (European Credit Transfer System) -opintosuoritusten siirto- ja mitoitusjärjestelmää sekä tutkintotodistuksen liitettä. 2. Yhdenmukaiset tutkintorakenteet. Tutkintorakennetta kehitetään pääsääntöisesti kahden syklin mallin pohjalle. Ensimmäisen syklin tutkinto on kolmi nelivuotinen bachelor-tason tutkinto, jonka pitäisi olla relevantti myös eurooppalaisilla työmarkkinoilla. Toisen syklin muodostavat master-tason ja tohtorin tutkinnot, jotka ovat molemmat jatkotutkintoja. 3. Opintojen mitoitusjärjestelmien käyttöönotto. Otetaan käyttöön ECTS-yhteensopivat opintojen mitoitusjärjestelmät. 4. Liikkuvuuden lisääminen. Opiskelijoiden, opettajien, tutkijoiden ja korkeakoulujen muun henkilökunnan liikkuvuuden esteiden poistaminen ja liikkuvuuden olennainen lisääminen. 5. Laadunarvioinnin eurooppalainen ulottuvuus. Lisätään laadunarviointiin liittyvää eurooppalaista yhteistyötä yhteisten menetelmien ja tasomäärittelyjen löytämiseksi. ENQA (European Network for Quality Assurance in Higher Education) -verkosto on tässä keskeisessä roolissa. 6. Korkeakoulutuksen eurooppalainen ulottuvuus. Monipuolisen kansainvälisen yhteistyön ja verkostoitumisen tiivistäminen, kieli- ja kulttuurikoulutus. Prosessin seurantaa ja työohjelman laatimista varten on muodostettu seurantaryhmä (Bologna Follow-up group), jossa on edustaja kustakin prosessiin osallistuvasta maasta. Ensimmäinen ministeritasoinen seurantakokous järjestettiin Prahassa toukokuussa 2001. Siellä alkuperäisiin tavoitteisiin lisättiin opiskelijoiden osallistuminen prosessiin, elinikäinen oppiminen sekä yhteisten tutkintojen (joint degrees) luominen. Toinen seurantakokous järjestettiin Berliinissä syyskuussa 2003. Kolmas seurantakokous järjestetään Bergenissä toukokuussa 2005. 2 www.virtuaaliyliopisto.fi 3 www.virtuaaliamk.fi
10 Suomessa yliopistojen tutkintorakenteen uudistaminen ja koko korkeakoululaitosta koskeva kansainvälisen toiminnan strategia ovat ne keskeiset keinot, joilla yliopistojen asemaa Euroopan korkeakoulutusalueella pyritään vahvistamaan. Laadunvarmistuspolitiikan vahvistaminen yliopistoissa ja ammattikorkeakouluissa on myös keskeisellä sijalla. Suomessa uusi kaksiportainen tutkintorakenne otetaan käyttöön yliopistoissa 1.8.2005. ECTS ja tutkintotodistuksen liite (diploma supplement) ovat käytössä useissa maissa, myös Suomessa. 4 Toinen ajankohtainen prosessi on valmisteilla oleva laki yliopistolain muuttamisesta. Laki tulee voimaan 1.8.2005. Yliopistolakiin on esitetty kirjattavaksi kolmas tehtävä seuraavassa muodossa: Tehtäviään hoitaessaan yliopistojen tulee toimia vuorovaikutuksessa muun yhteiskunnan kanssa sekä edistää tutkimustulosten vaikuttavuutta. (Yliopistojen tulosohjauksen kehittämistyöryhmä II, 2002). Lakimuutoksen kanssa samanaikaisesti voimaan saatettavaksi suunnitellulla asetuksella säädetään mm. yliopistossa suoritettavista tutkinnoista, tutkintotavoitteista, opintojen rakenteesta ja muista opintojen perusteista sekä siitä, mitä tutkintoja kussakin yliopistossa voidaan suorittaa. Tutkintoasetuksessa on tarkoitus säätää vain tutkintojen kansallisen ja kansainvälisen vertailtavuuden kannalta tarpeellisista seikoista. Tutkintoasetuksella kumotaan nykyiset 20 yliopistojen tutkintoa koskevaa asetusta. 4 Lisätietoja Bologna-prosessista löytyy opetusministeriön verkkosivuilta osoitteesta www.minedu.fi/opm/koulutus/yliopistokoulutus/bolognaprosessi.html
3 Korkeakoulujen arviointineuvoston tehtävät ja toimintaperiaatteet 5 11 Korkeakoululakien mukaan ammattikorkeakoulujen ja yliopistojen tulee arvioida omaa toimintaansa. Arviointi voi olla sisäistä tai ulkoista. Arvioinnissa korkeakouluja avustaa Korkeakoulujen arviointineuvosto, joka on opetusministeriön yhteydessä toimiva, vuonna 1996 toimintansa aloittanut riippumaton asiantuntijaelin. Korkeakoulujen arviointineuvoston tehtävistä ja toimintatavoista on säädetty asetuksilla 1320/1995 ja 465/1998. KKA:n tehtävänä on asetuksen mukaan 1. avustaa korkeakouluja ja opetusministeriötä korkeakoulujen arviointeja koskevissa asioissa; 2. huolehtia ammattikorkeakoulujen toimilupahakemusten ja perustamishankkeiden arvioinnista; 3. järjestää korkeakoulujen toimintaan sekä korkeakoulupolitiikkaan liittyviä arviointeja; 4. tehdä korkeakoulujen arviointia ja sen kehittämistä koskevia aloitteita; 5. huolehtia arviointia koskevasta kansainvälisestä yhteistyöstä; 6. edistää korkeakoulujen arviointia koskevaa tutkimusta; sekä 7. arvioida korkeakoulujen järjestämiä erikoistumisopintoja ja hyväksyä ne korkeakoulututkintojen järjestelmästä annetun asetuksen 14 :ssä tarkoitettuun rekisteriin sekä pitää mainittua rekisteriä. KKA koostuu neuvostosta ja sihteeristöstä. Neuvosto on luottamuselin, jonka opetusministeriö nimittää nelivuotiskaudeksi (1996 1999, 2000 2003, 2004 2007). Neuvostoon kuuluu 12 jäsentä, jotka edustavat yliopistoja ja ammattikorkeakouluja, työelämää sekä opiskelijoita. Neuvosto kokoontuu 8 10 kertaa vuodessa. KKA:n jaostoina toimivat työvaliokunta, toimilupajaosto ja erikoistumisopintolautakunta. Työvaliokunta toimii KKA:n valmistelevana elimenä. Toimilupajaosto ja erikoistumisopintolautakunta hoitavat asetuksessa KKA:lle osoitettuja viranomaisarviointeja eli ammattikorkeakoulujen toimilupahakemusten arviointia sekä korkeakoulujen erikoistumisopintojen arviointia ja rekisteröintiä. 5 Tämä luku perustuu KKA:n vuosien 2000 2003 toimintasuunnitelmaan. Uusi, vuosille 2004 2007 asetettu KKA linjaa toimintaperiaatteensa keväällä 2004, jonka jälkeen tätä opasta päivitetään tarvittavalla tavalla.
12 Sihteeristö koostuu käynnissä olevien projektien määrästä riippuen noin 12 henkilöstä, joiden tehtävänä on valmistella ja toteuttaa KKA:n päätöksiä. Sihteeristöä johtaa pääsihteeri. Sihteeristö toimii arviointiprojekteissa projektisuunnittelijoina sekä johtoryhmien ja arviointiryhmien sihteereinä. KKA valmistelee kullekin nelivuotiskaudelle toimintasuunnitelman, jossa se määrittelee arviointien yleiset lähtökohdat ja painopistealueet. Toimintasuunnitelmaa tarkennetaan vuosittaisissa arviointisuunnitelmissa, joissa määritellään mm. kunakin vuonna toteutettavat projektit. KKA käy vuosittain opetusministeriön kanssa neuvottelut, joiden pohjalta opetusministeriö vahvistaa KKA:n budjetin. Toimintasuunnitelman mukaan KKA:n toimintaperiaatteita vuosina 2000 2003 ovat olleet riippumattomuus asiantuntevuus monimuotoisuus vuorovaikutteisuus läpinäkyvyys vaikuttavuus. KKA on riippumaton opetushallinnosta ja korkeakouluista päättäessään arviointikohteiden valinnasta ja käytettävistä arviointimenetelmistä. Vastaavasti KKA:n nimeämä arviointiryhmä on riippumaton KKA:sta ja korkeakouluista toteuttaessaan sille nimettyä arviointitehtävää. Kaikessa arviointitoiminnassa käytetään parhaita mahdollisia koti- ja ulkomaisia asiantuntijoita. Arviointien suunnittelussa ja toimeenpanossa käytetään hyväksi sekä kertynyttä arviointitietoa että saatavissa olevaa tutkimustietoa. Korkeakouluille ominaisen vertaisarvioinnin käyttäminen on yksi tapa varmistaa asiantuntevuutta. Arvioinnin kohteena ovat monimuotoiset organisaatiot ja ilmiöt. Tämä heijastuu arvioinnissa käytettävien lähestymistapojen valinnassa siten, että käytetään kohdetta monipuolisesti kuvaavia arviointitapoja ja erilaisia arviointistrategioita. Laadun määrittelyssä ja arviointimenetelmien valinnassa otetaan huomioon eri tieteen- ja koulutusalojen erilaisuus. Monitoimijaisen arvioinnin avulla pyritään jaetun asiantuntijuuden hyödyntämiseen. Korkeakouluilla on mahdollisuus vaikuttaa arvioinnin kohteiden, menetelmien ja painotusalueiden valintaan. Arvioinneissa hyödynnetään kommunikatiivisen arvioinnin periaatetta, jonka mukaan arviointikohteessa toimivat ja eri intressipiirejä edustavat henkilöt saatetaan vuoropuheluun. Tällöin arviointi käsitetään foorumiksi, jolla vaihdetaan näkemyksiä ja kokemuksia. Arviointihankkeiden tavoitteet ja toimintatavat ovat avoimia, ja ne on kirjattu projektisuunnitelmiin ja muihin dokumentteihin. Arviointien tulokset ovat julkisia. Arvioinneissa pyritään käytettävien kriteerien määrittelyyn niin, että kaikilla toimijoilla olisi tiedossa, millä perusteella toimintaa tai kohteita arvioidaan.
13 Vaikuttavuudella tarkoitetaan erityisesti arviointitiedon vaikuttavuutta ja hyödyllisyyttä. Tavoitteena on se, että arviointiprosessi ja sen tulokset tuottavat korkeakouluille ja koulutuspoliittisille päätöksentekijöille sellaista tietoa, jonka avulla ne voivat ymmärtää ja kehittää toimintaansa. Koulutuksen arvioinnissa kansainvälinen yhteistyö on viime vuosina lisääntynyt. ENQAn (European Network for Quality Assurance in Higher Education) sihteeristö sijaitsee KKA:n yhteydessä. Tällä on suuri merkitys KKA:n kansainväliselle toiminnalle. Yhteys mahdollistaa poikkeuksellisen suoran mahdollisuuden osallistua eurooppalaiseen koulutuksen arviointikeskusteluun, välittää suomalaista arviointiosaamista Eurooppaan sekä saada tietoa eurooppalaisista arviointikäytänteistä. 3.1 Miksi arvioidaan? Yliopistolain (27.6.1997/645) mukaan yliopistojen tulee arvioida koulutustaan, tutkimustaan sekä taiteellista toimintaansa ja niiden vaikuttavuutta. Yliopistojen on myös osallistuttava ulkopuoliseen toimintansa arviointiin. Yliopiston tulee julkistaa järjestämänsä arvioinnin tulokset. Ammattikorkeakoululain (1.8.2003/236) mukaan ammattikorkeakoulun tehtävänä on vastata järjestämänsä koulutuksen ja muun toiminnan laatutasosta ja jatkuvasta kehittämisestä ja osallistua määräajoin ulkopuoliseen laadunarviointiin. Ammattikorkeakoulun tulee julkistaa järjestämänsä arvioinnin tulokset. Koulutuksen ja tutkimuksen kehittämissuunnitelman 2003 2008 mukaan arviointia kehitetään turvaamaan koulutusta koskevan lainsäädännön tarkoituksen toteuttamista, tukemaan koulutuksen kehittämistä ja parantamaan oppimisen edellytyksiä. Tavoitteena on hankkia ja analysoida tietoa valtakunnallisen koulutuspoliittisen päätöksenteon ja koulutuksen paikallisen kehittämisen pohjaksi. Arviointitietoa tuotetaan oppivaa yksilöä ja tämän huoltajia, oppilaitoksia, koulutuksen järjestäjiä ja kansallisen tason päättäjiä varten. Myös arviointitoiminnan arviointi on tärkeää. KKA:n organisoimien arviointien tarkoituksena on tukea korkeakouluja niiden kehittäessä koulutustaan (ns. kehittävä arviointi). Tavoitteena on tuottaa sellaista tietoa, jota korkeakoulut voivat käyttää hyväksi kehittäessään omaa toimintaansa. Tavoitteena on myös välittää arvioinneissa esiin tulleita hyviä käytäntöjä muihin korkeakouluihin. Lisäksi jokaiselle arvioinnille asetetaan projektikohtaisia tavoitteita. Vastuu arviointitiedon hyödyntämisestä ja soveltamisesta on kuitenkin viime kädessä aina korkeakoululla itsellään.
14 3.2 Mitä arvioidaan? Valtioneuvoston hyväksymän Koulutus ja tutkimus vuosina 2003 2008 -kehittämissuunnitelman mukaan yliopistoja ja ammattikorkeakouluja koskevissa arvioinneissa painotetaan koulutuksen, kehittämistoiminnan ja tutkimuksen yhteyttä. Koulutusohjelma- ja teema-arviointien ohella tehostetaan arviointityön vaikutusten seurantaa. Korkeakoulujen arviointineuvoston arviointitoimintaan ovat vuosina 2000 2003 kuuluneet koulutusala- ja teema-arvioinnit korkeakoulujen laatutyön arvioinnit korkeakoulujen kokonaisarvioinnit yliopistojen ja ammattikorkeakoulujen laatu- ja huippuyksikkövalinnat ammattikorkeakoulujen jatkotutkintokokeilun arviointi korkeakoulujen erikoistumisopintojen arviointi korkeakoulujen omaehtoisen arviointityön tukeminen maksullinen palvelutoiminta. Kutakin arviointityyppiä ja sen sisältöä selostetaan tarkemmin seuraavassa. Lisäksi kuvataan arviointityypeittäin, millä perusteella korkeakoulut tai niiden yksiköt ovat valikoituneet arviointiin. Yhteenvetona voidaan todeta, että osa arvioinneista on ollut pakollisia (valtakunnalliset koulutusala-arvioinnit, yliopistojen kokonaisarvioinnit, ammattikorkeakoulujen toimilupa-arvioinnit ja kehittämisvelvoitteiden arvioinnit) ja osa vapaaehtoisuuteen perustuvia (osa teema-arvioinneista, laatu- ja huippuyksikkövalinnat, ammattikorkeakoulujen jatkotutkintojen arviointi ja korkeakoulujen erikoistumisopintojen arviointi). Koulutusala- ja teema-arvioinnit Valtakunnallisina arviointeina on toteutettu koulutusaloihin, koulutusohjelmiin ja oppiaineisiin ja erilaisiin teemoihin kohdistuvia arviointeja. Toisin kuin Ruotsissa, Hollannissa tai Englannissa, Suomessa ei ole arvioitu kaikkia koulutusohjelmia määrävälein, vaan arviointikohteiden valinnassa on käytetty kolmea kriteeriä. Arviointikohteeksi on valittu sellaisia koulutusaloja ja teemoja, jotka ovat koulutus- ja yhteiskuntapoliittisesti tärkeitä, nopeasti kasvavia ja kehittyviä tai ongelmallisia. KKA on arviointikohteita valitessaan riippumaton korkeakouluista ja opetusministeriöstä, mutta ottaa huomioon eri tahoilta tulleet arviointialoitteet. Arviointialoitteita ovat tehneet mm. KKA ja korkeakoulut, opetusministeriö, muut ministeriöt, opiskelijajärjestöt ja työelämän edustajat.
15 Koulutuksen tai toiminnan laatua arvioitaessa arvioinnin kohteena ovat olleet yleensä korkeakoulun strategiat koulutuksen suunnittelu koulutuksen tehtävä ja tavoitteet sisältö ja rakenne (opetussuunnitelma) opetus- ja oppimisympäristö (menetelmät, välineet, materiaalit) suhteessa koulutuksen tavoitteisiin ja sisältöihin opintojen ohjaus, tukeminen ja etenemisen seuranta mekanismit, joilla korkeakoulu/yksikkö tukee koulutuksen suunnittelua, toteutusta ja arviointia arviointi- ja palautejärjestelmä tulevaisuuden suunnitelmat. Koulutusala-arvioinneissa lähtökohtana on se, että kaikki yksiköt, jotka antavat alan tutkintokoulutusta, osallistuvat valtakunnalliseen arviointiin. Osassa teema-arviointeja on käytetty ilmoittautumismenettelyä, jolloin korkeakoulujen osallistuminen arviointiin on ollut vapaaehtoista. Korkeakoulujen laatutyön arvioinnit Ammattikorkeakoulujen laatutyön arviointien eli auditoinnin kohteena on se työ, jota ammattikorkeakoulut tekevät opetuksen ja oppimisen laadun varmistamiseksi. Huomio on kohdistunut yhtäältä ammattikorkeakoulujen käyttämiin laadunvarmistusmenetelmiin ja -prosesseihin ja toisaalta laatutyön kokonaisuuteen. Auditointi on perustunut ammattikorkeakoulujen omaan ilmoittautumiseen. Toimikaudella 2004 2007 yliopistojen ja ammattikorkeakoulujen laadunvarmistusjärjestelmien arviointi tulee olemaan yhä keskeisempi osa KKA:n työtä. Korkeakoulujen kokonaisarvioinnit Koulutuksen ja tutkimuksen kehittämissuunnitelma vuosille 1995 2000 sisälsi velvoitteen, jonka mukaan kaikki korkeakoulut tulee arvioida kertaalleen vuoteen 2000 mennessä. Tämä tavoite on toteutunut, kun ammattikorkeakoulut ovat käyneet läpi toimilupa-arvioinnin ja kaikissa yliopistoissa on toteutettu kokonaisarviointi (institutional evaluation). KKA on tarjonnut yliopistoille mahdollisuuden kokonaisarvioinnin seuranta-arviointiin ja tukee yliopistojen kansainvälistä vertailuarviointia (benchmarking). Ammattikorkeakouluille on järjestetty toimilupa-arviointien yhteydessä asetettujen kehittämisvelvoitteiden arviointeja. Lisäksi osalle ammattikorkeakouluja on niiden omasta aloitteesta järjestetty kokonaisarviointeja. Kokonais-
16 arviointien kohteena on usein ollut jokin erikseen määritelty toiminnallinen osa-alue tai ammattikorkeakoulun strategiaan liittyvä osaprosessi. Laatu- ja huippuyksikkövalinnat KKA on opetusministeriön kanssa neuvoteltuaan ottanut vastatakseen korkeakoulujen laatu- ja huippuyksiköiden arvioinneista. Ammattikorkeakoulusektorilla on valittu joka toinen vuosi koulutuksen laatuyksiköitä ja joka kolmas vuosi aluekehitysvaikutuksen huippuyksiköitä. Yliopistosektorilla on valittu joka kolmas vuosi korkealaatuisen perus- ja/tai jatkokoulutuksen yksiköitä ja korkealaatuisen aikuiskoulutuksen yliopistoja. Laatu- ja huippuyksiköiden arviointimenetelmä perustuu KKA:n ennaltailmoittamiin arviointiperusteisiin tai -kriteereihin, korkeakoulujen hakemuksiin ja niiden vertaisarviointiin. Tämä arviointityyppi on ainoa, jonka tuloksilla on suora kytkentä rahanjakoon. Ammattikorkeakoulujen jatkotutkintokokeilun arviointi Kolmivuotinen laki ammattikorkeakoulun jatkotutkinnon kokeilusta astui voimaan vuonna 2002. Lain mukaan KKA:n tehtävänä on arvioida sekä kokeilulupahakemukset että itse kokeilu. Hakemusten arvioinnin jälkeen opetusministeriö myönsi kokeiluluvan yhteensä 24 ammattikorkeakoululle. Vuosina 2003 2004 toteutettavan ammattikorkeakoulujen jatkotutkintokokeilun arvioinnin tavoitteena on hankkia tietoa ja kokemuksia ammattikorkeakoulujen jatkotutkintojärjestelmän kokeilumallista, rakenteesta ja laajuudesta, jatkotutkintokoulutuksen työelämäyhteyksistä sekä asemasta korkeakoulututkintojen järjestelmässä. Korkeakoulujen erikoistumisopintojen arviointija rekisteröintitoiminta (akkreditointi) Korkeakoulujen erikoistumisopintojen arviointi- ja rekisteröintitoiminta käynnistyi Suomessa vuonna 1998, kun KKA:n viranomaistehtäväksi säädettiin korkeakoulujen järjestämien erikoistumisopintojen arviointi, rekisteröinti sekä rekisterin ylläpitäminen. KKA:n jaostona toimiva Korkeakoulujen erikoistumisopintolautakunta päättää arvioinnin perusteella erikoistumisopintojen hyväksymisestä rekisteriin. Akkreditoinnin hakeminen on korkeakouluille vapaaehtoista. Toiminnan tavoitteena on korkeakoulujen pitkäkestoisen täydennyskoulutuksen laadun varmistaminen ja toiminnan kehittäminen. Korkeakoulujen omaehtoisen arviointityön tukeminen KKA:n tehtäviin kuuluu tukea korkeakouluja niiden kehittäessä koulutustaan ja laadunvarmistustaan. Tässä tarkoituksessa KKA kannustaa korkeakouluja
17 myös omaehtoiseen arviointiin tarjoamalla niille asiantuntija-apua ja taloudellista tukea. Taloudellista tukea on myönnetty lähinnä sellaisia kotimaisille ja kansainvälisille hankkeille, joihin osallistuu useita korkeakouluja ja joilla on valtakunnallista mielenkiintoa. Omaehtoisen kehittämistyön tulokset saatetaan muiden korkeakoulujen käyttöön mm. julkaisemalla niistä arviointiraportti KKA:n julkaisusarjassa. Maksullinen palvelutoiminta KKA:n sihteeristö toimii pyydettäessä asiantuntijana yhteiskunnallisesti tärkeissä ja arviointineuvoston toimialaan kytkeytyvissä arviointihankkeissa sekä Suomessa että ulkomailla. Arviointineuvosto voi osallistua maksupalveluperiaatteella myös korkeakoulukentän ulkopuolisiin opetusministeriön tai muiden ministeriöiden arviointihankkeisiin. 3.3 Miten arvioidaan? Korkeakoulujen arviointineuvoston arvioinneissa käytetään yleensä nelivaiheista perusmallia, jonka osia ovat: 1. kansallinen arviointiorganisaatio (vastaa projektien suunnittelusta ja toteutuksesta) 2. korkeakoulujen laatimat itsearviointiraportit 3. arviointiryhmän vierailut korkeakouluihin 4. arviointiryhmän laatima julkinen raportti. 6 Arviointiprosessin kutakin vaihetta on kuvattu tarkemmin luvussa 5. Korostaakseen arviointien kehittävää roolia KKA on räätälöinyt menetelmät kunkin arviointikohteen ja korkeakoulujen kehittämistarpeita vastaaviksi. Käytännössä tämä tarkoittaa sitä, että perinteistä nelivaiheista menetelmää on varioitu tai siihen on lisätty erilaisia elementtejä sen mukaan, mihin arvioinnilla pyritään. Itsearviointivaiheen perusmalli on se, että kukin arviointiin osallistuva korkeakoulu tai sen yksikkö laatii itsearviointiraportin. Joissakin arviointiprojekteissa itsearviointiprosessi on pyritty järjestämään siten, että se olisi jo sinällään kehittämisprosessi. Näin toimittiin mm. opintojen ohjauksen arvioinnissa, jossa henkilökunnalle ja opiskelijoille organisoitiin rinnakkaiset itsearviointiprosessit, jonka jälkeen heitä pyydettiin vaihtamaan raportteja keskenään ja laatimaan toistensa itsearviointiraporteista lausunnot. Arviointivierailun perusmalli on se, että ulkoinen arviointiryhmä vierailee korkeakouluissa. Tätä vaihetta on varioitu mm. järjestämällä arviointivierailun 6 Korkeakoulujen arviointineuvoston käyttämiä arviointimenetelmiä on kuvattu tarkemmin julkaisussa Arviointimenetelmien kuvaus.
18 osaksi tai sen tilalle valtakunnallinen keskustelufoorumi, johon on kutsuttu koulutuksen järjestäjien ja yhteiskunnallisten sidosryhmien edustajia. Näin on toimittu erityisesti silloin, kun arvioinnin tavoitteena on ollut järjestelmätason tarkastelu tai kun arvioinnin kohde on ollut luonteeltaan koulutuspoliittinen. Arviointikriteereitä on käytetty kolmessa arviointityypissä: ammattikorkeakoulujen toimilupa-arvioinneissa, ammattikorkeakoulujen koulutuksen laatuyksiköiden valinnassa ja erikoistumisopintojen arvioinnissa. Muissa arvioinneissa arviointi kohdistuu ennalta määriteltyihin arvioinnin alueisiin tai kohteisiin, ja arviointiryhmän tehtävänä on määritellä arvioinnille tarkennetut kriteerit. 3.4 Miten arviointeja hyödynnetään? Korkeakoulujen arviointineuvosto pyrkii turvaamaan monin keinoin sitä, että arvioinnit olisivat korkeakouluille mahdollisimman hyödyllisiä: Korkeakoulut voivat itse tehdä aloitteita arviointikohteista. Korkeakoulut voivat osallistua arviointien suunnitteluun. Korkeakouluille järjestetään arvioinnin käynnistyessä seminaari, jossa keskustellaan arvioinnin tavoitteista ja toteutuksesta ja korkeakoulujen toiveista. Arviointiryhmän tehtävänä on tuottaa näkemys arvioitavan ilmiön laadusta sekä valtakunnallisesti että arviointiin osallistuvissa korkeakouluissa. Arviointiryhmä laatii itsearviointiaineiston ja arviointivierailujen perusteella arviointiraportin, johon kootaan arvioitavan koulutuksen vahvuuksia ja hyviä käytänteitä. Tärkeä osa arviointiraporttia ovat suositukset tai kehittämisehdotukset, joita arviointiryhmä voi osoittaa kaikille korkeakouluille tai yksittäiselle korkeakoululle tai koulutusohjelmalle ja muille relevanteille toimijatahoille, kuten opetusministeriölle. Arviointien tulosten hyödyntäminen on viime kädessä korkeakoulujen omalla vastuulla. Suomessa ei ole toistaiseksi ollut käytössä sanktiojärjestelmää, jossa koulutuksen järjestäjää rangaistaisiin arvioinnin perusteella koulutuksen heikosta laadusta. Arviointien seurannassa käytetään pääasiassa kahta keinoa: Opetusministeriön ja korkeakoulujen vuotuisissa tulos- ja tavoiteneuvotteluissa käydään keskustelua arviointien tuloksista ja niiden hyödyntämisestä. Korkeakoulujen arviointineuvosto järjestää yleensä noin kolmen vuoden kuluttua arvioinnista seuranta- eli follow up -arvioinnin, jossa selvitetään kehittämissuositusten toteutumista.
4 Keskeiset käsitteet 19 Tässä luvussa esitellään joitakin keskeisiä koulutuksen arviointiin liittyviä käsitteitä. On huomattava, että monista käsitteistä on useita määritelmiä. Tähän on valittu sellainen tulkinta 7, joka on lähimpänä Korkeakoulujen arviointineuvoston toteuttamiin arviointeihin sisältyvää tulkintaa. Arviointi Arvon määrittäminen, arvon esiin nostaminen (engl. evaluation) tai tavoitteisiin vertaaminen, suorituksen mittaaminen (engl. assessment, esim. quality assessment). Arviointi voidaan ymmärtää myös prosessina, jonka tavoitteena on kehittämistarpeiden ja -ehdotusten esiin nostaminen. Arvioitava toiminta ja sen laatu. Arviointikohde Arviointikriteeri Arviointikriteerien avulla määritellään ne ehdot, joilla koulutuksen laadulliset ominaisuudet tai määrälliset tunnusluvut erotellaan toisistaan. Arviointikriteerit voivat olla kynnysehdon tyyppisiä tai ne voidaan skaalata. Kynnysehtoja on käytetty ammattikorkeakoulujen toimilupa-arvioinneissa ja erikoistumisopintojen akkreditoinnissa. Skaalattuja kriteerejä käytetään ammattikorkeakoulujen koulutuksen laatuyksiköiden valinnassa. Arviointikriteerin rinnalla käytetään myös käsitettä arviointiperuste. 7 Käsitteiden määrittelyssä on käytetty hyväksi mm. seuraavia lähteitä: Harvey, L. 1997. Tertiary Education and Management 3(1): 25 35. Hämäläinen, K. & Moitus, S. (toim.) 1998. Laatua korkeakoulutukseen. Teoriaa ja käytäntöä. Korkeakoulujen arviointineuvoston julkaisuja 6:1998. Helsinki: Edita. Karjalainen, A. 2003. Arviointiajattelun pikaopas. Oulu: Oulun yliopisto. Patton, M. Q. 1997. Utilization-Focused Evaluation. The New Century Text. Edition 3. Sage Publications.
20 Arviointimalli (-menetelmä) Arviointimallilla tai -menetelmällä tarkoitetaan amerikkalaiseen akkreditointimalliin perustuvaa lähestymistapaa, joka koostuu neljästä osasta: 1. kansallinen tai muu ulkopuolinen arviointiorganisaatio, 2. itsearviointi, 3. vertaisarviointi arviointivierailuineen ja 4. julkinen arviointiraportti. Arviointityyppi Arviointityypit voidaan käyttötarkoituksen mukaan tiivistää neljään pääluokkaan: 1. arviointi, 2. akkreditointi, 3. auditointi ja 4. benchmarking. Näitä arviointityyppejä käytetään kolmen erilaisen kohteen eli organisaatioiden, koulutusohjelmien ja oppiaineiden arviointiin, ja niiden käyttötarkoitus voi vaihdella toiminnan kehittämisestä tilivelvollisuuden osoittamiseen. Akkreditointi Sana akkreditointi (latina: ad + credere) tarkoittaa luotettavaksi ja uskottavaksi esittämistä ja julkista ansioiden tunnustamista, jopa sanktioimista. Akkreditoinnilla tarkoitetaan yleensä joko virallista, muodolliseen vallankäyttöön liittyvää korkeakoulujen tai niiden tarjoamien ohjelmien hyväksymistä tai erilaisten laatuleimojen myöntämistä korkeakouluille tai niiden ohjelmille. Auditointi Sana audit tarkoittaa alunperin tilintarkastusta, josta se on laajentunut tarkoittamaan sekä yleistä toiminnan arviointia että nimenomaan laadunvarmistusjärjestelmien arviointia. Auditointi on riippumatonta arviointia, jossa selvitetään, onko laadunvarmistusjärjestelmä tavoitteiden mukaista, tehokasta ja tarkoitukseen sopivaa. Korkeakoulujen arvioinnin yhteydessä puhutaan sekä laatuauditoinneista että akateemisista auditoinneista (quality audit, academic audit), mutta asiallisesti näiden kahden välillä ei ole eroa. Benchmarking Vertailuarviointia, jossa organisaatiot vertaavat toimintaansa ja prosessejaan toisen organisaation kanssa. Ideana on etsiä uusia ideoita tai hyviä tai parhaita käytänteitä (best practice). Vertailukumppani etsitään yleensä itseä jossakin suhteessa paremmasta organisaatiosta.
21 Itsearviointi Yksikön tai organisaation omaan toimintaan, sen edellytyksiin ja tuloksiin kohdistuvaa arviointia. Itsearviointi on keino kerätä tietoa arviointikohteesta ja työkalu korkeakouluille oman toimintansa kehittämiseen. Itsearviointi voi olla omaaloitteista tai ulkopuolisen tahon edellyttämää. Systemaattisesti käytettynä itsearviointi lisää toimijoiden ymmärrystä. Kehittävä arviointi Kehittävällä arvioinnilla tarkoitetaan sellaisia arviointia, jonka tavoitteena on tukea korkeakouluja niiden kehittäessä koulutustaan. Yhden tulkinnan mukaan kehittävää arviointia toteutetaan kysymällä koulutuksen järjestäjiltä keskeisiä arvioivia kysymyksiä ja soveltamalla arviointitoiminnan logiikkaa kehittämistarkoituksiin. Korkeakoulujen arviointineuvoston tulkinnan mukaan kehittävä arviointi on käyttäjälähtöinen prosessi, jossa arvioinnin menetelmä räätälöidään arvioinnin tavoitteiden, arvioitavan teeman ja osallistujien tarpeiden mukaan. Koulutuksen laatu Koulutuksen laatu voidaan määritellä monin eri tavoin. Korkeakoulutuksen laatua voidaan tarkastella seuraavista näkökulmista: Laatu voidaan määritellä poikkeuksellisuudeksi (exceptional) suhteessa käsitteeseen erinomaisuus (excellence). Tämä on yleinen tutkimuksen laatukäsitys. Laatu voidaan määritellä täydellisyydeksi (perfection) silloin, kun laadulle on asetettu tasalaatuisuuteen, sääntöjen noudattamiseen ja virheettömyyteen liittyviä vaatimuksia. Tämä on yleinen hallinnon ja tavaratuotannon laatukäsitys. Laatu voi merkitä tarkoituksenmukaisuutta (fitness for purpose) silloin, kun tavoitteena on täyttää sidosryhmien asettamat vaatimukset. Tämän laatukäsityksen toinen nimi on ns. asiakaslaatu. Tätä laatukäsitystä voidaan käyttää myös verrattaessa koulutusohjelmien sisältöä, menetelmiä ja oppimistuloksia sille asetettuihin tavoitteisiin tai sen tarkoitukseen (purpose). Laatu voi merkitä arvoa (value for money) silloin, kun yksikkö, työnantaja tai toimisto toimii optimaalisesti suhteessa kustannuksiin. Tämä laatukäsitystä voidaan käyttää esiteltäessä jonkin toiminnon kustannus hyöty-suhdetta veronmaksajille. Laatu voi merkitä muutosta (transformation) silloin, kun tavoitteena on muutos nykytilasta ideaaliin tavoitetilaan. Tämä on lähinnä koulutuksen laatukäsitys.
22 Laatukulttuuri Laatukulttuuri sisältää sekä laadun kehittämiseen tähtäävät toimenpiteet että yksilöllisen ja kollektiivisen sitoutumisen laadun ylläpitämiseen ja kehittämiseen. Laadunvarmistus Laadunvarmistuksella tarkoitetaan niitä menettelytapoja, prosesseja tai järjestelmiä, joiden avulla turvataan ja kehitetään korkeakoulun, sen järjestämän koulutuksen ja muun toiminnan laatua. Laatutyö tarkoittaa usein samaa kuin laadunvarmistus, mutta joskus laatutyöllä viitataan myös laadunvarmistusjärjestelmien kehittämiseen. Laadunvarmistusjärjestelmä Laadunvarmistusjärjestelmä tarkoittaa laadunvarmistuksen menettelytavoista muodostuvaa kokonaisuutta. Vertaisarviointi Yliopistojen perinteinen arviointimenetelmä on vertaisarviointi (peer review), joka perustuu tiedeyhteisön jäsenten asiantuntemukseen ja johtaa tieteellistä laatua koskevaan arvioon. Alunperin vertaisarviointia on käytetty tieteellisten artikkelien arviointiin, myöhemmin myös virkoja täytettäessä, rahoituspäätöksiä tehtäessä ja palautteen saamiseksi omasta toiminnasta.
5 Arviointiprosessi 23 Koulutusohjelma- ja teema-arviointien kesto on tyypillisimmillään 1 1,5 vuotta. Arviointiprosessi koostuu yleensä seuraavista vaiheista, joihin osallistuvat seuraavat tahot: Arviointiprosessin vaihe Vastuutaho Tehtävä 1. Suunnitteluvaihe Eri tahot Aloitteita arviointikohteiksi KKA Arviointikohteen valinta ja rajaus (tavoitteet, näkökulma) KKA Johtoryhmän nimeäminen Suunnitteluryhmä* Arvioitavan aiheen kartoitus Johtoryhmä Projektisuunnitelman laatiminen KKA Projektisuunnitelman hyväksyminen ja ulkoisen arviointiryhmän nimeäminen 2. Itsearviointivaihe Korkeakoulut Itsearviointiprosessi ja itsearviointiraporttien laadinta 3. Ulkoinen arviointi Arviointiryhmä Arviointivierailut korkeakouluihin 4. Arviointiraportti Arviointiryhmä Arviointiraportin laadinta ja julkistus * Suunnitteluryhmä nimetään siinä tapauksessa, että arvioitava kohde on poikkeuksellisen laaja ja vaatii kartoittamista ja rajaamista. Arviointiprosessin viidentenä vaiheena on seuranta-arviointi eli follow-up, joka toteutetaan yleensä noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Kuhunkin arviointiprosessin vaiheeseen liittyy eri ryhmien perehdyttämistä tehtäviinsä. Seuraavassa luonnehditaan tarkemmin arviointiprosessin eri vaiheita.
24 5.1 Suunnitteluvaihe 5.1.1 Arviointien käynnistäminen Korkeakoulujen arviointineuvosto päättää itsenäisesti arvioinnin kohteista ja menetelmistä. Arviointeja käynnistetään eri tahojen aloitteesta. Arviointialoitteita ovat KKA:n lisäksi tehneet korkeakoulut, opetusministeriö, jokin muu ministeriö, työelämän edustajat, opiskelijajärjestöt ja muut organisaatiot. KKA ei itse arvioi, vaan se päättää arviointien käynnistämisestä, kutsuu asiantuntijat arvioinnin suunnitteluun ja toteutukseen. Projektisuunnitelman laatii johtoryhmä, joka täsmentää arvioinnin tavoitteet, sisällöt ja menetelmät. KKA käsittelee ja vahvistaa projektisuunnitelman. Tiedonkulku KKA:n ja johtoryhmän välillä on järjestetty siten, että johtoryhmän puheenjohtajana toimii yleensä KKA:n jäsen. KKA nimittää johtoryhmän esityksestä ulkoisen arviointiryhmän sekä järjestää projektin päätösseminaarin. KKA:n pääsihteeri ja sektorien vastuusuunnittelijat osallistuvat useimmiten johtoryhmätyöskentelyyn asiantuntijoina. 5.1.2 Suunnittelu- ja johtoryhmän rooli Arvioinnin suunnittelussa käytetään arvioinnin laajuudesta riippuen yksi- tai kaksiportaista mallia. Mikäli arvioitava kohde on laaja ja hahmottumaton, suunnitteluprosessi voidaan järjestää kaksiportaisena, jolloin arviointia suunnitellaan sekä suunnittelu- että johtoryhmässä. Mikäli on kyse selkeärajaisesta arviointitehtävästä, tällöin suunnittelusta vastaa johtoryhmä. Mikäli suunnitteluvaihe järjestetään kaksiportaisena, suunnitteluryhmän tehtävänä on kartoittaa arvioitava alue ja tehdä ehdotus arvioinnin rajaukseksi. Tällöin kartoitustehtävä on usein laaja, ja siihen voi liittyä esimerkiksi kyselyjä korkeakouluille ja niiden tulosten kokoamista erilliseksi taustaraportiksi. Useissa tapauksissa suunnitteluryhmä aloittaa myös projektisuunnitelman laadinnan. Pääsääntöisesti kaikissa arviointiprojekteissa toimii johtoryhmä, jonka tehtävänä on määritellä arviointiprojektin tavoitteet, sisällöt ja menetelmä eli laatia projektisuunnitelma tehdä ehdotus Korkeakoulujen arviointineuvostolle arviointiryhmän kokoonpanosta järjestää arviointiryhmälle keskustelu- ja perehdytystilaisuus, jossa käydään läpi mm. projektisuunnitelmaan sisältyviä asioita seurata arvioinnin etenemistä osallistua arviointiraportin julkistustilaisuuteen. Suunnitteluryhmä ja johtoryhmä koostuvat yleensä 5 7 jäsenestä. Johtoryhmän puheenjohtaja on yleensä KKA:n jäsen ja ryhmän jäsenet korkeakoulujen, työelämän ja opiskelijajärjestöjen edustajia, jotka edustavat arvioitavan alan substanssi- ja/tai pedagogista asiantuntemusta.
25 Kun arviointiprojekti on päätetty käynnistää, johtoryhmä järjestää arvioinnin aloitusseminaarin, johon kutsutaan edustajat kaikista arviointiin osallistuvista korkeakouluista tai mikäli arvioinnin kohteena on yksi korkeakoulu, edustajat sen eri yksiköistä. Aloitusseminaarin tarkoituksena on käydä keskustelua projektin tavoitteista ja toteutuksesta ja tarjota korkeakouluille tilaisuus kommentoida projektisuunnitelmaa. Seminaarin jälkeen projektisuunnitelmaa täsmennetään. KKA:n rekrytoima projektisuunnittelija toimii johtoryhmän sihteerinä ja vastaa johtoryhmän päätösten toimeenpanosta. 5.2 Itsearviointi Itsearviointi on keino kerätä tietoa arviointikohteesta ja työkalu korkeakouluille oman toimintansa kehittämiseen. Itsearviointien tarkoituksena on pyytää korkeakouluja kokoamaan tietoja arvioitavasta asiasta, kannustaa niitä arvioimaan oman toimintansa vahvoja ja heikkoja puolia sekä rohkaista niitä tekemään kehittämissuunnitelmia. Usein itsearviointi avaa korkeakouluille uusia näkökulmia arvioitavaan asiaan. Korkeakoulut voivat itse päättää, miten ne organisoivat itsearvioinnin, mutta KKA suosittaa, että arviointiin osallistuisi mahdollisimman laajasti arvioitavan yksikön henkilökuntaa ja opiskelijoita. Korkeakoulut ovat soveltaneet itsearvioinnin organisoinnissa erilaisia menettelyitä. Usein korkeakoulut nimeävät ohjausryhmän, joka kerää kyselyin, haastatteluin, seminaarein tai muilla tavoin henkilökunnan ja opiskelijoiden näkemyksiä arvioitavasta asiasta, analysoi koottua aineistoa ja laatii tältä pohjalta yhteisen itsearviointiraportin. Itsearviointiprosessin yhtenä tavoitteena on tuottaa itsearviointiraportti. Itsearviointiraportin muoto ja enimmäislaajuus on ennalta määritelty itsearviointiohjeissa ja -kysymyksissä. KKA pitää tärkeänä, että itsearviointiraportti sisältää sekä toiminnan kuvausta että sen analyyttistä arviointia. Tämän vuoksi tätä seikkaa usein korostetaan itsearviointiohjeissa. Määrällinen arviointi ei kuulu arviointineuvoston tehtäviin, joten määrällisiä tietoja kysytään korkeakouluilta yleensä vain taustoittamaan arviointia. Joissakin arvioinneissa opiskelijoita on pyydetty laatimaan oma erillinen itsearviointiraportti. Tällöin paikallisilla opiskelija- ja ainejärjestöillä on keskeinen rooli opiskelijoiden itsearviointiprosessin koordinoinnissa. Korkeakoulujen arviointineuvosto ja opiskelijoiden kattojärjestöt Suomen ylioppilaskuntien liitto SYL ry ja Suomen Ammattikorkeakouluopiskelijayhdistysten Liitto SA- MOK ry tekevät yleensä tiivistä yhteistyötä opiskelijoiden perehdyttämiseksi itsearviointiin.