Menetelmistä kehittämiseen

Transkriptio

1 Sirpa Moitus Seppo Saari Menetelmistä kehittämiseen Korkeakoulujen arviointineuvoston arviointimenetelmät vuosina KORKEAKOULUJEN ARVIOINTINEUVOSTO

2 ISBN ISSN Kustantaja: Korkeakoulujen arviointineuvosto Kansi: Juha Ilonen Taitto: Pikseri Julkaisupalvelut Tammer-Paino Oy Tampere 2004

3 Esipuhe Korkeakoulujen arviointineuvosto on vuosina toteuttanut kolme hanketta oman toimintansa arvioimiseksi ja kehittämiseksi. On laadittu arvioitsijan opas ja korkeakouluille osoitettuun kyselyyn perustuva selvitys koulutusala-arviointien hyödynnettävyydestä ja vaikuttavuudesta. Tämä trilogian kolmas osa dokumentoi Korkeakoulujen arviointineuvoston kahden toimintakauden arviointimetodiikan. Arviointihankkeissa käytetyt menetelmät on esitelty kunkin projektin raportissa, mutta menetelmien yhteisesitys, vertailu ja analysointi antavat aineksia ja pohjaa menetelmien kehittämiseksi. Kyse on myös kokemusperäisen tiedon välittämisestä korkeakoulujen arviointiyhteisölle. Korkeakoulujen arviointineuvoston toiminnan lähtökohtana on ollut alusta alkaen kehittävä arviointi, jonka mukaan arviointien tavoitteena on tukea korkeakouluja niiden kehittäessä omaa toimintaansa. Kehittävän arvioinnin ominaispiirteitä ovat arviointiryhmän rooli kehittämispalautteen ja suositusten antajana sekä opiskelijoiden osallistuminen arviointeihin itsearvioinnin laatijoina ja arvioitsijoina. Suomalaisessa arviointijärjestelmässä kehittävään arviointiin on liittynyt arviointimenetelmien räätälöinti, jossa menetelmiä on muokattu arvioitavan teeman tai kohteen ominaisuuksien ja erityistarpeiden mukaisesti. Tällä on pyritty saamaan arviointien arki, omistajuus ja sitouttavuus mahdollisimman lähelle korkeakouluja, jolloin myös arviointien tulosten on ajateltu olevan paremmin korkeakoulujen hyödynnettävissä. Raportissa kuvataan arviointimenetelmien sovelluksia ja räätälöintiä arviointiprosessin vaiheiden mukaisesti. Ne kattavat arvioinnin suunnittelun, itsearvioinnin, arviointivierailun tai vastaavan menettelyn ja arvioinnin raportoinnin toteutuksessa käytetyt menetelmät. Käytetyllä jäsennyksellä ja dokumentointitavalla on haluttu tarjota lukijalle mahdollisuus eri menetelmävaihtoehtojen soveltamiseen ja mahdollisesti uusien yhdistelmien kehittelyyn. Ossi Tuomi Pääsihteeri

4 Sisällys 1 Johdanto Korkeakoulujen arviointineuvoston tehtävät ja toimintaperiaatteet Korkeakoulujen arviointineuvoston toimintaperiaatteet Arviointitiedon hyödyntäminen 12 2 Arviointimenetelmä, arviointimalli ja arviointiprosessi Arvioinnin nelivaiheinen kansainvälinen malli Kansallinen koordinoiva arviointiyksikkö Itsearviointi Ulkoinen vertaisarviointi Julkinen arviointiraportti Arvioinnin viides elementti seuranta ENQAn merkitys eurooppalaisen mallin muodostumiseen Arvioinnin suomalainen perusmalli Arvioinnin suunnittelun perusmalli Itsearvioinnin perusmalli Ulkoisen arvioinnin perusmalli Arvioinnin raportoinnin perusmalli Arvioinnin seuranta 21 3 Vuosina toteutetut arvioinnit ja niiden menetelmät Koulutusala-arvioinnit Teema-arvioinnit Korkeakoulujen kokonaisarvioinnit ja laatutyön arvioinnit Korkeakoulujen laatu- ja huippuyksikkövalinnat Viranomaisarvioinnit Ammattikorkeakoulujen toimilupa-arvioinnit Ammattikorkeakoulujen jatkotutkintokokeilun arviointi Erikoistumisopintojen arviointi- ja rekisteröintitoiminta Muu arviointitoiminta 31 4 Kehittävä arvioinnin suunnittelu Taustakartoitukset ja kyselytutkimukset Kyselytutkimus Taustakartoitus ja hakijakysely Opetussuunnitelma-analyysi ja opiskelijakysely Dokumenttianalyysi ja delfoi-työskentely 35

5 5 Kehittävä itsearviointi Itsearviointi pareittain Henkilökunnan ja opiskelijoiden pariarviointi Koulutusohjelmien pariarviointi Itsearviointi ryhmittäin Portfoliot itsearvioinnissa 42 6 Kehittävä ulkoinen arviointi Vertailuarviointi eli benchmarking Keskustelutilaisuudet Valtakunnalliset kuulemistilaisuudet Teemakeskustelut Fokusryhmäkeskustelut Yhteistyöseminaari Opetustilanteiden seuranta 51 7 Kehittävä arvioinnin raportointi 52 8 Kriteerit arvioinneissa Arviointiperusteet Skaalatut arviointikriteerit Kynnysehdon tyyppiset arviointikriteerit 65 9 Arviointimenetelmät, mallintaminen ja teoriat Arvioinnin konteksti Arviointimenetelmien mallintamisen teoriaperustan ongelmallisuus Käytännön ja teorian suhde evaluaatiossa Evaluaatioteoriat Evaluaatioteorioista käytäntöihin ja päinvastoin Arviointien räätälöinti ja kehittävä malli Arvioinnin standardit menetelmän, prosessin ja tulosten laadun takeena Lopuksi 79 Lähteet 80

6 6 1 Johdanto Korkeakoulujen arviointineuvosto aloitti toimintansa vuonna Ensimmäinen vuosi käytettiin toiminnan suunnitteluun, ja varsinaiset arvioinnit aloitettiin vuonna Heti alusta alkaen Korkeakoulujen arviointineuvosto (myöhemmin KKA) valitsi toimintalinjakseen ns. kehittävän arvioinnin. Kehittävä arviointi perustuu KKA:lle asetuksella annettuun tehtävään tukea korkeakouluja ja opetusministeriötä arviointeja koskevissa asioissa. Kehittävällä arvioinnilla tarkoitetaan sitä, että arvioinnit on pyritty suunnittelemaan ja toteuttamaan sellaisella tavalla, että niistä olisi mahdollisimman suuri hyöty korkeakouluille niiden kehittäessä koulutustaan ja muuta toimintaansa. Korkeakoulujen arviointineuvosto on arviointeja suunnitellessaan hyödyntänyt toiminnassaan alusta alkaen kansainvälisiä kokemuksia eri arviointimenetelmistä. Se on ollut luonnollista tilanteessa, jossa on jouduttu luomaan korkeakoulutuksen kansallinen arviointijärjestelmä sekä toimintatavat ja menetelmät arviointien käytännön toteutukselle. Nuori arviointiorganisaatio on ollut ehkä tavanomaista joustavampi ja herkempi korkeakoulujen näkökantojen huomioon ottamisessa. Arviointimenetelmien kansallisessa ja kansainvälisessä tarkastelussa on merkille pantavaa, että arviointiprojekteissa arviointimenetelmien teoreettisella kehittelyllä ja mallintamisella on ollut toistaiseksi melko vähäinen rooli. Yleensäkin teoreettisten mallien kehittely on kansainvälisesti tarkasteltuna ominaista enemmän arviointitutkimukselle kuin koulutuksen arvioinnille. Tässä julkaisussa kuvataan Korkeakoulujen arviointineuvoston käyttämiä arviointimenetelmiä kahden ensimmäisen nelivuotisen toimikauden ajalta, vuosilta Ensin annetaan kokonaiskuva KKA:n tehtävistä ja toimintaperiaatteista. Sitten kuvataan arvioinnin perusmallin kansainvälinen ja kotimainen tulkinta. Arvioinnin perusmallilla tarkoitetaan eurooppalaisessa kokonaisja koulutusohjelma-arvioinnissa käytössä olevaan nelivaiheista menetelmää. Kolmannessa luvussa tehdään yhteenveto KKA:n toteuttamista arviointityypeistä ja niissä käytetyistä menetelmistä. Neljännessä luvussa esitellään esimerkein eri projekteissa käytettyjä kehittävän arvioinnin menetelmiä. Lopuksi tuotetaan suomalaista arvioinnin teoreettista mallia. Julkaisu tekee jälkikäteen näkyväksi Korkeakoulujen arviointineuvoston toteuttamia arviointeja, dokumentoi KKA:n käyttämiä arviointimenetelmiä ja arvioi menetelmien käyttökelpoisuutta. Käsillä oleva raportti on syntynyt Korkeakoulujen arviointineuvoston sihteeristön yhteistyönä ja yhteisenä prosessina. Projektisuunnittelija Sirpa Moitus on vastannut pääosin perustekstistä, raportin viimeistelystä ja laatinut taulu-

7 7 koissa esitetyt luokittelut. Projektisuunnittelija Seppo Saari on kirjoittanut pääosin teoreettisen vertailevan tarkastelun. Eri arviointiprojekteja koordinoineet suunnittelijat ja projektisuunnittelijat ovat kirjoittaneet arviointiprojektien menetelmäkuvaukset. Kunkin tekstiosuuden laatija mainitaan asiayhteydessä. 1.1 Korkeakoulujen arviointineuvoston tehtävät ja toimintaperiaatteet Suomessa korkeakoulujen arvioinnilla on lakisääteinen perusta. Myös korkeakoulujen ja opetusministeriön välisiin tulossopimuksiin sisältyy tavoite, jonka mukaan korkeakoulut järjestävät arvioinnin kiinteäksi osaksi toimintaansa ja käynnistävät säännöllisen arvioinnin. Arvioinnin yleisenä tavoitteena on toiminnan kehittäminen. Korkeakouluja arvioidaan ja ne arvioivat itseään myös siitä syystä, että niiden toiminta on julkisesti rahoitettua ja toimintaan liittyy taloudellisia ja yhteiskunnallisia velvoitteita (accountability). Yliopistolain ( /645; /715/2004) mukaan yliopistojen tulee arvioida koulutustaan, tutkimustaan sekä taiteellista toimintaansa ja niiden vaikuttavuutta. Yliopistojen on myös osallistuttava ulkopuoliseen toimintansa arviointiin. Yliopiston tulee julkistaa järjestämänsä arvioinnin tulokset. Ammattikorkeakoululain ( /351) mukaan ammattikorkeakoulun tehtävänä on vastata järjestämänsä koulutuksen ja muun toiminnan laatutasosta ja jatkuvasta kehittämisestä ja osallistua määräajoin ulkopuoliseen laadunarviointiin. Ammattikorkeakoulun tulee julkistaa järjestämänsä arvioinnin tulokset. Korkeakoulujen arviointineuvoston tehtävistä ja toimintatavoista on säädetty asetuksilla 1320/1995 ja 465/1998. Korkeakoulujen arviointineuvoston tehtävänä on 1. avustaa korkeakouluja ja opetusministeriötä korkeakoulujen arviointeja koskevissa asioissa; 2. huolehtia ammattikorkeakoulujen toimilupahakemusten ja perustamishankkeiden arvioinnista; 3. järjestää korkeakoulujen toimintaan sekä korkeakoulupolitiikkaan liittyviä arviointeja; 4. tehdä korkeakoulujen arviointia ja sen kehittämistä koskevia aloitteita; 5. huolehtia arviointia koskevasta kansainvälisestä yhteistyöstä; 6. edistää korkeakoulujen arviointia koskevaa tutkimusta; sekä 7. arvioida korkeakoulujen järjestämiä erikoistumisopintoja ja hyväksyä ne korkeakoulututkintojen järjestelmästä annetun asetuksen 14 :ssä tarkoitettuun rekisteriin sekä pitää mainittua rekisteriä. Korkeakoulujen arviointineuvosto koostuu neuvostosta ja sihteeristöstä. Neuvosto on luottamuselin, jonka opetusministeriö nimittää nelivuotiskaudeksi ( , , ). Neuvostoon kuuluu 12 jäsentä, jot-

8 8 ka edustavat yliopistoja ja ammattikorkeakouluja, työelämää sekä opiskelijoita. Neuvosto kokoontuu 8 10 kertaa vuodessa. Neuvostolla on jaostoja, joille on osoitettu erityistehtäviä. Neuvoston jaostoina toimivat työvaliokunta, toimilupajaosto ja erikoistumisopintolautakunta. Työvaliokunta toimii KKA:n valmistelevana elimenä. Toimilupajaosto ja erikoistumisopintolautakunta hoitavat asetuksessa KKA:lle osoitettuja viranomaisarviointeja eli ammattikorkeakoulujen toimilupahakemusten arviointia sekä korkeakoulujen erikoistumisopintojen arviointia ja rekisteröintiä. Sihteeristö koostuu käynnissä olevien projektien määrästä riippuen henkilöstä, joiden tehtävänä on valmistella ja toteuttaa KKA:n päätöksiä. Sihteeristöä johtaa pääsihteeri. Sihteeristön jäsenet toimivat KKA:n käynnistämien arviointiprojektien projektisuunnittelijoina sekä KKA:n kutsumien johtoryhmien ja arviointiryhmien sihteereinä. KKA valmistelee kullekin nelivuotiskaudelle toimintasuunnitelman, jossa se määrittelee arviointien yleiset lähtökohdat ja painopistealueet. Toimintasuunnitelmaa tarkennetaan vuosittaisissa arviointisuunnitelmissa, joissa määritellään muun muassa kunakin vuonna toteutettavat projektit. KKA käy vuosittain opetusministeriön kanssa neuvottelut, joiden pohjalta opetusministeriö vahvistaa KKA:n budjetin. 1.2 Korkeakoulujen arviointineuvoston toimintaperiaatteet Korkeakoulujen arviointineuvoston toimintaperiaatteina ovat vuosien toimintasuunnitelmien mukaan olleet riippumattomuus, asiantuntevuus, monimuotoisuus, vuorovaikutteisuus, läpinäkyvyys ja vaikuttavuus. Korkeakoulujen arviointineuvoston arvot ovat johdettavissa näistä toimintaperiaatteista. Arviointien toteutustapa määrittyy arviointien arvoista. Arvioinneissa perustavaa laatua olevat arvot voidaan jakaa kolmeen luokkaan: sidosryhmien arvot, operationaaliset arvot ja eettiset arvot (Szanto 2003, ). Ohessa on lainattu Seppo Saaren väitöskirjan analyysiä korkeakoulujen arviointineuvoston toimintaperiaatteista (Saari 2002). Riippumattomuus Arviointineuvosto on riippumaton opetushallinnosta ja korkeakouluista päättäessään arviointikohteiden valinnasta ja käytettävistä arviointimenetelmistä. KKA on ollut riippumaton opetushallinnosta ja korkeakouluista päättäessään arviointikohteiden valinnasta ja käytettävistä arviointimenetelmistä. Vastaavasti KKA:n nimeämä arviointiryhmä on ollut riippumaton KKA:sta ja korkeakouluista toteuttaessaan sille osoitettua arviointitehtävää.

9 9 Korkeakouluilla on ollut mahdollisuus vaikuttaa arvioinnin kohteiden, menetelmien ja painotusalueiden valintaan. Arvioinneissa on hyödynnetty kommunikatiivisen arvioinnin periaatetta, jonka mukaan arviointikohteessa toimivat ja eri intressiryhmiä edustavat henkilöt saatetaan vuoropuheluun. Tällöin arviointi käsitetään foorumiksi, jolla vaihdetaan näkemyksiä ja kokemuksia. Korkeakoulujen arviointineuvosto on taloudellisesti riippuvainen opetusministeriöstä. Korkeakoulujen arviointineuvoston toiminnan ulkoisessa arvioinnissa Mutual recognition 2002 todettiin kuitenkin, että KKA:n yhteys opetusministeriöön vaikuttaa ongelmattomalta. Ongelmalliseksi tämä muodostuu silloin, jos taloudellinen riippuvuus rajoittaa arviointitoiminnan itsenäisyyttä. Ongelmallinen tilanne saattaa syntyä silloin, jos esimerkiksi KKA:n tehtäviä lisätään osoittamatta niiden hoitoon tarvittavia lisävoimavaroja. Tällöin KKA joutuu kattamaan uudet tehtävät perusvoimavaroistaan, mikä rajoittaa samalla neuvoston mahdollisuuksia toteuttaa oman toimintapolitiikkansa mukaisia arviointeja. Arviointien käynnistämisen ja toteuttamisen eri vaiheissa neuvosto on tehnyt tiivistä yhteistyötä eri osapuolten kanssa. Yhteistyö on ollut arviointien aiheiden ja kohteiden relevanttiuden kannalta välttämätöntä. Päätöksenteossa Korkeakoulujen arviointineuvosto on ollut kuitenkin itsenäinen, ja näin tulee olla jatkossakin. Korkeakoulujen arviointineuvoston tehtäviin ei ole kuulunut korkeakoulujen ohjaaminen eikä niiden autonomiaan puuttuminen. Arvioinneissa käytettävät suositukset voivat kuitenkin olla lähellä itsenäisyyteen puuttumista. Samoin valtakunnallisesti annettavat kehittämissuositukset saattavat lähentyä koulutuspolitiikkaa. Arviointiraporttien suosituksia on voitu kohdistaa erikseen korkeakouluille, opetusministeriölle ja muille toimijoille, jolloin arviointi saattaa ylittää ideaalin kehittävän arvioinnin mandaatin. Määräajoin olisikin syytä pohtia, minkälaista kehittämistä korkeakoulut haluavat ja minkälaista tietoa opetusministeriö voi hyödyntää. Arvioinneissa on toteutettu menetelmällistä riippumattomuutta. Menetelmällisen riippumattomuuden ihanne ei ole arvo sinänsä, vaan liittyy arvioinnin tarkoituksenmukaiseen toteutukseen arvioinnin tavoitteiden toteuttamiseksi. Menetelmällisen riippumattomuuden tulee myös palvella koulutuksen kehittämistarpeita mahdollisimman hyvin. Neuvosto ei ole yleensä toteuttanut sellaisia arviointeja, joiden tulos on ennakkoon itsestään selvä tai odotusten mukainen. Koulutuksen järjestäjän kannalta arviointi on hyödyllistä silloin, kun se tuottaa käyttökelpoista tietoa arvioitavasta koulutuksesta. Vuosina Korkeakoulujen arviointineuvosto käytti arviointikohteiden valinnassa kolmea kriteeriä: arvioinnit suunnattiin ongelmallisille, kasvaville ja yhteiskunnallisesti ja koulutuspoliittisesti ajankohtaisille aloille. Arvioinnit suunnataan koulutus- ja yhteiskuntapoliittisesti tärkeisiin, nopeasti kasvaviin ja kehittyviin tai ongelmallisiin aloihin ja -ohjelmiin. Lisäksi arviointikohteiden valinnassa otetaan huomioon muut korkeakoulutussektorilla valmisteilla tai käynnissä olevat arviointihankkeet. (KKA 3:1997.)

10 10 Arviointien riippumattomuus on monimutkainen asia. Arviointitutkimuksen koulukunnilla on tähän erilaisia näkökantoja. Guba ja Lincoln uskollisina naturalistiselle paradigmalle pitävät riippumattomuutta mahdottomana. Arviointien tekijät ovat aina osa taustaansa. Vaikka taustasitoumukset artikuloitaisiin, ne vaikuttavat silti arviointien taustalla. (Guba & Lincoln 1981; Määttä & Virtanen 2000.) Asiantuntevuus Kaikessa arviointitoiminnassa käytetään parhaita mahdollisia koti- ja ulkomaisia asiantuntijoita. Arviointien suunnittelussa ja toimeenpanossa käytetään hyväksi sekä kertynyttä arviointitietoa että saatavissa olevaa tutkimustietoa. Korkeakouluille ominaisen vertaisarvioinnin käyttäminen on yksi tapa varmistaa asiantuntevuutta. Ulkoiset arviointiryhmät vastaavat itsenäisesti arviointiraporttien sisällöstä. Korkeakoulujen arviointineuvoston arvioinneissa on kartoitettu usein arvioitavan alan tai teeman kansallinen tilanne ja koulutuksen järjestäjien tilastotiedot. Useinkaan vastaavaa tietoa ei ole ollut koottuna olemassa, joten kyse on peruskartoituksista. Myös alan tutkimustietoa on käytetty hyväksi. Arviointiprojektin aikana on voitu tehdä myös erillisiä arvioitavaa alaa tai aihetta kartoittavia tutkimuksia. Ulkoisen arviointiryhmän asiantuntemukseen on luotettu arviointiprosesseissa. Arviointiryhmä on tuottanut kaiken arvottavan arviointitekstin riippumattomana johto- tai suunnitteluryhmästä, mutta niiden suunnittelemissa puitteissa. Monimuotoisuus Arvioinnin kohteena ovat monimuotoiset organisaatiot ja ilmiöt. Tämä heijastuu arvioinnissa käytettävien lähestymistapojen valinnassa siten, että käytetään kohdetta monipuolisesti kuvaavia arviointitapoja ja erilaisia arviointistrategioita. Laadun määrittelyssä ja arviointimenetelmien valinnassa otetaan huomioon eri tieteen- ja koulutusalojen erilaisuus. Monitoimijaisen arvioinnin avulla pyritään jaetun asiantuntijuuden hyödyntämiseen. Monimuotoisuus on toteutunut luonnostaan muun muassa arviointien suunnitteluprosessissa. Arvioinnin näkökulmat ja kohteet on valittu yhdessä koulutuksen järjestäjien edustajien kanssa, jolloin alojen ominaiset piirteet tai puitteet ovat ohjanneet valintoja. Monesti ajankohtaiset arvioitavan alan tai aiheen kysymykset ovat vaikuttaneet arviointistrategian valintaan.

11 11 Vuorovaikutteisuus Korkeakouluilla on mahdollisuus vaikuttaa arvioinnin kohteiden, menetelmien ja painotusalueiden valintaan. Arvioinneissa hyödynnetään kommunikatiivisen arvioinnin periaatetta, jonka mukaan arviointikohteessa toimivat ja eri intressi-piirejä edustavat henkilöt saatetaan vuoropuheluun. Tällöin arviointi käsitetään foorumiksi, jolla vaihdetaan näkemyksiä ja kokemuksia. Silloin kun koulutusala- ja teema-arvioinnit ovat koskeneet yliopisto- ja ammattikorkeakoulusektoria, arviointiin on otettu mukaan kumpikin sektori. Arviointiraporteissa on kuitenkin saatettu käsitellä sektoria koskevat havainnot ja suositukset erillisissä kappaleissa. Tavoitteena on ollut arvioida kumpikin koulutussektori niiden omien lähtökohtien perusteella, jolloin on yritetty välttää korkeakoulusektorien keskinäinen vertailu. Läpinäkyvyys Arviointihankkeiden tavoitteet ja toimintatavat ovat avoimia, ja ne on kirjattu projektisuunnitelmissa ja muissa dokumenteissa. Arviointien tulokset ovat julkisia. Arvioinneissa pyritään käytettävien kriteerien määrittelyyn niin, että kaikilla toimijoilla olisi tiedossa, millä perusteilla toimintaa tai kohteita arvioidaan. Arviointihankkeiden tavoitteet ja toimintatavat ovat olleet avoimia, ja ne on kirjattu projektisuunnitelmiin ja muihin dokumentteihin. Arviointien tulokset ovat julkisia. Arvioinneissa on pyritty käytettävien kriteerien määrittelyyn niin, että kaikilla toimijoilla olisi tiedossa, millä perusteella toimintaa tai kohteita arvioidaan. Läpinäkyvyyttä voidaan pitää joko vaatimuksena tai etuna riippuen siitä, miltä kannalta sitä tarkastellaan. Swanin mukaan läpinäkyvyyttä pidetään yleisesti hyvänä asiana. Läpinäkyvyyttä vaativat media ja toimintojen lähellä oleva julkisuus. Swanin mukaan korkeakoulujen arvioinnit eivät kuitenkaan kaihda läpinäkyvyyttä ja arviointien tarkoituksen, prosessin ja tuloksen tulisi olla läpinäkyviä. Läpinäkyvyyttä ja luottamusta voidaan pitää synonyymeinä. (Swan 2001.) Jos järjestelmä ei ole läpinäkyvä, sitä on vaikea korvata mitenkään, kun puhutaan arvioinnin tarkoituksesta. Jos instituutioille kerrotaan, että arviointi toteutetaan niiden laadun parantamiseksi, mutta ne epäilevät, että kyse on itse asiassa niiden rahoituksen tarkistamisesta, itsearvioinnin avoimuus vähenee varmasti. (Swan 2001.) Läpinäkyvyyttä voidaan tarkastella usealta kannalta muun muassa arvioitavan yksikön ja kohteen, arviointiprosessin ja arvioinnin tulosten kannalta. Arvioitavien yksiköiden kannalta on keskeistä, ovatko arviointien tarkoitukset olleet läpinäkyviä. Tähän liittyvät kysymykset siitä, miksi arviointeja toteute-

12 12 taan. Mikä on evaluaatioprosessien oletettu tulos? Miten tuloksia käytetään vaikuttamaan päätöksentekoon? Jos evaluaation tarkoitus ymmärretään läpinäkyväksi, on helpompaa vastata kysymyksiin evaluaation toimeenpanosta. (Swan 2001.) Vaikuttavuus Tavoitteena on, että arviointiprosessi ja sen tulokset antavat korkeakouluille ja koulutuspoliittisille päätöksentekijöille välineitä ymmärtää ja kehittää toimintaansa ja että arvioinnit koetaan hyödyllisiksi. Vaikuttavuudella tarkoitetaan erityisesti arviointitiedon vaikuttavuutta ja hyödyllisyyttä. Tavoitteena on ollut se, että arviointiprosessi ja sen tulokset tuottavat korkeakouluille ja koulutuspoliittisille päätöksentekijöille sellaista tietoa, jonka avulla ne voivat ymmärtää ja kehittää toimintaansa. Opetushallitus on määritellyt vaikuttavuuden käsitteen tuloksellisuuden osatekijänä. Tuloksellisuus jaetaan taloudellisuuteen, tehokkuuteen ja vaikuttavuuteen (Oph 1995). Koulutuksen tavoitteet muodostuvat koulutuksen vaikuttavuudesta, koulutusprosesseista, asiakasnäkökulmasta, koulutuksen laadusta ja koulutushenkilöstön aikaansaamiskyvystä (Kaarlejärvi 2000.) Lindemanin mukaan koulutusohjelma-arvioinneissa etsitään usein vastauksia ohjelman tehokkuuteen (effectiveness), vaikuttavuuteen (efficiency) ja vakauteen (sustainability). Evaluaatio on silloin merkittävä hallinnon väline. Arviointitulosten perusteella toimintaa ohjataan toivottuun suuntaan. (Lindeman 2001.) Tuloksellisuuden käsitteenä käytetään muun muassa efficiency, jolloin viitataan taloudelliseen tuloksellisuuteen. Vaikuttavuuden käsitteenä käytetään myös termiä impact, kustannusvastaavuuden käsitteenä termiä costs ja arvioinnin suositusten sovellettavuutena käytetään usein termiä compabability. Vaikuttavuutta voidaan tarkastella myös arvioinnin tulosten relevanssina esimerkiksi suhteessa koulutuksen kehittämiseen ja työelämän kehittämistarpeisiin. 1.3 Arviointitiedon hyödyntäminen Korkeakoulujen arviointineuvoston vuosina toteuttamien arviointien tarkoituksena on ollut tukea korkeakouluja niiden kehittäessä koulutustaan (ns. kehittävä arviointi). Tavoitteena on ollut tuottaa sellaista tietoa, jota korkeakoulut voivat käyttää hyväksi kehittäessään omaa toimintaansa. Tavoitteena on ollut myös välittää arvioinneissa esiin tulleita hyviä käytäntöjä muihin korkeakouluihin. Lisäksi jokaiselle arvioinnille on asetettu projektikohtaisia tavoitteita. Vastuu arviointitiedon hyödyntämisestä ja soveltamisesta on kuitenkin viime kädessä aina korkeakoululla itsellään.

13 13 Arvioinnit ovat antaneet myös koulutuspoliittisille päätöksentekijöille välineitä päätöksenteon taustaksi ja tueksi. Korkeakoulujen arviointineuvosto on pyrkinyt turvaamaan monin keinoin sitä, että arvioinnit olisivat korkeakouluille mahdollisimman hyödyllisiä: Korkeakoulut ovat voineet itse tehdä aloitteita arviointikohteista. Korkeakoulut ovat voineet osallistua arviointien suunnitteluun. Korkeakouluille on järjestetty arvioinnin käynnistyessä seminaari, jossa on keskusteltu arvioinnin tavoitteista ja toteutuksesta ja korkeakoulujen toiveista. Arviointiryhmän tehtävänä on ollut tuottaa näkemys arvioitavan ilmiön laadusta sekä valtakunnallisesti että arviointiin osallistuvissa korkeakouluissa. Arviointiryhmä on laatinut itsearviointiaineiston ja arviointivierailujen perusteella arviointiraportin, johon on koottu arvioitavan koulutuksen vahvuuksia ja hyviä käytänteitä. Tärkeä osa arviointiraporttia ovat olleet suositukset tai kehittämisehdotukset, joita arviointiryhmä on voinut osoittaa kaikille korkeakouluille tai yksittäiselle korkeakoululle tai koulutusohjelmalle ja muille relevanteille toimijatahoille, kuten opetusministeriölle. Sanktioiden ei ole katsottu kuuluvan kehittävään arviointiin. Siksi Suomessa ei ole ollut käytössä sanktiojärjestelmää, jossa koulutuksen järjestäjää rangaistaisiin arvioinnin tulosten perusteella. Muutamissa Euroopan maissa sanktiona on käytetty muun muassa korkeakoulun tutkinnonanto-oikeuden epäämistä kunnes on riittäviä näyttöjä koulutuksen laadun kehittämisestä.

14 14 2 Arviointimenetelmä, arviointimalli ja arviointiprosessi 1 Kansainvälisessä arviointiyhteydessä arviointimenetelmä, arviointimalli ja arviointiprosessi ovat käsitteinä lähellä toisiaan. Tässä julkaisussa arvioinnin perusmallin käsite liittyy nimenomaan korkeakoulujen ja -koulutuksen arviointiin. Arvioinnin perusmalli on peräisin Yhdysvalloista, jossa se kehitettiin runsaat sata vuotta sitten yliopistojen akkreditointia varten. Eurooppalainen versio kehittyi 1980-luvulla arvioinnin yleistyttyä valtionhallinnossa ja laajennuttua korkeakoulujen arviointitoiminnaksi. Arvioinnin perusmallin voidaan katsoa koostuvan neljästä osasta: itsenäinen, kansallinen koordinoiva arviointiyksikkö Suomessa Korkeakoulujen arviointineuvosto, joka vastaa arvioinnin suunnittelusta korkeakoulun toteuttama itsearviointi ulkopuolinen asiantuntija-arviointi, johon liittyy arviointivierailu julkinen arviointiraportti. Amerikkalaisen ja eurooppalaisen arviointimallin erot liittyvät kahteen ensimmäiseen kohtaan. USA:ssa ei ole kansallista arviointiyksikköä, vaan yliopistojen omistamia alueellisia arviointiorganisaatioita, joiden tehtävänä on yliopistojen akkreditointi. Lisäksi ammatilliset organisaatiot akkreditoivat koulutusohjelmia. Toiseksi, itsearviointia kutsutaan Yhdysvalloissa self-studyksi, ja se on lähinnä toiminnan kuvaus, kun sen Euroopassa odotetaan sisältävän myös oman toiminnan arviointia (self-evaluation, self-assessment). Arvioinnin viidentenä elementtinä pidetään yleisesti arvioinnin seurantaa (follow-up), vaikka sitä ei useinkaan merkitä näkyviin arvioinnin perusmalliin. Suomessa arviointien seurannan on katsottu kuuluvan olennaisesti mukaan arviointiprosessiin. 1 Luvun ovat laatineet suunnittelija Anna-Maija Liuhanen ja projektisuunnittelijat Sirpa Moitus ja Seppo Saari.

15 2.1 Arvioinnin nelivaiheinen kansainvälinen malli Kansallinen koordinoiva arviointiyksikkö Euroopan vanhimmat kansalliset korkeakoulutuksen arviointiyksiköt perustettiin 1980-luvun jälkipuoliskolla Ranskaan, Hollantiin, Iso-Britanniaan ja Tanskaan. Sen jälkeen yksiköiden määrä on kasvanut niin, että eurooppalaisen arviointiyksiköiden verkoston (European Network for Quality Assurance in Higher Education, ENQA) jäsenorganisaatioiden lukumäärä on nykyisin 41. Aluksi arviointiyksiköt olivat lähinnä kansallisia yksiköitä, mutta kansainvälistymisen ja globaalistumisen myötä osa arviointiyksiköistä on ylittänyt kansallisvaltioiden rajoja ja tarjoaa palveluitaan myös kotimaan ulkopuolella. Nykyään osa arviointiyksiköistä on perustettu nimenomaan kansainvälisiä tai globaaleja markkinoita varten. Voisikin olettaa, että lähivuosina joudutaan puhumaan korkeakoulujen näkökulmasta ulkoisista arviointiyksiköistä eikä pelkästään kansallisesta Itsearviointi Korkeakoulun tuottama itsearviointi koostuu itsearviointiprosessista ja raportista. Arviointiyksiköt eivät yleensä ohjaa kovinkaan tarkkaan sitä, miten korkeakoulu organisoi itsearvioinnin. Sen sijaan arviointiyksiköt laativat lähes poikkeuksetta itsearviointia ohjaavat ja jäsentävät kysymykset. Korkeakoulu tai jokin sen osa joutuu siis omaa toimintaansa arvioidessaan ja raporttia laatiessaan mukautumaan ja vastaamaan ulkopuolisen tahon asettamiin kysymyksiin. Yhteisten arviointikysymysten ja arviointiteemojen käyttö helpottaa itsearviointien vertailtavuutta. Erilaisia korkeakoulujen ja -koulutuksen arviointeja suunnitellessaan kansalliset ulkoiset arviointiyksiköt turvautuvat akateemisen yhteisön edustajiin, jotka voivat vaikuttaa arvioinnin kysymyksenasetteluun tai joiden odotetaan suuntaavaan arvioinnin kysymyksenasettelua koulutuksen kannalta relevantteihin asioihin. Se ei kuitenkaan poista koko ongelmaa: Samat kysymykset tuskin ovat kovin relevantteja kaikille arviointiin osallistuville yksiköille, kuten yksittäisille yliopistoille, ammattikorkeakouluille, tiedekunnille, osastoille, oppiaineille tai koulutusohjelmille, jotka samasta tieteenalasta huolimatta saattavat olla varsin erilaisia.

16 Ulkoinen vertaisarviointi Ulkoinen vertaisarviointi (external evaluation, peer-review) perustuu itsearviointiraporttiin ja arviointivierailuun. Vierailu kestää yleensä päivästä viiteen. Mitä useampia vierailukohteita arviointiin osallistuu, sitä lyhyemmiksi vierailut yleensä jäävät. Arviointivierailuun kuuluvat arvioitavan yksikön tms. henkilökunnan, opiskelijoiden ja joskus myös ulkopuolisten sidosryhmien edustajien haastattelut. Tarkoituksena varmistaa itsearvioinnin osuvuus ja todenmukaisuus sekä hankkia täydentävää tietoa. Arviointiryhmä laatii arviointiraportin, joissakin maissa tiukasti annettuja ohjeita ja rakenteita noudattaen, toisissa vapaammin. Suomi kuuluu jälkimmäisiin. Ketkä ovat vertaiset ja kuka heidät valitsee? Alkuperäinen peer review liittyy tutkimuksen arviointiin, jossa vertaiset yleensä ovat olleet saman tieteenalan kokeneita edustajia, jotka usein ovat pysytelleet arvioitavalle tuntemattomina. Koulutuksen ja korkeakoulujen arvioinnissa vertaiset sen sijaan ovat asiantuntijoita, jotka saattavat olla pelkästään saman alan edustajia tai akateemisia eri tieteenalojen edustajia Julkinen arviointiraportti Arviointiraportit julkaistaan. Niiden levikki ja jakelu vaihtelee kuitenkin melkoisesti maittain. Arvioinnin lisäksi raportissa on yleensä suosituksia, joiden sitovuus vaihtelee tuntuvasti maittain ja arviointityypeittäin. Myös arviointiyksikön tai muun ylemmän tai ulkopuolisen tahon mahdollisuus puuttua suositusten noudattamiseen vaihtelee. Jos on kyse akkreditoinnista tai vaikkapa uuden statuksen saamisesta, suosituksia noudatetaan tietenkin mahdollisimman tarkkaan. Tilanne on samanlainen, jos on kyse toistuvasta rankeeraavasta arvioinnista. Niin sanotussa kehittävässä arvioinnissa arvioitu koulutus tai koulutusyksikkö voi käyttää enemmän omaa harkintaansa suosituksia toimeenpannessaan. Sen lisäksi, että arviointia ja arviointiraporttia käytetään muutoksen apuvälineenä toiminnan kehittämisessä, sitä käytetään myös toiminnan legitimoinnissa eritoten silloin, kun raportti on arvioidun kannalta myönteinen Arvioinnin viides elementti seuranta Arviointien seuranta kuuluu melko yleisesti kansainvälisiin arviointikäytäntöihin. Se toteutetaan yleensä muutaman vuoden kuluessa varsinaisesta arvioinnista. Seurannassa tarkastellaan lähinnä arviointiraportin suositusten toteuttamista. Suositusten noudattamatta jättämistä ei useinkaan ole sanktioitu muissa kuin akkreditointityyppisissä arvioinneissa. (Jennings 2003, 132; Westerheijden 1999, 240.)

17 17 Seuranta-arviointien toteutus vaihtelee eri Euroopan maissa. Esimerkiksi Hollannissa korkeakoulujen on itse tehtävä seuranta-arvioinnit, ja Inspektoraatti (2003) tarkistaa, että ne on suoritettu kunnolla (meta-evaluation). Kaksi vuotta arviointiraportin julkistamisen jälkeen Inspektoraatti arvioi, millä tavoin arvioinnin tulokset on otettu huomioon. Inspektoraatti julkaisee seurannan tulokset. (Vroeijenstijn 2003.) 2.2 ENQAn merkitys eurooppalaisen mallin muodostumiseen Eurooppalaisen arviointimallin vakiintumiseen on vaikuttanut vuosina toteutettu Euroopan Unionin pilottiprojekti the European Pilot Project for Evaluating Quality in Higher Education, jonka yhteydessä esitettiin idea koulutuksen laadunarviointimenetelmien kehittämisestä eurooppalaisella tasolla ja suosituksia arviointiyksiköiden hyvistä toimintatavoista. Kolme vuotta myöhemmin, vuonna 1998, Euroopan neuvosto teki suosituksen eurooppalaisen laadunarvioinnin kehittämiseksi (EYVL L270, /561/EY), jonka pohjalta vuonna 2000 perustettiin ENQA, the European Network for Quality Assurance in Higher Education. Sen tehtävänä on tukea eurooppalaista yhteistyötä koulutuksen laadunarvioinnissa ja -varmistuksessa. 2 Nelivaiheista mallia käytetään sekä koulutusohjelmia että koko korkeakouluja arvioitaessa, niin kehittävässä arvioinnissa, auditoinneissa kuin akkreditoinnissakin. Arvioinnin tarkoitus ei siis juurikaan vaikuta menetelmän valintaan, vaan arvioinnin perusmalli näyttää olevan todellinen monitoimityökalu. Juuri monikäyttöisyyden vuoksi Brennan katsookin, että kyseessä ei ole menetelmä, vaan lähinnä hyödyllinen kehikko (framework), jonka avulla voi tarkastella kansallisten lähestymistapojen välisiä eroja (Brennan 1997, 11). Suomessakin korkeakoulujen arviointien perusmallissa käytetään edellä esitettyä neljää vaihetta. Seuraavassa kuvataan tarkemmin suomalaista korkeakoulujen arvioinnin perusmallia. 2 ENQA:n jäsenyyskriteerit vuonna 2003: arviointeja (evaluaatiot, tila-arvioinnit, auditit ja/tai akkreditoinnit) tehdään säännöllisesti, ja niiden pitää kuulua organisaation ydintoimintoihin; arviointiorganisaation tulee suorittaa ulkoisia arviointeja ainakin yhdellä alalla; organisaation tulee olla itsenäinen suhteessa korkeakouluihin; kansallinen tai alueellinen viranomainen on tunnustanut organisaation pätevyyden; organisaation on pitänyt toimia vähintään kaksi vuotta; organisaatio ei saa suorittaa arviointeja hyötyäkseen niistä taloudellisesti; organisaation tulee olla riittävän itsenäinen suhteessa julkishallintoon; organisaatiolla tulee olla omat sisäiset laadunvarmistusmekanisminsa; organisaatio pystyy esittämään todisteita arviointiensa laadusta; arviointiyksikön toiminnan perustana on arviointimenetelmien läpinäkyvyys. Lähde: Regulations of the European Network for Quality Assurance in Higher Education, approved 30 September, 2003.

18 Arvioinnin suomalainen perusmalli Seuraavassa hahmotetaan Korkeakoulujen arviointineuvoston käyttämää arvioinnin perusmallia suhteessa kansainväliseen malliin. Lähinnä kyse on arviointiprosessin vaiheiden jäsentämisestä. Perusmallilla tarkoitetaan tässä sellaista KKA:n toimintatapaa, joka on ollut pääsääntöinen ja johon ei ole sisältynyt erityistä räätälöintiä. Arviointimenetelmien räätälöintiä eli ns. kehittäviä arviointimenetelmiä esitellään luvussa 3. Analyysin vaikeutena on ollut sen erottaminen, mitkä ovat varsinaisen mallin tuntomerkit ja mitkä taas ovat toimintatapoja Arvioinnin suunnittelun perusmalli Korkeakoulujen arviointineuvosto päättää arviointien käynnistämisestä, kutsuu asiantuntijat arvioinnin suunnitteluun ja toteutukseen. Pääsääntöisesti kaikissa arviointiprojekteissa on toiminut johtoryhmä, jonka tehtävänä on ollut määritellä arviointiprojektin tavoitteet, sisällöt ja menetelmä eli laatia projektisuunnitelma, järjestää arviointiryhmälle keskustelu- ja perehdytystilaisuus, jossa on käyty läpi mm. projektisuunnitelmaan sisältyviä asioita sekä seurata arvioinnin etenemistä. Johtoryhmä on koostuneet yleensä 5 7 jäsenestä. Johtoryhmän puheenjohtaja on yleensä KKA:n jäsen ja ryhmän jäsenet korkeakoulujen, työelämän ja opiskelijajärjestöjen edustajia, jotka edustavat arvioitavan alan substanssi- ja/ tai pedagogista asiantuntemusta. Kun arviointiprojekti on päätetty käynnistää, johtoryhmä on järjestänyt arvioinnin käynnistysseminaarin, johon on kutsuttu edustajat kaikista arviointiin osallistuvista korkeakouluista tai mikäli arvioinnin kohteena on yksi korkeakoulu, edustajat sen eri yksiköistä. Käynnistysseminaarin tarkoituksena on ollut käydä keskustelua projektin tavoitteista ja toteutuksesta ja tarjota korkeakouluille tilaisuus kommentoida projektisuunnitelmaa. Seminaarin jälkeen projektisuunnitelmaa on täsmennetty Itsearvioinnin perusmalli Korkeakoulujen arviointineuvoston arvioinneissa itsearviointi on ollut keino kerätä tietoa arviointikohteesta ja työkalu korkeakouluille oman toimintansa kehittämiseen. Itsearviointien tarkoituksena on ollut pyytää korkeakouluja kokoamaan tietoja arvioitavasta asiasta, kannustaa niitä arvioimaan oman toimintansa vahvoja ja heikkoja puolia sekä rohkaista niitä tekemään kehittämissuunnitelmia. Usein itsearviointi on avannut korkeakouluille uusia näkökulmia arvioitavaan asiaan. Korkeakoulut ovat voineet itse päättää, miten ne organisoivat itsearvioinnin, mutta KKA on suosittanut, että arviointiin osallistuisi mahdollisimman laajasti arvioitavan yksikön henkilökuntaa ja opiskelijoita. Korkeakoulut ovat so-

19 19 veltaneet itsearvioinnin organisoinnissa erilaisia menettelyitä. Usein korkeakoulut ovat nimenneet ohjausryhmän, joka on kerännyt kyselyin, haastatteluin, seminaarein tai muilla tavoin henkilökunnan ja opiskelijoiden näkemyksiä arvioitavasta asiasta, analysoinut koottua aineistoa ja laatinut tältä pohjalta yhteisen itsearviointiraportin. Itsearviointiprosessin konkreettisena tavoitteena on ollut itsearviointiraportin laatiminen. Itsearviointiraportin muoto ja enimmäislaajuus on ennalta määritelty itsearviointiohjeissa ja -kysymyksissä. KKA on pitänyt tärkeänä, että itsearviointiraportti sisältää sekä toiminnan kuvausta että sen analyyttistä arviointia. Tämän vuoksi tätä seikkaa usein on korostettu itsearviointiohjeissa. Määrällinen arviointi ei ole kuulunut arviointineuvoston tehtäviin, joten määrällisiä tietoja on kysytty korkeakouluilta yleensä vain taustoittamaan arviointia. Joissakin arvioinneissa opiskelijoita on pyydetty laatimaan oma erillinen itsearviointiraportti. Tällöin paikallisilla opiskelija- ja ainejärjestöillä on ollut keskeinen rooli opiskelijoiden itsearviointiprosessin koordinoinnissa. Korkeakoulujen arviointineuvosto ja opiskelijoiden kattojärjestöt Suomen ylioppilaskuntien liitto SYL ry ja Suomen Ammattikorkeakouluopiskelijayhdistysten Liitto SAMOK ry ovat tehneet yleensä tiivistä yhteistyötä opiskelijoiden perehdyttämiseksi itsearviointiin Ulkoisen arvioinnin perusmalli Korkeakoulujen arviointineuvosto ei itse arvioi, vaan se on kutsunut ulkoista arviointia varten arviointiryhmän. Arviointiryhmää koottaessa KKA:n tavoitteena on ollut mahdollisimman monipuolinen ja laaja-alainen asiantuntemus suhteessa arvioitavaan alaan, teemaan tai korkeakouluun. Suomessa ja muissa Pohjoismaissa on tavallista, että arviointiryhmissä on myös opiskelijoita. Lisäksi jäseninä on useimmiten ollut työelämän edustajia. Näissä tapauksissa lieneekin parempi käyttää termiä ulkoinen arviointiryhmä kuin puhua vertaisarvioinnista. Usein korkeakouluilla on ollut mahdollisuus ehdottaa jäseniä. Arvioitsijoiden yleisinä valintakriteereinä ovat olleet arvioitavan alan tai teeman sekä suomalaisen koulutuksen ja arvioinnin tuntemus. Osallistuminen pitkäkestoiseen arviointikoulutukseen tai korkeakoulujen sisäisissä tai ulkoisissa arviointiprojekteissa hankittu käytännön arviointikokemus on katsottu eduksi. Korkeakoulujen arviointineuvoston arvioinneissa arviointiryhmän tehtävänä on ollut täydentää arviointivierailun aikana itsearviointiraportin perusteella saatua kuvaa arviointikohteesta. Arviointiryhmälle on tarjoutunut mahdollisuus saada lisäperusteluja itsearviointiraportissa esitetyille asioille, tarkistaa epäselviksi tai puutteellisiksi jääneitä kohtia ja saada lisätietoa ongelmallisista tai kehittämistä vaativista osa-alueista. Vierailun aikana arviointiryhmän tehtävänä on ollut myös esittää palautetta ja kehittämisideoita arviointiin osallistuvalle yksikölle.

20 20 Arviointivierailu yhteen korkeakouluun on kestänyt koulutusala- ja teemaarvioinneissa sekä erikoistumisopintojen arvioinnissa yleensä yhden työpäivän ja kokonaisarvioinneissa 2 3 työpäivää. Korkeakoulut ovat saaneet arviointiryhmältä etukäteen rungon vierailupäivän kuluksi, jonka pohjalta ne ovat laatineet yksityiskohtaisen vierailuohjelman. Opiskelijajärjestöjä on pyydetty yleensä valitsemaan haastateltavat 5 10 opiskelijaa. Arviointivierailuissa ovat toteutuneet yleensä seuraavat elementit: korkeakoulun tai koulutusohjelman johdon haastattelu opetushenkilökunnan ja muun henkilökunnan haastattelu opiskelijoiden haastattelu työelämän ja muiden sidosryhmien edustajien haastattelu tutustuminen koulutusyksikön opetus- ja oppimisympäristöön ja opinnäytetöihin suullinen arviointipalaute arviointiryhmältä koulutusyksikölle. Arviointivierailuilla esitettävät kysymykset ovat voineet kohdistua muun muassa seuraaviin asioihin: Arvioitavan ilmiön ongelmakohdat ja kehittämistarpeet. Kohdat, joissa koulutuksen järjestäjä toteaa vahvuudeksi jonkin osa-alueen, mutta ei tarkemmin perustele, mihin väite perustuu. Kohdat, joissa kehittämistoiminnan jatkuvuus tai toimijat jäävät itsearviointiraportin perusteella epäselväksi. Kohdat, joissa eri toimijoiden, kuten opiskelijoiden ja henkilökunnan käsitykset eroavat toisistaan. Menettelyt, joilla koulutuksen järjestäjä varmistaa koulutuksen tai muun toiminnan laatua Arvioinnin raportoinnin perusmalli Arviointiryhmän tehtävänä on ollut laatia arviointiprosessissa kertyneen aineiston pohjalta arviointiraportti, joka on yleensä sisältänyt sekä kansallisia että korkeakoulu- tai koulutusyksikkökohtaisia havaintoja ja suosituksia. Arviointiryhmällä on arviointiraportista yhteinen vastuu. Arvioinnin tuloksena syntyvä raportti on julkinen. Raportti on julkaistu Korkeakoulujen arviointineuvoston julkaisusarjassa ja verkkosivuilla ( Raportti on voitu koota monin eri tavoin. Arviointiryhmä on jakanut yleensä keskenään arviointi- ja raportointivastuut kunkin jäsenen asiantuntemusalueen mukaan. Jokainen ryhmän jäsen on osallistunut raportin kommentointiin ja kehittelyyn. Arviointiryhmän jäsenet ovat laatineet arviointiraporttiin myös erillisiä, aihetta taustoittavia artikkeleita.

21 Arvioinnin seuranta Suomalaisten korkeakoulujen arviointien seurannassa on käytetty pääasiassa kahta keinoa. Yhtäältä opetusministeriön ja korkeakoulujen vuotuisissa tavoiteja tavoiteneuvotteluissa on käyty keskustelua arviointien tuloksista ja niiden hyödyntämisestä. Korkeakoulujen arviointineuvosto on järjestänyt yleensä noin kolmen vuoden kuluttua arvioinnista seuranta- eli follow up -arvioinnin, jossa on selvitetty kehittämissuositusten toteutumista. Tulosten hyödyntäminen on kuitenkin ollut korkeakouluille vapaaehtoista ja on riippuvainen niiden omista intresseistä. Tämä vastaa kansainvälistä käytäntöä (Vroeijenstijn 2003; Jennings 2003.) Arvioinnin rahakytkentää pidetään toisinaan arvioinnin perusmallin osana. Joissakin maissa arviointien tuloksilla voi olla suoria taloudellisia vaikutuksia korkeakoulujen rahoitukseen, toisissa niitä ei ole. Tässä Suomi sijoittuu välimaastoon. Korkeakoulujen arviointineuvostolla on ollut yksi arviointityyppi, jonka tuloksilla on ollut suora kytkentä korkeakoulujen rahoitukseen: laatu- ja huippuyksikköarvioinnit. Opetusministeriö on käyttänyt laatuyksikköarviointien tuloksia kriteerinä tuloksellisuusrahaa jakaessaan. Muissa KKA:n arvioinneissa ei ole ollut suoraa rahoituskytkentää, mutta kylläkin välillinen kytkentä. Välillinen kytkentä on liittynyt siihen, että tavoite- ja tulossopimusneuvotteluiden yhtenä osana korkeakoulut ovat joutuneet raportoimaan arvioinneista seuranneista toimenpiteistä opetusministeriölle.

22 22 3 Vuosina toteutetut arvioinnit ja niiden menetelmät Valtioneuvoston vuosille hyväksymän Koulutuksen ja tutkimuksen kehittämissuunnitelman tavoitteita noudattaen Korkeakoulujen arviointineuvosto arvioi kahdella ensimmäisellä toimikaudellaan vuosina ammattikorkeakoulujen ja yliopistojen toimintaa, koulutuksen laatua ja vaikuttavuutta sekä tehtyjen arviointien hyödyntämistä. Korkeakoulujen arviointineuvoston arviointitoimintaan ovat kuuluneet koulutusala-arvioinnit teema-arvioinnit korkeakoulujen kokonaisarvioinnit ja laatutyön arvioinnit korkeakoulujen laatu- ja huippuyksikkövalinnat viranomaisarvioinnit: ammattikorkeakoulujen toimilupa-arvioinnit, korkeakoulujen erikoistumisopintojen arviointi ja ammattikorkeakoulujen jatkotutkintokokeilun arviointi muu arviointitoiminta: korkeakoulujen omaehtoisen arviointityön tukeminen maksullinen palvelutoiminta. Kutakin arviointityyppiä ja sen sisältöä selostetaan tarkemmin seuraavassa. Lisäksi kuvataan arviointityypeittäin, millä perusteella korkeakoulut tai niiden yksiköt on valikoitu arviointiin. Yhteenvetona voidaan todeta, että osa arvioinneista on ollut korkeakouluille pakollisia (valtakunnalliset koulutusala-arvioinnit, yliopistojen kokonaisarvioinnit, ammattikorkeakoulujen toimilupa-arvioinnit ja kehittämisvelvoitteiden arvioinnit) ja osa vapaaehtoisuuteen perustuvia (osa teema-arvioinneista, laatuja huippuyksikkövalinnat, ammattikorkeakoulujen jatkotutkintojen arviointi ja korkeakoulujen erikoistumisopintojen arviointi).

23 3.1 Koulutusala-arvioinnit 23 Koulutusala-arvioinneilla tarkoitetaan koulutusaloihin, koulutusohjelmiin ja oppiaineisiin kohdistuvia valtakunnallisia arviointeja. Toisin kuin Ruotsissa, Hollannissa tai Englannissa, Suomessa ei ole arvioitu kaikkia koulutusohjelmia määrävälein, vaan arviointikohteiden valinnassa on käytetty kolmea kriteeriä. Arviointikohteiksi on valittu sellaisia koulutusaloja, jotka ovat koulutus- ja yhteiskuntapoliittisesti tärkeitä, nopeasti kasvavia ja kehittyviä tai ongelmallisia. KKA on arviointikohteita valitessaan ollut riippumaton korkeakouluista ja opetusministeriöstä, mutta on ottanut huomioon eri tahoilta tulleet arviointialoitteet. Arviointialoitteita ovat tehneet muun muassa KKA ja korkeakoulut, opetusministeriö, muut ministeriöt, opiskelijajärjestöt ja työelämän edustajat. Korkeakoulujen arviointineuvosto on toteuttanut vuosina yhteensä 11 koulutusohjelma- tai oppiainearviointia. Koulutusala-arvioinneissa lähtökohtana on ollut se, että kaikki yksiköt, jotka antavat alan perustutkintoon johtavaa koulutusta, osallistuvat valtakunnalliseen arviointiin. Lisäksi on Korkeakoulujen arviointineuvosto yhdessä Suomen Akatemian kanssa järjesti pilottiprojektin, jossa arvioinnin kohteena oli yhtä aikaa koulutus ja tutkimus slavistiikan ja baltologian alalta. Koulutuksen tai toiminnan laatua arvioitaessa arvioinnin kohteena ovat yleensä olleet korkeakoulun strategiat koulutuksen suunnittelu koulutuksen tehtävä ja tavoitteet sisältö ja rakenne (opetussuunnitelma) opetus- ja oppimisympäristö (menetelmät, välineet, materiaalit) suhteessa koulutuksen tavoitteisiin ja sisältöihin opintojen ohjaus, tukeminen ja etenemisen seuranta mekanismit, joilla korkeakoulu/yksikkö tukee koulutuksen suunnittelua, toteutusta ja arviointia arviointi- ja palautejärjestelmät ja koulutuksen laadunvarmistus tulevaisuuden suunnitelmat.

24 24 Arviointiprojektin nimi Tuotantotalouden koulutusohjelma-arviointi Terveysalan koulutusohjelmaarviointi Yliopistollisen opettajankoulutuksen arviointi Ammatillisen opettajankoulutuksen arviointi Tietoteollisuuden koulutusohjelma-arviointi Slavistiikan ja baltologian koulutuksen ja tutkimuksen arviointi Taulukko 1. Korkeakoulujen arviointineuvoston toteuttamat koulutusala-arvioinnit vuosina Toteutusvuosi Arvioinnin suunnittelu 1998 tilastollinen kysely korkeakouluille Itsearviointi Arviointivierailu Arviointiraportin laadinta itsearviointikysymysten räätälöinti 1999 perusmalli itsearviointikysymysten räätälöinti 2000 erillinen suunnitteluryhmä, dokumenttianalyysi ja delfoi-menetelmä itsearviointikysymysten räätälöinti kansainvälinen arviointi perusmalli perusmalli perusmalli perusmalli perusmalli 2000 perusmalli portfolio-menetelmä perusmalli perusmalli 2000 tilastollinen kysely korkeakouluille itsearviointikysymysten räätälöinti 2000 dokumenttianalyysi itsearviointikysymysten räätälöinti: kohteena koulutuksen ja tutkimuksen laatu 2001 tilastollinen kysely korkeakouluille Konetekniikan koulutusohjelmaarviointi Media- ja viestintäalan koulutusohjelma-arviointi Rakennustekniikan koulutusohjelma-arviointi Kaupan ja liiketalouden koulutusohjelma-arviointi itsearviointikysymysten räätälöinti 2002 perusmalli itsearviointikysymysten räätälöinti 2003 perusmalli itsearviointikysymysten räätälöinti 2003 perusmalli itsearviointikysymysten räätälöinti Sosiaalialan koulutusohjelmaarviointi opetussuunnitelmaanalyysi ja opiskelijakysely itsearviointikysymysten räätälöinti kansainvälinen arviointi perusmalli perushaastateltavien lisäksi haastateltavina myös tutkijat arviointiaineistona itsearviointiraportit ja tutkimusaineistot kansainvälinen arviointi perusmalli kansainvälinen arviointi perusmalli fokusryhmäkeskustelut ja arviointivierailut perusmalli kansainvälinen arviointi perusmalli kansainvälinen arviointi raportin laadinnassa uusi malli alueelliset yhteistyöseminaarit, aineistona mm. tutkimus opetussuunnitelmista arvioinnin löydösten testaus koulutuksen järjestäjien kanssa työseminaarissa

25 25 Kuten taulukosta 1 käy ilmi, arviointimenetelmää on räätälöity jokaisessa projektissa vähintään itsearviointikysymysten osalta. Melko moneen projektiin on liittynyt myös suunnitteluvaiheen räätälöintiä, joka on toteutunut eri muodoissa. Joihinkin projekteihin on liittynyt taustakartoitus, joka on erityisesti tekniikan alan arvioinneissa toteutettu tilastollisena kyselynä arviointiin osallistuville koulutusohjelmille. Muutamissa muissa projekteissa on tehty olemassa olevaan aineistoon perustuva dokumenttianalyysi pohjaksi arvioinnin suunnittelulle. Muutamassa KKA:n koulutusala-arvioinnissa myös arviointivierailua ja raportointia on räätälöity. Yhdestätoista arvioinnista kuusi on ollut kansainvälisiä. 3.2 Teema-arvioinnit Korkeakoulujen arviointineuvosto on toteuttanut vuosina viisi teema-arviointia. Nämä arvioinnit poikkeavat koulutusala-arvioinneista siinä, että arvioinnin tavoitteena on ollut järjestelmätason tarkastelu tai arviointi on ollut luonteeltaan koulutuspoliittinen. Teema-arvioinnit ovat luonteeltaan poikittaisarviointeja eli ne kattavat yliopisto- ja/tai ammattikorkeakoulusektorin kaikki yksiköt tai useita niiden yksiköitä. Arviointikohteiden suuresta määrästä johtuen näissä arvioinneissa on käytetty ilmoittautumismenettelyä. Korkeakoulujen osallistuminen arviointiin on siis perustunut niiden omaan vapaaehtoisuuteen. Taulukko 2. Korkeakoulujen arviointineuvoston toteuttamat teema-arvioinnit vuosina Arviointiprojektin nimi Vieraskielisen opetuksen arviointi Opintojen ohjauksen arviointi Avoimen yliopistoopetuksen arviointi Maisteriohjelmien arviointi Yliopistojen opiskelijavalintojen arviointi Toteutusvuosi Arvioinnin suunnittelu 1999 dokumenttianalyysi itsearviointikysymysten räätälöinti 2001 perusmalli henkilökunnan ja opiskelijoiden rinnakkainen itsearviointi 2002 perusmalli yliopistojen keskinäinen arviointi eli benchmarking 2002 tilastollinen ja laadullinen kysely korkeakouluille 2002 Mielityinen & Moitus Yliopistojen opiskelijavalintojen taustakartoitus. OPM/ KTPO:n julkaisusarja 100. Itsearviointi Arviointivierailu Arvioinnin raportointi itsearviointikysymysten räätälöinti räätälöidyt itsearviointikysymykset korkeakouluille hakijakysely perusmalli teemakeskustelut kuulemistilaisuudet perusmalli perusmalli perusmalli osin perusmalli, osin perusmalli pyöreän pöydän keskustelut teemakeskustelut perusmalli