Mitä hyötyä arvioinneista?

Transkriptio

1 1 Sirpa Moitus Hannele Seppälä Mitä hyötyä arvioinneista? Selvitys Korkeakoulujen arviointineuvoston toteuttamien koulutusala-arviointien käytöstä KORKEAKOULUJEN ARVIOINTINEUVOSTO

2 2 ISBN ISSN Kustantaja: Korkeakoulujen arviointineuvosto Kansi: Juha Ilonen Taitto: Pikseri Julkaisupalvelut Tammer-Paino Oy Tampere 2004

3 3 Esipuhe Korkeakoulujen arviointineuvosto aloitti tänä vuonna kolmannen kautensa, joten tehdyistä arvioinneista ja niiden vaikutuksista voidaan saada jo tietoa. Arviointineuvostossa omaksutun käytännön mukaan olemme keskittyneet ensi sijassa kehittävään arviointiin; ammattikorkeakoulujen toimilupa-arvioinnit edustivat eräänlaista akkreditaatiota, mutta niiden aika on jo ohi. Useat tahot ja erityisesti korkeakoulut itse ovat toivoneet tutkimusta siitä, mitä hyötyä arvioinneista on ja miten niitä käytetään. Arviointineuvosto päättikin tehdä tällaisen selvityksen toisen kautensa lopussa, ja kohteeksi otettiin erityisesti koulutusalakohtaiset arvioinnit. Neuvoston ensimmäisellä toimikaudella pääkohteina olivat koulutusala- ja ohjelma-arvioinnit, mutta niiden lisäksi tehtiin useita korkeakoulujen kokonaisarviointeja. Toisen kauden painopisteenä olivat erilaiset teema-arvioinnit, joiden taustalla oli monenlaisia ajankohtaisia koulutuspoliittisia kysymyksiä, kuten esim. opintojen ohjaus, opiskelijavalinnat, avoin yliopisto, jne. Neuvoston kolmannella toimikaudella sen tärkeimmäksi tehtäväksi muodostuu korkeakoulujen laadunvarmistusjärjestelmien auditointi, joka liittyy läheisesti Bologna-prosessiin. Sen sisältöä tarkennettiin vuoden 2003 Berliinin ministerikokouksessa, ja sen päämääränä on Eurooppalaisen korkeakoulutusalueen (European Higher Education Area) muodostaminen vuoteen 2010 mennessä. Tutkintojen eurooppalainen vastaavuus, opintojen hyväksilukeminen ja liikkuvuuden edistäminen ovat kaikki läheisessä suhteessa korkeakoulujen laatutyöhön ja itse asiassa seuraavat siitä. Jo oman kilpailukykymme ja laadun uskottavuuden vuoksi Suomen on oltava vahvasti tässä työssä mukana ja mieluummin vielä sen eturivissä. Nyt julkaistu selvitys antaa monipuolisen kuvan siitä, miten korkeakoulut näkevät arviointityön ja sen mahdolliset puutteet ja siitä saadut hyödyt. Omalta osaltaan tämä selvitys myös pyrkii vastaamaan siihen, että mitä kaikkea kehittävä arviointi sisällöltään on tai voisi olla. Selvitys antaa toivottavasti korkeakouluille myös aineksia rakentaa omaa sisäistä laadun arviointiaan ja varmistusta ja sekä niihin liittyvää asiantuntemusta. Korkeakoulujen arviointineuvosto on hyvin kiitollinen tähän mennessä saamistaan korkeakoulujen reaktioista ja kommenteista, jotka ovat jatkossakin tervetulleita. Niiden perusteella neuvosto voi edelleen parantaa ja kehittää omaa toimintaansa sekä siten varmistaa Suomen korkeakoululaitoksen kansainvälistä kilpailukykyä, laatua ja uskottavuutta. Ossi V. Lindqvist, professori Korkeakoulujen arviointineuvoston puheenjohtaja

4 4 Sisällys 1 Johdanto 5 2 Koulutusala-arvioinneissa käytetty arviointimalli Suunnitteluvaihe Itsearviointi Ulkoinen arviointi Arviointiraportti Seuranta-arviointi 11 3 Selvityksen toteutus Selvityksen tavoitteet Aineiston keruu Selvitykseen osallistuneet koulutusohjelmat ja oppiaineet Vastausten käsittely 16 4 Oppiaineille ja koulutusohjelmille tehdyn kyselyn tulokset Vastauksen laadintaprosessi korkeakouluissa Arviointikokemus ja perehdytys Aiempi arviointikokemus Perehdytyksen riittävyys ja sen kehittäminen Arvioinnin tulosten hyödyntäminen Arvioinnin tulosten käsittely Arviointeja seuranneet konkreettiset kehittämistoimenpiteet Syitä suositusten toteutumatta jäämiseen Arvioinnin merkitys ja vaikuttavuus Arvioinnin merkitys koulutuksen kehittämiselle Muut koulutuksen kehittämiseen vaikuttaneet tekijät Arviointimenetelmän arviointi Arviointimenetelmän yleiset vahvuudet ja heikkoudet Itsearvioinnin vahvuudet ja heikkoudet Arviointivierailun tai korvaavan menetelmän vahvuudet ja heikkoudet Arviointiraportin vahvuudet ja heikkoudet Seuranta-arvioinnin vahvuudet ja heikkoudet Kansainvälisen arvioinnin merkitys Arviointimenetelmän kehittämisehdotuksia 42 5 Rehtorikyselyn tulokset Rehtorikyselyn toteutus Koulutusala-arviointien hyödyllisyys korkeakouluille Korkeakoulujen arviointineuvoston rooli tulevaisuudessa 48 6 Yhteenveto ja pohdintaa 51 LIITE: Kyselylomake 56

5 1 Johdanto 5 Korkeakoulujen arviointineuvosto on toteuttanut vuosina yhteensä 11 koulutusala-arviointia 1. Toisen nelivuotisen toimikauden päättyessä Korkeakoulujen arviointineuvosto päätti selvittää korkeakoulujen kokemuksia ja mielipiteitä koulutusala-arviointien vaikuttavuudesta. Sen sijaan opetusministeriön ja sidosryhmien näkemyksiä ei selvityksessä kartoitettu. Selvityksen taustalla olivat kysymykset siitä, 1) tuottavatko koulutusala-arvioinnit sellaista tietoa, josta on hyötyä oppiaineiden ja koulutusohjelmien koulutuksen laadun kehittämiselle, 2) onko tätä arviointitoimintaa tarpeen jatkaa ja 3) jos vastaus edelliseen kysymykseen on myönteinen, miten menetelmää tulisi kehittää. Selvitys palvelee myös uutta, vuonna 2004 toimintansa aloittanutta Korkeakoulujen arviointineuvostoa, kun se suunnittelee tulevaa arviointiohjelmaa ja valitsee arviointimenetelmiä. Selvitys tehtiin laadullisena kyselynä, joka lähetettiin keväällä 2003 korkeakoulujen vastattavaksi. Selvityksen kohteeksi valittiin mahdollisimman edustava otos kaikista Korkeakoulujen arviointineuvoston koulutusalakohtaisiin arviointeihin osallistuneista koulutusohjelmista ja oppiaineista. Kyselyn vastausprosentti oli 80 %. Myös korkeakoulujen rehtoreille tehtiin lyhyt kysely koulutusala-arviointien vaikuttavuudesta korkeakoulujen johdon näkökulmasta. Rehtorikyselyn vastausprosentti oli 46 %. Kyselyssä selvitettiin, millaista kokemusta oppiaineilla ja koulutusohjelmilla oli arviointitoiminnasta ennen Korkeakoulujen arviointineuvoston toteuttamaa arviointia, pitivätkö yksiköt arviointineuvostolta saamaansa perehdytystä riittävänä, miten yksiköt ovat hyödyntäneet arviointien tuloksia, millaista merkitystä arvioinnilla on ollut koulutuksen kehittämiselle ja miten yksiköt kehittäisivät arviointimenetelmää. Tämän raportin luvussa 2 kuvataan ensin taustaksi koulutusala-arvioinneissa käytetty arviointimenetelmä pääpiirteissään. Selvityksen toteutus esitellään luvussa 3 ja tulokset luvuissa 4 5. Luvussa 6 tehdään yhteenveto ja johtopäätöksiä selvityksen tuloksista. Raportissa on haluttu antaa tilaa koulutusohjelmien ja oppiaineiden äänelle. Tästä syystä raportissa on runsaasti suoria lainauksia vastauksista. 1 Tässä raportissa käytetään käsitettä koulutusala-arviointi koulutusohjelma-arvioinnin sijasta, koska arviointeihin ovat useimmiten osallistuneet sekä yliopistojen oppiaineet ja ammattikorkeakoulujen koulutusohjelmat tai muut alan koulutusta antavat yksiköt.

6 6 2 Koulutusala-arvioinneissa käytetty arviointimalli Vuosina toteutetuissa koulutusala-arvioinneissa arvioinnin perusmalli on koostunut neljästä vaiheesta: arvioinnin suunnittelu korkeakoulun tekemä itsearviointi ulkopuolinen asiantuntija-arviointi, johon liittyy arviointivierailu julkinen arviointiraportti. Koulutusala-arvioinnit ovat kestäneet 1 1,5 vuotta. Arviointiprosessin eri vaiheista ovat vastanneet seuraavat tahot: Taulukko 1. Korkeakoulujen arviointineuvoston arviointiprosessin vaiheet Arviointiprosessin vaihe Vastuutaho Tehtävä 1. Suunnitteluvaihe Eri tahot Aloitteita arviointikohteiksi KKA Arviointikohteen valinta ja rajaus (tavoitteet, näkökulma) KKA Johtoryhmän nimeäminen Suunnitteluryhmä* Arvioitavan aiheen kartoitus Johtoryhmä Projektisuunnitelman laatiminen KKA Projektisuunnitelman hyväksyminen ja ulkoisen arviointiryhmän nimeäminen 2. Itsearviointivaihe Korkeakoulut Itsearviointiprosessi ja itsearviointiraporttien laadinta 3. Ulkoinen arviointi Arviointiryhmä Arviointivierailut korkeakouluihin 4. Arviointiraportti Arviointiryhmä Arviointiraportin laadinta ja julkistus Arviointiprosessin viidentenä vaiheena on ollut seuranta-arviointi eli follow-up, jonka Korkeakoulujen arviointineuvosto on toteuttanut yleensä noin kolmen vuoden kuluttua alkuperäisestä arvioinnista. Jokaiseen arvioinnin vaiheeseen on liittynyt eri ryhmien perehdyttämistä tehtäväänsä. Seuraavassa luonnehditaan tarkemmin arviointiprosessin eri vaiheita. * Suunnitteluryhmä on nimetty, mikäli arvioinnin kohde on ollut erityisen laaja ja vaatinut esim. normaalia laajempaa taustakartoitusta.

7 2.1 Suunnitteluvaihe 7 Korkeakoulujen arviointineuvosto on päättänyt itsenäisesti arvioinnin kohteista ja menetelmistä. Arviointialoitteita ovat Korkeakoulujen arviointineuvoston lisäksi tehneet korkeakoulut, opetusministeriö, jokin muu ministeriö, työelämän edustajat, opiskelijajärjestöt ja muut organisaatiot. Korkeakoulujen arviointineuvosto (KKA) ei ole itse arvioinut, vaan se on päättänyt arviointien käynnistämisestä ja kutsunut asiantuntijoita suunnittelemaan ja toteuttamaan arvioinnit. Projektisuunnitelman on laatinut johtoryhmä, joka on täsmentänyt arvioinnin tavoitteet, sisällöt ja menetelmät. KKA on käsitellyt ja vahvistanut projektisuunnitelman. Tiedonkulku KKA:n ja johtoryhmän välillä on järjestetty siten, että johtoryhmän puheenjohtajana on toiminut yleensä KKA:n jäsen. KKA on nimittänyt johtoryhmän esityksestä ulkoisen arviointiryhmän sekä järjestänyt projektin päätösseminaarin. KKA:n pääsihteeri ja sektorien vastuusuunnittelijat ovat osallistuneet useissa hankkeissa johtoryhmätyöskentelyyn. Arvioinnin suunnittelussa on käytetty arvioinnin laajuudesta riippuen yksitai kaksiportaista mallia. Mikäli arvioitava kohde on ollut laaja ja hahmottumaton, suunnitteluprosessi on järjestetty kaksiportaisena, jolloin arviointia on suunniteltu sekä suunnittelu- että johtoryhmässä. Mikäli kyse on ollut selkeärajaisesta arviointitehtävästä, tällöin suunnittelusta on vastannut johtoryhmä. Mikäli suunnitteluvaihe on järjestetty kaksiportaisena, suunnitteluryhmän tehtävänä on ollut kartoittaa arvioitava alue ja tehdä ehdotus arvioinnin rajaukseksi. Tällöin kartoitustehtävä on ollut usein laaja, ja siihen on voinut liittyä esimerkiksi kyselyjä korkeakouluille ja niiden tulosten kokoamista erilliseksi taustaraportiksi. Useissa tapauksissa suunnitteluryhmä on aloittanut myös projektisuunnitelman laadinnan. Pääsääntöisesti kaikissa arviointiprojekteissa on toiminut johtoryhmä, jonka tehtävänä on ollut mm. määritellä arviointiprojektin tavoitteet, sisällöt ja menetelmä eli laatia projektisuunnitelma tehdä ehdotus Korkeakoulujen arviointineuvostolle arviointiryhmän kokoonpanosta järjestää arviointiryhmälle keskustelu- ja perehdytystilaisuus, jossa käydään läpi mm. projektisuunnitelmaan sisältyviä asioita seurata arvioinnin etenemistä osallistua arviointiraportin julkistustilaisuuteen. Suunnitteluryhmä ja johtoryhmä ovat koostuneet yleensä 5-7 jäsenestä. Johtoryhmän puheenjohtaja on ollut yleensä KKA:n jäsen ja ryhmän jäsenet korkeakoulujen, työelämän ja opiskelijajärjestöjen edustajia, jotka ovat edustaneet arvioitavan alan substanssi- ja/tai pedagogista asiantuntemusta. Kun arviointiprojekti on päätetty käynnistää, johtoryhmä on järjestänyt arvioinnin aloitusseminaarin, johon on kutsuttu edustajat kaikista arviointiin osal-

8 8 listuvista korkeakouluista tai mikäli arvioinnin kohteena on ollut yksi korkeakoulu, edustajat sen eri yksiköistä. Aloitusseminaarin tarkoituksena on ollut käydä keskustelua projektin tavoitteista ja toteutuksesta ja tarjota korkeakouluille tilaisuus kommentoida projektisuunnitelmaa. Seminaarin jälkeen projektisuunnitelmaa on täsmennetty. KKA:n rekrytoima projektisuunnittelija on toiminut johtoryhmän sihteerinä ja vastannut johtoryhmän päätösten toimeenpanosta. 2.2 Itsearviointi Itsearviointi on ollut keino kerätä tietoa arviointikohteesta ja työkalu korkeakouluille oman toimintansa kehittämiseen. Itsearviointien tarkoituksena on ollut pyytää korkeakouluja kokoamaan tietoja arvioitavasta asiasta, kannustaa niitä arvioimaan oman toimintansa vahvoja ja heikkoja puolia sekä rohkaista niitä tekemään kehittämissuunnitelmia. Usein itsearviointi on avannut korkeakouluille uusia näkökulmia arvioitavaan asiaan. Korkeakoulut ovat voineet itse päättää, miten ne organisoivat itsearvioinnin, mutta KKA on suositellut, että arviointiin osallistuisi mahdollisimman laajasti arvioitavan yksikön henkilökuntaa ja opiskelijoita. Korkeakoulut ovat soveltaneet itsearvioinnin organisoinnissa erilaisia menettelyitä. Usein korkeakoulut ovat nimenneet ohjausryhmän, joka on kerännyt kyselyin, haastatteluin, seminaarein tai muilla tavoin henkilökunnan ja opiskelijoiden näkemyksiä arvioitavasta asiasta, analysoinut koottua aineistoa ja laatinut tältä pohjalta yhteisen itsearviointiraportin. Itsearviointiprosessin konkreettisena tavoitteena on ollut laatia itsearviointiraportti arviointiryhmän käyttöön. Itsearviointiraportin muoto ja enimmäislaajuus on ennalta määritelty itsearviointiohjeissa ja -kysymyksissä. KKA on pitänyt tärkeänä, että itsearviointiraportti sisältää sekä toiminnan kuvausta että sen analyyttistä arviointia. Tämän vuoksi tätä seikkaa on usein korostettu itsearviointiohjeissa. Määrällisiä tietoja on kysytty korkeakouluilta yleensä vain taustoittamaan arviointia. Joissakin arvioinneissa opiskelijoita on pyydetty laatimaan oma erillinen itsearviointiraportti. Tällöin paikallisilla opiskelija- ja ainejärjestöillä on ollut keskeinen rooli opiskelijoiden itsearviointiprosessin koordinoinnissa. Korkeakoulujen arviointineuvosto on tehnyt tiivistä yhteistyötä opiskelijoiden kattojärjestöjen Suomen ylioppilaskuntien liitto SYL ry:n ja Suomen Ammattikorkeakouluopiskelijayhdistysten Liitto SAMOK ry:n kanssa opiskelijoiden perehdyttämiseksi itsearviointiin.

9 2.3 Ulkoinen arviointi 9 Arviointiryhmää koottaessa KKA:n tavoitteena on ollut saada kokoon mahdollisimman monipuolinen ja laaja-alainen asiantuntemus suhteessa arvioitavaan alaan, teemaan tai korkeakouluun. Yleensä ryhmissä ovat olleet edustettuna korkeakoulut, työelämä ja opiskelijat. Arvioitsijoiden yleisinä valintakriteereinä ovat olleet arvioitavan alan tai teeman sekä suomalaisen koulutus- ja arviointijärjestelmän tuntemus. Osallistuminen arviointikoulutukseen tai korkeakoulujen sisäisissä tai ulkoisissa arviointiprojekteissa hankittu käytännön arviointikokemus on ollut eduksi. Arviointiryhmän tehtävänä on ollut mm. perehtyä saamaansa toimeksiantoon, täsmentää arviointitehtävää ja määritellä mahdolliset arviointikriteerit tutustua korkeakoulujen tuottamiin itsearviointiraportteihin määritellä mahdolliset lisätiedontarpeet, kuten tilastolliset taustatiedot organisoida arviointivierailu ja mahdolliset muut arviointiprosessin vaiheet, kuten teemakeskustelut tehdä arviointivierailut korkeakouluihin muodostaa itsearviointiraporttien ja arviointivierailujen pohjalta näkemys arvioitavan ilmiön laadusta sekä valtakunnallisesti että arviointiin osallistuvissa korkeakouluissa tehdä suosituksia arvioinnin kohteena olevan toiminnan laadun parantamiseksi. Suositukset voivat olla valtakunnallisia, korkeakoulu-, laitos- ja koulutusohjelma-/oppiainekohtaisia. laatia arvioinnin loppuraportti osallistua arvioinnin päätösseminaariin. Arviointiryhmä on ollut ad hoc -periaatteella toimiva asiantuntijaryhmä, joka on ollut johtopäätöksissään itsenäinen. Näin ollen arviointiryhmä on muodostanut oman näkemyksensä koulutuksen laadusta ja kirjannut sen arviointiraporttiin, jonka sisältöön KKA ei ole puuttunut. Kukin arviointiryhmän jäsen on osallistunut aktiivisesti ja tasavertaisena jäsenenä ryhmän työskentelyyn. Ryhmän on edellytetty olevan objektiivinen ja tasapuolinen kaikkia arviointiin osallistuvia korkeakouluja kohtaan. Arviointi on perustunut korkeakoulujen arviointiprosessissa tuottamaan aineistoon, arviointivierailun aikana tehtyihin haastatteluihin sekä mahdollisesti muihin koulutusalaa koskeviin selvityksiin. Arviointiryhmä on vastannut korkeakouluihin tehtävistä arviointivierailuista. Arviointivierailu on ollut luonteeltaan vuorovaikutteinen ja arvioitavan koulutuksen kehittämistä tukeva. Vierailun aikana arviointiryhmän tehtävänä on ollut täydentää itsearviointiraportin perusteella saatua kuvaa arviointikohteesta. Arviointiryhmälle on ollut mahdollista saada lisäperusteluja itsearviointiraportissa esitetyille asioille, tarkistaa epäselviksi tai puutteellisiksi jääneitä kohtia ja saada lisätietoa ongelmallisista tai kehittämistä vaativista osa-alueista. Vierailun aikana arviointiryhmän tehtävänä on ollut myös esittää palautetta ja kehittämisideoita arviointiin osallistuvalle yksikölle.

10 10 Arviointivierailu yhteen korkeakouluun on kestänyt koulutusala-arvioinneissa yhden työpäivän ja kokonaisarvioinneissa 2 3 työpäivää. Korkeakoulut ovat saaneet arviointiryhmältä etukäteen rungon vierailupäivän kuluksi, jonka pohjalta ne ovat laatineet yksityiskohtaisen vierailuohjelman. Arviointivierailu on sisältänyt yleensä seuraavia elementtejä: korkeakoulun tai koulutusohjelman johdon haastattelu opetushenkilökunnan ja muun henkilökunnan haastattelu opiskelijoiden haastattelu työelämän / sidosryhmien edustajien haastattelu tutustuminen koulutusyksikön opetus- ja oppimisympäristöön ja opinnäytetöihin suullinen arviointipalaute arviointiryhmältä koulutusyksikölle. Mikäli arviointiin on osallistunut useita korkeakouluja, ideaalimalli olisi se, että arviointiryhmä vierailee kaikissa arviointiin osallistuvissa korkeakouluissa tai koulutusohjelmissa. Toisinaan arviointiin osallistuvia yksiköitä on kuitenkin ollut niin paljon, että vierailu on voitu tehdä vain osaan korkeakouluista. Näissä tapauksissa arviointiryhmä on päättänyt vierailukohteiden valintakriteereistä ja informoinut niistä korkeakouluja. Valintakriteereinä on usein käytetty mm. koulutusalakohtaista, alueellista ja kielellistä edustavuutta. Perinteisen haastattelumenettelyn sijasta arviointivierailu on voitu toteuttaa myös perusmallia varioiden. Joissakin arviointiprojekteissa arviointivierailujen toteutuksessa on käytetty benchmarking-menetelmää, jolloin arviointiin osallistuneet yksiköt ovat vierailleet toistensa yksiköissä. Joissakin arvioinneissa arviointivierailut on korvattu kokonaan jollakin muulla menetelmällä, kuten teemakeskusteluilla. Tällöin tavoitteena on usein ollut luoda valtakunnallinen keskustelufoorumi, jossa arvioitavan ilmiön laadusta on voitu keskustella samanaikaisesti kaikkien koulutuksen järjestäjien ja merkittävimpien toimijaryhmien kanssa. Räätälöityjä malleja on esitelty yksityiskohtaisemmin KKA:n arviointimenetelmiä kuvaavassa raportissa, joka ilmestyy vuonna Projektisuunnittelija on vastannut arviointivierailujen järjestämisestä yhdessä arviointiin osallistuvien korkeakoulujen nimeämien arviointiyhteyshenkilöiden kanssa. Korkeakoulut ovat saaneet etukäteen rungon vierailupäivän kuluksi ja ohjeet henkilöistä, joita arviointiryhmä haluaa haastatella (esim. korkeakoulun johto, henkilökunnan edustajat ja työnantajien edustajat). Opiskelijajärjestöjä on yleensä pyydetty valitsemaan haastateltavat 5 10 opiskelijaa. Tältä pohjalta korkeakoulut ovat valmistelleet tarkennetun vierailuohjelman, josta ovat käyneet ilmi haastateltavien nimet, mahdollinen tutustumiskierros opetusja oppimisympäristöön ja opinnäytetöihin sekä muut vierailuun liittyvät käytännön seikat. Arvioinnin päättyessä korkeakoulut ovat saaneet kutsun arvioinnin päätösseminaariin, jossa on keskusteltu projektin tuloksista ja johtopäätöksistä sekä sen esiinnostamista kehittämistarpeista eri tahojen näkökulmasta.

11 2.4 Arviointiraportti 11 Arviointiryhmän yksi tärkeä tehtävä on ollut antaa arviointiin osallistuvalle yksikölle palautetta koulutuksen tai arvioitavan ilmiön laadusta. Palaute on perustunut arviointiryhmän yhteiseen näkemykseen. Arviointipalautetta on annettu kahdella tavalla: 1. Arviointiryhmä on antanut arviointiin osallistuvalle yksikölle suullisen palautteen arviointivierailupäivän päätteeksi. 2. Arviointiryhmä on antanut arviointiin osallistuvalle yksikölle kirjallisen palautteen. Mikäli arviointiryhmän vierailuohjelmaan on sisältynyt suullinen palaute, arviointiryhmällä on ollut oma kokous ennen palautteen antamista. Tällöin ryhmä on sopinut keskenään palautteessa esiinotettavista asioista. Yleensä palautteen on esittänyt arviointiryhmän puheenjohtaja, joka on korostanut, että kyseessä ovat arviointiryhmän ensimmäiset huomiot, joita arviointiryhmä voi vielä tarkistaa arviointiraporttia laatiessaan. Koulutuksen järjestäjälle on yleensä varattu mahdollisuus käyttää vastauspuheenvuoro. Suullinen palaute on yleensä koettu hyvin tärkeäksi, koska se antaa korkeakoulun henkilökunnalle ja opiskelijoille tuoreeltaan käsityksen arviointiryhmän näkemyksistä. Arviointipalautteet on kirjattu projektin loppuraporttiin. Arviointiin osallistuneille on laadittu yleensä kirjallinen yksikkökohtainen palaute. Palautteen laajuus on riippunut arviointityypistä. Koulutusala-arvioinneissa ja teema-arvioinneissa palautteet ovat olleet yleensä 3 5 sivua/arvioitu yksikkö. Joissakin arvioinneissa arviointiryhmä on antanut kirjallista palautetta myös niille korkeakouluille, jotka ovat laatineet itsearviointiraportin, mutta joissa arviointiryhmällä ei ole ollut mahdollisuutta vierailla. Toisaalta joissakin arvioinneissa ei-vieraillut kohteet eivät ole saaneet omaa palautetta, vaan niitä koskevat arvioinnit on sisällytetty arviointiryhmän laatimiin valtakunnallisiin johtopäätöksiin ja suosituksiin. 2.5 Seuranta-arviointi Korkeakoulujen arviointineuvosto on toteuttanut seuranta- eli follow up-arviointeja noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Seuranta-arvioinnin tavoitteena on ollut tukea arviointiin osallistuvaa yksikköä koulutuksen laadun kehittämisessä selvittää arvioinnin käyttöä ja vaikuttavuutta arvioitujen yksiköiden kannalta. Seuranta-arvioinnin suunnittelu on toteutettu samalla tavalla kuin varsinaisessa arvioinnissa; ts. KKA on kutsunut johtoryhmän valmistelemaan seuranta-arvioinnin projektisuunnitelman, joka sisältää tavoitteet, sisällöt ja menetelmät. Johtoryhmä on valmistellut myös itsearviointikysymykset.

12 12 Seuranta-arvioinneissa itsearviointi on toteutettu yleensä selvästi suppeampana kuin varsinaisessa arvioinnissa. Itsearviointikysymykset ovat liittyneet mm. seuraaviin aihealueisiin: arvioinnin tulosten vastaanotto ja käsittely arvioinnin merkitys ja vaikuttavuus arvioinnin käyttö. Tätä selvitystä tehtäessä vuoden vaihteessa KKA on toteuttanut neljä koulutusala-arviointien seuranta-arviointia. Menetelmä ei ole vielä vakiintunut, vaan seuranta-arvioinneissa on kokeiltu erilaisia malleja. Joissakin seuranta-arvioinneissa arviointiraportin on koonnut itsearviointiraporttien pohjalta KKA:n ulkopuolinen sihteeri. Tällöin kyse on ollut lähinnä kuvailevasta yhteenvedosta. Joissakin tapauksissa seuranta-arviointeihin on pyritty saamaan mukaan arvioiva elementti pyytämällä alkuperäisiä arvioitsijoita laatimaan raportti korkeakoulujen itsearviointiraporttien pohjalta.

13 3 Selvityksen toteutus Selvityksen tavoitteet Korkeakoulujen arviointineuvosto päätti keväällä 2003 toteuttaa koulutusalaarviointien vaikuttavuutta koskevan selvityksen. Selvityksen tavoitteena oli kerätä Korkeakoulujen arviointineuvoston arviointeihin osallistuneilta koulutusohjelmilta ja oppiaineilta palautetta koulutusala-arvioinneissa käytetyn arviointimenetelmän vahvuuksista, kriittisistä kohdista ja hyödyllisyydestä koulutuksen kehittämisessä tuottaa kuvailevaa aineistoa Korkeakoulujen arviointineuvoston omien toimintatapojen dokumentoimiseksi ja kehittämiseksi tuottaa tietoa tulevalle Korkeakoulujen arviointineuvostolle arviointimenetelmän käyttökelpoisuudesta ja kehittämissuunnista. Selvityksestä rajattiin pois yksittäisten arviointiprojektien alakohtaisten suositusten toteutumisen arviointi, koska tätä tehtävää varten toteutetaan erillisiä seuranta-arviointeja eli ns. follow-up-arviointeja. Sen sijaan tarkoitus oli selvittää arviointimenetelmän toimivuutta yleisemmällä tasolla. 3.2 Aineiston keruu Päätös aineiston keruusta tehtiin Korkeakoulujen arviointineuvoston työvaliokunnassa, joka käsitteli selvityksen tavoitteita ja menetelmää kahdessa kokouksessa keväällä Kyselylomakkeen laadinnasta ja kyselyn käytännön toteutuksesta vastasivat projektisuunnittelijat Sirpa Moitus ja Hannele Seppälä. Selvityksen aineisto kerättiin kahdella kyselyllä, jotka osoitettiin koulutusala-arviointien yhteyshenkilöille ja korkeakoulujen rehtoreille. Koulutusala-arviointien yhteyshenkilöiden kyselylomakkeessa kysymykset koskivat koulutusohjelman tai oppiaineen aikaisempaa arviointikokemusta, perehdytystä KKA:n järjestämään koulutusala-arviointiin, arvioinnin tulosten hyödyntämistä sekä arvioinnin merkitystä ja vaikuttavuutta. Lisäksi vastaajia pyydettiin arvioimaan koulutusala-arvioinneissa käytettyä menetelmää. Kysymykset olivat avoimia. Kyselylomake on tämän raportin liitteenä. Yhteyshenkilöitä pyydettiin kokoamaan vastaukset omassa yksikössään valitsemallaan tavalla. Kysely lähettiin yhteyshenkilölle sähköpostitse , ja vastaukset pyydettiin palauttamaan mennessä. Yksiköille, joista ei saatu vastausta määräaikaan mennessä, lähetettiin muistutus sähköpostitse jatkaen vastausaikaa asti. Rehtorikyselyn toteutus kuvataan luvussa 5.1.

14 Selvitykseen osallistuneet koulutusohjelmat ja oppiaineet Korkeakoulujen arviointineuvosto on toimintansa aikana toteuttanut 11 koulutusala-arviointia, joissa on käytetty seuraavia menetelmiä: Taulukko 2. Korkeakoulujen arviointineuvoston toteuttamat koulutusala-arvioinnit Arviointiprojektin nimi Tot. Arvioinnin Itse- Arviointi- Arviointi- (kv.=kansainvälinen vuosi suunnittelu arviointi* vierailu raportin arviointi) laadinta Tuotantotalouden 1998 perusmalli perusmalli perusmalli perusmalli korkea-koulutuksen arviointi (kv.) Terveysalan korkea perusmalli perusmalli perusmalli perusmalli koulutuksen arviointi Yliopistoissa annettavan 2000 dokumentti- perusmalli perusmalli meta-analyysi opettajankoulutuksen analyysi ja arviointi delfoimenetelmä Ammatillisen opettajan perusmalli portfolio- perusmalli perusmalli koulutuksen arviointi menetelmä Tietoteollisuuden 2000 perusmalli perusmalli perusmalli perusmalli korkeakoulutuksen arviointi (kv.) Slavistiikan ja 2000 perusmalli perusmalli: tutkimus- perusmalli baltologian koulutuksen sisältönä aineistot, ja tutkimuksen koulutuksen ja arviointiarviointi (kv.) tutkimuksen vierailut yhtäaikainen arviointi Konetekniikan 2001 perusmalli perusmalli perusmalli perusmalli korkea-koulutuksen arviointi (kv.) Media- ja viestintäalan 2002 perusmalli perusmalli fokusryhmä- perusmalli korkeakoulutuksen keskustelut ja arviointi arviointivierailut Rakennustekniikan 2003 perusmalli perusmalli perusmalli perusmalli korkeakoulutuksen arviointi (kv.) Kauppatieteiden ja 2003 perusmalli perusmalli perusmalli perusmalli liiketalouden korkeakoulutuksen arviointi (kv.) Sosiaalialan korkea perusmalli perusmalli yhteistyö- perusmalli koulutuksen arviointi seminaarit *Itsearviointikysymykset kuitenkin räätälöidyt jokaisessa arviointiprojektissa

15 15 Tämän selvityksen piiriin valittiin kahdeksan arviointiprojektia: neljä tekniikan alan arviointia, terveysalan, slavistiikan ja baltologian, media- ja viestintäalan sekä kaupan ja liiketalouden arviointi. Selvityksen ulkopuolelle rajattiin molemmat opettajankoulutuksen arvioinnit ja sosiaalialan arviointi. Opettajankoulutuksen arvioinneista oli ennen tätä selvitystä toteutettu seuranta-arvioinnit, mutta yksiköiltä oli kysytty eri kysymyksiä kuin tässä selvityksessä, joten aineistoa ei voitu hyödyntää tässä yhteydessä. Sosiaalialan arviointi taas oli selvitystä toteutettaessa vielä kesken. Selvitykseen valittuihin kahdeksaan arviointiin on osallistunut yhteensä 166 koulutusohjelmaa ja oppiainetta. Koska arviointeihin osallistuneiden yhteismäärä on varsin suuri, kysely päätettiin kohdentaa rajatulle otokselle siten, että osallistuvat koulutusohjelmat ja oppiaineet edustaisivat mahdollisimman monipuolisesti erilaisia yksiköitä. Selvitykseen osallistujien valintakriteereinä olivat korkeakoulutyyppi siten, että edustetuksi tulevat yliopistot ja ammattikorkeakoulut koulutusala siten, että edustetuksi tulevat kaikki KKA:n arviointeihin osallistuneet alat arvioinnin toteutus siten, että edustetuksi tulevat ns. perinteisiin ja menetelmällisesti poikkeaviin projekteihin osallistuneet yksiköt eri kielillä toteutettuihin projekteihin osallistuneet yksiköt yksiköt, joihin tehtiin arviointivierailu ja yksiköt, joissa ei vierailtu yksiköt, jotka saivat arviointipalautteen ja yksiköt, jotka eivät saaneet palautetta. Selvitykseen valittiin yhteensä 87 koulutusohjelmaa ja oppiainetta ammattikorkeakouluista ja yliopistoista. Kyselyn kanssa samanaikaisesti oli käynnissä slavistiikan ja baltologian arvioinnin seuranta, jossa käytettiin pitkälti yhdenmukaista kyselyrunkoa tämän selvityksen kanssa. Näin ollen tämän alan oppiaineille ei tehty enää uutta kyselyä, vaan seuranta-arvioinnissa kertynyttä aineistoa käytettiin hyväksi tässä selvityksessä. Slavistiikan ja baltologian arvioinnin seurannassa ei kuitenkaan kysytty kysymyksiä 2, 9 ja 10. Kyselyyn valituista 87 koulutusohjelmasta ja oppiaineesta 70 vastasi kyselyyn. Näin ollen kyselyn vastausprosentti on 80 %.

16 16 Taulukko 3. Arviointeihin osallistuneet, selvitykseen valitut ja selvitykseen vastanneet koulutusohjelmat ja oppiaineet arviointiprojekteittain Arvioinnin kohteena Arviointiin osallistuneet Selvitykseen valitut Selvitykseen ollut koulutus koulutusohjelmat ja koulutusohjelmat vastanneet oppiaineet ja oppiaineet koulutusohjelmat ja oppiaineet Yo Amk Yht. Yo Amk Yht. Yo Amk Yht. Tuotantotalous Terveydenhuoltoala Slavistiikka ja baltologia Tietoteollisuus Opettajankoulutus Ammatillinen opettajankoulutus Konetekniikka Media- ja viestintäala Rakennusala Kauppatiede ja liiketalous YHTEENSÄ Vastausten käsittely Koulutusohjelmien ja oppiaineiden lähettämät vastaukset luokiteltiin aluksi arviointiprojekteittain ja teemoittain. Kuhunkin kysymykseen saadut vastaukset analysoitiin sisällönanalyysilla luokitellen maininnat eri näkökulmien mukaan ja laskien, montako kertaa kukin maininta esiintyi vastauksissa. Tarkoituksena oli selvittää, vaikuttivatko projektissa käytetyt arviointimenetelmät (esimerkiksi arviointivierailujen järjestäminen) ja kirjallisten arviointipalautteiden antaminen sekä arvioinnin kotimaisuus tai kansainvälisyys koulutusohjelmien tai oppiaineiden näkemyksiin. Mikäli projektien kesken oli merkittäviä näkemyseroja esimerkiksi menetelmän toimivuuden suhteen, erot tuodaan esille tekstissä. Käsittelyn aikana tarkasteltiin myös sitä, oliko näkemyksissä eroja yliopistojen oppiaineiden ja ammattikorkeakoulujen koulutusohjelmien kesken.

17 Lopuksi projektikohtaiset maininnat laskettiin yhteen frekvensseiksi (f) ja yhdistettiin taulukoiksi, joista eivät enää erotu yksittäisten alojen näkemykset, vaan joista ilmenee vastausten kokonaisuus. Taulukkoja tarkasteltaessa on hyvä huomata, että sama vastaaja saattoi esittää useita näkökulmia asiaan. Toisaalta kaikki vastaajat eivät vastanneet jokaiseen kysymykseen. Tämän vuoksi taulukkojen yhteenlasketut frekvenssit vaihtelevat, eikä niitä ole tarkoituksenmukaista laskea yhteen. Koska kyse oli laadullisesta kyselystä, taulukkojen frekvenssejä voidaan tulkita vain siten, montako kertaa kukin näkökulma mainittiin koulutusohjelmien ja oppiaineiden vastauksissa. 17

18 18 4 Oppiaineille ja koulutusohjelmille tehdyn kyselyn tulokset Tässä luvussa käsitellään koulutusohjelmille ja oppiaineille osoitetun kyselyn tuloksia kysymyksittäin. Kyselylomake on liitteenä. 4.1 Vastauksen laadintaprosessi korkeakouluissa Kyselylomakkeen aluksi koulutusohjelmilta ja oppiaineilta kysyttiin, miten ne olivat laatineet vastauksen tähän kyselyyn. Suurin osa koulutusohjelmista tai oppiaineista mainitsi, että arvioinnin yhteyshenkilö oli ensin laatinut vastaukset, jonka jälkeen niitä oli käsitelty yhdessä muun henkilöstön kanssa kokouksissa tai sähköpostitse. Joissakin yksiköissä oli perustettu työryhmä vastauksen laatimista varten. Noin viidesosan mukaan oli laatinut yksi henkilö, joka oli tavallisesti arvioinnin yhteyshenkilö. Opiskelijoiden osallistuminen vastausten laadintaan oli hyvin vähäistä. Opiskelijat olivat olleet mukana kahdessa media- ja viestintäalan arviointia koskevan vastauksen laadinnassa sekä yhden liiketalouden alan ja yhden rakennustekniikan alan vastauksen laadinnassa. Selvityksen kysymys: 4.2 Arviointikokemus ja perehdytys Aiempi arviointikokemus Millaista arviointikokemusta yksiköllänne oli ennen Korkeakoulujen arviointineuvoston toteuttamaa koulutusala-arviointia? Tällä kysymyksellä haluttiin selvittää, oliko arviointitoiminta koulutusohjelmille ja oppiaineille entuudestaan tuttua vai oliko Korkeakoulujen arviointineuvoston toteuttama arviointi ensimmäinen kerta, jolloin yksiköt tutustuivat arviointiin. Arviointikokemuksellahan on osaltaan vaikutusta siihen, millaista perehdytystä yksiköt KKA:lta tarvitsevat.

19 19 Taulukko 4. Koulutusohjelmien/oppiaineiden aiempi arviointikokemus. Kysymykseen vastasi 65 koulutusohjelmaa/oppiainetta Vastaajien aiempi arviointikokemus Korkeakoulujen sisäiset arviointi- ja kehittämishankkeet 26 Muiden tahojen suorittamat arvioinnit (esim. EQUIS, OECD, ammattiliittojen selvitykset) 14 Osallistuminen KKA:n järjestämiin kokonaisarviointeihin tai auditointeihin 10 Osallistuminen KKA:n järjestämiin teema-arviointeihin, aluekehitysvaik., tai muihin kuin 9 tässä käsiteltyihin koulutusala-arviointeihin Toimilupa-arvioinnit 7 Suomen Akatemian tutkimuksen arvioinnit 5 Osallistuminen KKA:n järjestämiin laatuyksikkövalintoihin 4 Yksikön henkilökunta toiminut itse arvioitsijana KKA:n arviointihankkeissa 3 Muuta (esim. KKA:n järjestämä arviointikoulutus, Laatukeskuksen EFQM-koulutus) 3 Ei aikaisempaa kokemusta 11 f Suurimmalla osalla koulutusohjelmista ja oppiaineista oli Korkeakoulujen arviointineuvoston koulutusala-arviointia edeltävää arviointikokemusta. Eniten kokemusta oli hankittu korkeakoulujen sisäisistä arviointi- ja kehittämishankkeista. Tällaisia hankkeita oli ollut erityisesti terveysalalla sekä media- ja viestintäalalla. Lähes kaikilla aloilla oli karttunut aiempaa arviointikokemusta kansainvälisistä arvioinneista (esim. ammattikorkeakouluja koskeva OECD:n toteuttama arviointi), koulutusalakohtaisten laadunarviointiorganisaatioiden toteuttamista arvioinneista (esim. kaupan alalla EQUIS-arviointi), ammattiliittojen toteuttamista selvityksistä (esim. Suomen Ekonomiliiton selvitykset) tai muista vastaavista ulkopuolisten toteuttamista arvioinneista. Osa koulutusohjelmista ja oppiaineista oli osallistunut aikaisemmin johonkin Korkeakoulujen arviointineuvoston järjestämään teema-arviointiin, tai korkeakoulussa oli toteutettu kokonaisarviointi, jossa yksikkö oli ollut mukana. Myös laatuyksikkövalintaan osallistuminen oli kartuttanut joidenkin yliopistojen ainelaitosten arviointikokemusta. Yliopistojen laitokset toivat esille myös osallistumisen Suomen Akatemian toteuttamiin tutkimuksen arviointeihin. Ammattikorkeakoulujen koulutusohjelmat puolestaan mainitsivat toimilupa-arviointien tuoman kokemuksen. Muutamia kyselyyn vastanneiden koulutusohjelmien/oppiaineiden edustajia on toiminut KKA:n arvioinneissa myös arviointiryhmän jäseninä, jota pidettiin tärkeänä arviointikokemusta yksikköön välittävänä tekijänä. Yhden korkeakoulun vastauksessa tuotiin esille arviointikoulutuksen kautta saatu osaaminen ja kokemus (mm. osallistuminen Korkeakoulujen arviointineuvoston vuonna 2001 järjestämään 10 opintoviikon koulutukseen Arviointi ja laatu korkeakouluissa sekä osallistuminen Suomen yliopistojen rehtorien neuvoston Laatukeskukselta tilaamaan EFQM-koulutukseen).

20 20 Yksitoista koulutusohjelmaa ja oppiainetta kertoi, että niillä ei ollut lainkaan arviointikokemusta ennen KKA:n järjestämää koulutusala-arviointia. Suurin osa näistä yksiköistä kuului niihin, joissa arviointi oli toteutettu jo vuosina Tämän jälkeen arviointitoiminta ja -kokemus ovat lisääntyneet huomattavasti kaikilla aloilla Perehdytyksen riittävyys ja sen kehittäminen Selvityksen kysymys: Oliko KKA:n antama perehdytys ennen arviointia (esim. itsearviointiohjeet ja käynnistysseminaari) riittävää, ja miten sitä tulisi kehittää? Taulukko 5. Perehdytyksen riittävyys. Kysymykseen vastasi 65 koulutusohjelmaa ja oppiainetta Perehdytyksen riittävyys Perehdytystilaisuus oli hyvä ja riittävä 37 Itsearviointiohjeet ja muut kirjalliset ohjeet olivat riittävät 21 Itsearviointi- ja muut ohjeet eivät olleet riittävät tai riittävän selkeät 10 Lisätietoja pyydettiin KKA:n projektisuunnittelijalta 8 Perehdytystilaisuus ei ollut riittävä eikä saavuttanut tavoitettaan 2 f Koulutusala-arviointeihin osallistuneet koulutusohjelmat ja oppiaineet olivat enimmäkseen tyytyväisiä KKA:n antamaan perehdytykseen ja ohjeiden riittävyyteen. Noin puolet tähän kysymykseen vastanneista toi esille, että arvioinnin käynnistysseminaari antoi hyvän ja riittävän pohjan arviointiin. Vain kaksi vastaajaa mainitsi, ettei perehdytystilaisuudessa saatu tieto ollut riittävää. Korkeakoulujen arviointineuvoston antama perehdytys oli kokonaisuutena riittävää. Käynnistysseminaari antoi hyvän perustan arvioinnille. Arviointilomake herätti keskustelua alkuvaiheessa. Siitä pyydettiin kuitenkin palautetta ja ehdotukset otettiin pitkälti huomioon. Itsearviointiohjeet olivat suurelta osin selkeät ja riittävät, ja tarvittaessa oli mahdollisuus pyytää selvennyksiä. Arviointityön käynnistämisseminaarin anti jäi melko vaatimattomaksi. Katsomme, että pääsääntöisesti pärjäsimme annettujen kirjallisten ohjeiden perusteella arviointityötä tehtäessä. Joitakin ristiriitaisuuksia ohjeisiin sisältyi ja joiltakin osin niiden toteuttaminen oli ongelmallista ja mahdotontakin. Suurin ongelma oli kuitenkin prosessin aikana vastaus- ja käsittelyaikojen riittävyys, kun yhteistyötahoja oli useita. Kolmasosa vastanneista kertoi olleensa tyytyväisiä itsearviointiohjeisiin ja muihin kirjallisiin ohjeisiin, jotka koskivat arvioinnin toteuttamista. Kuudesosa vastanneista oli mainitsi, että itsearviointiohjeet eivät olleet riittävän selkeät, eivätkä antaneet riittävää tukea itsearvioinnin suorittamiseen korkeakouluissa. Vastaajien kesken oli eroja siinä, kuinka tarkkaa itsearviointirunkoa ja ohjeistusta toivottiin. Toiset olisivat toivoneet hyvin tarkkaa ohjeistusta, kun taas

21 21 joissakin yksiköissä itsearviointiohjeiden väljyys oli koettu positiivisena asiana. Tällöin positiivisena pidettiin erityisesti sitä, että väljyys mahdollisti yksikön omat painotukset ja valinnat itsearviointiprosessissa. Kaikkien arviointiprojektien yhteydessä oli mainintoja siitä, että perehdytyksen ja lisätietojen saaminen KKA:n projektisuunnittelijalta oli toimivaa. Kirjallisia ohjeita oli paikoin hankala tulkita osin väljästi ilmaistun ja paikoin ristiriitaisenkin tekstin vuoksi. Lisäksi osa asioista tuntui olevan päällekkäisiä. Käytetyt käsitteet tulisi ehdottomasti määritellä selkeästi ja yksiselitteisesti. Itsearviointiohjeet koettiin prosessia helpottaviksi, mutta osittain puutteellisiksi ja tulkinnanvaraisiksi. Ohjeita voisi selventää ja yksinkertaistaa. Kysymyksenasettelujen tulisi ehkä paremmin noudattaa korkeakoulun käytössä olevaa nimikkeistöä, organisaatiota, hallintomallia jne. Taulukko 6. Perehdytyksen kehittäminen. Kysymykseen vastasi 28 koulutusohjelmaa/oppiainetta Perehdytyksen kehittäminen Aikataulun pitäisi olla väljempi, arvioinnin ajoitus oli huono 11 Itsearvioinnissa ja koko arviointiprosessissa käytetyt käsitteet tulisi määritellä selkeästi 9 (myös ruotsin ja englanninkieliset käänökset tarkemmiksi) Käynnistysseminaarissa pitäisi olla enemmän aikaa keskusteluun ja kysymyksille mm. 3 arvioinnin tavoitteista Arvioinnin kohde ja rajaukset tulisi olla selkeämmät ja perustellut 3 Enemmän perehdytystä ja ohjeita (KKA:n malli poikkeaa mm. EFQM:stä ja muista korkeakoulujen käyttämistä laatujärjestelmistä) 2 Tulisi varata henkilöstöresursseja arviointiprosessin toteuttamiseen 2 Muut (Arvioinnissa tulisi käyttää suomen kieltä englannin sijaan, Itsearviointikysymysten 3 laadinnassa tulisi huomioida myös opiskelijat, Arvioinnin yhteyshenkilöille enemmän tukea ja ohjausta) f Koulutusohjelmien ja oppiaineiden vastauksissa nousi esiin paljon arvokkaita ehdotuksia arviointiprojektien perehdytyksen kehittämiseksi. Eniten kiinnitettiin huomiota arviointiprojektien aikatauluihin, jotka ovat vastanneiden mukaan liian tiukkoja ja vaikeuttivat paikoin perusteellisen itsearviointiprosessin läpiviemistä. Korkeakoulut toivoivat myös oman toimintansa kannalta sopivampaa ajoitusta. Useissa arviointiprojekteissa itsearviointivaihe on toteutettu aikavälillä touko syyskuu, jolloin on ajateltu kesäajan tarjoavan väljyyttä itsearvioinnin toteuttamiseen. Arviointiprojektin aikataulutukseen vaikuttaa osittain myös KKA:n oman työn organisointi, koska kesäaikaa pitäisi kuitenkin pystyä hyödyntämään. Erityisesti kauppatieteiden ja liiketalouden alan arviointiin sekä tietoteollisuuden alan arviointiin osallistuneista moni oli sitä mieltä, että kesäaika katkaisi itsearviointivaiheen ja hankaloitti korkeakoulun toimijoiden yhteistyötä ja yhteisen itsearviointiprosessin toteuttamista. Aikaresurssien lisäksi muutamassa vastauksessa tuotiin esille arviointihankkeen henkilöresurssoinnin lisätarve.

22 22 Itsearvioinnin ja arviointivierailujen ajankohdan suunnittelussa on hyvä ottaa huomioon ammattikorkeakoulujen ja eri koulutusohjelmien työskentelyaikataulut (esim. tekniikassa kiireisin aika on huhtikuu lukuvuoden päättyessä huhti toukokuun vaihteessa). Seuraavan arvioinnin aikataulutuksen ja oppilaitosten työskentelyn parempaan koordinointiin tulisi kiinnittää huomiota. Arviointiprosessin käynnistäminen juuri ennen kesää opetustyön loputtua ja opettajien lähtiessä lomille aiheutti lähes kolmen kuukauden seisahduksen. Toisaalta koulutyön käynnistyttyä syyskuussa oli nopeasti järjestettävä itsearviointitilaisuudet, kirjoitettava raportti ja kierrätettävä se lausunnoilla. Väljemmällä aikataululla olisi kenties meidän tapauksessamme jäänyt enemmän aikaa pohdintoihin, olihan meillä alkanut juuri kahden itsenäisen osaston toimintojen ja toimintakulttuurin yhteensovittaminen. Järjestettiin tilaisuus, missä arviointiprosessia käytiin läpi, ohjeistus oli sinänsä riittävää. Vaikeaa: aikataulu saneltiin ylhäältä, joten se kuormitti töiden ohella. Arvioinnin deadline, joka oli syksyn alussa, oli aikataulullisesti tiukka, koska hallintoa ei yleensä hoideta kesällä. Tilastointi oli vaikeaa, sillä eri korkeakouluissa on erilaiset systeemit (=millaisia tilastoja kerätään). Useat koulutusohjelmat ja oppiaineet pitivät arvioitavien kohteiden ja käsitteiden selkeämpää määrittelyä tärkeänä kehittämiskohteena. Myös arvioinnin rajausten selkeyteen tulisi kiinnittää enemmän huomiota. Palautteen mukaa käsitteiden epätarkkuus on vaikuttanut jossakin määrin myös suomen-, ruotsin- ja englanninkielisten käännösten eroavaisuuksiin. Ehdotuksia käsitteiden, arvioinnin rajausten ja kohteiden selkeyttämiseksi tuli erityisesti kauppatieteiden ja liiketalouden arviointiin sekä media- ja viestintäalan arviointiin osallistuneilta. Kauppatieteiden ja liiketalouden arviointiprojektissa korkeakoulut saivat itse tehdä arviointikohteiden rajaukset. Joissakin korkeakouluissa olisi kuitenkin toivottu, että arvioinnin suunnittelijat olisivat määritelleet arviointikohteet yhtenäisellä tavalla. Media- ja viestintäalalla johtoryhmän tekemää arviointikohteiden valintaa ja rajausten tekemistä vaikeutti vuosikymmenen vaihteessa tapahtunut alan koulutustarjonnan nopea kasvu. Arviointiohjeistus oli riittävää ja käynnistysseminaari kattoi arviointiin liittyviä asioita hyvin. Eniten pohdittavaa liittyi arvioinnin kohteen tarkempaan määrittelemiseen ja rajaamiseen, joka ohjeistuksessa jätettiin ammattikorkeakoulun valittavaksi. Harkittavaa saattaisi olla, olisiko arvioinnin kohteen määrittelyn tullut olla yhtenäisempi. Perehdytys oli riittävä. Arvioitavien käsitteiden määrittely mahdollisimman yksiselitteisellä tavalla helpottaisi itsearvioinnin tekemistä. Perehdytyksessä ei käynyt riittävän selväksi se, että kyse oli opetuksen, ei tutkimuksen arvioinnista. Laitoksella heräsi myös jo prosessin alussa kysymys siitä, miten yliopistollisten yksiköiden arviointi ylipäätään on mahdollista erottamalla opetus ja tutkimus toisistaan (koska niiden yhteys on koko yliopisto-opetuksen erityisluonteen perusta). Ohjeita ei muutenkaan pidetty selkeinä.

23 23 Joidenkin arvioinnissa käytettävien käsitteiden epätarkkuuden ja yhteisten määritelmien puuttumisen koettiin vaikeuttavan itsearvioinnin tekemistä, korkeakoulujen välistä vertailtavuutta sekä opiskelijoiden osallistumista itsearvioinnin tekemiseen. Itsearviointikysymysten selkeyttämistarvetta korostivat erityisesti rakennustekniikan, konetekniikan ja tietoteollisuuden alan arviointeihin osallistuneet. Vastauksissa kiinnitettiin huomiota itsearvioinnin selkeyteen myös opiskelijoiden kannalta. Itsearviointikysymysten tulisi vastaajien mukaan olla sisällöltään sellaisia, että opiskelijoilla olisi edellytykset vastata niihin. Itsearviointikysymyksiä tulisi kehittää. Ainakin rakennustekniikan koulutusohjelmien itsearviointikysymykset olivat vaikeaselkoisia ja vastaajille erittäin paljon selvitystyötä vaativia. Lisäksi melko suuri osa kysymyksistä ei kohdistunut itse toimintaan. Instruktionerna var överlag ok men de svenska instruktionerna kunde gärna ha kommit samtidigt som de finska instruktionerna. De båda språkversionerna borde även ha förmedlar samma budskap; utvärderingsarbetet försvårades i viss mån p.g.a. att vissa frågor inte var klart formulerade på svenska. Det var också lite oklart vad rådet inbegrep i begreppet affärskompetens. Muutamissa kauppatieteiden ja liiketalouden alan sekä media- ja viestintäalan arviointeihin osallistuneiden vastauksissa toivottiin, että käynnistysseminaarissa varattaisiin enemmän mahdollisuuksia keskusteluun ja erilaisten epäselvien asioiden käsittelyyn. Yksiköt toivoivat tiiviimpää osallistumista, keskustelua ja vaikutusmahdollisuuksia arvioinnin suunnitteluvaiheessa. Käynnistysseminaarissa olisi voitu esittää itsearvioinnin kysymykset ja aiheet edes pääpiirtettäin, jolloin osallistujilla olisi ollut mahdollisuus kommentoida niitä ja myös keskustella itsearvioitavien seikkojen painotuksista ja relevanttiudesta. Arviointiprojektiin osallistuminen vaatii korkeakouluilta paljon työtä ja sitoutumista sekä perehtymistä KKA:n käyttämiin arviointimenetelmiin, jotka poikkeavat esimerkiksi monissa kaupallisissa laadunvarmistusjärjestelemissä käytetyistä menettelytavoista. Arviointiprojektin alkuvaiheessa jokainen arviointiin osallistuva korkeakoulu nimeää yhteyshenkilön, joka toimii tiedonvälittäjänä KKA:n ja korkeakoulun välillä ja jonka toivotaan hoitavan korkeakoulussa arvioinnin organisoimiseen liittyviä asioita. Muutamien palautteiden mukaan yhdyshenkilöiden tulisikin saada enemmän ohjausta, tukea ja tietoa tehtävänsä hoitamiseksi. Käynnistysseminaarissa kävi selväksi, mihin arvioinnilla pyritään ja ketkä prosessissa toimivat eri rooleissa. Sen sijaan koulutusohjelman vetäjän tulisi saada enemmän tukea, taitoja ja harjaannusta arviointiprosessin ohjaamisessa omassa yksikössään. Kaikkien saaminen mukaan prosessiin on vaativa johtamistehtävä, eritoten pienessä koulutusohjelmassa, jossa johtamis- ja suunnitteluresurssi on pieni ja henkilöstö toimii monessa koulutusohjelmassa.

24 Arvioinnin tulosten hyödyntäminen Selvityksen kysymys: Arvioinnin tulosten käsittely Miten yksikössänne käsiteltiin koulutusohjelma- /oppiainekohtaista ja valtakunnallista arviointipalautetta ja suosituksia? Taulukko 7. Arvioinnin tulosten käsittely. Kysymykseen vastasi yhteensä 69 koulutusohjelmaa ja oppiainetta Arvioinnin tulosten käsittely Palautetta käsitelty henkilöstön kanssa (henkilöstökokoukset, osastokokoukset, 54 kehittämispäivät) Korkeakoulun johto käsitellyt palautetta (hallitus, johtoryhmä, rehtori, opetus- ja 22 tutkimusneuvosto tai vastaava) Käytetty tukena yksikön kehittämisessä (esim.strategisessa työssä, toimintasuunnitelmien 16 laadinnassa) Palautetta käsitelty opiskelijoiden kanssa (info- ja keskustelutilaisuudet) 13 Koulutuksen sisältöjä ja tavoitteita kehitetty (ops-uudistus, tutkinnonuudistus) 12 Palautetta käsitelty työelämän edustajien kanssa neuvottelukunnissa, tiedotettu/esitelty 11 työelämälle (alan järjestöille) Ei erillisiä tilaisuuksia, arviointiraporttia jaettu arviointiprosessiin osallistuneille 4 Muut: Tiedotettu tiedotusvälineille, käytetty perusteena talous- ja tulosneuvotteluissa, 7 tuloksista laadittu oma yhteenveto asian käsittelyä varten, oman yksikön tunnuslukuja vertailtu raportissa kuvattuun valtakunnalliseen tasoon, arvioinnissa tuotettua materiaaleja ja julkaisuja on käytetty oppimateriaalina f Yleisin tapa käsitellä koulutusohjelma- tai oppiainekohtaista ja valtakunnallista arviointipalautetta ja suosituksia oli ottaa ne esiin henkilöstökokouksissa sekä erilaisilla henkilöstön kehittämispäivillä. Erityisesti ammattikorkeakouluissa tällainen käytänne oli hyvin yleinen. Useissa koulutusohjelmissa ja oppiaineissa oli menetelty niin, että arviointipalautetta oli käsitelty sekä korkeakoulun johdon kokouksissa että henkilöstölle ja opiskelijoille järjestetyissä keskustelutilaisuuksissa. Joissakin ammattikorkeakouluissa keskustelutilaisuuksiin oli osallistunut myös työelämän edustajia. Vastauksissa tuli esille, että tilaisuuksilla oli ollut suuri merkitys kehittämissuunnitelmien ja -toimenpiteiden jatkotyöstämisen kannalta.

25 25 Noin viideosassa tähän kysymykseen vastanneista ammattikorkeakoulujen koulutusohjelmissa arviointipalautetta oli käsitelty neuvottelukunnissa. Ammattikorkeakoulut olivat kutsuneet myös opiskelijoita käsittelemään arviointipalautteita. Useissa koulutusohjelmissa opiskelijat olivat olleet mukana info- ja keskustelutilaisuuksissa. Muutama koulutusohjelma oli järjestänyt myös erillisen opiskelijoille suunnatun tilaisuuden. Yliopistoissa opiskelijoiden mukaan kutsuminen oli harvinaisempaa vain kaksi yliopistoyksikköä mainitsi opiskelijoiden osallistuneen arviointipalautteen käsittelyyn. Noin neljäsosa vastaajista mainitsi, että arviointipalautetta oli hyödynnetty yksikön kehittämisessä, strategisessa työssä tai toimintasuunnitelmien laadinnassa. Muutamissa koulutusohjelmissa ja oppiaineissa arviointipalautetta oli hyödynnetty myös perusteina talous- ja tulosneuvotteluissa. Arviointipalautteesta oli ollut hyötyä myös koulutuksen sisältöjen ja tavoitteiden kehittämisessä. Mainintoja arviointipalautteen hyödyntämisestä suoraan opetuksen kehittämisessä oli muun muassa liiketalouden ja kauppatieteiden, media- ja viestintäalan sekä slavistiikan ja baltologian arviointiin osallistuneissa yksiköissä. Kaikissa koulutusohjelmissa ja oppiaineissa ei ollut järjestetty erillisiä tilaisuuksia arviointipalautteen käsittelemiseksi. Näissä yksiköissä tiedottaminen oli usein hoidettu siten, että arviointiraportteja oli jaettu arviointiprosessiin osallistuneille tutustuttavaksi. Muutamissa vastauksissa tuli esille arviointipalautteen käsittelyn ja hyödyntämisen vaikeus, joka johtui siitä, että yksikkö ei ollut saanut omaa kehittämispalautetta, vaan palaute oli ollut valtakunnallista. Yhden vastauksen mukaan raportin suuri sivumäärä ja englanninkielisyys vaikeutti palautteen käsittelyä. Yhtenä hyvänä tiedottamisen käytänteenä tuli esille se, että koulutusohjelma oli laatinut oman koulutusohjelmakohtaisen yhteenvedon arvioinnin tuloksista valtakunnallisen arviointiraportin pohjalta. Tällainen menettely saattaa helpottaa paitsi arvioinnin tuloksista tiedottamista, myös nopeuttaa jatkotoimenpiteiden suunnittelua. Selvityksen kysymys: Arviointeja seuranneet konkreettiset kehittämistoimenpiteet Mainitkaa esimerkkejä siitä, mitä konkreettisia toimenpiteitä arvioinnista seurasi yksikkönne koulutuksen kehittämisessä?