Avaimia arvioinnin tehokkaampaan hyödyntämiseen

Transkriptio

1 Ismo Kantola Ulla Keto Marjo Nykänen Avaimia arvioinnin tehokkaampaan hyödyntämiseen Turun ja Mikkelin ammattikorkeakoulujen benchmarking KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA :

2 ISBN (painettu) ISBN (pdf) ISSN Julkaisija: Korkeakoulujen arviointineuvosto Kansi: Juha Ilonen Layout: Pikseri Julkaisupalvelut Esa Print Oy Tampere 2009

3 Sisällys Johdanto Arviointiprojektin toteutus. Arvioinnin tavoitteet ja menetelmä. Benchmarking-arviointiin osallistuneet korkeakoulut.. Turun ammattikorkeakoulu.. Mikkelin ammattikorkeakoulu. Projektiorganisaatio. Benchmarking-arvioinnin vaiheet Arviointi osana laadunvarmistusta. Laadunvarmistus ja toiminnanohjaus. Arvioinnin käsitteitä. Arvioinnin hyödyntäminen. Organisatorisen oppimisen näkökulma arvioinnin hyödyntämiseen Toiminnanohjaus ja laadunvarmistus benchmarking-korkeakouluissa. Toiminnanohjaus ja laadunvarmistus Turun ammattikorkeakoulussa.. Toiminnanohjaus.. Laadunvarmistus. Toiminnanohjaus ja laadunvarmistus Mikkelin ammattikorkeakoulussa.. Toiminnanohjaus.. Laadunvarmistus Arvioinnin tulokset. Kokonaiskuva.. Mitä opimme arvioinnin hyödyntämisestä Mikkelin ammattikorkeakoulun toiminnanohjauksessa arviointikumppanin näkökulma.. Mitä opimme arvioinnin hyödyntämisestä Turun ammattikorkeakoulun toiminnanohjauksessa arviointikumppanin näkökulma. Hyvät käytänteet.. Koulutusohjelman ristiinarviointi Turun ammattikorkeakoulussa.. Itsearviointi Mikkelin ammattikorkeakoulussa. Kehittyvät käytänteet.. Toimintasuunnitelmakäytäntöön sisältyvä itsearviointi Turun ammattikorkeakoulussa.. Johdon katselmukset Mikkelin ammattikorkeakoulussa Johtopäätökset Lähteet Liite

4

5 Johdanto Laadunvarmistuksesta on tullut suomalaisten yliopistojen ja ammattikorkeakoulujen lakisääteinen tehtävä eurooppalaisen korkeakoulutuksen kehittämisen myötä. Jokainen korkeakoulu vastaa oman toimintansa laadusta ja laadunvarmistuksen erityistavoitteista, käytettävistä menetelmistä ja niiden kehittämisestä. Korkeakoulujen arviointineuvoston (KKA) asettama ulkoinen arviointiryhmä arvioi korkeakoulun laadunvarmistusjärjestelmän toimivuuden. Arviointiryhmä auditoi 12 korkeakoulun laadunvarmistusjärjestelmät vuosina Auditointien perusteella keskeiseksi kehittämishaasteeksi havaittiin laadunvarmistusjärjestelmien vaikuttavuus ja niiden tuottaman tiedon jatkuva hyödyntäminen (KKA 2007, esipuhe). Tämä heikkous on huomattava laatuajattelun jatkuvan parantamisen periaate 1 ei ilmeisesti toteudukaan käytännössä? Laadunvarmistusjärjestelmiä arvioidaan seitsemän, nimetyn kohteen perusteella. Arvioinnin hyödyntämisen tarkastelu liittyy kohteeseen 3: Laadunvarmistusjärjestelmän kytkeytyminen johtamiseen ja toiminnanohjaukseen. Korkeakouluissa toiminnanohjaus liittyy korkeakoulun vuosisuunnitteluun ja johtamisjärjestelmään. Esimerkiksi Turun ammattikorkeakoulussa toiminnanohjauksella tarkoitetaan korkeakoulun eri organisaatiotasoilla tapahtuvia toimenpiteitä, joilla asetetaan tavoitteet, suunnitellaan ja resurssoidaan toiminta ja toimenpiteet tavoitteiden saavuttamiseksi sekä arvioidaan asetettujen tavoitteiden saavuttaminen. Turun ammattikorkeakoulu ja Mikkelin ammattikorkeakoulu käynnistivät syksyllä 2006 arviointiprojektin, jossa tunnistettiin ja kehitettiin ratkaisuja laadunvarmistuksen integroimiseksi korkeakoulun toiminnanohjaukseen entistä paremmin. Korkeakoulut olivat kehittäneet toiminnanohjausprosessejaan ja niiden työkaluja aktiivisesti jo ennen projektia. Turun ammattikorkeakoulussa oli määritelty ja kuvattu toiminnanohjausprosessi, ja toimittu sen mukaan vuodesta 2006 alkaen. Toiminnanohjauksessa on hyödynnetty tietojärjestelmää (4T-portaalia), jonne on tehty organisaatioyksikköjen toimintasuunnitelmat ja talousarviot. Mikkelin ammattikorkeakoulussa uuden toiminnanohjausprosessin mukaisesti on toimittu syksystä 2005 alkaen. 1 Esimerkiksi W. Edwards Demingin laatuajattelussa keskeistä on jatkuvan parantamisen periaate noudattaen Plan Do Check Act-sykliä (Beckford 2002, 66 79).

6 Arviointiprojekti toteutettiin kahden ammattikorkeakoulun välisenä vertailuarviointina eli benchmarking-toimintana. Projektissa etsittiin sellaisia käytäntöjä ja työkaluja, jotka tukevat arvioinnin hyödyntämistä toiminnanohjauksessa ja kehittämistyössä. Korkeakoulujen arviointineuvosto rahoitti projektia ja asetti edustajansa projektin ohjausryhmään. Tässä raportissa esitellään projektin lähtökohdat, toteutus sekä keskeiset löydökset ja johtopäätökset.

7 Arviointiprojektin toteutus. Arvioinnin tavoitteet ja menetelmä Arviointiprojektissa pyrittiin etsimään ratkaisuja laadunvarmistuksen integroimiseksi paremmin korkeakoulun toiminnanohjaukseen. Tehtävänä oli tunnistaa ja kehittää sellaisia käytäntöjä ja työkaluja, jotka tukevat arvioinnin hyödyntämistä toiminnanohjauksessa ja kehittämistyössä. projektille asetettiin kolme osatavoitetta: 1) Tuotetaan vertailun avulla tietoa siitä, miten koulutusprosessia koskevan arviointi- ja palauteinformaation hyödyntäminen toiminnanohjauksessa (johtamisprosessissa) on jäsennetty osallistuvissa korkeakouluissa 2) Arvioidaan, miten osallistuvien korkeakoulujen toiminnanohjauksen käytännöt tukevat arviointi- ja palauteinformaation instrumentaalista, laadun kehittämistä tukevaa käyttöä 3) Tunnistetaan korkeakoulun ja sen yksiköiden johdon tiedonmuodostuksen kannalta kriittisiä menestystekijöitä, jotka näyttävät olevan yhteydessä laatua parantaviin toimenpiteisiin. Arvioinnin menetelmäksi valittiin benchmarking eli vertailukehittäminen. Siinä organisaatio vertaa omaa toimintaansa ja omaa kehittämishaastettaan systemaattisesti yhteen tai useampaan muuhun organisaatioon. Niinikoski ja Karjalainen 2 ovat jaotelleet benchmarking-arvioinnin käyttömahdollisuuksia (taulukko 1). Tässä arvioinnissa motiivina oli kumppanilta oppiminen ja menestystekijöiden kehittäminen. Vertailun avulla pyrittiin tunnistamaan parhaita käytäntöjä eli hyviä toimintamalleja. Taulukko. Benchmarking-arvioinnin tyypit (Niinikoski & Karjalainen, ) ARVIOINNIN KOHDE ARVIOINNIN MOTIIVI Vertailu Yhteistyö Tunnuspiirteet ja A. Oman tason selvittäminen. B. Yhteisten tavoitetasojen tulosindikaattorit (benchmarks) Heikkojen ja vahvojen asettaminen. Suoritteiden alueiden tunnistaminen kannustava vertailu Parhaat käytänteet C. Toisilta oppiminen. D. Yhteisten ja molemminpuolin (best practices) Innovaatioiden ja menestys- hyödyllisten hankkeiden ja tekijöiden kehittäminen toimintamallien kehittäminen 2 Niinikoski & Karjalainen 2005, 14

8 Kohteeksi rajattiin tutkintoon johtavan koulutuksen arviointiin käytetyt työkalut ja menettelyt sekä arviointitiedon hyödyntäminen koko ammattikorkeakoulun ja tulosalueen tasolla. Tarkastelutasoiksi valittiin koko ammattikorkeakoulu, tulosalue sekä laitos tai koulutusohjelma. Yksityiskohtaisemmin määriteltynä arvioinnin kohteina olivat koulutusprosessin arviointiin käytetyt arviointityökalut koko ammattikorkeakoulun johtamisen tasolla koulutusprosessin suunnittelutyökalut koko ammattikorkeakoulun tasolla (toimintasuunnitelma, tuloskortti, seurantamittarit jne.) koulutusprosessin arviointitehtävät (esim. tulosanalyysien tekeminen) osana ammattikorkeakoulun toiminnanohjausta koulutusprosessin arvioinnin kautta tuotetun informaation hyödyntäminen johtamisessa ja toiminnanohjauksessa. Raportti rakentuu siten, että osatavoitteeseen 1 vastataan raportin luvussa 4. Osatavoitteeseen 2 vastataan luvussa 5, johon valittiin neljä esimerkkiä arviointivierailuilla toimiviksi havaituista arviointikäytännöistä. Arvioinnin hyödyntämisen näkökulmasta parhaat käytännöt esitetään luvussa 5.2 ja luvussa 5.3. esitellään kehittyvät käytänteet. Johtopäätökset esittelevä luku 6 toimii yhteenvetona ja vastaa osatavoitteeseen 3: mitkä tekijät ovat johdon tiedonmuodostuksen kannalta kriittisiä menestystekijöitä, jotka näyttävät olevan yhteydessä laatua parantavien toimenpiteiden käynnistämiseen. Luvussa 6 esitetään tunnistettuja avaimia arvioinnin parempaan hyödyntämiseen toiminnan kehittämisessä.. Benchmarking-arviointiin osallistuneet korkeakoulut.. Turun ammattikorkeakoulu Turun ammattikorkeakoulu (Turun AMK) on monialainen koulutusyhteisö, joka tarjoaa työelämää ja yrittäjyyttä palvelevaa ja kehittävää koulutusta, soveltavaa tutkimus- ja kehitystyötä (T&K) sekä organisaatioiden kokonaisvaltaista kehittämistä. Turun ammattikorkeakoulun keskeinen vaikutusalue on Varsinais-Suomi. Pääosa opiskelijoista rekrytoidaan Varsinais-Suomesta, jonne myös 75 % valmistuneista sijoittuu. Ammattikorkeakoululla on 12 toimipistettä, joista Turun ulkopuolella sijaitsevat Salon, Loimaan ja Uudenkaupungin toimipisteet. Vuonna 2007 toiminnan kokonaisrahoitus oli 57,91 miljoonaa euroa, josta ulkopuolisen rahoituksen osuus oli 9,18 miljoonaa euroa.

9 Turun ammattikorkeakoulussa tutkintoon johtavaa nuorten koulutusta annetaan seitsemällä eri koulutusalalla. Opiskelijoita on noin Ammattikorkeakoulun palveluksessa on noin 700 työntekijää, joista päätoimisia opettajia on 450. Ammattikorkeakoulussa on yhteensä 34 koulutusohjelmaa, joista 13:ssa on myös aikuisten tutkintoon johtavaa koulutusta. Lisäksi ammattikorkeakoulussa on 10 ylempään ammattikorkeakoulututkintoon johtavaa koulutusohjelmaa. Aikuisten tutkintoon johtavassa koulutuksessa ja erikoistumisopinnoissa opiskelee noin opiskelijaa. Turun AMK:n tutkimus- ja kehitystyön tarkoituksena on palvella alueen elinkeinoelämää ja monipuolistaa opetusta. Vuonna 2006 käynnistettiin tutkimus- ja kehitysohjelmatoiminta. T&K-ohjelma koostuu useasta ohjelman tavoitteita tukevasta projektista ja tukee alueellista innovaatiojärjestelmää tuottamalla uutta tietoa ja osaamista kyseisestä aihealueesta. Vuonna 2007 käynnistyi 56 uutta T&K-projektia yritysten ja julkisten toimijoiden kanssa. Turun ammattikorkeakoulun ylläpitäjänä toimii Turun kaupunki. Ammattikorkeakoulu toimii ylläpitohallintoa edustavan Turun kaupunginhallituksen alaisuudessa. Sisäistä hallintoa hoitavat ammattikorkeakoulun hallitus ja rehtori. Hallitukseen kuuluu puheenjohtajana rehtori sekä 11 varsinaista jäsentä, jotka edustavat ammattikorkeakoulun muuta johtoa, päätoimisia opettajia ja muuta henkilökuntaa, opiskelijoita ja työelämää. Opetuksen tulosalueet toteuttavat sekä nuorille että aikuisille suunnattua tutkintokoulutusta, täydennyskoulutusta, soveltavaa tutkimus- ja kehitystoimintaa ja palvelutoimintaa. Ammattikorkeakoulussa on kuusi opetuksen tulosaluetta: bioalat ja liiketalous hyvinvointipalvelut taideakatemia tekniikka, ympäristö ja talous terveysala tietoliikenne ja sähköinen kauppa. Tulosaluetta johtaa koulutusjohtaja, jonka alaisuudessa toimivat koulutuspäälliköt vastaavat koulutusohjelmien toiminnasta. Opetuksen tulosalueiden lisäksi toimii hallinnollinen kehittämisen tulosalue, joka tuottaa yhteisiä palveluja sekä koordinoi yhteisiä toimintoja. Kehittämisen tulosalue muodostuu kolmesta palvelukokonaisuudesta, jotka jakautuivat toimintoihin.

10 .. Mikkelin ammattikorkeakoulu Mikkelin ammattikorkeakoulu (MAMK) on yksi maan monialaisimmista ammattikorkeakouluista. Koulutusta järjestetään kahdeksalla koulutusalalla. Tutkintoon johtavassa koulutuksessa on 20 koulutusohjelmaa, joista kolme on englanninkielistä. Tutkintoon johtavaa aikuiskoulutusta on lähes kaikissa koulutusohjelmissa ja lisäksi MAMKissa on 7 ylempään ammattikorkeakoulututkintoon johtavaa koulutusohjelmaa. Ammattikorkeakoulun liikevaihto on n. 40 miljoonaa euroa. Koulutuksen ohella MAMKissa tehdään tutkimus- ja kehitystyötä työelämän tarpeisiin. Toiminta profiloituu osaamiskeskittymiin, jotka ovat hyvinvointi, materiaalit, palveluliiketoiminta, rakennettu ympäristö ja sähköiset palvelut. Tutkimus- ja kehittämistoiminta on soveltavaa tutkimusta, jolla pyritään nopeasti hyödynnettäviin tuloksiin. Uudet tuotteet ja toimintamallit syntyvät usein hankkeiden tai opinnäytetöiden kautta, joita tehdään MAMKissa vuosittain yli 800. MAMKissa on opiskelijoita noin 4500 ja työntekijöitä noin 430. Opetusta järjestetään kolmella paikkakunnalla: Mikkelissä, Pieksämäellä ja Savonlinnassa. Lisäksi toimintaa on Pietarissa. Aikaisemmin MAMKin ylläpitäjänä on ollut kuntayhtymä, mutta vuoden 2009 alusta MAMK toimii osakeyhtiömuotoisena. MAMKia ylläpitää Mikkelin Ammattikorkeakoulu Oy, jonka omistaa Mikkelin ammattikorkeakouluyhtymä. Yhtymän jäsenkuntia ovat Mikkeli, Pieksämäki ja Savonlinna. Mikkelin ammattikorkeakoulun sisäistä hallintoa hoitavat rehtori ja ammattikorkeakoulun hallitus. Hallituksen puheenjohtajana toimii rehtori ja hallituksessa on edustettuna ammattikorkeakoulun johto, opettajat ja muu henkilöstö, opiskelijat sekä elinkeino- ja muun työelämän edustajat. Hallituksen tehtävänä on kehittää ammattikorkeakoulun toimintaa. Ammattikorkeakoulun toiminnan kehittämisestä ja suunnittelusta vastaavat hallituksen lisäksi muun muassa johtoryhmä, koulutustiimi ja muut tiimit. Ammattikorkeakoulu muodostuu kuudesta tulosalueesta, joita ovat koulutuksen tulosalueet (Hyvinvointi ja kulttuuri, Liiketoiminta ja palvelut sekä Tekniikka ja tuotekehitys), opetuspalvelut, hallintopalvelut ja kehityspalvelut. Tulosalueet jakaantuvat tulosyksiköihin. Koulutuksen tulosyksiköistä käytetään nimitystä laitos. Laitoksia johtavat koulutusjohtajat, joiden tukena toimii laitoksen johtotiimi. Koulutusohjelmien kehittämisestä vastaavat koulutusvastaavat (KOVA) ja opiskelijoiden ohjaamisesta opiskelijavastaavat (OVA).

11 . Projektiorganisaatio Projektin ohjausryhmään kuuluivat rehtori Juha Kettunen (Turun AMK, puheenjohtaja), rehtori Erkki Karppanen (MAMK, varapuheenjohtaja), kehitysjohtaja Heikki Malinen (MAMK), suunnittelija Karl Holm (Korkeakoulujen arviointineuvosto) ja hankkeen projektipäällikkönä toiminut Ismo Kantola (Turun AMK, kehityspäällikkö). Projektiryhmän muodostivat alkuvaiheessa Ismo Kantola projektipäällikkönä, Heikki Malinen, lehtori Ulla Keto (MAMK), laatusihteeri Susanna Hytönen (MAMK) sekä tietopalveluvastaava Jouni Hautala (Turun AMK). Hytösen ja Hautalan ollessa virkavapaalla projektiryhmää täydennettiin niin, että arviointivierailuilla mukaan tulivat koulutusjohtaja Kaija Lind (Turun AMK), koulutuspäällikkö Meeri Kojonkoski (Turun AMK), tulosaluejohtaja Marjo Nykänen (MAMK) sekä koulutusjohtaja Taru Särkkä (MAMK). Arvioinnin tulosten määrittelyyn osallistuivat Turun ammattikorkeakoulusta Ismo Kantola ja Meeri Kojonkoski ja Mikkelin ammattikorkeakoulusta Ulla Keto ja Marjo Nykänen.. Benchmarking-arvioinnin vaiheet Benchmarking-arviointi toteutettiin kahdessa vaiheessa, joista jälkimmäiseen sisältyi myös vierailu kumppanikorkeakouluun (kuvio 1). Ensimmäisessä arviointivaiheessa keväällä 2007 kartoitettiin, mitä tietoa vastuuhenkilöt tarvitsevat koulutuksen toiminnanohjaukseen ja arviointiin. Samalla kartoitettiin, millaisia ovat tutkintoon johtavan koulutuksen toiminnanohjauksen ja arvioinnin työkalut ammattikorkeakoulun tasolla, tulosalueen tasolla sekä laitos- ja koulutusohjelmatasolla. Itsearviointia ohjaavassa kysymyslomakkeessa kysyttiin mm. mitä tietoa rehtori ja vararehtorit sekä toisaalta tulosaluejohtajat ja koulutusjohtajat/koulutuspäälliköt tarvitsevat koulutuksen toiminnanohjaukseen. Arviointiin osallistuivat Turun ammattikorkeakoulusta rehtori, kehityspäällikkö, kaksi tulosaluejohtajaa ja kaksi koulutuspäällikköä. Mikkelin ammattikorkeakoulusta itsearvioinnissa olivat mukana rehtori, kehitysjohtaja, kaksi tulosaluejohtajaa (joista toinen on laatupäällikkö), kaksi koulutusjohtajaa sekä laatuvastaava.

12 1/2007 6/ /2007 1/ /2008 Projektin ohjausryhmä Projektin käynnistäminen Työseminaari Työseminaari Projektiryhmä Perehtyminen BM-kumppanin laadunvarmistusjärjestelmään ja toiminnanohjaukseen Arvioinnin löydösten tunnistaminen ja loppuraportointi Itsearviointiryhmät (MAMK, Turun AMK) Itsearviointivaihe 1: kartoitus toiminnanohjaukseen ja arviointiin tarvittavista tiedoista ja työkaluista Itsearviointivaihe 2: arviointitiedon tuottaminen ja hyödyntäminen Vierailevat arviointiryhmät (MAMK, Turun AMK) Arviointivierailu MAMK:iin Arviointivierailu Turun AMK:iin Arviointivierailulla haastateltavat (korkeakoulun, tulosalueiden ja koulutusohjelmien johdon edustajat (MAMK, Turun AMK) Arviointivierailu MAMK:issa Arviointivierailu Turun AMK:issa Kuvio. Benchmarking-arvioinnin vaiheet Arvioinnin toisessa vaiheessa tarkasteltiin, miten arviointitietoa tuotetaan ja hyödynnetään kummassakin ammattikorkeakoulussa ja miten hyödyntämistä voisi tehostaa. Syys-lokakuun 2007 aikana kummassakin ammattikorkeakoulussa projektiryhmän jäsenet sekä arviointivierailulla haastateltavaksi valitut henkilöt tekivät nykytilan kuvauksen ja itsearvioinnin. Tämän jälkeen tehtiin marras-joulukuussa 2007 yhden päivän kestänyt arviointivierailu kumppanikorkeakouluun. Arviointiryhmään kuului kummastakin korkeakoulusta kaksi projektiryhmän jäsentä, tulosaluejohtaja sekä yksi koulutuspäällikkö (Turku) ja koulutusjohtaja (Mikkeli). Haastatteluja varten arviointiryhmä jakaantui kahtia. Arviointivierailujen haastattelut toteutettiin taulukkojen 2 ja 3 mukaisesti. Yhden haastattelun kesto oli 1,5 tuntia. Kaikki haastattelut nauhoitettiin ja litteroitiin. Projektiryhmän kokoonpanossa tapahtui muutoksia vuoden 2008 alusta, mikä hidasti tulosten tulkintaa ja raportointia. Arvioinnin tulosten määrit-

13 telyyn osallistuivat Turun ammattikorkeakoulusta Ismo Kantola ja Meeri Kojonkoski ja Mikkelin ammattikorkeakoulusta Ulla Keto ja Marjo Nykänen. Projektiryhmän ydinjoukko työsti arvioinnin tuloksia ja johtopäätöksiä työpajatyöskentelynä Turussa ja Mikkelissä sekä sähköpostin avulla. Johtopäätöksistä ja raportin kirjoittamisesta vastasivat Kantola, Keto ja Nykänen. Raportointivaihe saatiin päätökseen vuoden 2009 alussa. Taulukko. Arviointivierailun haastattelut Mikkelin ammattikorkeakoulussa Haastateltavat (MAMK) rehtori Erkki Karppanen kehitysjohtaja Heikki Malinen tulosaluejohtaja Tuija Vänttinen tulosaluejohtaja Marjo Nykänen koulutusjohtaja Taru Särkkä koulutusjohtaja Paula Siitonen Haastattelijat (Turun AMK) koulutusjohtaja Kaija Lind tietopalveluvastaava Jouni Hautala kehityspäällikkö Ismo Kantola koulutuspäällikkö Meeri Kojonkoski Kaija Lind Jouni Hautala Ismo Kantola Meeri Kojonkoski Kaija Lind Jouni Hautala Ismo Kantola Meeri Kojonkoski Taulukko. Arviointivierailun haastattelut Turun ammattikorkeakoulussa Haastateltavat (Turun AMK) rehtori Juha Kettunen kehityspäällikkö Ismo Kantola vararehtori Saara Lampelo projektipäällikkö Eeva Harjulahti koulutusjohtaja Kaija Lind koulutusjohtaja Juha Kontio koulutuspäällikkö Meeri Kojonkoski koulutuspäällikkö Elina Nupponen Haastattelijat (MAMK) tulosaluejohtaja Marjo Nykänen laatusihteeri Susanna Hytönen koulutusjohtaja Taru Särkkä lehtori Ulla Keto Marjo Nykänen Susanna Hytönen Taru Särkkä Ulla Keto Marjo Nykänen Susanna Hytönen Taru Särkkä Ulla Keto

14 Arviointi osana laadunvarmistusta. Laadunvarmistus ja toiminnanohjaus Korkeakoulutuksen piirissä vakiintunut quality assurance -käsite on suomennettu laadunvarmistukseksi. OPM:n laadunvarmistustyöryhmän 3 ja Korkeakoulujen arviointineuvoston auditointikäsikirjan 4 tapaan tässä projektissa laadunvarmistuksella ymmärretään niitä menettelytapoja, prosesseja tai järjestelmiä, joiden avulla korkeakoulu ylläpitää ja kehittää koulutuksen ja muun toiminnan laatua. Muita tässä projektissa keskeisiä laadunvarmistukseen liittyviä käsitteitä ovat toiminnanohjaus, arviointi, itsearviointi, sisäinen arviointi ja arviointitiedon hyödyntäminen. Jatkuvan parantamisen periaate on laatuajattelun keskeinen sisältö 5. Tunnettu jatkuvan parantamisen periaatteen kuvaus on PDCA-laatusykli, joka esittää systemaattisen toiminnan laadun kehittämisen vaiheet (Plan Do Check Act) 6. Laatusyklin taustalla on näkemys laadusta tarkoitukseen sopivuutena (fitness for purpose). Laadun kehittäminen tarkoittaa suunnitelmien, toimintatapojen ja prosessien kehittämistä paremmin tarkoitukseen sopiviksi siten, että tulevaisuudessa päästään aiempaa parempiin tuloksiin. Saavutettujen tulosten ja käytettyjen menetelmien arviointi sijoittuu mallissa checkvaiheeseen, jonka tarkoitus on tuottaa tietoa toiminnan onnistumisesta ja kehittämistarpeista. 7 Arvioinnilla on keskeinen rooli laadunvarmistuksessa, sillä päätelmät laadusta perustuvat aina joko formaaliin tai jonkinlaiseen informaaliin arviointiin. Korkeakouluissa toiminnanohjauksella viitataan usein siihen, että korkeakoulun johto- ja esimiestehtävissä toimivat kantavat vastuun arviointien ja palautteiden hyödyntämisestä sekä kehittämistoimenpiteiden määrittämisestä ja toimeenpanosta. Toiminnanohjauksella ymmärretään yleisesti ottaen korkea- 3 OPM KKA Kettunen & Kantola Beckford 2002, Woodhouse 2003, 134.

15 koulun vuosisuunnitteluun sisältyviä toimenpiteitä, joilla asetetaan toiminnalle tavoitteet, suunnitellaan toiminta ja toimenpiteet tavoitteiden saavuttamiseksi, resursoidaan toiminta sekä arvioidaan asetettujen tavoitteiden saavuttaminen. Toiminnanohjaus kytkeytyy selvästi enemmän laadunvarmistuksen managerialistiseen kuin kollegiaaliseen lähestymistapaan 8. Korkeakoulutuksessa laadun määrittely perustuu yleensä korkeakoulun asettamiin tavoitteisiin, jotka ilmaistaan strategiassa ja opetussuunnitelmissa. Laatu ymmärretään tällöin tarkoitukseen sopivuutena ja laatua arvioidaan suhteessa asetettuihin tavoitteisiin. 9 Laadunvarmistusjärjestelmän tehtävänä on tukea asetettujen tavoitteiden saavuttamista ja tuottaa toiminnan kehittämisen kannalta tarkoituksenmukaista tietoa, jota hyödynnetään toiminnan kehittämiseen. Edellä esitetyn perusteella laadunvarmistuksen ja toiminnanohjauksen välillä näyttää olevan luonnollinen yhteys, mutta arviointien tulosten hyödyntämistä voitaisiin edelleen tehostaa.. Arvioinnin käsitteitä Koulutuksen arviointi on moni-ilmeinen ilmiö. Arviointia on niin opiskelijoiden oppimisen arviointi 10, koulutusuudistuksen onnistumisen arviointi 11 kuin koulutusohjelmien arviointi. Yhteistä kaikelle arvioinnille on arvostelman esittäminen. Arvioinnin tekijä määrittelee, onko toiminta hyvää, huonoa tai jotakin siltä väliltä. 12 Arvioinnin eli evaluaation tarkoitus on tuottaa systemaattista informaatiota, johon liitetään arvo- ja hyötypäätelmä. Tällöin tietoa voidaan käyttää ohjaamaan jotakin toimintaa pääsemään entistä paremmin sille asetettuihin tavoitteisiin. 13 Edellä esitetty Reijo Raivolan arvioinnin määritelmä soveltuu yleispätevänä eri konteksteissa tapahtuvaan arviointitoimintaan ja kattaa useimmat arvioinnin suuntaukset. Poikkeuksena on mainittava Egon G. Guban ja Yvonne S. Lincolnin arviointiajattelu sekä muut konsultatiivisen ja konstruktivistisen, ns. arvioinnin neljännen sukupolven mallit, jotka poikkeavat huomattavasti aiemmista positivistispainotteisista, ulkoisen ja riippumattoman arvioinnin malleista. 14 Niissä arvioinnin tekijä ei toimi ulkopuolisesta tarkkailijana vaan 8 Ursin 2007, Woodhouse Brown & Pendlebury, Karjalainen Vuorenmaa Virtanen 2007, Raivola 2000, Virtanen 2007,

16 fasilitaattorina ja arviointiin osallistuvien ryhmien eri todellisuuksien tulkkina. Arvioinnin tulokset tuotetaan tällöin konsensusharkinnan perusteella. Sisäinen arviointi on vakiintunut käsite arvioinnille, jota suoritetaan säännöllisesti omasta toiminnasta esimerkiksi osana korkeakoulun sisäistä kehittämistä ilman ulkoista arviointia. Myös itsearvioinnilla tarkoitetaan organisaation omaan toimintaan, sen edellytyksiin ja tuloksiin kohdistuvaa arviointia. 15 Usein itsearviointi kuitenkin toteutetaan osana jonkin arviointi-instituution järjestämää arviointiprosessia, johon sisältyy myös ulkoinen arviointi. 16 Itsearvioinnin toteuttaminen voi auttaa työyhteisöä muodostamaan yhteistä tulkintaa palvelun laatuun vaikuttavista tekijöistä ja kehittämiskohteista sekä vahvistaa sitoutumista toiminnan kehittämiseen. Itsearviointi voi lisätä yhteistä ymmärrystä toiminnan päämääristä, tavoitteista ja kokonaisuudesta. Itsearvioinnilla voidaan saavuttaa johdon ja henkilöstön yhteinen tulkinta organisaation vahvuuksista, parantamisalueista ja kehittämiskohteista. 17 Luotettavuuden ja objektiivisuuden puuttuminen nähdään toisinaan itsearviointien ongelmiksi. Petri Virtanen 18 kuitenkin muistuttaa, että arvioinnin tekijän omat arvot vaikuttavat arviointituloksiin, johtopäätöksiin ja kehittämissuosituksiin yhtä paljon riippumatta siitä, onko kyseessä itsearviointi vai ulkoinen arviointi. Itsearviointien pulmallisuus voi tulla esiin intressikonflikteina. Arvioinnin työkalu voi suunnata huomion organisaation kriittisiin kipupisteisiin mutta myös vähäpätöisiin ja vähemmän kiistoja aiheuttaviin kysymyksiin. Itsearviointi voidaan toteuttaa jäykästi ja kaavamaisesti. Itsearvioinnin työkalujen mekaaninen soveltaminen voi johtaa vääriin tulkintoihin oman työyhteisön tai organisaation tilanteesta ja pahimmillaan lannistaa kehittämisinnon. Itsearvioinnin luotettavuuteen liittyy kysymys vuorovaikutuksellisuudesta. Vuorovaikutuksellisuuden määrä ei riitä erottelemaan luotettavaa arviointia epäluotettavasta. Arvioinnin vuorovaikutuksellisuus liittyy 1) arvioinnin tekijän ja tilaajan väliseen suhteeseen, sekä 2) arvioinnin tekijän ja kohteen väliseen suhteeseen. Petri Virtanen 19 erottaa neljä arvioinnin perusmallia: täysin riippumaton arviointi, arvioinnin kohteiden ehdolla suoritettu arviointi, arvioinnin tilaajan ehdoilla suoritettu arviointi ja kokonaisvuorovaikutuksellinen arviointi. 15 KKA 2007, Saari 2002, Virtanen 2007, emt., emt.,

17 Organisaation tai työyhteisön itsearviointi muistuttaa arvioinnin perusmalleista eniten arvioinnin kohteiden ehdolla toteutettua arviointia. Petri Virtasen 20 mukaan tällaisessa arvioinnissa arvioinnin tekijä (tai vetäjä) toimii valmentajana tai konsulttina läheisessä vuorovaikutuksessa arvioinnin kohteiden kanssa. Hyvä esimerkki tällaisesta arvioinnista on Michael Fettermanin empowerment evaluation -konsepti, jossa pyritään arvioitavan kohteen valtaistamiseen. Arvioinnin tekijä toimii mahdollistajana -valmentajana tai konsulttina läheisessä vuorovaikutuksessa arvioinnin kohteiden kanssa. Arvioinnin tekijä luo arvioinnin kohteille valmiuksia ja välineitä itsearviointiin. Kohteet määrittelevät itse arvioinnin kriteerit ja sovellettavat tutkimusmenetelmät. Tämän ajattelutavan mukaan arviointien hyödynnettävyys paranee, kun arvioinnin kohteena olevat toimijat saavat vaikuttaa arviointiprosessin kulkuun ja lopputulokseen.. Arvioinnin hyödyntäminen Arviointia on totuttu jäsentämään kolmesta teoreettisesta näkökulmasta. Näkökulmat ovat arviointitiedon metodologia, arviointitiedon arvologiikka sekä arviointitiedon käyttö ja hyödyntäminen. 21 Viimeinen näkökulma on tämän projektin kannalta keskeinen. Evaluaatio pyrkii parantamaan ja tehostamaan toimintoja ja sisältää aina toiminnan arvottamisen. Evaluaation käsitteeseen on sisäänrakennettu muutoksen vaatimus. 22 Vaikka tähän näkemykseen on helppo yhtyä, arvioinnin hyödyntäminen on käytännössä havaittu ongelmalliseksi ja monisäikeiseksi ilmiöksi. Tätä osoittaa jo aihetta käsittelevän evaluaatiokirjallisuuden laajuus. Normatiivisen laatukirjallisuuden piirissä arviointien hyödyntämisen problematiikka on pitkälti sivuutettu. Michael Patton 23 erottaa kolme tapaa hyödyntää arvioinnin tuloksia. Ensinnäkin arvioinnin tulokset voivat palvella johtopäätösten tekemistä arvioitavan kohteen arvosta ja ansioista, jolloin kyseessä on tilivelvollisuuteen liittyvä arviointi (judgment-oriented evaluation). Arvioinnissa voidaan esimerkiksi asettaa kysymys, onko ohjelman tavoitteet saavutettu ja kannattaako ohjelman toteuttamista jatkaa. Toiseksi arviointi voi tukea toiminnan kehittämistä, 20 emt., 40 41, Alkin & Christie 2004, 12 14; Virtanen 2007, Raivola 2000, Patton 1997,

18 jolloin kyseessä on kehittävä arviointi (improvement-oriented evaluation). Tällöin arvioinnissa tarkastellaan esimerkiksi ohjelman vahvuuksia ja heikkouksia sekä asiakkaiden ja eri sidosryhmien näkemyksiä toteutuksen onnistumisesta. Kolmanneksi arviointi voi tuottaa tietoa, jolloin kyseessä on tietoa yleisesti lisäävä arviointi (knowledge-oriented evaluation). Pattonin mukaan kaikki kolme arvioinnin hyödyntämisen tapaa voivat tukea päätöksentekoa. Tilivelvollisuusarviointiin ja kehittävään arviointiin sisältyy arvioinnin tulosten instrumentaalinen käyttö. Tällä tarkoitetaan sitä, että päätökset tai toimenpiteet ovat suoraan seurausta arvioinnista. Tilivelvollisuusarvioinnissa päätös voi esimerkiksi koskea sitä, jatketaanko vai lopetetaanko jokin toiminta kokonaan, tai laajennetaanko vai supistetaanko toimintaa. Kehittävä arviointi puolestaan johtaa yleensä inkrementaalisiin pienten askelten parannuksiin. 24 Arvioinnin tulokset ovat kuitenkin harvoin ainoa syy kehittämistoimille tai päätöksille. Arviointitulokset kartuttavat tietämystä vähitellen, vaikka tulokset eivät johda suoraan päätöksiin tai kehittämistoimiin. Tällöin puhutaan arviointitulosten käsitteellisestä käytöstä (conceptual use of findings) tai tietoisuutta lisäävästä käytöstä (enlightment use). Arviointitulokset voivat esimerkiksi auttaa täsmentämään ohjelman tavoitteita ja tulosten arviointia, kuvata toiminnassa opittua (lessons learned) tai auttaa muotoilemaan uusia politiikkalinjauksia. Käsitteellinen käyttö voi tarkoittaa yleisemmin syvempää ymmärrystä toiminnasta tai yhteisen ymmärryksen luomista. Vielä 1970-luvulla arviointiteoreetikot sivuuttivat arviointitulosten käsitteellisen käytön, mutta sen merkitys on tunnustettu 1990-luvulta lähtien. Esimerkiksi politiikkapäätökset seuraavat yksittäisten arviointien tuottaman tiedon kumuloituessa, mutta yksittäisen arvioinnin tulosten ja päätöksenteon yhteys on vaikeasti havaittavissa. 25 Arvioinnin hyödynnettävyyden määrä on arvioinnin keskeisin laatukriteeri Michael Pattonin hyödyntämiskeskeisen arvioinnin (utilisation-focused evaluation) mallissa. 26 Hyödyntämiskeskeinen arviointi on prosessi, jossa tunnistetaan arvioinnin todelliset käyttäjät arviointihankkeen alussa ja yhdessä heidän kanssaan suunnitellaan arviointi ja sen hyödyntämisen tavat 27. Arvioinnin suunniteltua käyttöä voidaan tarkastella paitsi edellä esitettyyn tapaan arviointitulosten hyödyntämisen näkökulmasta, myös arviointiprosessin hyödyntämisen (intended process use) kannalta. Arviointiprosessin hyödyntä- 24 Patton 1997, emt., Virtanen 2007, Patton 1997,

19 misellä tarkoitetaan arvioinnin aikana oppimisen seurauksena tapahtuvia yksilötason muutoksia ajattelussa ja käyttäytymisessä sekä organisaatiotasolla tapahtuvia toimintatapojen tai -kulttuurin muutoksia. Arviointiprosessin hyödyntämisestä kertovat arviointeihin osallistuneiden toteamukset siitä, että arvioinnin tuloksia enemmän heihin vaikutti arviointiprosessin aikana käynnistynyt ajatteluprosessi. Michael Patton 28 on tarkastellut monipuolisesti eri tapoja hyödyntää arviointiprosessia ja arvioinnin logiikkaa. Tässä yhteydessä keskitytään arvioinnin käyttöön yhteisen näkemyksen rakentamisessa. Arviointia voidaan käyttää yhteisen jaetun näkemyksen luomiseen. Esimerkkejä tästä ovat henkilöstön yhteisen ymmärryksen luominen siitä, mitä ovat tavoitellut lopputulokset sekä johdon ja henkilöstön yhteisen näkemyksen kirkastaminen. Arviointi voi auttaa henkilöstöä suuntaamaan huomionsa tärkeimpiin lopputuloksiin ja tuomaan johdolle esiin näkemyksensä siitä, ovatko tavoitellut lopputulokset realistisia. Arvioinnin logiikka edellyttää osallistujia paitsi ilmaisemaan itseään mahdollisimman täsmällisesti ja selvästi myös kuuntelemaan tarkkaan ja huolellisesti muita, reflektoimaan kuulemaansa sekä antamaan palautetta kuulemastaan. Arvioinnin onnistuminen riippuu pitkälti viestinnän onnistumisesta. Toisaalta arviointi kannustaa toimijoita kommunikoimaan ymmärrettävästi. Arviointi voi onnistuessaan parantaa yhteistä sitoutumista tuloksiin eri organisaatiotasoilla. 29 Itsearvioinnin hyödyntäminen riippuu pitkälti organisaation kypsyystasosta ja valmiudesta kriittiseen itsearviointiin. Heikko organisaatiokulttuuri ja johdon vastaanottamattomuus heikentävät mahdollisuuksia hyödyntää arviointia. 30 Arviointitiedon kattava kerääminen ja tehokas hyväksikäyttö edellyttävät johdon vahvaa tukea. 31 Michael Patton 32 on tunnistanut organisaatioiden sisäisen arvioinnin parissa työskentelevien arvioinnin asiantuntijoiden työn ongelmakohtia. Organisaation johdon ja henkilöstön on vaikea sitoutua arviointiprosessiin ja tunnistaa arvioinnin asiantuntijan valmentavaa roolia hyödyntämiskeskeisessä arviointimallissa. Sen sijaan että asiantuntija toimisi arvioinnissa valmentajan roolissa, hänen odotetaan toteuttavan arvioinnin itse. Hän voi joutua käyttämään suhteettoman paljon aikaa työläisiin tiedonkeruisiin ja raportointiin. Keskittyminen lyhyen aikavälin raportointiin vie mahdollisuudet toteuttaa vaativia mutta merkittäviä arviointitehtäviä. Lisäksi sisäistä arviointia tekevä 28 emt., Patton 1997, Virtanen 2007, Davenport & Harris 2007, Patton 1997,

20 asiantuntija toimii usein etäällä päätöksenteosta, toiminnan suunnittelusta ja tärkeistä informaatioverkostoista, jolloin he eivät pysty ottamaan huomioon kehittämisaloitteita ja -linjauksia suunnitellessaan arviointeja. Arvioijalta puuttuu yleensä myös muodollinen auktoriteettiasema, eikä arvioinnin hyödyntämistä varmistava jälkiseuranta yleensä lukeudu arvioijan tehtäviin. Tiivistetysti voidaan todeta, että arvioijan vaikutusmahdollisuudet ovat vähäiset, jos hän toimii etäällä organisaation johdosta ja hänen työnsä nähdään raportointina. Michael Patton 33 näkee, että organisaation sisäisen arviointiasiantuntijan roolin uudelleenmäärittely on avain sisäisen arvioinnin tehokkaaseen hyödyntämiseen. Sisäisen arvioinnin uskottavuuden ja hyödyntämisen kannalta on tärkeää, että arvioijalla on organisaatiossa korkea status ja todellista valtaa. Arviointi tulee nähdä ylemmän johdon velvollisuutena ja johtamistyön osa-alueena, jossa korostuu tiedon hyödyntäminen päätöksenteossa, sen sijaan että arviointi nähdään sisäiseen raportointiin liittyvänä tiedonkeruuna. Michael Pattonin mielestä arvioinnin tulee sisältyä kaikkien johtajien ja päälliköiden tulosorientoituneeseen johtamiseen. Tällöin organisaation sisäisestä arvioinnista vastaava henkilö voi toimia mahdollistavassa roolissa valmentajana ja huolehtia arviointien resursoinnista sen sijaan, että hän käyttäisi itse aikaa arviointien toteuttamiseen. Patton erottaa tulosorientoituneessa johtamisessa ( results-oriented leadership ) neljä tehtäväaluetta: 1. tulosorientaatioon ja aitoon itsearviointiin perustuvan kulttuurin rakentaminen 2. prosessin johtaminen: määritellään tavoitteet, joihin nähden ollaan tilivelvollisia 3. mielekkään ja uskottavan seurannan rakentaminen tavoitteiden saavuttamiselle 4. seurannan tulosten hyödyntäminen. Michael Patton 34 esittää arvioinnin tekijöille vinkkejä, jotka voivat auttaa parantamaan arvioinnin hyödyntämistä. Ensinnäkin arvioinnin tekijän tulee miettiä arvioinnin tulosten relevanssia ja raportin käytettävyyttä käyttäjän kannalta. Kaikki tieto ei ole suoraan hyödyllistä, vaan arvioinnilla tulee olla käyttäjälle informaatioarvoa. Tämä toteutuu esimerkiksi silloin, kun arviointi vähentää päätöksentekijän epävarmuutta ja siten parantaa hänen kontrolliaan asioihin. Toiseksi, kohdistettu arviointitieto on hyödyllisempää kuin kohdistamaton. Haasteena on tuottaa oikeaa informaatiota oikeille ihmisille. Kaikki ihmiset eivät ole arvioinnin käyttäjiä. Arvioinnin tekijän on ryhmiteltävä arvioinnin hyödyntäjät sen perusteella, millaista tietoa he tarvitsevat. Kolmas 33 Patton 1997, emt.,

21 arvioinnin hyödynnettävyyden kannalta tärkeä tekijä on arviointitiedon uskottavuus. Mitä poliittisempi arvioinnin konteksti ja mitä näkyvämpi arviointi on, sitä tärkeämmäksi uskottavuuden kannalta muodostuu arviointihankkeen laadun ulkopuolinen arviointi. Petri Virtanen 35 korostaa arvioinnin hyödyntämisen monivaiheisuutta. Arviointiprosessin aikana on tärkeä luoda erilaisia vuorovaikutuksen foorumeita. Taitava arvioija osaa viestiä kiinnostavalla tavalla arviointihankkeesta ja luoda näin kysyntää ja kiinnostusta arvioinnin tuloksia kohtaan. Thomas Davenportin ja Jeanne Harrisin 36 mukaan arviointitietoa hyödyntäviä ja menestyneitä organisaatioita yhdistää neljä ominaisuutta: arviointitieto ja sen hyödyntäminen tukee omaleimaisia strategisia tavoitteita arviointitiedon kerääminen ja käyttäminen kattaa koko toiminnan ylin johto on sitoutunut arviointitiedon keräämiseen ja käyttämiseen toiminnan tavoitteet uskalletaan asettaa korkeiksi. Arviointitieto on organisaation kilpailutekijä, jos se tukee sellaista ominaisuutta, jolla organisaatio erottautuu kilpailijoistaan. Arviointitiedon keräämistä ja hyödyntämistä ei ole hyvä rajata vain tiettyyn organisaation osaan tai tiettyyn ryhmään. Tiedon kerääminen koko organisaatiosta mahdollistaa tasapuolisen kehittämisen ja toisaalta resurssien suuntaamisen strategisesti tärkeisiin kohteisiin. Koko organisaation kannalta keskeisten tietojen ja analyysien hallinta kannattaa hoitaa keskitetysti. Tällä varmistetaan, että tiedoista ja analyysien tuloksista on olemassa vain yksi versio, jota organisaation eri tasot voivat hyödyntää. 37. Organisatorisen oppimisen näkökulma arvioinnin hyödyntämiseen Arvioinnin hyödyntämisen problematiikkaa voidaan jäsentää organisatorisen oppimisen teorioiden avulla. Edellä viitattiin Michael Pattonin 38 ja Petri Virtasen 39 näkemyksiin (itse)arvioinnin hyödyntämisestä pyrittäessä lisäämään yhteistä ymmärrystä esimerkiksi toiminnan tavoitteista ja kokonaisuudesta tai organisaation vahvuuksista, parantamisalueista ja kehittämiskohteista. Organisa- 35 Virtanen 2007, Davenport & Harris 2007, emt., Patton Virtanen 2007.

22 torisen oppimisen malleissa mennään askelta pidemmälle ja tarkastellaan miten organisaation käytännöt muuttuvat. Organisatorisen oppimisella tarkoitetaan tässä raportissa Ellströmin 40 tavoin niitä organisatoristen käytänteiden muutoksia, jotka välittyvät yksilöllisten oppimis- ja ongelmanratkaisuprosessien kautta organisaation tasolle. Muuttuvat käytänteet voivat olla rutiineja, menettelytapoja, rakenteita, teknologioita tai järjestelmiä. Määritelmän mukaan yksilön oppiminen on organisatorisen oppimisen välttämätön mutta ei riittävä ehto. Crossanin, Lanen ja Whiten 41 esittämä organisatorisen oppimisen viitekehys pyrkii yhdistämään yksilön, ryhmän ja organisaation oppimisen tasot sekä näiden väliset vuorovaikutussuhteet ja -prosessit. Oppiminen ja innovatiivisten ideoiden syntyminen tapahtuu yksilöiden kautta eikä organisaatiolle sinällään. Yksilöiden luoma tieto ei ole kuitenkaan organisaatiolle suoraan merkityksellistä vaan edellyttää keskustelua ja jakamista muiden kanssa sekä yhteisten jaettujen merkitysten muodostumista. Tietty osa yksilöllisesti opitusta ja ryhmissä muodostuneesta jaetusta ymmärryksestä voi institutionalisoitua organisaation käytänteiksi. Organisaation oppiminen nähdään eri tasot ylittävänä dynaamisena prosessina, johon sisältyy uuden oppimisen ja aiemmin opitun hyödyntämisen välinen jännite. Crossanin ym. 42 organisaation oppimisen viitekehys sisältää neljä organisatorisen oppimisen aliprosessia intuitio, tulkinta, integraatio ja institutionalisointi jotka ilmenevät kaikilla kolmella tasolla: yksilö, ryhmä ja organisaatio. Oppimisen kolme tasoa määrittävät rakenteen, jonka kautta organisaation oppiminen tapahtuu, ja aliprosessit sitovat rakenteen yhteen. Intuitio ja tulkinta tapahtuvat yksilötasolla, tulkinta ja integraatio ryhmän tasolla, ja integraatio sekä institutionalisoituminen organisaation tasolla. Uudet ideat virtaavat yksilötasolta ryhmän kautta organisaatioon vaakatason syöteprosessin myötä. Samalla organisaatiotasoinen institutionalisoitunut oppiminen vaikuttaa ryhmien ja yksilöiden ajattelu- ja toimintatapoihin, mitä esittävät pystysuuntaiset palauteprosessit (kuvio 2). 40 Ellström Crossan, Lane & White Crossan, Lane & White 1999.

23 Yksilö Ryhmä Organisaatio Uuden oppimisen syöteprosessi (feed forward) Yksilö Intuitio Tulkinta Ryhmä Opitun palaute- Prosessi (feedback) Integrointi Organisaatio Institutionalisoituminen Kuvio. Organisatorisen oppimisen dynaaminen prosessi Uudistumisen kannalta ongelmallinen kohta on uuden oppimisen tulkintaja integrointiprosessien välillä. Siirtyminen tulkinnasta integrointiin merkitsee siirtymistä yksilöllisestä oppimisesta yksilöiden väliseen tai ryhmässä oppimiseen. Tähän sisältyy yksilöllisesti muodostuneiden kognitiivisten karttojen yhdistäminen ja kollektiivinen tulkinta niin, että ryhmässä syntyy yhteinen jaettu näkemys. Yhteisen jaetun todellisuuden muuttamisessa on useita haasteita, alkaen oman hiljaisen tiedon muuntamisesta eksplisiittiseksi ja kommunikoimisesta muille. Yksilöiden omat kognitiiviset kartat toimivat viestinnän suhteen suodattimina. Ihmisillä on pikemmin taipumus nähdä totena se mihin he uskovat kuin uskoa totena se minkä he näkevät. Yhteinen toiminta luo mahdollisuuden jakaa yhteinen kokemus, mikä voi edistää yhteisen käsityksen muodostumista. 44 Crossanin ja hänen tutkijakollegoidensa kuvaus tulkinnasta integrointiin siirtymisestä auttaa ymmärtämään ensinnäkin itsearviointiprosessin aikana tapahtuvaa tiedonmuodostusta. Arvioinnissa yksilöiden erilaiset näkemykset kohtaavat, jolloin yhteisen näkemyksen muodostaminen voi olla haastavaa. 43 Crossan, Lane & White emt.

24 Toisaalta itsearviointi yhteisenä toimintana merkitsee mahdollisuutta muodostaa yhteistä näkemystä. Toiseksi, viitekehys auttaa ymmärtämään sitä, miksi arvioinnin tulosten instrumentaalinen käyttö on harvinaista. Arviointiraporttiin kirjoitettuja tuloksia tulkitaan ensin yksilötasolla (intuitio), minkä jälkeen tuloksista tuli tehdä yhdessä johtopäätökset ja sopia toimenpiteistä (integrointi). Arvioinnin suosituksia saatetaan soveltaa jossain organisaatioyksikössä ripeästi ja kirjaimellisesti, kun taas toisessa yksikössä tulokset voidaan unohtaa kokonaan. Laajassa organisaatiossa arvioinnin perusteella tehtävien kehittämistoimenpiteiden institutionalisoituminen koko organisaation yhteisiksi käytänteiksi on usein pitkäkestoinen organisatorisen oppimisen prosessi.

25 Toiminnanohjaus ja laadunvarmistus benchmarking-korkeakouluissa. Toiminnanohjaus ja laadunvarmistus Turun ammattikorkeakoulussa.. Toiminnanohjaus Turun ammattikorkeakoulussa toteutettiin vuosina laajamittainen toiminnanohjauksen kehittämisprojekti. Projektin alkuvaiheessa toiminnanohjauksen käytännöt arvioitiin ja tarkennettiin yhteen laajaan prosessikaavion, joka määritteli prosessin vaiheet, tapahtumat, toimijat ja heidän tehtävänsä sekä näiden keskinäiset riippuvuudet. Toiminnanohjausprosessin tehtävät ja tietovirrat kuvattiin seuraavien toimijoiden kannalta: opetusministeriö, ylläpitäjä eli Turun kaupunki, ammattikorkeakoulu, tulosalue, koulutusohjelma tai tukitoiminto sekä henkilö. Toiminnanohjausprosessin vaiheiksi tunnistettiin: 1) strategisten tavoitteiden asettaminen, 2) toiminnan ja talouden suunnittelu, 3) toimeenpano ja seuranta, sekä 4) vuosiraportointi. Toiminnanohjauksen käsitteen alle samaan prosessikaavioon jäsennettiin 1. opetusministeriön, Turun ammattikorkeakoulun ja Turun kaupungin välisen tavoitesopimuksen (Taso) valmisteluprosessi, 2. Turun ammattikorkeakoulun ja Turun kaupungin välinen talousarvion valmistelu (omistajaohjaus), sekä 3. ammattikorkeakoulun sisäinen toiminnanohjausprosessi. Toiminnanohjauksen kehittämisprojektissa määriteltiin prosessin tietovirrat (dokumentit, käsitteet, looginen tietomalli), minkä perusteella tuli mahdolliseksi toteuttaa toimijoita heidän tehtävissään palveleva räätälöity tietojärjestelmäkokonaisuus, 4T-portaali ja tietovarasto. Portaali on selainpohjainen käyttöliittymä, joka sisältää yhteen paikkaan koottuna työkalut sekä tarpeelliset pohjatiedot, joita korkeakoulun johto sekä eri organisaatioyksiköiden vastuuhenkilöt ja henkilöstö tarvitsevat toiminnanohjauksen tehtäviin Kettunen & Kantola 2005.

26 Kaikki Turun ammattikorkeakoulun laadunvarmistusjärjestelmän menettelyt eivät sisälly toiminnanohjausprosessin kuvaukseen eikä toiminnan arviointia ole esitetty toiminnanohjauksessa omana vaiheenaan. Silti kunkin organisaatioyksikön toiminnan suunnittelua edeltää kevyt itsearviointi, joka on sisään rakennettu toimintasuunnitelmakäytäntöön.... Strategisten tavoitteiden asettaminen Strategiset linjaukset ja tavoitteet määritellään valtuustokausittain eli neljä vuoden välein ammattikorkeakoulun kokonaisstrategiassa 46, jonka vahvistaa Turun kaupunginhallitus, sekä toisaalta kolmevuotisessa tavoitesopimuksessa, jonka osapuolet ovat opetusministeriö, Turun kaupunki ja ammattikorkeakoulu. Sopimustarjouksen valmistelu käynnistetään opetusministeriön marraskuussa järjestämän tavoiteohjausseminaarin ja joulukuussa saapuvan opetusministeriön ohjekirjeen perusteella. Tavoitesopimustarjousta valmistellaan vuosittain tammikuussa pidettävässä strategiaseminaari I:ssä. Ammattikorkeakoulu lähettää tammikuun lopussa opetusministeriölle ammattikorkeakoulun hallituksen hyväksymän tarjouksen tavoitesopimusta tai sen lisäpöytäkirjaa varten. Sopimustarjous sisältää ammattikorkeakoulun tulosanalyysin, esitykset uusista koulutusohjelmista ja suunnitelman koulutuksen määrällisestä mitoituksesta. Opetusministeriö lähettää vastatarjouksensa maalis huhtikuussa ennen tavoitesopimusneuvottelua, johon osallistuvat ammattikorkeakoulun johdon ja ylläpitäjän edustajat. Tavoitesopimuksen allekirjoittaa syyskuussa rehtori ammattikorkeakoulun puolesta ja apulaiskaupunginjohtaja ylläpitäjän puolesta.... Toiminnan ja talouden suunnittelu Ammattikorkeakoulu tekee vuosittain kaupunginhallitukselle talousarvioehdotuksen ja taloussuunnitelman kolmevuotiskaudelle. Talousarvioehdotus sisältää paitsi määrärahat ja tuloerät tulosalueittain myös koko ammattikorkeakoulun strategisen kehyksen eli arvion toimintaympäristön muutoksista ja tuloskorteille sijoittuvat kriittiset menestystekijät sekä niiden seurantamittareiden tavoitearvot koko ammattikorkeakoulun tasolla. Talousarvioehdotuksen valmistelu käynnistyy kesäkuun alussa sen jälkeen, kun kaupunginhallitus on päättänyt ammattikorkeakoulun talousarvion ohjeluvusta ja ammattikorkeakoulun hallitus on päättänyt määrärahojen jakamisen perusteista ja tulosaluekohtaisista ohjeluvuista. Ammattikorkeakoulun toiminnan ja talouden 46 Turun ammattikorkeakoululla on lisäksi kokonaisstrategiaa tarkentavia yhteisiä osastrategioita kuten T&K-strategia, pedagoginen strategia, kansainvälistymisstrategia, henkilöstöstrategia, aluekehitysstrategia ja tietohallintostrategia. Näiden hyväksymisestä päättää ammattikorkeakoulun hallitus.

27 suunnittelun lähtökohdat ja ohjeistukset käsitellään toukokuussa pidettävässä sisäisessä strategiaseminaari II:ssa. Talousarvioehdotus valmistellaan toiminnanohjauksen 4T-portaalissa siten, että jokainen organisaatioyksikkö valmistelee oman osuutensa noudattaen ammattikorkeakoulun hallituksen vahvistamia määrärahojen jakoperiaatteita ja annettuja ohjelukuja. Ammattikorkeakoulun hallitus tekee ylläpitäjälle talousarvioehdotuksen syyskuun puolivälissä. Lisäksi hallitus käsittelee ammattikorkeakoulun ja sen tulosalueiden toimintasuunnitelmat sekä henkilöstösuunnitelmat. Kaupunginjohtaja tekee talousarvioesityksen kaupunginhallitukselle lokakuussa ja kaupunginvaltuusto päättää talousarvion hyväksymisestä marraskuun lopulla tai joulukuun alussa. Tämän jälkeen ammattikorkeakoulu tekee tarkennetun talousarvion käyttösuunnitelman. Tavoitesopimuksessa sovittuja ja ammattikorkeakoulun strategiassa määriteltyjä strategisia linjauksia ja tavoitteita viedään eteenpäin systemaattisen toiminnanohjauksen vuosiprosessin avulla. Toiminnanohjausprosessi ymmärretään ydinprosessien (koulutus, innovaatioprosessi eli tutkimus- ja kehitystoiminta) ja tukiprosessien kehittämistä ohjaavaksi prosessiksi. Sen tärkeimmät työkalut ovat talousarvio ja toimintasuunnitelma, joiden hallintaa varten on toteutettu selainpohjaiset työkalut 4T-portaaliin. Tämän projektin näkökulmasta 4T-portaalin keskeinen työkalu on toimintasuunnitelma, joka perustuu tasapainotetun tuloskortin eli Balanced Scorecardin 47 viitekehykseen. Ammattikorkeakoulu, tulosalueet, koulutusohjelmat ja tukitoiminnot määrittelevät toimintasuunnitelmassaan kehittämistavoitteet eri näkökulmista. Ammattikorkeakoulun ja opetuksen tulosalueen toimintasuunnitelma sisältää tasapainotetun tuloskortiston viisi näkökulmaa, jotka ovat yhteiskunnalliset vaikutukset, asiakkuus, talous, prosessit ja osaaminen. Kuhunkin näkökulmaan sisältyvien kokonaisstrategian mukaisten tavoitteiden konkretisointi sanallisiksi vuositavoitteiksi ja määrällisiksi seurantamittareiden vuositavoitteiksi. Määrälliset tavoitteet asetetaan seuraaville kolmelle vuodelle toimintasuunnitelmaan. Itsearvioinnin ja tavoitteenasettelun tueksi portaaliin haetaan automaattisesti kunkin organisaatioyksikön seurantamittareiden toteutumatiedot kolmen edellisen vuoden ajalta. Tämän tekee mahdolliseksi tietovarasto, jonne ladataan eri lähdejärjestelmien (kirjanpito, henkilöstöhallinto, opiskelijahallinto) tiedot. Tietovarasto mahdollistaa luotettavan ja ajantasaisen seurantatiedon saamisen raportoinnin ja suunnittelun tueksi. 47 Kaplan & Norton 1996; 2001; 2004.

28 ... Toimeenpano, seuranta ja vuosiraportointi Opetusministeriön tavoitesopimusneuvottelussa käsitellään onnistumista ammattikorkeakoulun laatiman tulosanalyysin, AMKOTA-tietokannan profiiliraportin sekä opetusministeriön toimittaman tilastoaineiston perusteella. Ammattikorkeakoulun tulosanalyysi valmistellaan tammikuussa tulosalueiden ja toimintojen tulosanalyysien perusteella. Profiiliraportit ja opetusministeriön ennen tavoiteneuvottelua toimittamat tuloksellisuusmittareiden tilastoaineistot mahdollistavat vertailun muihin ammattikorkeakouluihin. Ammattikorkeakoulun strategisten tavoitteiden toteutumista arvioidaan toiminnanohjausprosessiin kuuluvien sisäisten strategiaseminaarien puitteissa ja toimintasuunnitelmien seurantamittareiden sekä muiden tietosisältöjen perusteella. Ylläpitäjän omistajaohjauksen puitteissa talouden ja seurantamittareiden toteutumia seurataan kaupunginvaltuuston määrittämällä tavalla toiminnan seurannan raportissa huhtikuun ja elokuun tilanteiden mukaan sekä tilinpäätöksen yhteydessä seuraavan vuoden helmikuussa. Toiminnan seurannan raportissa käytetään samoja mittareita kuin ammattikorkeakoulun talousarvioehdotuksessa. Tarkastelutasona on koko ammattikorkeakoulu. Seurantamittareiksi on valittu lukumääräisesti vähemmän ja pääosin samoja mittareita kuin ammattikorkeakoulun ja sen tulosalueiden toimintasuunnitelmassa (4T-portaalissa). Osavuosiraporteissa käsitellään tavoitteiden toteutumista ja vuosiennusteita liikennevalo-symbolien avulla. Mikäli ammattikorkeakoulu arvioi, että tiettyä tavoitetta ei tulla saavuttamaan, raporttiin kirjataan tästä rehtorin sanallinen kommentti. Talouden toteutumaennusteet käsitellään joka toinen kuukausi ammattikorkeakoulun hallituksessa sekä johtoryhmässä. Toiminnan seurannan raportit käsitellään ammattikorkeakoulun hallituksessa. Ammattikorkeakoulun sisäisen toiminnanohjausprosessin ytimenä on ammattikorkeakoulun rehtorin johdolla vuosittain marraskuussa käytävä tulosalueen ja ammattikorkeakoulun johdon välinen tavoiteneuvottelu. Tavoiteneuvotteluihin osallistuvat rehtori, vararehtorit, kehityspäällikkö ja talouspäällikkö sekä kultakin opetuksen tulosalueelta koulutusjohtaja, koulutuspäälliköt sekä tutkimus- ja kehityspäällikkö. Vastaavat tavoiteneuvottelut käydään myös kehittämisen tulosalueen palvelukokonaisuuksien (korkeakoulupalvelut, innovaatiopalvelut) kanssa hyödyntäen 4T-portaaliin tallennettuja toimintasuunnitelmia. Tavoiteneuvottelussa käsitellään tulosalueen toiminnan tuloksellisuutta ja kehittymistä sekä määritellään seuraavan vuoden toimintasuunnitelman toiminnalliset tavoitteet ja kehittämistoimenpiteet. Rehtori vahvistaa tulosalueiden toimintasuunnitelmat vuoden lopussa talousarvion käyttösuunnitelman hyväksymisen yhteydessä. Kunkin tulosalueen koulutusjohtaja vastaa sovittujen toiminnallisten ja taloudellisten tavoitteiden saavuttamisesta. Vuodesta 2008 lähtien koulutus-

29 johtaja esittää tavoiteneuvottelussa kirjallisen raportin kuluvan vuoden toimintasuunnitelmaan sisältyvien toimenpiteiden toteutumisesta. Tähän tarkoitukseen soveltuva työkalu kuitenkin vielä puuttuu 4T-portaalista. Portaaliin tullaan rakentamaan vuonna 2009 toimintasuunnitelmien seurannan toiminnallisuus, jolla voidaan dokumentoida kuluvan vuoden toimintasuunnitelmaan määriteltyjen toimenpiteiden toteutumisesta. Toiminnanohjausprosessin nykyiset tehtävät koulutusjohtajan näkökulmasta on esitetty kuvion 3 vuosikellossa. Kuvio. Tulosalueen toiminnanohjausprosessi koulutusjohtajan tehtävinä Turun ammattikorkeakoulu otti vuonna 2006 käyttöön kannustinmekanismina oman tuloksellisuusrahoituksen, jonka volyymi on yksi prosentti ammattikorkeakoulun nettomenoista. Tuloksellisuusrahoituksen kohdentuminen eri opetuksen tulosalueille osaksi seuraavan vuoden talousarviota määritellään alkusyksyllä ammattikorkeakoulun hallituksen vahvistamien tuloksellisuuskriteerien perusteella. Kriteerit ovat määrällisiä lukuun ottamatta sanallista arviota tulosalueen toiminta- ja uusiutumiskyvystä. Tuloksellisuus arvioidaan edellisen vuoden toteutumien perusteella ja kullakin kriteerillä vain paras opetuksen tulosalue palkitaan.

30 .. Laadunvarmistus Turun ammattikorkeakoulussa laadunvarmistusjärjestelmä nähdään tarkoitukseen sopivuuden (fitness for purpose) näkökulmasta. Laadulla ymmärretään ammattikorkeakoulun onnistumista tehtävissään. Lähtökohtana ovat korkeakoulupoliittiset sekä ammattikorkeakoulun ja ylläpitäjän asettamat tavoitteet. Onnistumista ja menettelyiden tarkoituksenmukaisuutta arvioidaan suhteessa asetettuihin tavoitteisiin, jotka on määritelty strategioissa, toimintasuunnitelmissa ja opetussuunnitelmissa. Laadunvarmistusjärjestelmän tavoitteena on varmistaa, että asetetut tavoitteet saavutetaan. Laadunvarmistusjärjestelmän tehtävänä on selvittää, miten Turun ammattikorkeakoulu ja sen toimintayksiköt ovat onnistuneet tehtävissään, tuottaa hyödyllistä tietoa toiminnan kehittämiseen, varmistaa toimintaprosessien ja käytäntöjen tarkoituksenmukaisuus ja hallittavuus suhteessa tavoitteisiin sekä viestiä toiminnan tuloksista ja laadusta korkeakouluyhteisölle (opiskelijat, henkilöstö, johto) sekä ulkoisille sidosryhmille. Toiminnan lähtökohtien ja strategian tarkoituksenmukaisuuden tarkastelu ei sisälly laadunvarmistusjärjestelmään. Toimivat suunnitteluprosessit varmistavat, että tavoitteet ovat kohdallaan. Kaikki Turun ammattikorkeakoulun laadunvarmistusjärjestelmän menettelyt eivät sisälly toiminnanohjausprosessin kuvaukseen eikä toiminnan arviointia ole esitetty toiminnanohjauksessa omana vaiheenaan. Turun ammattikorkeakoulussa ajatellaan, että toiminnanohjaus ja laadunvarmistus kohtaavat toimintasuunnitelmassa. Ammattikorkeakoulun sisäisissä tavoiteneuvotteluissa arvioidaan tulosalueiden toimenpiteiden nivoutumista koko organisaatioiden tavoitteisiin. Laadun parantamiseksi tehtävät toimenpiteet eivät jää irrallisiksi tulosalueen tai yksikön tehtäviksi vaan ne integroituvat koko ammattikorkeakoulun strategiseen johtamiseen ja toiminnanohjaukseen. Kunkin organisaatioyksikön toimintasuunnitelman valmisteluun sisältyy kevyt itsearviointi, jonka kysymykset on sisällytetty toimintasuunnitelmaan. 4T-portaalin toimintasuunnitelma on konkreettinen työkalu, joka kannustaa toimintasuunnitelmista vastaavia (rehtori, vararehtorit, koulutusjohtajat, koulutuspäälliköt, tukitoimintojen päälliköt) arviointitiedon ja palautteiden hyödyntämiseen toiminnan kehittämiseksi. Toimintasuunnitelmakäytäntö vahvistaa johtamisen kytkentää laadunvarmistukseen. 48 Laadunvarmistusjärjestelmän kattavuus ja kytkentä strategiseen johtamiseen, toiminnanohjaukseen ja muuhun johtamistyöhön on esitetty kuviossa Kettunen & Kantola 2005; Kettunen & Kantola 2007.

31 Kuvio. Turun ammattikorkeakoulun laadunvarmistusjärjestelmän kattavuus ja kytkentä toiminnanohjaukseen Turun ammattikorkeakoulu on kaikessa toiminnassaan sitoutunut jatkuvaan parantamiseen. Laadunvarmistus kattaa korkeakoulun koko toiminnan: koulutuksen, tutkimus- ja kehitystoiminnan sekä johtamisen ja tukiprosessit. Laadunvarmistusjärjestelmän kokonaisrakenne noudattaa jatkuvan parantamisen periaatetta ja laatusykliä. Koko ammattikorkeakouluyhteisö osallistuu laadunvarmistukseen rehtorin johdolla. Laadunvarmistusjärjestelmän ja sen menettelyiden toimivuudesta ja kehittämisestä vastaa kehityspäällikkö. Vararehtorit, koulutusjohtajat, koulutuspäälliköt ja tukitoimintojen päälliköt vastaavat toiminnallisten ja taloudellisten tavoitteiden saavuttamisesta omilla vastuualueillaan. Opettajat osallistuvat opetussisältöjen ja -menetelmien sekä oppimisen arviointimenettelyjen kehittämiseen oman koulutusohjelmansa opetussuunnitelmatyön puitteissa. Opiskelijat toimivat osaamista tuottavissa opetus oppimisprosesseissa vastuullisina kumppaneina ja osallistuvat usein myös oppimisen arviointiin. Opiskelijat antavat opetus oppimisprosessien ja tukiprosessien toimivuudesta palautetta ja osallistuvat edustajiensa välityksellä toiminnan kehittämiseen. Ammattikorkeakoulun koko henkilöstö osallistuu laatutyöhön omien toimintaprosessiensa arvioinnin ja kehittämisen kautta.

32 Laadun hallintaan, arviointiin ja parantamiseen käytetään erilaisia tarkoituksenmukaisia menettelyjä. Niiden käyttö on hahmotettu suhteessa laatusyklin osa-alueisiin: tavoitteet ja toimintatapa, käytännön soveltaminen, arviointi ja parantaminen (kuvio 5). Erilaiset sähköiset työkalut, jotka on mainittu suluissa kuviossa 5, tukevat menettelyiden käyttöä ja dokumentaatiota. Hyvä esimerkki tästä on toiminnanohjauksen ja laadunvarmistuksen integroiva toimintasuunnitelma. Kuvio. Turun ammattikorkeakoulun laadunvarmistusjärjestelmän menettelyt

33 . Toiminnanohjaus ja laadunvarmistus Mikkelin ammattikorkeakoulussa.. Toiminnanohjaus Kokonaistavoitteet Mikkelin ammattikorkeakoulun toiminnalle on asetettu opetusministeriön ja ammattikorkeakoulun välisessä tavoitesopimuksessa sekä eri strategioissa. Päästrategian eli kehittämissuunnitelman lisäksi ammattikorkeakoulussa on neljä muuta voimassa olevaa strategiaa: pedagoginen strategia, t&k-strategia, palvelustrategia sekä osaamis- ja henkilöstöstrategia. Lisäksi on useita voimassa olevia toimenpideohjelmia, esimerkiksi kieltenopetuksen toimenpideohjelma sekä toimenpideohjelma opetuksen ja t&k-toiminnan vuorovaikutuksen edistämiseksi. Toteutusvaiheessa strategioiden mukaista toimintaa ohjataan toiminnanohjaus- ja muiden prosessien avulla. Mikkelin ammattikorkeakoulussa selkiytettiin toiminnanohjausjärjestelmää päivittämällä toiminnanohjauksen prosessit vuoden 2005 alussa tapahtuneen organisaatiomuutoksen yhteydessä. Prosessissa kuvattiin toiminnanohjauksen tietovirrat ja vaiheet kuukausittain. Prosessin vaiheita ovat 1) toiminnan arviointi, 2) strateginen tavoiteasetanta, 3) toiminnan ja talouden suunnittelu (Tota), 4) toimeenpano ja seuranta sekä 5) vuosiraportointi (kuvio 6). Toiminnanohjausprosessin kanssa rinnakkain kulkevat TASO-prosessi sekä ydinprosessit, joita ovat koulutus-, t&k- ja palveluprosessi. Kuvio. Mikkelin ammattikorkeakoulun toiminnanohjausprosessin vaiheet

34 Oleellista oli koko toiminnanohjauksen hallinnollisten prosessien kuvaaminen yhdellä prosessikaaviolla, jossa ilmenevät osaprosessien ajoitus ja keskinäiset riippuvuudet. Erityistä huomiota kiinnitettiin siihen, että prosessi kuvataan kaikkien uuden organisaation tasojen osalta. Prosessikaavion vaiheet ja tietovirrat esitettiin seuraavien toimijoitten kannalta: opetusministeriö, yhtymäkokous ja kuntayhtymän hallitus, amk-hallitus, johtoryhmä, tulosalue, laitokset ja muut tulosyksiköt, projektit ja henkilöt. Toiminnan arviointi tehdään vuosittain maalis huhtikuussa hankittujen palaute- ja tilastotietojen sekä itsearviointien tuottaman tiedon pohjalta. Suuri osa kerätystä tiedosta on peräisin ammattikorkeakoulun palautejärjestelmästä, mutta sen lisäksi arvioinnissa käytetään mm. AMKOTA-tilastotietoja. Tähän vaiheeseen ajoittuvat myös itsearvioinnit. Ammattikorkeakoulun laatukäsikirjan mukaan MAMKin johto sekä vastaavasti jokaisen yksikön ja koulutuksen laitoksen koko henkilöstö tekevät kokonaisarvioinnin EFQM-malliin pohjautuen vähintään joka kolmas vuosi. Eri tavoin kerättyä palautetietoa käsitellään huhtikuussa pidettävissä johdon katselmuksissa. Strateginen tulosanalyysi toimii seuraavan vaiheen eli strategisen tavoiteasetannan tausta-aineistona. Tämä vaihe ajoittuu huhti kesäkuulle. Johtoryhmän strategiaseminaarissa tarpeen mukaan joko laaditaan uutta strategiaa tai päivitetään voimassa olevaa. Samaan aikaan käsitellään alustavia ToTa-luonnoksia. Yhdessä hallitusten kanssa järjestetään vuosittain strategiaseminaari, jonka tavoitteena on yhteisymmärryksen laatiminen strategisista tavoitteista. Kehityskeskusteluissa esiin nousseet ehdotukset kootaan ja arvioidaan. Strategian käytäntöön viemisen tueksi laaditaan viestintäsuunnitelma. Strategisista tavoitteista ja niiden toteutumisesta informoidaan ja uuden strategian jalkauttaminen käynnistyy elokuun henkilöstöpäivässä. Toiminnan ja talouden suunnittelu (ToTa) tehdään elokuusta marraskuulle ulottuvalla ajanjaksolla. Suunnittelu käynnistyy johtoryhmän elokuussa antamien ohjeitten pohjalta. Työskentelyvaiheita ovat luonnoksen laadinta, käsittely ja tarkentaminen sekä ehdotuksen laadinta, ToTa-neuvottelu, ToTa:n täydentäminen tai muuttaminen ja viimeistely. Viimeistelty ToTa-ehdotus viedään ensin AMK-hallituksen käsittelyyn ja sen jälkeen yhtymähallitukseen, joka tekee esityksen yhtymäkokoukselle. Yhtymäkokouksen käsittelyn ja hyväksynnän jälkeen alkaa tulevan vuoden toiminta- ja taloussuunnitelman käsittely ja toimeenpano tulosalueilla ja tulosyksiköissä. Samaan aikaan valmistellaan seuraavaa OPM:n kanssa solmittavaa tavoitesopimusta. Sen suunnittelu käynnistyy marraskuun alussa järjestettävästä valtakunnallisesta seminaarista ja joulukuussa saatavasta opetusministeriön ohjekirjeestä. Ammattikorkeakoulun TASO-tarjousta valmistellaan joulu tammikuussa ja se lähetetään opetusministeriöön tammikuun lopussa sen jälkeen, kun se on käsitelty ja hyväksytty

35 hallituksissa. OPM:n vastatarjous saadaan maalis huhtikuussa, jolloin myös käydään TASO-neuvottelut. Lopullinen sopimus allekirjoitetaan syyskuussa. Toiminta- ja taloussuunnitelman toimeenpanoa ja toteutumista seurataan organisaation eri tasoilla koko vuoden ajan. Työaikasuunnitelmien toteutumista seurataan jatkuvasti. Talouden seurantaa tehdään kuukausittain. ToTa-toteutumatiedot kootaan kolme kertaa vuodessa osavuosikatsaukseksi, jonka tulosaluejohtajat esittelevät AMK-hallitukselle. Vuosiraportointi pohjautuu kerättyihin toteumatietoihin toiminnan eri osa-alueilta: opinto-, opiskelija- ja opetustiedot, taloustiedot, henkilöstötiedot, t&k-toiminta, palveluliiketoiminta, tila-, laite- ja tietojärjestelmätiedot sekä kv-toiminnan tiedot. Tiedot kootaan ja niitä hallitaan keskitetysti. Tietojen pohjalta laaditaan raportteja sekä ammattikorkeakoulun sisäiseen käyttöön että eri viranomais- ja rahoitusorganisaatioille toimitettavaksi. Raportit tarkistetaan ja tuloksia analysoidaan johtoryhmässä. Niiden pohjalta laaditaan tilinpäätös ja toimintakertomus, jotka hyväksytään yhtymähallituksessa ja -kokouksessa. Tietoja käytetään seuraavan kauden toimenpiteiden ja linjausten suunnittelussa sekä tavoitesopimukseen liittyvässä tulosanalyysissä. Toiminnanohjausprosessit kuvattiin niin, että niihin sisältyvät kaikki keskeiset laatujärjestelmän osat. Näin varmistettiin toiminnanohjauksen ja laatujärjestelmän täydellinen integraatio. Toiminnanohjauksen prosessikuvaukseen on tehty pieniä päivityksiä vuosittain. Koko toiminnanohjausprosessi päivitetään aina organisaatiouudistusten yhteydessä... Laadunvarmistus Mikkelin ammattikorkeakoulun tavoitteena on toiminnan laadun jatkuva parantaminen. Hyvä laatu saavutetaan kehittämällä ammattikorkeakoulun koulutustoiminnan, tutkimus- ja kehitystyön, palvelutoiminnan sekä tukipalvelujen laatua kohti erinomaisuutta. Tähän pyritään käyttämällä laatujärjestelmää niin, että ammattikorkeakoulun päätöksenteko ja toiminnan parantaminen perustuu entistä selkeämmin laadunvarmistusjärjestelmän systemaattisesti tuottamaan tietoon. Laatujärjestelmä on suunniteltu ja toteutettu niin, että laadun ylläpito ja parantaminen integroituu ammattikorkeakoulun ja sen eri yksiköiden toimintaan. Toiminnan laadun arviointiin ja kehittämiseen valitaan tehokkaita, taloudellisia ja henkilöstöä sekä opiskelijoita laadun parantamiseen motivoivia toimintamalleja ja menettelyjä. Laadunvarmistusjärjestelmä ja sen osatekijät kuvataan Demingin laatuympyrän pohjalta mukailtuna STAK (= suunnittele, toteuta, arvioi, kehitä) -kuviona (kuvio 7).

36 Kuvio. Mikkelin ammattikorkeakoulun laatujärjestelmä Ammattikorkeakoulun toiminta ja laatutyö perustuvat päästrategiaan eli kehittämissuunnitelmaan, johon on kirjattu strategiset valinnat ja tavoitteet. Kehittämissuunnitelmaa täydentävät ammattikorkeakoulun muut strategiat ja toimenpideohjelmat, jotka päivitetään vähintään joka viides vuosi. Kehittämissuunnitelma tehdään vähintään kolmen vuoden välein ja sitä päivitetään tarvittaessa vuosittain kehittämistoimenpiteiden arvioinnin perusteella. Strategiset linjaukset viedään vuosittain ammattikorkeakoulun ja sen yksiköiden toimintasuunnitelmiin ja talousarvioihin. Mikkelin ammattikorkeakoulun kehittämissuunnitelma laaditaan kuntayhtymän hallituksen johdolla vuorovaikutteisesti ammattikorkeakoulun hallituksen, henkilöstön ja sidosryhmien kanssa. Toimintasuunnitelman ja talousarvion tekemisen yhteydessä valmistellaan koko ammattikorkeakoulun sekä kunkin tulosalueen keskeiset toiminnalliset ja taloudelliset tavoitteet tulevalle vuodelle. Tässä vaiheessa asetetaan tuloskorttien tulosalue- tai yksikkökohtaiset tavoitteet. Tuloskortti sisältää strategian toteutumisen seurannan kannalta keskeiset mittarit. Tuloskorttien mittarit tarkistetaan ja päivitetään kerran vuodessa. Toimintasuunnitelman ja talousarvion toteutumista seurataan ja raportoidaan hallituksille kolme kertaa vuodessa. Toteutusvaiheessa toimintaa ohjaavat ammattikorkeakoulun laatujärjestelmään kuuluvat yhteiset prosessit, säännöt, ohjeet ja sopimukset sekä dokumentointi. Yhteiset prosessit on jaettu ydin- ja tukiprosesseihin. Ydinprosesseja ovat koulutus-, t&k- ja palveluprosessit. Tukiprosesseja ovat toiminnanohjaus- ja henkilöstöprosessit sekä kirjasto- ja tietopalvelujen, kv-palvelujen,

37 opiskelijapalvelujen ja viestintäpalvelujen prosessit. Kaikilla prosesseilla on osaprosesseja. Ammattikorkeakoulun toiminnan palaute saadaan laatupalautteiden, kehityskeskustelujen, johdon katselmusten, itsearviointien sekä ulkoisten arviointien kautta. Sidosryhmäpalautetta saadaan neuvottelukuntatyössä, alumnikyselyissä ja muussa alumnitoiminnassa sekä asiakaskyselyissä ja -tutkimuksissa. Palaute kerätään mittaussuunnitelman mukaisesti. Suunnitelmasta ilmenee jokaisen kyselyn kohderyhmän keräystapa, ajankohta, keräys- ja analysointivastuu sekä vastuu muutostoimenpiteiden käynnistämisestä. Arviointi- ja palautejärjestelmän pohjalta esille nousseet kehittämistoimenpiteet toteutetaan, niiden toteutumista arvioidaan ja seurataan. Tuloksia hyödynnetään ammattikorkeakoulun operatiivisessa toiminnassa tai strategisissa valinnoissa. Kehittämistoimenpiteistä tiedotetaan opiskelijoille ja henkilöstölle sekä tarpeen mukaan myös ulkoisille sidosryhmille. Taulukossa 4 on kuvattu, miten laatujärjestelmä liittyy vuositasolla ammattikorkeakoulun johtamisjärjestelmään. Taulukko. Laatutyön yhteydet johtamisjärjestelmään Ajankohta Toimenpide Tarkoitus Opiskelijapalautekyselyt, Palautteen kerääminen toiminnan kehittämiseksi projektipalautekyselyt Asiakaskyselyt Palautteen kerääminen sisäisiltä ja ulkoisilta asiakkailta toiminnan kehittämiseksi MAMK:n itsearviointi EFQM-mallin mukainen itsearviointi. Arvioinnin pohjalta käynnistetään kehittämishankkeita toiminnan kehittämiseksi Yksiköiden itsearviointi EFQM/CAF-mallin mukainen itsearviointi. Arvioinnin pohjalta käynnistetään kehittämishankkeita toiminnan kehittämiseksi Työyhteisön kehittämiskysely Työyhteisön toiminnan kehittäminen Kehittämissuunnitelman Sisäisen ja ulkoisen toimintaympäristön tarkastelu, tekeminen tai päivitys strategiset linjaukset ja tavoitteet Kehityskeskustelut Henkilötason itsearviointi, kehittymistarpeet ja tavoitteista sopiminen Johdon katselmukset yksiköissä Yksiköiden laatujärjestelmän sekä toiminnan arviointi ja kehittäminen, tavoitteiden läpikäynti Tuloskortin päivitys Tuloskortin päivitys vastaamaan strategisia tulos- ja laatutavoitteita. Tuloskortin mittareiden seuranta on jatkuvaa Toimintasuunnitelman ja Tulevan vuoden tulostavoitteiden ja talousarvion laadinta talousarvion suunnittelu ja hyväksyminen. Tuloskortin sisällön tarkistaminen Tulosten seuranta Toiminnan ja talouden seuranta sekä korjaavat toimenpiteet.

38 Mikkelin ammattikorkeakoulun koko henkilökunta, opiskelijat sekä hankkeissa ainakin ohjausryhmän jäsenet osallistuvat laatutyöhön. Laatutyöstä vastaavat johtoryhmä, laatu- ja arviointitiimi sekä laatupäällikkö ja laatusihteeri. Laatupäällikkö vastaa laatujärjestelmästä. Hänen tukenaan toimii ammattikorkeakoulun laatu- ja arviointitiimi, joka on koottu yksiköiden laatuvastuuhenkilöistä. Laatu- ja arviointitiimi toimii tiedon välittäjänä sekä valmistelee asiat johtoryhmän käsiteltäväksi. Johtoryhmä päättää laatu- ja arviointitoiminnan toteutuksesta. Yksiköissä voi toimia oma laatu- ja arviointitiimi. Yksikön laatutyöstä vastaa yksikön johtaja apunaan laatuvastaava. Henkilöstö vastaa oman tehtäväalueensa toiminnan laadun kehittämisestä kehityskeskusteluissa sovittavien periaatteiden mukaisesti. Opiskelijakunnan edustajat osallistuvat MAMKin laatu- ja arviointitiimin työskentelyyn. Opiskelijat antavat palautejärjestelmän kautta palautetta toiminnasta ja osallistuvat kehittämisryhmien työskentelyyn. Opiskelijavastaavien tehtävänä on käsitellä laatupalautteet yhdessä opiskelijoiden kanssa.

39 Arvioinnin tulokset. Kokonaiskuva.. Mitä opimme arvioinnin hyödyntämisestä Mikkelin ammattikorkeakoulun toiminnanohjauksessa arviointikumppanin näkökulma Mikkelin ammattikorkeakoulun toiminnanohjaus ja laatutyö perustuu kehittämissuunnitelmassa eli päästrategiassa määriteltyihin strategisiin valintoihin ja tavoitteisiin. Kehittämissuunnitelmaa tarkentavat osastrategiat ja toimenpideohjelmat. Toteutusvaiheessa strategioiden mukaista toimintaa ohjataan toiminnanohjausprosessin sekä muiden laatujärjestelmän mukaisten prosessien ja ohjeistuksen avulla. Keskeisiin työkaluihin lukeutuvat ammattikorkeakoulun ja sen yksiköiden toimintasuunnitelmat ja talousarviot (ToTa), tuloskortit, itsearvioinnit, johdon katselmukset sekä prosessikuvaukset, säännöt, ohjeet ja dokumentointi. Toiminnan arviointi on erotettu omaksi vaiheeksi Mikkelin ammattikorkeakoulun toiminnanohjausprosessin jäsennyksessä. Toiminnan arviointivaihe sijoittuu vuosittain maalis huhtikuulle. Arvioinnin materiaalina ovat oman palautejärjestelmän tuottama palautetieto, AMKOTA-tilastot sekä itsearviointien tuottama tieto. Tähän vaiheeseen ajoittuvat myös EFQM-malliin pohjautuvat itsearvioinnit. Tällä hetkellä laatukäsikirjan mukaan ammattikorkeakoulun johto sekä kunkin yksikön ja koulutuksen laitoksen henkilöstö tekevät itsearvioinnin vähintään joka kolmas vuosi. Eri tavoin kerättyä palautetietoa käsitellään huhtikuussa pidettävissä johdon katselmuksissa. Itsearviointia ja johdon katselmuksia käsitellään yksityiskohtaisesti jäljempänä. Strateginen tulosanalyysi näyttää tapahtuvan hallitusten ja johtoryhmien seminaareissa sekä johdon katselmuksissa. Analyysi on taustalla strategisen tavoiteasetannan vaiheessa, joka ajoittuu huhti kesäkuulle. Tässä vaiheessa johtoryhmä pitää strategiaseminaarin, jossa työstetään uutta strategiaa tai päivitetään voimassa olevaa strategiaa, sekä käsitellään tulosalueiden alustavia toimintasuunnitelmia ja talousarvioita. Strategisia tavoitteita tarkastellaan hallitusten kanssa vuosittain strategiaseminaarissa. Strategisia tavoitteita ja niiden toteutumista käsitellään henkilöstön kanssa elokuun henkilöstöpäivässä.

40 Toiminnanohjausprosessin seuraava vaihe on toiminnan ja talouden suunnittelu (ToTa), joka sijoittuu elo marraskuulle. Siinä ammattikorkeakoulu ja tulosalueet valmistelevat tulevan vuoden toiminnalliset ja taloudelliset tavoitteet. Toimintasuunnitelmassa asetetaan erilaisia laadullisia ja määrällisiä tavoitteita koulutukselle, kuten aloituspaikkojen määrä, opetussuunnitelmien rakenne (mahdollistettava projektioppinen, virtuaaliopinnot, monialaiset opinnot), ylemmän tutkinnon koulutusohjelmien määrä, opiskelijarekrytoinnin kehittäminen sekä t&k-toiminnan liittäminen opetukseen. Määrälliset tavoitteet ovat suoritettujen tutkintojen määrä, ensisijaisten hakijoiden määrä nuorten koulutuksessa, koulutuksen keskeyttäneiden määrä, virtuaaliopintoina suoritetut opintopisteet sekä avoimen ammattikorkeakoulun opetukseen osallistuneiden ulkopuolisten osallistujien suorittamat opintopisteet. Toiminnan ja talouden suunnittelun vaiheessa tulosalueet tekevät tuloskortin, joka sisältää strategian toteutumisen seurannan kannalta tärkeimmät mittarit. Tuloskortin mittarit tarkistetaan ja päivitetään kerran vuodessa. Erityisen hyvin toimivalta vaikuttaa käytäntö, jossa tulosalueiden johtajat raportoivat toimintasuunnitelman ja talousarvion toteutumisesta ammattikorkeakoulun hallitukselle kolme kertaa vuodessa. Tulosalueen toimintasuunnitelmaan sisältyvä tuloskortti on tarkimmin seurattu tavoitteita määrittävä työkalu. Hallitukselle tehtävään raportointiin sisältyvät toimintaympäristön nykytila ja muutokset, kuvaus ammattikorkeakoulutasolla hoidettavista tehtävistä ja kehittämishankkeista sekä niiden tuloksista (mm. johtoryhmässä hyväksytyt hankkeet, itsearvioinnin tuloksena käynnistetyt hankkeet) sekä oman toiminnan kehittämishankkeet ja niiden tulokset (mm. johdon katselmuksissa sovitut kehittämishankkeet). Toimintasuunnitelman ja tuloskortin käsittely hallituksessa heijastaa tavoitteiden tärkeyttä ja nostaa toimintasuunnitelmien painoarvoa myös henkilöstön näkökulmasta. Opintojen keskeyttämistä ja ennusteita tutkinnon suorittavista käsitellään säännöllisesti. Mikkelin ammattikorkeakoulun vertailuaineistossa tuli esiin useita näyttöjä seurannan perusteella käynnistetyistä kehittämistoimenpiteistä. Esimerkiksi opintojen keskeyttämisen kohottua ammattikorkeakoulun tasolla ongelmallisen suureksi, asiaan tartuttiin uudistamalla opiskelijoiden ohjausjärjestelmää. Mikkelin ammattikorkeakoulun itsearvioinnin mukaan mittariston hyödyntämistä kehittämistoimenpiteiden perusteluna tulee terävöittää samoin kuin tiedottamista kehittämistoimenpiteiden tuloksista. Kuitenkin nykymuotoinen tulosalueiden johtajien raportointikäytäntö on hyvä esimerkki arviointitiedon hyödyntämistä tukevasta menettelystä.

41 Joillakin laitoksilla opettajat ovat esittäneet kritiikkiä siitä, että ammattikorkeakoulussa mitataan vain numeerisia asioita ja että pedagogisen johtajuuden painoarvo on vähentynyt. Itsearvioinnin käyttö voi auttaa tuomaan tällaiset ongelmina koetut asiat selkeämmin esille. Tätä nimenomaista ongelmaa on paikattu myös puhumalla tulosalueiden sisäisissä foorumeissa enemmän sisällöistä ja pedagogiikasta. Silti varsinaisten tuloskorttimittareiden nähdään vaikuttavan hyvin keskeisesti siihen, mihin toiminnan tavoitteet ja painopisteet asetetaan. Laitosten ja koulutusohjelmien tasolla tavoitteiden toteutumisen seuranta tapahtuu systemaattisemmin vuosittain huhtikuussa järjestettävissä johdon katselmuksissa. Johdon katselmusten sekä toiminnan ja talouden suunnittelun kytkentä näyttää varsin toimivalta arvioinnin hyödyntämisen näkökulmasta: johdon katselmuksissa sovitut kehittämishankkeet kirjataan ToTa-prosessin yhteydessä toiminnallisiksi tavoitteiksi. Ammattikorkeakoulun johdon ja tulosalueiden ToTa-neuvotteluissa sovitaan ammattikorkeakoulun tasolla tehtävistä kehittämishankkeista, joista tuoreita esimerkkejä ovat INTO-hanke eli integratiiviset oppimisympäristöt ja kielipalvelut. Kehittämishankkeita on käynnistetty EFQM-tyyppisen itsearvioinnin pohjalta. Johdon itsearvioinnin perusteella käynnistettyjä kehittämishankkeita ovat henkilöstöjohtamisen ja -palveluiden kehittäminen sekä organisaation osaamisen kehittäminen, palautejärjestelmän tarkistus ja ulkoisen palautteen hyödyntäminen. Arvioinnin hyödyntämistä näyttää tehostaneen erityisesti ammattikorkeakoulun johdon proaktiivinen ote strategiatyössä sekä kiinnostus tunnistaa ja tarttua toiminnan kehittämiskohtiin. Edellistä osoittaa Mikkelin ammattikorkeakoulun toteuttama koulutustarjonnan profilointi. Esimerkkeinä kehittämiskohteisiin tarttumisesta ovat rehtorin pyytämät selvitykset suoritettujen tutkintojen määristä ja valmistumisen esteistä. Suoritettujen tutkintojen tehokkaampi seuraaminen, joka on vakioaiheena johtoryhmän listalla, on arviointitiedon aktiivista hyödyntämistä. Mikkelin ammattikorkeakoulun toiminnanohjausprosessi näyttää rakentuvan siten, että tavoitteiden asettamisen ja seurannan välillä on katkeamaton ketju. Prosessissa ei ole pitkiä suvantokohtia, sillä toteutumista raportoidaan kolme kertaa vuodessa. Johtoryhmän ja hallituksen vuosittaisten strategiaseminaarien kautta myös takaisinkytkentä seurannasta ja vuosisuunnittelusta strategiatyöhön on rakennettu. Ylipäätään toiminnan tavoitteiden asettaminen sekä arviointitiedon kerääminen, tallentaminen ja hyödyntäminen näyttävät systemaattiselta. Strategisten tavoitteiden ja operatiivisen toiminnan välille on luotu toimiva yhteys

42 käyttämällä strategiatyössä ja -viestinnässä strategiapuuta sekä rakentamalla selkeä toiminnanohjauksen malli. Toiminnasta kertyvä dokumentaatio kerätään systemaattisella tavalla intranetiin ja yhteisille levyasemille. Arviointivierailulla eri tehtävissä toimivat henkilöt puhuivat tavoitteiden asettamisesta ja arviointitiedon hyödyntämisestä omasta näkökulmastaan. Vaikka päästrategian ja laatuajattelun lähtökohdat ja rakentuminen olivat lähiesimiesten näkökulmasta jonkin verran arkityölle etäisiä asioita, laatutyötä pidettiin tärkeänä. Palautteen kerääminen ja hyödyntäminen tarkoitti pitkälti konkreettista työtä opiskelijoiden ja opintojen parissa... Mitä opimme arvioinnin hyödyntämisestä Turun ammattikorkeakoulun toiminnanohjauksessa arviointikumppanin näkökulma Turun ammattikorkeakoulun nykyinen toiminnanohjausprosessi perustuu muutama vuosi sitten toteutettuun laajaan kehittämisprojektiin. Projektissa toiminnanohjausprosessia arvioitiin ja prosessin vaiheet, tapahtumat, toimijat ja heidän tehtävänsä sekä näiden keskinäiset riippuvuudet tarkennettiin ja kuvattiin samassa prosessikaaviossa. Toiminnanohjausprosessi kuvataan neljänä vaiheena: strategisten tavoitteiden asettaminen, toiminnan ja talouden suunnittelu, toimeenpano ja seuranta sekä vuosiraportointi. Toiminnan arviointi sen sijaan ei sisälly prosessiin erillisenä vaiheena, vaan itsearviointia tehdään organisaatioyksiköissä toiminnan suunnittelun yhteydessä. Toiminnanohjausprosessiin linkittyy selkeästi myös ammattikorkeakoulujen toimintaa ohjaava opetusministeriön tavoitesopimusprosessi sekä Turun kaupungin kanssa tehtävä talousarvion valmisteluprosessi. Toiminnanohjauksen kehittämisprojektin aikana parannettiin myös työkaluja eli toteutettiin käyttäjiä palveleva laaja tietojärjestelmä, 4T-portaali ja tietovarasto. Portaali vaikuttaa erinomaiselta ratkaisulta, koska siihen on koottu kaikki toiminnanohjauksen kannalta käyttäjille tarpeelliset työkalut ja tiedot. Haastatteluissa ilmeni, että käyttäjillä on mahdollisuus vaikuttaa portaalin sisältämään informaatioon. Tämä motivoi käyttäjiä hyödyntämään portaalin antamia mahdollisuuksia entistä paremmin. Strategiset tavoitteet asetetaan kokonaisstrategiassa, joka vahvistetaan Turun kaupunginhallituksessa valtuustokausittain eli neljäksi vuodeksi kerrallaan. Myös ammattikorkeakoulun ja opetusministeriön välinen tavoitesopimus linjaa strategisia tavoitteita. Vuosittain kaupunginhallitukselle laadittava talousarvioehdotus sisältää myös strategisen kehyksen eli arvion toimintaympäristön muutoksista sekä tuloskorteissa kuvatut kriittiset menestystekijät ja niiden seurantamittareiden tavoitearvot ammattikorkeakoulutasolla. Omistajalla on vah-

43 va rooli strategiaprosessissa. Osastrategioista sen sijaan päättää ammattikorkeakoulun hallitus. Strategian käytäntöön vienti kuvataan hyvin selkeästi tulosalueen vuosikellossa. Työ käynnistyy tammikuussa osittain tavoitesopimusprosessiin liittyvien tulosanalyysin, koulutustarjonta- ja koulutusohjelmaesitysten laatimisella. Kevään aikana järjestetään kaksi strategiaseminaaria, joista ensimmäisen jälkeen tarkennetaan strategista kehystä ja toisen jälkeen julkaistaan kevään aikana laadittu toimintasuunnitelma. Sisäiset strategiaseminaarit, joissa muun muassa käsitellään toiminnan ja talouden suunnittelun lähtökohdat ja ohjeistukset, vaikuttavat hyvin toimivalta käytännöltä. Toimintasuunnitelma perustuu tasapainotettuun tuloskorttiin ja sisältää siihen kuuluvat viisi näkökulmaa: yhteiskunnalliset vaikutukset, asiakkuus, talous, prosessit ja osaaminen. Toiminnan ja talouden suunnittelua tulosaluetasolla tukee 4T-portaali, jossa toimintasuunnitelmat ja niihin liittyvät itsearvioinnit valmistellaan. Portaaliin haetaan automaattisesti seurantamittareiden toteutumatiedot kolmen edellisen vuoden ajalta, mikä tukee vuositavoitteiden määrittelyä. Portaaliin on tehty yhteinen toimintasuunnitelman lomakeformaatti, joka sisältää yhtenäisen viitekehyksen kysymyksineen ja seurantamittareineen. Toimintasuunnitelman valmisteluun sisältyy itsearviointi, jonka kysymykset on sisällytetty toimintasuunnitelmaan. Itsearvioinnissa hyödynnetään laadunvarmistusjärjestelmän tuottaman tiedon lisäksi sitä täydentävää kokemusperäistä tietoa. Valmistelun aikana itsearvioinnin laatija voi lähettää työversioita kommentoitavaksi henkilöstölle, joka voi antaa portaalin kautta suunnitelmaan. Ammattikorkeakoulun tulosten seurantaa ja raportointia tehdään ammattikorkeakoulutasolla osana tavoitesopimusprosessia ja tulosaluetasolla osana rehtorin johdolla vuosittain marraskuussa käytäviä tulosalueiden ja ammattikorkeakoulun johdon välisiä tavoiteneuvotteluja. Neuvottelussa käsitellään tulosalueen toiminnan tuloksellisuutta ja kehittymistä sekä määritellään seuraavan vuoden toimintasuunnitelman toiminnalliset tavoitteet ja kehittämistoimenpiteet. Rehtori vahvistaa tulosalueiden toimintasuunnitelmat vuoden lopussa talousarvion käyttösuunnitelman hyväksymisen yhteydessä. Turun ammattikorkeakoulussa osa rahoituksesta jaetaan tulosten perusteella osaksi tulosalueen talousarviota. Rahoituksen kohdentuminen päätetään hallituksessa vahvistettujen tuloksellisuuskriteerien pohjalta. Tuloksellisuusrahoituksen käyttäminen ohjaa vahvasti toimintaa strategisesti asetettujen tavoitteiden suuntaan. Turun ammattikorkeakoulun 4T-portaali on hyvä työkalu koulutusohjelmakohtaisen toiminnan suunnitteluun, seurantaan ja ohjaukseen. Kou-

44 lutusohjelmakohtaista laadunvarmistuksen tuottamaa tietoa käytetään yhdessä muun 4T-portaalin sisältämän tiedon kanssa toiminnan suunnittelussa. Näin tavoiteasettelun strategiakytkentä säilyy myös koulutusohjelmatasolla. Portaalissa esimiehillä on mahdollisuus antaa palautetta tehdyistä suunnitelmista ja motivoida näin koulutuspäälliköitä kehittämistyöhön. Portaali antaa läpinäkyvyytensä vuoksi myös hyvän mahdollisuuden vertailukehittämiseen. Koulutusohjelmien kehittämisen tukemiseksi on rakennettu ristiinarviointimalli, jota on testattu jo useamman kerran. Malli on tarkkaan ja huolellisesti suunniteltu ja ohjeistettu. Näin varmistetaan arvioinnin laadukas toteuttaminen. Ristiinarvioinnit kehittävät arviointiosaamista ja vahvistavat laatukulttuuria. Arviointeihin osallistuvilla näyttää olevan aito halu auttaa koulutusohjelmia kehitystyössä antamalla vihjeitä kehittämisen suunnasta. Ristiinarviointi on hyvä väline kehitettyjen hyvien käytäntöjen levittämisessä muiden koulutusohjelmien käyttöön. Turun ammattikorkeakoululla on käytössään paljon työkaluja, jotka mahdollistavat tehokkaat toimintatavat ja toiminnan kehittämisen.. Hyvät käytänteet.. Koulutusohjelman ristiinarviointi Turun ammattikorkeakoulussa Vuonna 2007 Turun ammattikorkeakoulussa otettiin käyttöön sisäisen koulutusohjelma-arviointi, jota kutsutaan koulutusohjelman ristiinarvioinniksi (Hyvönen ym. 2007; Kontio ym. 2008). Siinä ammattikorkeakoulun omista asiantuntijoista muodostettu arviointiryhmä toteuttaa valitun koulutusohjelman kehittävän arvioinnin. Arviointiryhmä kootaan aina erikseen kunkin koulutusohjelman arviointia varten. Arvioinnin kohteena ovat koulutusohjelman suunnittelun, toteutuksen ja arvioinnin prosessit ja käytännöt. Arviointi tukee niiden kehittämistä. Samalla vahvistetaan arviointiosaamista ja laatukulttuuria sekä tuotetaan ja levitetään dokumentoitua tietoa ammattikorkeakoulun koulutuksen laadusta. Keskeinen esikuva Turun ammattikorkeakoulun ristiinarvioinnin mallille on Jyväskylän ammattikorkeakoulun ristiinarvioinnin käytäntö (Mikkonen ym. 2004). Koulutusohjelman ristiinarvioinnin toteutus Koulutusohjelman ristiinarviointi ei ole säännöllisesti toistuva menettely. Vuosittain valitaan arvioinnin kohteeksi 1 2 koulutusohjelmaa 40 koulutusohjelman joukosta. Arvioinnista sovitaan edellisen vuoden syksyllä tavoiteneuvottelussa. Kehityspäällikkö valmistelee esityksen arvioitavista koulutusohjelmis-

45 ta ja arviointiryhmistä ammattikorkeakoulun laaturyhmän kanssa. Ristiinarviointi voidaan jakaa seitsemään vaiheeseen: 1. koulutusohjelman ristiinarvioinnin valmistelu 2. koulutusohjelman itsearviointi 3. itsearviointiraportin analyysi ja arviointivierailuun valmistautuminen 4. arviointivierailu 5. arvioinnin tulosten raportointi ja levittäminen (palautekokous) 6. koulutusohjelman toiminnan kehittäminen ja seuranta 7. ristiinarviointimallin arviointi ja kehittäminen. Kunkin koulutusohjelman arviointia varten kootaan riippumaton sisäinen arviointiryhmä. Ryhmän puheenjohtaja toimii yleensä koulutusjohtaja sekä 6 7 muuta henkilöä: sihteeri, kehityspäällikkö, koulutuspäällikkö, opettajaedustajat (2 kpl, toisella tutkimus- ja kehitystyön kokemusta), kehittämisen tulosalueen edustaja sekä opiskelija. Puheenjohtaja ja jäsenet eivät voi tulla samalta tulosalueelta kuin arvioitava koulutusohjelma. Puheenjohtaja vastaa koko arviointiprosessista ja raportista. Opettajajäsenille ja opiskelijajäsenelle osoitetaan 48 tunnin työaikaresurssi. Rehtori tekee päätökset arviointiryhmien kokoonpanosta kehityspäällikön valmistelun pohjalta. Arvioinnin tilaaja on rehtori, joka johtaa ammattikorkeakoulun laadunvarmistusta. Koulutusohjelma tekee itsearvioinnin itselleen ja arviointiryhmän käyttöön. Arviointiryhmän tekemä arviointi tehdään ensisijaisesti koulutusohjelmalle, joka on raportin tärkein hyödyntäjä. Muut sidosryhmät kuten ammattikorkeakoulun johto, koulutusjohtajat sekä muut koulutusohjelmat saavat arviointiraportin perusteella tietoa koulutuksen laadusta ja hyvistä käytänteistä. Arvioinnissa tarkastellaan valitun koulutusohjelman koulutuksen suunnittelun, toteutuksen ja arvioinnin prosesseja ja käytäntöjä. Arvioinnin ulkopuolelle on rajattu koulutusohjelman asettamien tavoitteiden relevanssi ja tulokset. Arviointioppaassa on määritelty arvioinnin peruskysymykset. Arviointia voidaan räätälöidä rajaamalla pois joitakin kysymyksiä tai painottamalla koulutusohjelman kannalta tärkeitä teemoja. Arvioinnin kysymyksistä ja arviointiperusteista sovitaan itsearviointia edeltävässä suunnittelupalaverissa, johon osallistuvat arviointiryhmän puheenjohtaja ja sihteeri sekä koulutusjohtaja ja koulutusohjelman koulutuspäällikkö. Lopullisesti arviointikysymyksistä päättää arviointiryhmä saatuaan koulutusohjelman esityksen lisättävistä tai pois rajattavista arviointikohteista. Arviointiryhmä käsittelee kaikki teemat ja kysymykset. Luettavuuden parantamiseksi arviointiryhmä voi raportissaan poiketa alkuperäisten arviointikysymysten jäsennyksestä. Itsearvioinnin toteuttaa koulutusohjelman henkilöstö koulutuspäällikön johdolla oppaan väljän ohjeistuksen mukaisesti. Koulutusohjelma resursoi

46 itsearvioinnin pääosin itse. Kehityspäällikkö ja arviointiryhmän sihteeri järjestävät koulutuspäällikön kanssa koulutusohjelman henkilöstölle perehdytyksen ristiinarviointiin. On tärkeää, että koulutusohjelmassa ymmärretään ristiinarvioinnin tarkoitus sekä sitoutumisen ja osallistumisen tärkeys. Itsearvioinnissa koulutusohjelma työstää ensinnäkin kuvauksen, miten se toimii annettujen teemojen ja kysymysten alueilla. Yleensä koulutusohjelma kokoaa edustuksellisen ryhmän henkilöstön ja opiskelijoiden edustajista vastaamaan arvioinnin kysymyksiin. Sekä opiskelijoiden että henkilöstön mielipidettä arvioinnin kohteina oleviin asioihin tulee kartoittaa riittävän laajasti hyödyntäen olemassa olevat palauteaineistot. Koulutusohjelman toimintaa kuvaavat keskeiset tunnusluvut ovat koulutusohjelman toimintasuunnitelmassa (4T-portaali), minkä lisäksi voidaan hyödyntää muutakin tilastoaineistoa. Koulutusohjelma tuottaa kuvausten, tilastoanalyysin sekä johdon, henkilöstön ja opiskelijoiden näkemysten perusteella varsinaisen itsearviointiraportin, joka sisältää myös koulutusohjelman SWOT-arvioinnin. Itsearviointiraportti ei ole julkinen, vaan koulutusohjelma toimittaa sen pelkästään arviointiryhmän ja oman henkilöstönsä sekä valitsemiensa sidosryhmien käyttöön. Arviointiryhmä analysoi arviointiraportin ja muun itsearviointiaineiston ja tekee arviointivierailun. Tätä edeltää arviointiryhmän valmennus arviointiin, joka sisältää 2 kpl puolen työpäivän mittaisia valmennuksia. Valmentajina toimivat kehityspäällikkö sekä jokin aiemman arviointiryhmän puheenjohtaja. Arviointiryhmän sihteerin tehtävänä on arviointiprosessin koordinointi ja yhteydenpito koulutusohjelmaan liittyen esim. arviointivierailun järjestelyihin. Arviointivierailuun valmistautuessaan ryhmän jäsen analysoi itsearviointiraportin, muodostaa alustavan näkemyksen koulutusohjelman vahvuuksista ja kehittämishaasteista sekä muotoilee alustavia haastattelukysymyksiä arviointivierailua varten. Arviointiryhmä muodostaa kokouksessaan yhteisen näkemyksen tarkennusta vaativista alueista ja muokkaa haastattelukysymykset arviointivierailua varten. Arviointivierailun aikana arviointiryhmä haastattelee erikseen koulutusohjelman johdon, opiskelijat, opettajat sekä työelämän edustajat (max 7 hlö/ ryhmä). Koulutusohjelma valitsee edustajat haastatteluihin ottaen huomioon arviointiryhmän toiveet. Kysymykset keskitetään muutamaan itsearviointiraportin pohjalta esiin nousevaan teemaan. Arvioinnin loppuraportin tulee perustua itsearviointiin, siihen liittyviin tilastolukuihin sekä arviointivierailulla käytyihin keskusteluihin. Arviointivierailun jälkeen ryhmän jäsenet kirjaavat vastuualueittain ensin omat havaintonsa arvioitavasta koulutusohjelmasta. Kukin jäsen kirjoittaa pohjatekstin omalta vastuualueeltaan. Arviointiryhmän sihteeri kokoaa ja muokkaa arvioijien tekstit sovitun aikataulun mukaisesti raportin käsikirjoitukseksi, jota ar-

47 viointiryhmä kokoontuu yhdessä käsittelemään vähintään kaksi kertaa. Arviointiryhmä muodostaa yhdessä konsensuksen siitä, mitkä ovat keskeiset koulutusohjelman vahvuudet ja kehittämishaasteet. Sihteeri lähettää arvioinnin loppuraportin käsikirjoituksen koulutuspäällikölle tarkistettavaksi asiavirheiden osalta. Koulutusohjelma voi oikaista arviointiraportin luonnoksessa havaittuja asiavirheitä toimittamalla korjausehdotukset kirjallisesti sihteerille. Arvioinnin loppuraportti on julkinen, ja se julkaistaan Turun ammattikorkeakoulun raportteja -sarjassa. Arviointiryhmä järjestää yhdessä arvioidun koulutusohjelman kanssa palautekokouksen. Koulutuspäällikkö käsittelee ristiinarvioinnin tuloksia henkilöstönsä kanssa keskustellen. Koulutuspäällikkö esittelee tulosalueen johtoryhmän kokouksessa ristiinarvioinnin tuloksia ja suosituksia. Koulutuspäällikkö asettaa ja vastuuttaa tarpeelliset kehittämistoimenpiteet. Turun ammattikorkeakoulun edustajien näkemys koulutusohjelman ristiinarvioinnista Ristiinarvioinnin kohteena on ammattikorkeakoulun koulutustehtävän toteutus yhden koulutusohjelman kehyksessä. Ristiinarvioinnin käytöstä on vasta niukasti kokemuksia, sillä tähän mennessä on raportoitu kolme arviointia ja neljäs arviointi on käynnissä. Tällöin myös tehtyjen arviointien hyödyntämisestä koulutusohjelmien toiminnan kehittämisessä ja arviointien vaikuttavuuden seurannasta on vasta alustavia kokemuksia. Vaikka ristiinarvioinnilla ei ole erityistä ajoitusta tai tehtävää toiminnanohjausprosessissa, arvioinnin hyödyntäminen ja sen seuranta on selvästi vastuutettu. Koulutuspäällikkö hyödyntää ristiinarviointia arvioidessaan toimintasuunnitelmaa varten koulutusohjelman nykytilaa ja sen kehittämiskohteita. Koulutuspäällikkö vastaa myös toimenpiteiden kirjaamisesta toimintasuunnitelmaan. Ammattikorkeakoulun kehityspäällikkö puolestaan seuraa ristiinarvioinnin tulosten hyödyntämistä koulutusohjelmien toimintasuunnitelmien perusteella ja toteuttaa 1 2 vuoden kuluttua loppuraportin valmistumisesta kevyen seurantakyselyn koulutusohjelmalle. Marraskuussa 2008 osana tavoiteneuvottelua keväällä 2007 arvioitu tietotekniikan koulutusohjelma esitti pyydetyn seurantaraportin arvioinnin hyödyntämisestä. Kehityspäällikkö vastaa siitä, että loppuraporteissa mainitut kehittämistarpeet ja suositukset käsitellään ko. tulosalueen tavoiteneuvottelussa. Hyödyntämisen seurannasta vastaava kehityspäällikkö on johtoryhmään kuuluva johtava viranhaltija samoin kuin arviointiryhmien puheenjohtajina toimivat koulutusjohtajat, mikä vahvistaa ammattikorkeakoulun arviointikulttuuria. Johdon edustajien osallistu-

48 minen arviointeihin rakentaa vähitellen käsitystä arvioinnista osana johtamistyötä. Ristiinarviointi tuottaa varsin hyvät puitteet arviointiprosessin hyödyntämiseen koulutusohjelman kehittämiskohteiden määrittelyssä. Arviointiprosessia voidaan räätälöidä koulutusohjelman tarpeiden suuntaiseksi, minkä katsotaan lisäävän arvioinnin kohteena olevien sitoutumista arviointiprosessiin ja sen tuloksiin. Ristinarviointi on potentiaalinen foorumi yhteisten käytänteiden muodostamiselle, sillä se tuottaa yhden rakenteen jossa organisatorisen oppimisen prosessit voivat käynnistyä. Arvioinnin aikana yhteisöllistä tiedonmuodostusta tapahtuu sekä itsearvioinnin aikana koulutusohjelmassa että arviointiryhmän työskentelyn puitteissa. Ristiinarvioinnin heikkous on työläys ja suurehkot kustannukset. Arviointeja kyetään toteuttamaan 1 2 kpl vuodessa, jolloin suurin osa koulutusohjelmista jää ristiinarviointien ulkopuolelle. Vaikka arvioinnin tulokset ja johtopäätökset julkaistaan muidenkin koulutusohjelmien käyttöön, hyvien käytäntöjen leviäminen pelkästään raporttien välityksellä voi osoittautua riittämättömäksi. Ristiinarviointien tuloksia ja suosituksia ei ole toistaiseksi pyritty aktiivisesti levittämään ammattikorkeakoulun johtoryhmän käsittelyjen tai seminaarien välityksellä. Arviointien kumuloituessa aika alkaa olla kypsä seminaarille jonka aiheena on mitä olemme oppineet ristiinarvioinneista. Arviointikumppanin näkemys koulutusohjelman ristiinarvioinnista Useissa Korkeakoulujen arviointineuvoston auditointiraporteissa kehotetaan korkeakouluja hyvien käytänteiden levittämiseen. Turun ammattikorkeakoulu on rakentanut hyvien käytänteiden levittämisen varmistamiseksi selkeän strukturoidun mallin, jonka avulla koulutusohjelmia kehitetään. Hyvien käytänteiden levittäminen tapahtuu arviointiin osallistuvien koulutusohjelmien välillä ja myös arviointiryhmän kautta. Arvioinnin aikana tapahtuu oppimista, jonka seurauksena syntyy uusia toimintatapoja ja -kulttuureja. Prosessiin liittyvä hyvin hoidettu dokumentointi osaltaan antaa koko organisaatiolle mahdollisuuden hyvien käytänteiden omaksumiseen. Arvioinnissa on seitsemän vaihetta, joista toinen, koulutusohjelman itsearviointi, jo sinällään on hyvä kehittämisen työkalu. Vaikka itsearvioinnista tuotettu raportti ei ole julkinen, antaa arviointi koulutusohjelmalle tietoa vahvuuksista ja kehittämiskohteista. Julkistettavan ristiinarvioinnin tulosten pohjalta käydään keskustelut henkilöstön kanssa ja tulokset käsitellään myös tulosaleen johtoryhmässä. Koulutuspäällikkö asettaa ja vastuuttaa jatkotoimet. Kehityspäällikkö seuraa tulosten hyödyntämistä ja vastaa siitä, että kehittämistarpeet ja -suositukset käsitellään tulosalueen tavoiteneuvottelussa. Näin ollen arviointityö on osa koulutusohjelman johtamista. Tulosalueen johtoryhmä voisi

49 seurata jatkotoimenpiteiden toteutumista tai ainakin toteutumisesta voitaisiin raportoida johtoryhmälle. Sekä koulutusohjelman itsearvioinnissa että ristiinarvioinnissa käytetään hyväksi palautejärjestelmän tuottamaa tietoa ja 4T-portaalin tietoa. Tällä varmistetaan tuotetun tiedon hyväksikäyttö kehittämistoimenpiteitä suunniteltaessa ja kehittämistoimien perustuminen todelliseen tietoon. Ristiinarvioinnin toteutusmalli on huolellisesti suunniteltu ja arvioinnin toteutus on hyvin ohjeistettu. Arvioinnin toteuttaminen vaatii aikaa, joten kovin monta koulutusohjelmaa ei ole mahdollista ottaa mukaan ainakaan samanaikaisesti. Ulkopuolelle jäävien koulutusohjelmien on mahdollista hyödyntää kehittämisessään ristiinarvioinnin dokumentoinnin kautta esiin tulevia hyviä käytänteitä... Itsearviointi Mikkelin ammattikorkeakoulussa Itsearviointi muodostaa olennaisen osan Mikkelin ammattikorkeakoulun laatujärjestelmää. Ensimmäinen silloiseen Suomen laatupalkintomalliin perustuva itsearviointi tehtiin vuonna Euroopan laatupalkintomalliin pohjautuvat itsearvioinnit toteutettiin vuosina 2004, 2006 ja Vuodesta 2006 lähtien arvioinnit on tehty tähän tarkoitukseen kehitetyn johtoryhmän hyväksymän sähköisen työkalun avulla. Ammattikorkeakoulun laatukäsikirjan mukaan MAMKin johto tekee kokonaisarvioinnin vähintään joka kolmas vuosi. Viimeisin johdon itsearviointi toteutettiin vuonna Ammattikorkeakoulun jokaisen yksikön ja koulutuksen laitoksen koko henkilöstö tekee itsearvioinnin noin joka kolmas vuosi. Arvioinnin tuloksena saadaan yksiköiden vahvuudet ja kehittämiskohteet. Toiminnan ohjausprosessissa itsearviointi sisältyy toiminnan arviointivaiheeseen, jolloin kerätään pohjatiedot strategisten tavoitteiden päivittämistä tai asettamista varten. Itsearvioinnin toteutus Itsearviointi pohjautuu EFQM-malliin, joten arvioinnin kohteina ovat organisaation (johto) ja organisaatioyksikön (laitokset ja yksiköt) toiminta ja toiminnan tulokset. Toimintaa arvioitaessa arviointialueina ovat johtajuus, toimintaperiaatteet ja strategiat, henkilöstö, kumppanuudet ja resurssit sekä prosessit. Tuloksia arvioitaessa tarkastellaan asiakastuloksia, henkilöstötuloksia, yhteiskunnallisia tuloksia ja keskeisiä suorituskykytuloksia. Itsearviointiprosessissa on seuraavat vaiheet riippumatta siitä, onko kyseessä ammattikorkeakoulun johdon tai yksiköiden itsearviointi:

50 suunnittelu arvioinnin tekeminen tulosten alustava analysointi tulosten käsittely sekä vahvuuksista ja kehittämishankkeista sopiminen kehittämishankkeiden käynnistys ja seuranta. Ennen arviointia on tärkeää määritellä itsearvioinnin tavoitteet organisaation kannalta sekä varmistaa koko prosessin sujuva eteneminen ja tulosten saanti. Suunnitteluvaiheessa rakennetaan organisaatiolle sopiva tapa arvioinnin läpiviemiseksi. Tämä tarkoittaa ensimmäiseksi sitä, että tarkistetaan sähköinen arviointipohja sellaiseksi, että arvioitavat asiat on ilmaistu arviointiin osallistuvien oman organisaation mukaisesti. Toiminnan arviointialueilla arvioidaan arviointikohtien tärkeyttä, nykytilaa ja tavoitetasoa. Tulosten arviointialueilla arvioidaan tulosten nykytilaa ja tavoitetasoa. Kaikista arviointialueista tuodaan esille vahvuudet ja kehittämiskohteet. Toinen arviointityökalun tarkistustoimenpide liittyy arviointipohjaan linkitetyn sähköisen tausta-aineiston valitsemiseen. Tausta-aineisto helpottaa ja nopeuttaa arvioinnin tekemistä. Aineistona on käytetty mm. seuraavia intranetin sisältämiä asiakirjoja: strategiat, toimenpideohjelmat, toimintasuunnitelma ja talousarvio, toiminnanohjausprosessiin ja laatujärjestelmään kuuluvaa aineistoa (mm. laatukäsikirja, tuloskortit, prosessikuvaukset, mittaussuunnitelma, laatupalautteiden yhteenvedot). Arviointia varten ei erikseen kerätä informaatiota, vaan käytetään olemassa olevaa aineistoa. Johdon itsearvioinnissa taustamateriaalin valitsevat kehitysjohtaja ja laatupäällikkö. Yksiköiden itsearvioinnin taustamateriaalina on laatupäällikön ja laatuvastaavien yhdessä valitsema perusmateriaali, jonka lisäksi on yksikkökohtaista yksikönjohtajan ja laatuvastaavan valitsemaa materiaalia. Linkityksestä vastaavat yksiköiden laatuvastaavat. Suunnitteluvaiheessa pohditaan strategian tavoitteiden toteutumista tukevat kriteerit, joiden mukaan kehittämishankkeet asetetaan tärkeysjärjestykseen. MAMKin johdon itsearvioinnissa vuonna 2006 hankkeita arvioitaan sillä perusteella, miten hanke edistää MAMKin strategian toteutumista. Kriteerit olivat: kuinka hyvin hanke edistää ammattikorkeakoulun koulutustehtävän toteuttamista ja parantaa opetuksen laatua kuinka hyvin hanke hyödyttää asiakkaitamme (opiskelijat, työelämä) kuinka hyvin hanke parantaa organisaation ja henkilöstön osaamista kuinka hyvin hanke tukee ammattikorkeakoulun prosessien ja rakenteiden uudistumista kuinka hyvin hanke parantaa ammattikorkeakoulun toiminnan taloudellisuutta.

51 Yksiköiden itsearvioinnissa keväällä 2008 sovittiin yhteiset strategian tavoitteita tukevat kriteerit erikseen koulutuksen laitoksille ja muille yksiköille. Suunnitteluvaiheeseen kuuluu myös arviointiin osallistuvien perehdyttäminen. Ensimmäisellä kerralla henkilöstö perehdytetään EFQM-pohjaiseen itsearviointiin, myöhemmin tärkeintä on arviointiin osallistujien motivointi. Yksiköiden itsearvioinnin perehdytyksestä vastaavat yksikön johtajat ja laatuvastaavat. Arvioinnin yhdenmukaiset periaatteet varmistetaan sillä, että laatuvastaavat kokoontuvat prosessin eri vaiheissa yhdessä vaihtamaan kokemuksia ja sopimaan yhteisistä menettelyistä. Arviointi alkaa siitä, että ilmoitus itsearvioinnista lähetetään osallistujille sähköpostilla. Arvioinnin voi tehdä työpaikalla tai muualla tietokoneella, jossa on internet-yhteys. Näin arvioinnin toteutusajankohta on yksilöllisesti valittavissa ja arviointiin käytettävä kokonaisaika lyhenee huomattavasti. Arvioinnin voi välillä tarvittaessa keskeyttää ja jatkaa myöhemmin sopivana ajankohtana. Arviointi on avoinna noin viikon ajan. Tulosten alustavan analyysin tekee MAMKin kokonaisarvioinnissa laatupäällikkö työryhmän avustuksella. Yksikön tulosten analysoinnista vastaa laatuvastaava yhdessä yksikön johtajan kanssa. Analysoinnissa ja tulosten käsittelyssä korostetaan avoimuutta. Tulosten käsittely sekä vahvuuksista ja kehittämishankkeista sopiminen eli konsensuskokous vie aikaa noin puoli työpäivää. Kokouksen puheenjohtajana toimii kokonaisarvioinnissa kehitysjohtaja ja yksiköiden arvioinnissa yksikönjohtaja. Kokouksen kulku noudattelee seuraavaa mallia: aikaisempien itsearviointien perusteella käynnistyneiden kehittämishankkeiden tilanne arviointikohtien tärkeyden, nykytilan ja tavoitetason tulosten esittely (numeerinen aineisto) keskustelu kriittisistä kohdista jokaisesta arviointialueesta esitetyt vahvuudet ja kehittämisehdotukset kehittämishankkeiden muodostaminen alustavista hanke-ehdotuksista priorisointikriteerien esittely ja keskustelu kriteereistä kehittämishankkeiden priorisointi jatkotoimista päättäminen. Kehittämishankkeiden tärkeysjärjestyksestä äänestetään. Tärkeimmiksi valituista kehittämiskohteista laaditaan kehittämissuunnitelmat, hankkeet resursoidaan ja vastuutetaan. Pienet kehittämistoimet hoidetaan operatiivisen toiminnan yhteydessä.

52 Mikkelin ammattikorkeakoulun edustajien näkemys itsearvioinnista Johdon sitoutuminen on onnistumisen kannalta välttämätöntä. Myös jokaisen arvioijan osallistuminen ja mielipide on erittäin tärkeää, jotta arvioinnin tuloksena saadaan esille yksiköiden todelliset vahvuudet ja kehittämiskohteet. Osallistamalla varmistetaan henkilöstön sitoutuminen kehittämistyöhön. Niin johto kuin henkilöstökin on osallistunut arviointeihin aktiivisesti. Arvioijat ovat käyttäneet itsearviointiin aikaa 30 minuutista kolmeen tuntiin riippuen siitä, miten hyvin arvioija oli aikaisemmin perehtynyt arviointikohtiin liittyvään sähköiseen tausta-aineistoon. Varsinaisen arvioinnin lisäksi on koettu tärkeäksi tulosten käsittely. Käsittelyn onnistumista parantaa huolellinen valmistautuminen ja luotettavuus. Varsinkin avoimissa vahvuuksia ja kehittämiskohteita koskevissa tuloksissa alkuperäisten arviointien esittäminen samanaikaisesti alustavassa analyysissa tehtyjen yhteenvetojen kanssa lisää avoimuutta. Vahvuuksia ja kehittämiskohteita pohdittaessa otetaan huomioon arvioijien näkemykset arvioinnin kohteen tärkeydestä, nykytilasta ja tavoitetasosta sekä arviointialueisiin liittyvät avoimet vastaukset. Lisäksi kiinnitetään huomiota toiminnan ja tulosten väliseen yhteyteen tai sen puuttumiseen. Itsearviointi ei saa olla erillinen toimenpide, vaan sen täytyy olla kiinteä osa yksikön toiminnan suunnittelua, jotta kehittämistä vaativien toimenpiteiden käynnistäminen ja eteenpäin vieminen voidaan joustavasti resursoida. Arvioinnit ovat johtaneet ammattikorkeakoulun kokonaisarvioinnissa strategisiin kehittämishankkeisiin. Hankkeet on vastuutettu ja aikataulutettu ja niille on varattu erilliset resurssit. Jokaiselle hankkeelle on nimetty johtoryhmässä vastuuhenkilö, joka on valmistellut hankesuunnitelman. Hankesuunnitelmat on hyväksytty johtoryhmässä, joka myös seuraa kokouksissaan säännöllisesti hankkeiden etenemistä ja tavoitteiden toteutumista. Yksiköiden itsearvioinnista nousevat kehittämishankkeet on käynnistetty yksiköissä. Arvioinnin tulokset käsitellään johdon katselmuksissa, jolloin myös muista käynnistettävistä kehittämishankkeista sovitaan. Yksiköiden itsearvioinnin tuloksista nostetaan tarvittaessa johtoryhmän päätöksellä yhteisiä MAMKtasoisia kehittämishankkeita. Itsearvioinnin on todettu parantavan arviointiin osallistuvien kokonaiskuvaa organisaation toiminnasta ja lisäävän organisaation ja sen strategian tuntemusta. Arvioinnin yhteydessä on syntynyt tehokasta ajatusten vaihtoa, joka auttaa osallistujia myös helpommin sopeutumaan tuleviin muutoksiin ja kehittämishaasteisiin. Keskustelu synnyttää yhteisen kehittämisen hengen ja tarpeen. Arvioinnista saatavan hyödyn varmistaa se, että yksiköiden johtajat ja laatuvastaavat ovat sitoutuneet kehittämiseen ja osaavat motivoida henkilöstön osallistumaan.

53 Itsearvioinnin toteutusajankohta on sopeutettu organisaation muuhun suunnitteluaikatauluun niin, että kehittämishankkeiden mukaan ottaminen toimintasuunnitelmiin ja budjetteihin sujuu joustavasti. Kovin usein toteutetut arvioinnit voisivat saada aikaan liiallisen määrän kehittämishankkeita, joiden toteuttamiseen ei riittäisi resursseja. Tällöin myös into osallistua arviointiin laimenisi, jos todellinen toiminnan parantaminen ja kehittäminen jäisi puuttumaan. Työmotivaatiota taas lisää se, että osallistujat pääsevät vaikuttamaan, suunnittelemaan ja antamaan palautetta ja näkevät kehitystyön etenevän. Arviointikumppanin näkemys itsearvioinnista Itsearvioinnilla haravoidaan koko MAMKin organisaation toimintaa. Arviointi osoittaa kehittämiskohteita myös kumppanuuksien ja yhteiskunnallisen vaikuttavuuden alueilla. Arviointi nähdään muutoksen läpiviennin ja muutosjohtamisen välineenä. Menetelmää kuvataan myös kipupisteiden etsijänä ja strategisten kehittämishankkeiden kuvataan kumpuavan itsearvioinnista. Itsearvioinnin toteutustapa on erittäin systemaattinen. Tämä näkyy selkeänä ohjeistuksena ja perehdyttämisen käytäntöinä. Suunnitteluvaihe tuo prosessiin räätälöinnin mahdollisuuksia ja varmistaa sen, että arviointitehtävä ymmärretään oikein. Johdon edustajien osallistuminen ja roolit itsearvioinnissa on harkittu onnistuneesti. Yksiköiden tekemän arvioinnin perehdytyksestä vastaavat yksikön johtajat ja laatuvastaavat. Johdon tekemässä arvioinnissa taustamateriaalin valitsevat kehitysjohtaja ja laatupäällikkö. Tulosten alustavan analyysin tekee ammattikorkeakoulun kokonaisarvioinnissa laatupäällikkö työryhmän avustuksella. Yksikön tulosten analysoinnista vastaa laatuvastaava yhdessä yksikön johtajan kanssa. Ammattikorkeakoulun kokonaisarvioinnissa konsensuskokouksen puheenjohtajana toimii kehitysjohtaja ja yksiköiden arvioinnissa yksikönjohtaja. Ammattikorkeakoulun kehitysjohtaja ja yksikönjohtajat osallistuvat arviointiin, mikä toteuttaa Pattonin (1997) ajatusta arvioinnista ylemmän johdon velvollisuutena ja johtamistyön osa-alueena. Johdon roolin painottumisesta huolimatta itsearviointi sisältää yhteisöllistä tiedonmuodostusta ja tahdonmuodostusta tukevia piirteitä. Osallistujien alkuperäisten arviointien esittäminen samanaikaisesti alustavassa analyysissa tehtyjen yhteenvetojen kanssa tuo läpinäkyvyyttä ja edesauttaa tiedonmuodostusta. Arviointiin osallistuneiden näkemykset arvioinnin kohteen tärkeydestä, nykytilasta ja tavoitetasosta otetaan huomioon analyysissa. Edelleen konsensuskokouksessa kehittämishankkeiden tärkeysjärjestyksestä äänestetään. Itsearvioinnin kautta henkilökunta voi käsitellä nimenomaan heille tärkeitä

54 asioita, kuten opetuksen sekä tutkimus- ja kehitystyön sisältöjä ja toteutusta sillä kielellä joka on heille tuttua. Arviointien kautta johto saa tietoa henkilöstön näkemyksistä. Kun jokainen huomaa itse muutostarpeen työssä, sitoudutaan myös kehittämistyöhön paremmin, eikä kehittäminen jää vain johtajien vastuulle. Itsearvioinnin merkittävin vahvuus on siinä, että toimenpiteiden ja kehittämishankkeiden määrittäminen on sisäänrakennettu arviointimalliin. Arvioinnin ytimenä näyttää olevan konsensuskokous, jossa valitaan tärkeimmät kehittämiskohteet ja laaditaan kehittämissuunnitelmat ja hankkeet. Yksiköiden tekemästä arvioinnista nousevat kehittämishankkeet käynnistetään yksiköissä ja käsitellään johdon katselmuksissa. Ammattikorkeakoulun johdon tekemien arviointien perusteella asetetaan strategisia kehittämishankkeita, joille nimetään johtoryhmässä vastuuhenkilö, joka on myös hankesuunnitelman valmistelija. Johtoryhmä hyväksyy hankesuunnitelmat ja seuraa kokouksissaan hankkeiden etenemistä. Itsearvioinnit sijoittuvat toiminnanohjausprosessissa optimaalisesti eli kevään arviointivaiheeseen, joka edeltää toiminnan ja talouden suunnittelua. Tällöin kehittämishankkeiden sisällyttäminen toimintasuunnitelmiin ja budjetteihin sujuu luontevasti. Hankkeiden johtoryhmäkäsittelyn ajankohdista (syksyn ensimmäinen kokous, visiopäivät ja teemapäivät) on sovittu tarkasti. Ammattikorkeakoulun laatutiimi on mukana johdon itsearvioinnista lähteneiden koko ammattikorkeakoulun tasoisten hankkeiden konkretisoinnissa. Vastaavasti yksiköiden laatutiimit ovat mukana yksiköiden kehittämishankkeiden toteutuksen seurannassa. Jalkauttamisprosessia pidetään kaiken kaikkiaan hyvin tärkeänä asiana. Kun koko hanke on tehty ja valmis, se saa arviointina hymynaaman. Koko EFQM-itsearvioinnin tekeminen on melko laaja ja raskas prosessi, johon liittyy laaja tausta-aineisto. Arvioinnissa toteutuu laatusyklin periaate oikeaoppisesti, sillä malliin sisältyy myös seuranta. Konsensuskokouksessa käsitellään aikaisempien arviointien perusteella käynnistyneiden kehittämishankkeiden tilanne. Voidaan kysyä, voiko arviointitiedon instrumentaalinen käyttö tapahtua enää selvemmin kuin Mikkelin ammattikorkeakoulussa itsearviointien hyödyntämisessä toiminnanohjauksessa.

55 . Kehittyvät käytänteet.. Toimintasuunnitelmakäytäntöön sisältyvä itsearviointi Turun ammattikorkeakoulussa Turun ammattikorkeakoulu, opetuksen tulosalueet ja niiden koulutusohjelmat sekä kehittämisen tulosalueen palvelukokonaisuudet ja tukitoiminnot määrittelevät vuosittain toimintasuunnitelmassaan kehittämistavoitteet. Toimintasuunnitelma perustuu tasapainotetun tuloskortin eli Balanced Scorecardin (BSC) viitekehykseen. Ammattikorkeakoululle ja opetuksen tulosalueille on 4T-portaalissa käytössä toimintasuunnitelman www-lomakepohja. Toimintasuunnitelma laaditaan yhtenäisen viitekehyksen mukaan, joka sisältää yhteiset arviointikysymykset, laadulliset ja määrälliset tavoitteet mittareille sekä toimenpiteet. Vastaavasti koulutusohjelmilla on yksi yhteinen toimintasuunnitelman lomakemalli, kuten myös kehittämisen tulosalueen palvelukokonaisuuksilla ja tukitoiminnoilla. Kunkin organisaatioyksikön toimintasuunnitelman valmisteluun sisältyy kevyt itsearviointi, jota ohjaavat toimintasuunnitelmapohjan kysymykset. Liitteenä 1 on esimerkki ammattikorkeakoulun toimintasuunnitelman välilehdestä. Toimintasuunnitelmien lomakemallit on valmisteltu toiminnanohjauksen kehittämisprojektin määrittelypalavereissa, joihin osallistuivat rehtori sekä koulutusjohtajien, koulutuspäälliköiden ja tukitoimintojen päälliköiden edustajat. Ammattikorkeakoulun ja opetuksen tulosalueen toimintasuunnitelman mittaristoa on uudistettu johtoryhmän käsittelyn perusteella kaksi kertaa, viimeksi vuoden 2008 suunnitelmiin. Tällä hetkellä koulutusprosessin määrälliset tavoitteet asetetaan seuraaville mittareille: tutkintojen määrä (erikseen nuorten koulutus, aikuisten tutkintoon johtava koulutus, YAMK-koulutus) keskimääräinen opiskeluaika (erikseen nuorten koulutus, aikuisten tutkintoon johtava koulutus, YAMK-koulutus) (v) tutkinnon suorittaneet / 5 vuotta aikaisemmin aloittaneet, nuorten koulutus (%) opintopistekertymä / opiskelija (erikseen nuorten koulutus, aikuisten tutkintoon johtava koulutus, YAMK-koulutus) eroamisaste, läsnäolevista nuorten koulutuksen opiskelijoista (%) eroamisaste, aikuisten tutkintoon johtava koulutuksen opiskelijoista (%) suoritetut verkko-opinnot / läsnäolevat, nuorten koulutuksen opiskelijat t&k-projekteissa suoritetut opintopisteet / läsnäolevat opiskelijat (p/lkm).

56 Toimintasuunnitelmakäytäntö ja siihen sisältyvän itsearvioinnin kuvaus Toimintasuunnitelman valmistelun yhteydessä tapahtuva itsearviointi on suunniteltu tehtäväksi kahdessa vaiheessa riippumatta siitä, mistä organisaatioyksiköstä on kysymys. Ensimmäisessä vaiheessa, organisaatioyksikön toiminnasta vastaava tekee henkilöstönsä kanssa yhteenvedon edellisen sopimuskauden keskeisten tavoitteiden toteutumista seuraavan rakenteen mukaisesti: Tavoitteet saavutettiin seuraavilla osa-alueilla. Tavoitteet saavutettiin osittain seuraavilla osa-alueilla. Tavoitteita ei saavutettu seuraavilla osa-alueilla. Itsearvioinnin toinen vaihe on nykytilan arviointi ja kehittämiskohteiden määrittely tasapainotetun tuloskortin eri näkökulmista. Ammattikorkeakoulun, tulosalueen ja koulutusohjelman toimintasuunnitelmarungot sisältävät tasapainotetun tuloskortiston viitekehyksen viisi näkökulmaa, jotka ovat yhteiskunnalliset vaikutukset, asiakkuus, talous, prosessit ja osaaminen. Tässä arviointivaiheessa on tarkoitus hyödyntää paitsi ammattikorkeakoulun laadunvarmistusjärjestelmän eri menettelyiden tuottamaa tietoa myös vastuuhenkilön ja hänen tiiminsä kokemusperäistä tietoa. Esimerkiksi koulutusohjelma voi hyödyntää eri tavalla kerättyä opiskelijapalautetta, oppimistulosten arviointien tuloksia, sijoittumisseurannan tuloksia, toimintasuunnitelman määrällisten mittareiden toteutumatietoja, valtakunnallisen Opala-kyselyn tuloksia, koulutusohjelmien ristiinarviointeja sekä vuorovaikutuksessa henkilöstöltä, neuvottelukunnilta ja muilta työelämän edustajilta saatua palautetta. Turun ammattikorkeakoulussa toimintasuunnitelma nähdään toiminnanohjausta ja laadunvarmistusta integroivana työkaluna, jonka kysymyksenasettelu kannustaa vastuuhenkilöitä arviointitiedon ja palautteiden hyödyntämiseen toiminnan kehittämiseksi. Toimintasuunnitelmassa määritellyt toimenpiteet perustuvat aina joko strategisiin tavoitteisiin tai itsearvioinnissa havaittuihin kehittämiskohteisiin. Kokonaisstrategian tavoitteiden konkretisointi sanallisiksi ja määrällisiksi vuositavoitteiksi tehdään toimintasuunnitelmaan eri BSC-näkökulmista. Kuhunkin näkökulmaan sisältyvien strategisten tavoitteiden toteutumista seurataan jatkuvan parantamisen periaatteen mukaan seuraavasti: nykytilan arviointi ja kehittämiskohteet tavoitteet määrälliset tavoitteet (seurantamittarien kolmen edellisen vuoden toteutuma-arvot, kuluvalle vuodelle sovittu tavoitearvo, kolmen tulevan vuoden tavoitearvot) toimenpiteet: vastuut ja toimenpiteen kuvaus sisältäen aikataulun ja budjetin.

57 Rehtori julkaisee ammattikorkeakoulun toimintasuunnitelmaluonnoksen 4Tportaalissa toukokuussa strategiaseminaari II:n yhteydessä. Tällöin koko henkilöstöllä on mahdollisuus tutustua suunnitelmaan, johon sisältyy korkeakoulun johdon tekemä itsearviointi. Opetuksen tulosalueet ja kehittämisen tulosalueen palvelukokonaisuudet ja tukitoiminnot aloittavat toimintasuunnitelman valmistelun toukokuussa ja lähettävät suunnitelmaluonnoksensa korkeakoulun johdolle elokuun alkupuolella samanaikaisesti talousarvioehdotuksen kanssa. Johto päivittää julkaistua ammattikorkeakoulun suunnitelmaa elo syyskuussa. Päivityksessä otetaan huomioon tulosalueiden suunnitelmat sekä Turun kaupungille tehtävään talousarvioehdotuksen sisältyvien tuloskorttien seurantamittareiden tavoitetasot, joiden suhteen ammattikorkeakoulun toimintasuunnitelma tulee saada yhteensopiviksi. Valmistelun aikana kaikki organisaatioyksiköt voivat lähettää työversioita kommentoitavaksi oman organisaationsa henkilöstölle. Henkilö voi antaa portaalin kautta nimellään palautetta oman organisaatioyksikön suunnitelman työversioon sekä julkaistuun suunnitelmaluonnokseen 49. Itsearvioinnin hyödyntämistä ja toimintasuunnitelmien merkitystä toiminnanohjauksessa (johtamisprosessissa) vahvistaa ylemmältä organisaatiotasolta saatava palaute sekä hyväksymiskäytäntö. Opetuksen tulosalueen toimintasuunnitelman määritellyt seuraavan vuoden tavoitteet ja kehittämistoimenpiteet käsitellään vuosittain marraskuussa tavoiteneuvottelussa, johon osallistuvat rehtori, vararehtorit, kehityspäällikkö ja talouspäällikkö sekä kultakin opetuksen tulosalueelta koulutusjohtaja, koulutuspäälliköt sekä tutkimus- ja kehityspäällikkö. Ennen tavoiteneuvottelua rehtori julkaisee kullekin tulosalueelle 4T-tarjouksen, joka sisältää toimintasuunnitelmaluonnokseen annetut johdon palautteet, kysymykset ja kommentit esim. tulosalue määrällisistä tavoitteista. Ammattikorkeakoulun neuvottelijat käyttävät 2 3 päivää valmistautuessaan kuuden tulosalueen tavoiteneuvotteluun. Opetuksen tulosalueen tavoiteneuvottelu kestää 2,5 tuntia ja siinä keskitytään johdon palautteessa ja kommenteissa esille nostettuihin asioihin. Tavoiteneuvottelun jälkeen toimintasuunnitelma palautuu tulosalueelle täsmentämistä ja hyväksymistä varten. Rehtori vahvistaa tulosalueiden toiminta- 49 Esimerkiksi opetuksen tulosalueen henkilöstöön kuuluva pääsee portaalissa katsomaan tulosalueensa kaikkien koulutusohjelmien hyväksytyt toimintasuunnitelmat kuluvalle vuodelle sekä seuraavalle vuodelle laaditut koulutusohjelmien julkaisemat suunnitelmaluonnokset. Vastaavasti hän voi katsoa ammattikorkeakoulun kuluvan vuoden toimintasuunnitelmaa ja seuraavan vuoden suunnitelmaluonnosta, oman tulosalueensa kuluvan vuoden toimintasuunnitelmaa sekä antaa palautetta tulosalueensa seuraavan vuoden toimintasuunnitelmaluonnokseen.

58 suunnitelmat vuoden lopussa talousarvion käyttösuunnitelman hyväksymisen yhteydessä. Tulosaluetta johtavan koulutusjohtajan vastuulla on varmistaa, että tulosalueen ja sen koulutusohjelmien suunnitelmat noudattavat yhteistä linjaa. Opetuksen tulosalueilla on järjestetty vuosisuunnitteluseminaareja ja työkokouksia, joissa on työstetty tulosalueen toimintasuunnitelmaa sekä käsitelty koulutusohjelmien suunnitelmaluonnoksia. Koulutusjohtaja voi antaa 4T-portaalissa palautetta koulutusohjelmien toimintasuunnitelmiin. Koulutusjohtaja voi myös palauttaa koulutusohjelman toimintasuunnitelman valmisteluun koulutuspäällikölle, joka täsmentämisen jälkeen lähettää suunnitelman uudelleen koulutusjohtajalle. Koulutusjohtaja vahvistaa tulosalueensa koulutusohjelmien toimintasuunnitelmat sisäisten tavoiteneuvottelujen jälkeen joulukuun puoliväliin mennessä. Turun ammattikorkeakoulun edustajien näkemys itsearvioinnista osana toimintasuunnitelmakäytäntöä Toimintasuunnitelmakäytäntö ja itsearviointi tähtäävät jatkuvaan parantamiseen pienten askelten kautta. Arvioinnin hyödyntäminen on pyritty rakentamaan sisään toimintasuunnitelman logiikkaan. Toimintasuunnitelmakäytäntö ja siihen sisältyvä itsearviointi nähdään Turun ammattikorkeakoulussa ensisijaisesti organisaatioyksikön vastuuhenkilön omana työkaluna ja ensisijaisesti kehittävän arvioinnin menetelmänä. Arvioinnin tarkoitus on tunnistaa kehittämistarpeita, joista valitaan vuosittain vain rajallinen määrä konkreettisia kehittämiskohtia. Niihin suunnitellaan toimenpiteet, joille määritellään vastuuhenkilöt ja budjetit. Kaikkien organisaatioyksiköiden vastuuhenkilöt (rehtori, vararehtorit, koulutusjohtajat, koulutuspäälliköt, tukitoimintojen päälliköt) tekevät itsearvioinnin säännöllisesti. Tämä vahvistaa laatukulttuuria ja vahvistaa käsitystä arvioinnista johtavien viranhaltijoiden ja muiden esimiesten velvollisuutena ja johtamistyön osa-alueena. Toimintasuunnitelmakäytäntö tuottaa läpinäkyvyyttä kunkin organisaatioyksikön vastuuhenkilön toimintaan. Esimerkiksi kunkin tulosalueen koulutusjohtaja vastaa sovittujen toiminnallisten ja taloudellisten tavoitteiden saavuttamisesta. Koulutusjohtaja määrittelee toimintasuunnitelmassa toiminnalliset tavoitteet sekä arvioi, missä määrin asetetut tavoitteet on saavutettu. On mahdollista, että erityisesti itsearvioinnin ensimmäinen vaihe (tavoitteiden toteutumisen arviointi) mielletään pikemmin tilivelvollisuusarvioinniksi kuin organisaatioyksikön sisäiseksi kehittäväksi arvioinniksi. Edelleen se, pitääkö vastuuhenkilö toimintasuunnitelmaa toiminnan kehittämisen tukityökaluna vai tilivelvollisuuteen liittyvänä raportoinnin työkaluna, riippuu pit-

59 kälti siitä miten vastuuhenkilö kokee ylemmän organisaatiotason antaman palautteen ja ohjauksen. Toiminnallisten tavoitteiden toteutumista arvioidaan tyypillisesti määrällisten tavoitteiden toteutumisen kautta. Toimintasuunnitelman määrälliset mittarit eivät sinällään ole itsearviointi vaan aineisto, jota organisaatioyksikön vastuuhenkilö voi hyödyntää itsearvioinnissa. Päätettäessä ammattikorkeakoulun sisäiseen tuloksellisuusrahoituksen kohdentamisesta käytetään eräitä tulosalueen toimintasuunnitelman määrällisiä mittareita, minkä lisäksi arvioinnissa otetaan huomioon toimintasuunnitelman selkeys ja näytöt toimeenpanon onnistumisesta. Tilivelvollisuusarvioinnin ja kehittävän arvioinnin jännite näkyy jossain määrin myös toimintasuunnitelmakäytännössä. Puutteeksi työkalun käytössä on havaittu se, että koulutusohjelmat ole eivät ole vielä kattavasti saaneet toimintasuunnitelmistaan kirjallista palautetta koulutusjohtajilta. Koulutusjohtaja voi kirjoittaa palautteensa johdon kommentit -tekstikenttään. Tämän uuden käytännön jalkauttaminen vaatii aikaa. Koulutusohjelmien toimintasuunnitelmien valmistelun ajankohta kesä elokuussa oli ongelmallinen koulutusohjelmien koulutuspäällikköinä toimivien opettajien vuosilomien takia. Tämän vuoksi koulutusohjelmien toimintasuunnitelmien valmistelu siirrettiin vuonna 2008 syys marraskuulle. Ajankohdan muutoksella haluttiin mahdollistaa koulutusohjelmien opettajien laajempi osallistuminen itsearviointiin ja toimintasuunnitelman valmisteluun. Vuonna 2008 havaittiin lisäksi, että tasapainotetun tuloskortin viitekehykseen perustuva toimintasuunnitelman rakenne ei tue riittävästi koulutusohjelman itsearviointia ja suunnittelua. Tilanteen korjaamiseksi laadittiin pilottikäyttöön koulutusohjelman itsearvioinnin tukilomake, joka sisältää aiempaa tarkemmat itsearvioinnin kysymykset opetuksen suunnittelun ja toteutuksen sekä opiskelijoiden ohjauksen osa-alueilta. Esiin on noussut tarve ohjeistaa itsearviointi paremmin ja mahdollisesti järjestää tähän valmennusta. Tällä hetkellä perehdytys itsearviointiin puuttuu kokonaan, mikä heikkous tulee korjata ennen seuraavaa suunnittelukierrosta. Koulutusohjelman itsearvioinnin toteutustapa riippuu nykyisin koulutuspäällikön perehtyneisyydestä ja motivaatiosta. Ammattikorkeakoulun ja tulosalueen toimintasuunnitelma on varsin laaja, minkä seurauksena suunnitelman huolellinen valmistelu vaatii ammattikorkeakoulun johdolta ja koulutusjohtajilta mittavan panoksen. Laajuus johtuu Balanced Scorecard -viitekehyksen tuomasta moninäkökulmaisuudesta ja toisaalta strategisten tavoitteiden suuresta määrästä. Suunnitelman fokusointiin ja mittareiden karsintaan tarjoutuu luonteva tilaisuus, sillä Turun ammattikorkeakoulu on käynnistänyt uuden kokonaisstrategian valmistelun vuoden 2009 alussa.

60 Arviointikumppanin näkemys itsearvioinnista osana toimintasuunnitelmakäytäntöä Itsearvioinnissa omaa toimintaa, toimintatapoja ja toiminnan tuloksia tarkastellaan järjestelmällisesti tiettyjä arviointikriteerejä vasten. Turun ammattikorkeakoulun organisaatioyksiköiden toimintasuunnitelmien valmisteluun sisältyvä itsearviointi sisältää monia erinomaisia kehittävän arvioinnin käytäntöjä. Itsearvioinnissa tehdään systemaattinen arvio edellisellä kerralla asetettujen kehittämistavoitteiden saavuttamisesta. Arviointi varmistaa myös yksiköiden tavoitteiden strategialähtöisyyden. Itsearviointiprosessi on hyvä tapa varmistaa laadunvarmistusjärjestelmän tuottaman tiedon hyödyntäminen toiminnan kehittämisessä. Määrällisten mittareiden tuottamaa tietoa täydennetään kokemusperäisellä tiedolla, mikä lisää arviointiin laadullisen elementin. Itsearviointien valmistelu 4T-portaalissa tuo prosessiin läpinäkyvyyttä ja mahdollistaa henkilöstön perehtymisen ja osallistumisen sekä palautteen antamisen. Yhteinen portaali parantaa myös tiedon jakamista, kun arvioinnit ovat hyödynnettävissä kautta koko organisaation. Portaali on lisäksi erinomainen tapa dokumentoida kehittämistoimenpiteitä ja niiden toteutumista. Systemaattinen ja perusteellinen 4T-portaalin käyttö sitoo paljon työaikaa esimerkiksi koulutusjohtajilta, joiden tehtävänä on käsitellä koulutusohjelmien toimintasuunnitelmat ja antaa niistä palautetta koulutusohjelmien koulutuspäälliköille. Kyseessä on melko uusi työkalu, joten toiminnallisuudet kuten väliraportoinnin työkalut ovat osittain vielä kehitysvaiheessa. Tämä näkyy varsinkin organisaatioyksiköiden erilaisina toteutuksina. Portaali mahdollistaa kuitenkin hyvien käytäntöjen levittämisen... Johdon katselmukset Mikkelin ammattikorkeakoulussa ISO 9001:2000 -standardin mukainen johdon katselmus perustuu ajatukseen, että johdon tulee katselmoida organisaation laadunhallintajärjestelmä ennalta suunnitelluin väliajoin. Tarkoituksena on varmistaa järjestelmän jatkuva soveltuvuus, asianmukaisuus ja vaikuttavuus. Koulutusorganisaatiossa katselmuksen tulee sisältää opetus- ja tukijärjestelmien, asiakastyytyväisyyden, arviointikriteerien, arviointitulosten ja dokumentoitujen parannusten katselmus. Parhaimmillaan johdon katselmukset ovat tilaisuuksia, joissa keskustellaan avoimesti, esitetään uusia ideoita ja arvioidaan myös johdon panoksia toiminnan edistämisessä. Organisaatiolle lisäarvoa tuottavat johdon katselmukset pohjautuvat sellaisiin lähtötietoihin, jotka johtavat laadunhallintajärjestelmää laajempaan suorituskyvyn parantamiseen. Lähtötietojen tulee sisältää informaatiota mm. asiakaspalautteista, korjaavien ja ehkäisevien toimenpiteiden tilanteesta, aiempien

61 johdon katselmusten seurantatoimenpiteistä ja parantamissuosituksista. Katselmusten tuloksiin tulee sisältyä laadunhallintajärjestelmään ja sen prosessien parantamiseen, asiakasvaatimuksiin liittyviin parannuksiin ja resurssitarpeisiin liittyvät päätökset ja toimenpiteet. Katselmuksista tulee pitää tallenteita. 50 Johdon katselmuksen toteutus Ensimmäiset johdon katselmukset Mikkelin ammattikorkeakoulussa suorittivat vuonna 1998 rehtori ja kehitysjohtaja. Katselmuksessa käytiin läpi koulutusyksiköiden laadun kehittämisen tarkistuslista. Erityisesti keskityttiin ensimmäistä kertaa tehdyn henkilöstön ilmapiirikartoituksen tulosten arviointiin. Toinen tärkeä tarkastelualue oli opetusjärjestelyt. Nykyisin johdon katselmukset järjestetään toiminnanohjaus- ja laatujärjestelmän mukaisesti toimintavuoden aikana ennakolta valmistellun aineiston pohjalta. Keskitetysti valmisteltu aineisto on henkilöstön intranetissä kaikkien osapuolten käytettävissä jo ennen katselmustilaisuutta. Johdon katselmukset liittyvät ammattikorkeakoulun arviointi- ja seurantajärjestelmään, toiminnan ja henkilöstön kehittämiseen. Arviointi ja seuranta antavat ammattikorkeakoulun käyttöön pohjatietoa toiminnan laadusta ja tuloksista. Johdon katselmusten tavoitteena on arvioida sitä, miten toiminta on edistynyt ja käydä siihen liittyvää tiedon vaihtoa. Johdon tavoitteena on myös tukea ja edistää yksiköiden toimintaa. Katselmuksen suorittavat rehtori, kehitysjohtaja sekä hallinto- ja talousjohtaja. Koulutuksen tulosalueille on varattu aikaa koko päivä ja muille yksiköille noin kaksi ja puoli tuntia. Koulutuksen tulosalueilla ja muissa yksiköissä katselmuksiin osallistuu johtajien lisäksi eri sektoreiden tai avainalueiden vastuuhenkilöitä, muun henkilöstön edustaja sekä koulutuksen laitoksilla opiskelijoiden edustaja. Katselmuksista tehdään muistiot, johon sovitut kehittämistoimenpiteet kirjataan. Seuraavan vuoden katselmus alkaa edellisessä katselmuksessa sovittujen kehittämistoimenpiteiden raportoinnilla. Muistiot ovat intranetissä koko henkilöstön saatavilla. Katselmuksessa käsitellään edellisen vuoden taloudelliset tulokset ja kuluvan vuoden toiminnalliset tavoitteet tuloslomakkeiden pohjalta. Tulosalueeseen kuuluvien laitosten ja muiden tulosyksiköiden osalta käsitellään laitoksen laatutyön kuvaukset, edellisessä katselmuksessa havaitut kehittämiskohteet ja tehdyt toimenpiteet, t&k-työ sekä työyhteisön kehittämiskyselytulokset tai itsearvioinnissa esiin nousseet kehittämishankkeet. Koulutuksen laitosten osalta käsitellään lisäksi koulutusohjelmien tulokset: hakijatilanne, aloittaneet, eronneet, valmistuneet, vieraskielinen opetus, virtuaaliopetus, avoin amk sekä 50 SFS 2004.

62 opetusministeriön työllistymiskyselytulokset koulutusohjelma-kohtaisesti. Lopuksi käydään läpi katselmuksessa esiinnousseet kehittämiskohteet tulevalle vuodelle ja varataan aikaa tulosalueen ja laitosten esille tuomille kysymyksille. Katselmuksissa saattaa lisäksi olla vaihtuvia ajankohtaisia teemoja, kuten esimerkiksi pedagoginen kehittäminen, organisaatiomuutos tai palvelutoiminnan kehittäminen. Mikkelin ammattikorkeakoulun edustajien näkemys johdon katselmuksesta Mikkelin ammattikorkeakoululla on jo kymmenen vuoden kokemus johdon katselmuksista. Katselmuksia on vuosien mittaan kehitetty yhdenmukaistamalla käytettäviä aineistoja ja dokumentointia sekä parantamalla sovittujen kehittämistoimenpiteiden seurantaa. Hyvä johdon katselmuskäytäntö toimiikin ryhdikkäästi kaikissa vaiheissa: ennen katselmusta, katselmuksen aikana ja katselmuksen jälkeen. On erittäin tärkeää, että katselmuksen rooli osana laadunvarmistusjärjestelmää on selkeästi määritelty. Sekä katselmuksen toteuttava ylin johto että siihen osallistuvat ammattikorkeakoulun muu johto ja henkilöstön sekä opiskelijoiden edustajat valmistautuvat katselmukseen. Katselmuksessa käydään systemaattisesti läpi sovitut aihealueet, jolloin ylimmälle johdolle muodostuu kokonaiskuva organisaation eri osien toiminnasta ja tuloksista. Katselmukset ovat myös keskustelutilaisuuksia, joissa laitosten ja yksiköiden sekä opiskelijoiden edustajat pääsevät kertomaan näkemyksiään johdolle. Johdon tavoitteena on myös tukea ja edistää yksiköiden toimintaa. Katselmuksia arvostetaan ja niitä pidetään tärkeänä kanavana ylimmän johdon ja yksiköiden välillä. Johdon katselmus on tärkeä työkalu sekä ylimmälle johdolle että laitosten ja yksiköiden johtajille. Laitosten ja muiden yksiköiden johto on vastuussa siitä, että katselmuksessa sovitut kehittämistoimenpiteet vastuutetaan ja resursoidaan. Toimenpiteiden toteutumista seurataan yksikkötasolla ja katselmuksissa. Katselmusten lähtötiedot, sovitut toimenpiteet ja niiden seuranta dokumentoidaan henkilöstön intranetissä. Arviointi ja seuranta antavat ammattikorkeakoulun käyttöön pohjatietoa toiminnan laadusta ja tuloksista. Johdon katselmusten edelleen kehittäminen on yksi seuraavan vuoden kehittämiskohteista. Laitosten ja yksiköiden itsearviointi tulee saamaan katselmuksissa merkittävämmän roolin. Katselmusten teemat tullaan myös johtamaan entistä selkeämmin ammattikorkeakoulun strategisista tavoitteista ja katselmuksista tulee tältäkin osin tärkein toiminnan arviointitapahtuma. Uutena katselmuksiin lisätään ylimmän johdon ja tulosalueen koko henkilöstön tapaaminen katselmuksen päätteeksi. Tässä tilaisuudessa ylin johto kertoo koko

63 henkilöstölle katselmuksen tärkeimmät johtopäätökset: tulosalueen onnistumiset ja kehittämiskohteet. Arviointikumppanin näkemys johdon katselmuksesta Johdon katselmuksessa käydään kerran vuodessa läpi tulosalueittain keskustellen tulosalueen ja laitosten toiminnan taloudelliset ja toiminnalliset tavoitteet ja keskeiset tulokset. Alaotsikoita keskustelussa ovat mm. laatukäytännöt, edellisessä katselmuksessa havaitut kehittämiskohteet ja tehdyt toimenpiteet, hakijatilanne, aloittaneet, eronneet, valmistuneet, vieraskielinen opetus virtuaaliopetus, avoin ammattikorkeakoulu, valmistuneiden työllistyminen, työyhteisön kehittämiskysely. Tuloskorttien luvut käydään yksityiskohtaisesti läpi. Viimeisenä kirjattavana kohtana ovat katselmuksessa esiinnousseet kehittämiskohteet tulevalle vuodelle. Katselmuksissa saattaa lisäksi olla vaihtuvia ajankohtaisia teemoja, kuten esimerkiksi pedagoginen kehittäminen, organisaatiomuutos tai palvelutoiminnan kehittäminen. Johdon katselmuksella on selkeä systemaattinen malli. Katselmuksen etenemiselle on selkeä struktuuri ja käsiteltävien asioiden tukena on kyselyistä, tilastoista ja mittareista saatua pohjatietoa. Pohja-aineistot ovat kattavat ja yhtenäiset. Tietoa voidaan tarkastella helposti johdon katselmuksen aikana. Erityisesti tilastotiedon tarkastelua helpottava Staff-intranet on koettu toimivaksi. Johdon katselmuksen käytäntö on toimiva sekä sisällön ja käsittelytavan, että sitoutumisen ja yhteishengen kasvamisen kannalta. Johto saa katselmuksessa tietoa tulosalueiden toiminnasta ja voi samalla välittää uusia kehittämisen suuntia sekä seuraavan vuoden tavoitteita tulosalueille ja laitoksille. Johdon katselmuksessa esille tulleita haasteita ovat olleet hakijamäärien kehitys ja entistä tiiviimpi kytkös paikalliseen alueeseen, työelämän tarpeisiin ja työnantajiin. Katselmukset ovat myös keskustelutilaisuuksia, joissa laitosten ja yksiköiden sekä opiskelijoiden edustajat pääsevät kertomaan näkemyksiään johdolle. Johdon tavoitteena on myös tukea ja edistää yksiköiden toimintaa. Katselmuksia arvostetaan ja niitä pidetään tärkeänä kanavana ylimmän johdon ja yksiköiden välillä. Myös tulosalueiden henkilöstön osallistuminen ja vuoropuhelu korkeakoulun johdon kanssa on mahdollista. Henkilöstö on voinut todeta, että ammattikorkeakoulun johto on kiinnostunut siitä, mitä henkilöstö tekee. Samalla on voitu arvioida yhdessä sitä, missä tilanteessa ollaan ja mitä pitää seuraavaksi tavoitella. Tämä on luonut hyvää kehittämishenkeä. Johdon katselmus on tärkeä työkalu sekä ylimmälle johdolle että laitosten ja yksiköiden johtajille. Nykyinen johdon katselmuksen malli mahdollistaa

64 suoran vuorovaikutuksen. Katselmukseen on varattu riittävästi aikaa: koulutuksen tulosalueille koko päivä ja muille yksiköille noin kaksi ja puoli tuntia. Mikkelin ammattikorkeakoulun johdon katselmus näyttää sisältävän osittain samoja elementtejä kuin Turun ammattikorkeakulun sisäisen tavoiteneuvottelun käytäntö. Mikkelin ammattikorkeakoulun johdon katselmuksen mallin pohjalta Turun ammattikorkeakoulussa otettiin syksyllä 2008 käyttöön tulosalueen kehittämispäivä, joka sisältää aiempaa tapaan sisäisen tavoiteneuvottelun ja uusina elementteinä ammattikorkeakoulun johdon ja opiskelijoiden tapaamisen, henkilöstön kyselytunnin, johdon puheenvuorot ammattikorkeakoulun ajankohtaisista asioista sekä päivän lopuksi tulosalueen hyvän käytännön esittelyn.

65 Johtopäätökset Turun ja Mikkelin ammattikorkeakoulujen toiminnanohjauksen ja laadunvarmistusjärjestelmien arvioinnin ja vertailukehittämisen (benchmarking) perusteella on mahdollista esittää johtopäätöksiä arvioinnin parempaan hyödyntämiseen toiminnan kehittämisessä. Projektiryhmä esittää eräitä arvioinnin kuluessa tunnistettuja tekijöitä, jotka näyttävät olevan yhteydessä laatua parantavien toimenpiteiden käynnistämiseen. Havaintojemme mukaan itsearviointien ja muiden sisäisten arviointiprosessien systemaattisuuteen, ohjeistukseen sekä perehdyttämiseen tulee kiinnittää erityistä huomiota. Arviointiin tulee olla selkeä dokumentoitu menettelytapa, johon osallistujat perehdytetään. Tällöin varmistetaan, että arvioinnin kohteena olevat ymmärtävät arvioinnin tavoitteet ja tarkoituksen. Arvioinnin suunnittelun ja perehdyttämisen vastuiden tulee olla selkeät. Arviointien yhteissuunnittelu arvioitavan kohteen edustajien ja arvioinnin tilaajan sekä toteuttajan kesken mahdollistaa arvioinnin räätälöinnin siten, että arvioinnilla voidaan tuottaa eri asianosaisten kannalta relevanttia tietoa. Kehittävän arvioinnin periaate korostaa arvioinnin käyttäjälähtöisyyttä. Arvioinnin räätälöinnissä on hyödyllistä painottaa arvioinnin kohteiden tietotarpeita, sillä tämä lisää sitoutumista paitsi (itse)arviointiprosessiin myös arvioinnin tuloksiin ja edelleen tulosten ja suositusten hyödyntämiseen päätöksenteossa. Arvioinnin kohteen sitoutumisesta viime kädessä riippuu se, missä määrin arvioinnin tulokset ja suositukset realisoituvat toimintakäytäntöjen muutoksina. Itsearviointeihin osallistuneet kokevat toisinaan itsearviointiprosessin hyödyllisemmäksi kuin ulkoisen arviointiryhmän tuottama arvioinnin julkinen loppuraportti. Itsearviointi tuottaa vuorovaikutuksen areenan ja voi selkeyttää viestintää. Itsearviointia voidaan käyttää pyrittäessä luomaan työyhteisön yhteistä jaettua näkemystä toiminnan vahvuuksista ja kehittämiskohteista mutta myös tavoitteista ja tavoiteltavista lopputuloksista. Parhaimmillaan itsearviointi tukee yhteisöllistä tiedonmuodostusta ja tahdonmuodostusta. Prosessin aikana yksilöiden erilaiset näkemykset kohtaavat, jolloin yhteisen näkemyksen muodostaminen voi osoittautua haastavaksi. Yhteisöllisen tiedonmuodostuksen edellytyksenä on sosiaalinen vuorovaikutus. Arvioinnista oppiminen edellyttää yhteisiä tulkintafoorumeja sekä osallistujien kykyä ja haluk-

66 kuutta dialogiin. Tästä syystä perehdyttäminen itsearviointiin sekä ohjeistus on erittäin tärkeää. Arviointitiedon kattava kerääminen ja tehokas hyväksikäyttö edellyttävät johdon vahvan tuen. Erilaiset digitaaliset työkalut (intranet, johdon portaali) parantavat läpinäkyvyyttä, dokumentointia ja viestintää. Näyttää kuitenkin siltä, että verkkotyöskentely sinällään ei riitä yhteisöllisen itsearvioinnin foorumiksi. Ilman kasvokkain tapahtuvaa vuorovaikutusta arvioinnin ja toiminnan suunnittelun kytkentä jää puutteelliseksi. Arvioinnista tulee pystyä nostamaan esiin keskeiset vahvuudet ja tärkeimmät kehittämiskohteet, jotka kannattaa hankkeistaa. Kehittämishankkeiden priorisointi osana päätöksentekoa on äärimmäisen tärkeää, koska organisaation voimavarat eivät riitä useiden laajojen kehittämishankkeiden onnistuneeseen toteuttamiseen samanaikaisesti. On suositeltavaa, että kehittämishankkeiden tai pienempien toimenpiteiden määrittäminen sisällytetään arviointimalliin kuten EFQM-itsearvioinnissa ja toimintasuunnitelmakäytäntöön liittyvässä itsearvioinnissa. Itsearvioinnit ja muut sisäiset arviointiprosessit kannattaa aikatauluttaa osaksi korkeakoulun toiminnanohjauksen vuosiprosessia siten, että arviointien tuottamat kehittämiskohteet käsitellään ennen seuraavan vuoden toiminnan ja talouden suunnittelua. Tällöin kehittämishankkeiden käsittely, priorisointi ja sisällyttäminen toimintasuunnitelmiin ja talousarvioon sujuu luontevasti. Tämä toteutuu EFQM-itsearvioinnissa ja toimintasuunnitelmakäytäntöön liittyvässä itsearvioinnissa. Toiminnanohjauksessa ja sen dokumentaatiossa (toimintasuunnitelmissa ym.) on kyettävä priorisoimaan ja rajaamaan asetettavia kehittämishankkeita. Suunnitelmien jalostamiseksi tarvitaan korkeakoulun johdon ja tulosalueen johdon välisiä neuvottelun ja vuoropuhelun foorumeita ja käytäntöjä. Esimerkkejä näistä ovat tavoiteneuvottelut ja johdon katselmukset. Esimerkiksi Mikkelin ammattikorkeakoulun EFQM-itsearvioinnin konsensuskokousten perusteella laaditut yksikköjen kehittämishankkeet käsitellään johdon katselmuksissa tai johdon itsearviointien tuottamien strategisten kehittämishankkeiden osalta johtoryhmässä. Arviointi tulee hahmottaa ylemmän johdon velvollisuutena ja johtamistyön osa-alueena. Johdon edustajien osallistuminen ja roolit EFQM-itsearvioinnissa ja ristiinarvioinnissa ovat tästä esimerkkejä. Myös arviointien hyödyntämisen seuranta tulee vastuuttaa johtoryhmään kuuluvalle henkilölle. Kaikkien tärkeintä on ammattikorkeakoulun ylimmän johdon aktiivinen rooli ja esimerkki arviointitiedon käyttäjänä. Ammattikorkeakoulun johdon aktiivinen kiinnostus tunnistaa toiminnan kehittämiskohteita sekä sinnikäs tarttu-

67 minen ongelmiin rakentavat systemaattisen kehittämisen laatukulttuuria. Myös raportointivelvollisuus ammattikorkeakoulun hallitukselle sekä keskeisten tunnuslukujen seuranta johtoryhmässä tukevat arvioinnin hyödyntämistä. Korkeakoulujen arviointineuvoston toteuttamissa korkeakoulujen laatujärjestelmien auditoinneissa painottuu arviointitiedon instrumentaalisen hyödyntämisen näkökulma. Projektiryhmän haluaa korostaa sitä, että arvioinnin hyödyntäminen on laaja ja kompleksinen ilmiö. Tätä heijastaa laaja keskustelu ja kirjallisuus seuraavista teemoista: arviointiprosessin hyödyntäminen, arviointitiedon käsitteellinen käyttö sekä organisatorinen oppiminen. Arvioinnin hyödyntämistä kokonaisvaltaisena laajana ilmiönä tuskin voidaan tavoittaa pelkästään auditoinnilla. Suuressa organisaatiossa arvioinnin perusteella tehtävien kehittämistoimenpiteiden muuntuminen koko organisaation yhteisiksi käytänteiksi on usein pitkäkestoinen organisatorisen oppimisen prosessi.

68 Lähteet Alkin, M.C. & Christie, C.A An Evaluation Theory Tree. Teoksessa M. Alkin (toim.) Evaluation Roots. Tracing Theorists Views and Influences, London: Sage. Beckford, J Quality. London: Routledge. Brown, G.; Bull, J. & Pendlebury, M Assessing Student Learning in Higher Education. London and New York: Routledge. Crossan, M., Lane, H. & White, R An Organizational Learning Framework: From Intuition to Institution. Academy of Management Review, 24 (3), Davenport, T. & Harris, J Analysoi ja voita. Talentum Media Oy. Helsinki: Karisto Oy. Ellström, P Integrating Learning and Work: Problems and Prospects. Human Resource Development Quarterly 12 (4), Heikkilä, J.; Hytönen, S., Janatuinen, T., Keto, U., Kinttula, O., Lahti, J., Malinen, H., Myllys, H. & Eerikäinen, M Itsearviointityökalun kehittäminen korkeakouluille. Mikkelin ammattikorkeakoulu. Tutkimuksia ja raportteja 20. Hyvönen, R., Aittonen, T., Huhta, A., Jolkkonen, A., Kantola, I., Lähteenmäki, I. & Viinikkala, P. (2007). Hyvässä hengessä ja monipuolisin menetelmin tietotekniikan koulutusohjelman arviointiraportti. Turun ammattikorkeakoulu. Turun ammattikorkeakoulun raportteja 58. Turku: Tampereen yliopistopaino. Kaplan, R., & Norton, D The Balanced Scorecard. Boston, MA: Harvard Business School Press. Kaplan, R., & Norton, D The Strategy-Focused Organisation. Boston, MA: Harvard Business School Press. Kaplan, R., & Norton, D Strategy Maps. Boston, MA: Harvard Business School Press. Karjalainen, A Tentin teoria. Oulu: Oulun yliopistopaino. Kettunen, J., & Kantola, I Management Information System Based on the Balanced Scorecard. Campus-Wide Information Systems, 22(5), Kettunen, J., & Kantola, I E-Collaboration for Quality Assurance in Higher Education. Teoksessa M. Khosrow-Pour (toim.) Managing Worldwide Operations and Operations with Information Technology. IGI Publishing, Kettunen, J., & Kantola, I Quality Assurance View of a Management Information System. Teoksessa A. Cartelli & M. Palma (toim.) Encyclopedia of Information and Communication Technology. Volume II. Information Science Reference. New York: Hershey, KKA Korkeakoulujen laadunvarmistusjärjestelmien auditointi. Auditointikäsikirja vuosille Korkeakoulujen arviointineuvoston julkaisuja 7: Korkeakoulujen arviointineuvosto. Tampere: Tammer-Paino Oy. Kontio, J. Kantola, I., Angerpuro, K., Elomaa, I., Lehtisaari. H., Nupponen, E. & Ojala, S Aktiivisista kokeiluista yksissä tuumin harkittuihin ratkaisuihin palvelujen tuottamisen ja johtamisen kulutusohjelman arviointiraportti, Turun ammattikorkeakoulun raportteja 70. Turun ammattikorkeakoulu. Turku: Tampereen yliopistopaino.

69 Mikkonen, A., Virtala, M., Heikkilä, J., Mutka, U., Ikonen, H., Tulkki, H., Vänskä, K., Laiho, K. & Toikka, M Matkalla monikulttuuriseen hoitotyöhön. Koulutusohjelman ristiinarviointiraportti. Towards multicultural nursing. Cross-Evaluation Report of a Degree Programme. Jyväskylän ammattikorkeakoulun raportteja 2. Reports from Jyväskylä Polytechnic 2. Jyväskylän ammattikorkeakoulu. Jyväskylä: Jyväskylä University Press. OPM Koulutuksen laadunvarmistus. Opetusministeriön työryhmämuistioita ja selvityksiä 2004:6. Opetusministeriö. Helsinki: Yliopistopaino. Patton, M. Q Utilization-Focused Evaluation. The New Century Text. London: Sage. Raivola, R Tehoa vai laatua koulutukseen? WSOY: Juva. Saari, S Opettajankoulutuksen arviointi- ja kehittämisdiskurssi koulutuspoliittisessa kontekstissa. Acta Universitatis Tamperensis 893. Tampereen yliopisto. Tampere: Tampere University Press. SFS Suomen standardisoimisliitto SFS ry. Laadunhallintajärjestelmät. Suuntaviivoja standardin ISO 9001:2000 soveltamiselle koulutuksessa. Ursin, J Yliopistot laadun arvioijina. Akateemisia käsityksiä laadusta ja laadunvarmistuksesta. Koulutuksen tutkimuslaitos. Tutkimusselosteita 35. Jyväskylä: Jyväskylän yliopistopaino. Virtanen, P Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Helsinki: Edita Prima Oy. Vuorenmaa, M Ikkunoita arvioinnin tuolle puolen. Uusia avauksia suomalaista koulutusta koskevaan evaluaatiokeskusteluun. Jyväskylä studies in education, psychology and social research 176. Jyväskylä: Jyväskylän yliopistopaino. Woodhouse, D Quality and quality assurance. Teoksessa J. Knight & H. de Wit (toim.), Quality and Internationalisation in Higher Education, 29 44, Paris: OECD. Woodhouse, D Quality Improvement through Quality Audit. Quality in Higher Education, 9 (2),

70 Liite