Yliopistolaitoksen itsearviointi CAF-mallin avulla

0 Johdanto Yliopistolaitoksen itsearviointi CAF-mallin avulla Yhteinen arviointimalli 1 on julkisen sektorin käyttöön tarkoitettu laadunarvioinnin työkalu. Perusajatuksena on tarkastella kokonaisvaltaisesti eri tulosalueita ja organisaation toimintatapoja, joilla luodaan edellytyksiä hyvien tulosten syntymiselle. Lähteenä on CAF 2006-dokumentti: http://www.vm.fi/vm/fi/04_julkaisut_ja_asiakirjat/01_julkaisut/08_muut_julkaisut/20060927caf200/caf_julk aisu_netti.pdf. Lähteen tekstiä on paikoin muokattu huomattavasti, suurin osa on suoraa lainausta. CAF on kehitetty hallintoministerien johtamassa EU:n jäsenmaiden välisessä verkostossa, jonka tavoitteena on edistää jäsenmaiden välistä tiedon vaihtoa ja yhteistyötä hallinnon ja julkisten palvelujen kehittämisessä. 2 CAF on tarkoitettu helppokäyttöiseksi työkaluksi julkisen sektorin organisaatioiden suorituskyvyn arviointiin ja kehittämiseen. Itsearviointityökaluna CAF on samaa ryhmää kuin muut kokonaisvaltaisen laadunarvioinnin työkalut, erityisesti EFQM-malli. CAF:lla on neljä päätavoitetta: 1. Se helpottaa laatujohtamisen menetelmien käyttöön ottoa julkisella sektorilla. Itsearviointi on keskeinen osa perinteistä PDCA-kehittämissykliä 3. 2. Auttaa paikantamaan julkisen sektorin organisaatioiden vahvuuksia ja parantamisalueita. 3. Yhdistää erilaisia käytössä olevia laadunhallintamenetelmiä. 4. Edesauttaa julkisen sektorin organisaatioiden välistä vertailukehittämistä. Malliin sisältyy 9 arviointialuetta kriteereineen ja pisteytystaulukkoineen. Tähän tekstiin on poimittu alkuperäisen lähteen ohjeita itsearvioinnin toteuttamisesta, kehittämistoimien käynnistämisestä sekä ohjeistusta mahdollista vertailukehittämistä varten. CAF soveltuu niin koko organisaation kuin sen osienkin arviointiin. Mallia voi hyödyntää osana laajempaa kehittämistyötä tai sitä voi käyttää kohdennetusti johonkin tiettyyn kehittämistarpeeseen. Mallin käyttötarkoitus CAF tarjoaa kokonaisvaltaisen näkemyksen oman toiminnan kehittymisestä. Se tarjoaa mahdollisuuden: Arvioida näyttöön perustuen oman laitoksen suorituskykyä verrattuna kriteeristöön, joka on laajasti hyväksytty eurooppalaisella julkisella sektorilla, Todentaa toiminnan kehittymisen ja sitä kautta korkean suoritustason saavuttamisen, Muodostaa yhteisen ja kestävän käsityksen siitä, mitä tarvitaan toiminnan kehittämiseksi, Hahmottaa toimintatapojen ja tulosten välistä riippuvuutta, Henkilöstölle osallistua toiminnan arviointiin ja kehittämisen suunnitteluun, Jakaa hyviä käytäntöjä oman laitoksen sisällä ja ulkopuolisten toimijoiden kanssa, Koota eri kehittämishankkeet osaksi normaalia laitoksen johtamista, Todentaa kehittyminen ajallisesti, toistamalla arviointi samoilla kriteereillä säännöllisesti. 1 Common Assessment Framework, CAF 2 EIPA:ssa (European Institute of Public Administration) on CAF-tukiyksikkö (CAF Resource Centre), joka tukee mallin käyttöä jäsenmaissa. Tukiyksikön www-sivuilla (www.eipa.eu/caf) olevaan tietokantaan on koottu mm. esimerkkejä CAF-arvioinneista ja vertailutietoja itsearviointien tuloksista. 3 PDCA = suunnittele (plan), toteuta (do), arvioi (check), kehitä (act). Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 1 / 23

CAF on yleisen tason työkalu, jota voidaan muokata vastaamaan oman laitoksen tarpeita. Tärkeää on kuitenkin noudattaa yhdeksää arviointialuetta ja niiden 28 arviointikohtaa. Pisteytystaulukoita ei suositella muutettavaksi. Yhdeksän arviointialuetta sisältävä malli kattaa kaikki laitoksen toiminnan arvioinnin kannalta keskeisimmät osa-alueet. Arviointialueet 1 5 käsittelevät toimintatapoja, joilla pyritään saavuttamaan asetetut tavoitteet ja tavoitellut tulokset. Arviointialueet 6 9 keskittyvät arvioimaan toimintatavoista seuraavia tuloksia eri näkökulmista. Keskeisten suorituskykytulosten lisäksi tarkastellaan erikseen henkilöstö-, asiakas- ja sidosryhmätuloksia sekä yhteiskunnallisia tuloksia. CAF:n keskeiset käsitteet ja arvot CAF on kokonaisvaltainen laadunarviointimalli ja se perustuu samoihin erinomaisen suorituskyvyn tunnusmerkkeihin kuin esimerkiksi EFQM-malli. Näitä tunnusmerkkejä ovat: - tulosorientoituneisuus, - asiakaslähtöisyys, joka vaatii yliopistoyksikön määrittämään asiakkuuden huolella - tavoitteiden johdonmukaisuus, - prosessien johtaminen, joka perustuu todennettuun tietoon, - jatkuva toiminnan kehittäminen ja innovatiivisuus, - kaikkia osapuolia hyödyntävät kumppanuussuhteet ja - yhteiskunnallisesti vastuullinen laitoksen toiminta. Yliopistolaitoksen johtamisen ja toiminnan laadun arvioinnin ominaispiirteet erottavat ne yksityisen sektorin organisaatioista. Julkisten organisaatioiden eurooppalaisten hallintokulttuureiden toiminta perustuu hyvän hallinnon periaatteisiin, joita ovat demokraattinen ja parlamentaarinen legitimiteetti sekä toiminnan lainmukaisuus ja eettisyys. Periaatteiden taustalla on joukko yhteisiä arvoja kuten avoimuus, vastuullisuus, yhdenvertaisuus ja tasa-arvo, monimuotoisuuden arvostaminen, sosiaalinen oikeudenmukaisuus, solidaarisuus, osallistuminen, yhteistyö ja kumppanuus. Näitä periaatteita vasten arvioidaan sekä laitoksen toimintatapoja että niistä seuraavia tuloksia. Julkisen sektorin organisaation toiminnan arvioinnissa tulee näkyä seuraavat keskeiset piirteet: vastuullisuus ja demokraattiseen päätöksentekoon pohjautuva tavoitteenasettelu toiminnan lainmukaisuus ja oikeellisuus kommunikointi poliittisen päätöksentekojärjestelmän kanssa Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 2 / 23

sidosryhmien saaminen osallistumaan ja sidosryhmätarpeiden tasapainottaminen palvelutuotannon erinomainen laatu kustannustehokkuus ja -vaikuttavuus asetettujen tavoitteiden saavuttaminen innovatiivisuus ja johtaminen, joka tekee uudistumisen mahdolliseksi. Mallin sisäinen rakenne ja arviointialueiden suhde toisiinsa Koska kyse kokonaisvaltaisen laadun arvioinnista, tärkeää on arvioida toiminnan kannalta keskeiset osa-alueet ja hahmottaa, miten ne ovat yhteydessä toisiinsa. Olennaista on hahmottaa toimintatapojen (arviointialueet 1-5) keskinäinen riippuvuus ja toimintatapojen ja tulosten (arviointialueet 6-9) välinen syy- ja seuraussuhde. Tulospuolella esitetyt asiat ovat yhteisvaikutusta useista toiminnan arviointipuolella esitetyistä asioista. Yhteyden ymmärtäminen on mallin keskeisin anti ja antaa mahdollisuuden kehittyä. Jotta tulostiedon perusteella osataan parantaa toimintaa, on tiedettävä, mistä prosesseista tulos syntyy. Itsearviointi ja sitä seuraava toiminnan kehittäminen on vaikeaa ilman luotettavaa tietoa laitoksen toiminnan laadusta. Ensimmäisellä itsearviointikerralla huomataan usein, mitä puutteita tiedonkeruussa ja tulosseurannassa on. Ensimmäinen arviointi johtaakin yleensä huomaamaan, että on saatava käyttöön parempia tulosmittareita, joilla voi arvioida keskeisten toimintojen kehittymistä. Otetaan siis askel tietopohjaisempaan kehittämiseen ja johtamiseen. Pisteytyksen käyttö Itsearvioinnin keskeisin tavoite on paikantaa laitoksen vahvuuksia ja parantamisalueita ja keskustella niistä. Pisteytykselle ei saa antaa arvioinnissa pääpainoa. Pisteytyksen käytöllä on neljä päätarkoitusta: 1. Antaa tietoa siitä, mihin kehittämistoimiin laitoksen pitää ryhtyä. 2. Arvioida, miten oma toiminta ja tulokset kehittyvät, mikäli itsearviointeja tehdään säännöllisesti, esimerkiksi vuosittain tai kerran kahdessa vuodessa. 3. Löytää hyviä käytäntöjä korkeiden pistemäärien saaneista toiminnoista ja tuloksista. Korkeat pistemäärät tulospuolen arviointialueilla ovat usein merkki hyvistä käytännöistä toimintapuolen arviointialueilla. 4. Paikantaa yhteistyökumppaneita benchmarking-toimintaan (vertailukehittämiseen). Toimintatapojen arviointi Arviointialueet 1-5 käsittelevät laitoksen toimintaa. Nämä alueet määrittelevät, mitä laitos tekee ja miten hyvin se suoriutuu tehtävistään. Toimintojen arviointi tehdään käyttämällä toimintaarviointialueiden taulukkoa (ks. CAF-pisteytys ja arviointitaulukot). Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 3 / 23

1 Arviointialue 1: Johtajuus Määritelmä Laitoksella on johto, jonka pitää saada aikaan toimintaan selkeyttä ja yhtenäisyyttä sekä ympäristö, jossa henkilöstö yltää parhaimpaansa. Johto määrittelee toiminnan suunnan (missio, visio ja arvot, jotka vaaditaan laitoksen menestymiseen pitkällä aikavälillä). Johto saa henkilöstön motivoitumaan olemalla roolimallina, ts. johdon toiminnasta voi päätellä laitoksen julkilausutut ja julkilausumattomat arvot. Johto kehittää, toimeenpanee ja seuraa laitoksen toimintaa ja sen johtamisjärjestelmiä. Johto arvioi suorituksia ja tuloksia ja vastaa suoritusten parantamisesta. Avainkohdat Yliopistolaitoksen pitää saavuttaa tavoitteensa annetuilla resursseilla. Eri sidosryhmien tarpeiden välillä on tasapainoiltava. Johdon on selvitettävä, miten asiakkuus määritetään ja ketkä ovat asiakkaita. Pitää tietää, mitkä ovat asiakkaiden vaatimukset ja miten nämä tasapainotetaan ulkoa asetettujen vaatimusten kanssa niin, että voidaan osoittaa sitoutumista asiakkaita ja muita sidosryhmiä kohtaan. Arviointi: Tarkastele, mitä johtajat tekevät ja pisteytä toiminta-alueiden arviointitaulukon avulla: 1.1. Ohjatakseen laitosta kehittämällä sen mission, vision ja arvot a. Muuntamalla missiosta ja visiosta pitkän aikavälin ja toiminnallisia tavoitteita. b. Luomalla arvopohjan, johon sisältyvät avoimuus, etiikka ja asiakaspalvelu sekä ohje, miten sidosryhmät saadaan osallistumaan esimerkiksi laitoksen visioon (tulevaisuuden tahtotilaan). c. Vahvistamalla yhteistä luottamusta ja arvostusta laitosjohdon ja henkilökunnan välillä (esim. määrittelemällä mitä on hyvä johtajuus tässä laitoksessa). d. Luomalla edellytykset tehokkaalle viestinnälle. Varmistamalla, että missio, visio, arvot, strategiset ja toiminnalliset tavoitteet viestitään kaikille työntekijöille ja ulkopuolisille sidosryhmille. e. Päivittämällä säännöllisin väliajoin missiota, visiota ja arvoja, jotta otetaan huomioon muutokset ulkoisessa toimintaympäristössä. f. Hoitamalla eturistiriitoja, tunnistamalla etukäteen ne alueet, joilla ristiriitoja voi syntyä ja laatimalla henkilöstölle toimintaohjeet tällaisten tilanteiden varalle. 1.2 Toimeenpannakseen johtamisjärjestelmän suoritusten ja muutosten hallintaan a. Kehittämällä prosesseja ja laitoksen rakenteita linjassa strategian, suunnittelun sekä sidosryhmien tarpeiden ja odotusten kanssa sekä hyödyntämällä olemassa olevia teknisiä ratkaisuja. b. Määrittelemällä, miten prosesseja johdetaan (tasot, toimet, vastuut ja toimivallat). c. Kehittämällä ja sopimalla mitattavat tavoitteet laitoksen kaikille tasoille. d. Ohjaamalla tulos- ja vaikuttavuustavoitteiden asettamista, jotta eri sidosryhmien tarpeita ja odotuksia tasapainotetaan (esim. Balanced ScoreCard, BSC, käy tähän tarkoitukseen). e. Luomalla sopivat menetelmät projektien hallintaan ja tiimityöhön. f. Soveltamalla pysyvästi laadunhallinnan (TQM) periaatteita (käyttämällä esim. CAF-mallia). g. Kehittämällä järjestelmän mittaamaan laitoksen tavoitteita ja suorituskykyä (esim. BSC). h. Kehittämällä laadunhallintajärjestelmän kuten ISO 9001:2008 tai erilaiset sertifioinnit i. Tunnistamalla ja priorisoimalla tarpeelliset muutokset laitoksen toimintamallissa. j. Viestimällä henkilöstölle ja sidosryhmille muutoshankkeista ja muutosten syistä. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 4 / 23

1.3 Antaakseen laitoksen henkilöstölle mahdollisuuden motivoitua ja toimimalla roolimallina a. Toimimalla asetettujen tavoitteiden ja arvojen mukaisesti ja johtamalla omalla esimerkillään. b. Osoittamalla muutoskykyä ja -halua hyväksymällä rakentavan palautteen ja ehdotukset omien johtamiskäytäntöjensä parantamiseksi. c. Pitämällä henkilöstön ajan tasalla keskeisistä laitosta koskevista asioista. d. Tukemalla laitoksen tavoitteiden saavuttamista auttamalla henkilöstöä tehtävänsä toteuttamisessa sekä suunnitelmiensa ja tavoitteidensa saavuttamisessa. e. Rohkaisemalla ja luomalla olosuhteet vastuun, velvollisuuksien ja toimivallan hajauttamiseen tilivelvollisuus huomioon ottaen. f. Tukemalla innovaatio- ja kehittämiskulttuuria kannustamalla henkilöstöä aloitteellisuuteen ja jokapäiväisen työnsä kehittämiseen. g. Tunnistamalla ja palkitsemalla tiimien ja yksilöiden hyvät suoritukset. h. Ottamalla huomioon työntekijöiden yksilölliset tarpeet ja elämäntilanteet. 1.4. Huolehtiakseen yhteydenpidosta sidosryhmiin 4 a. Tunnistamalla laitoksen toimintaan vaikuttavat yliopiston strategialinjaukset. b. Varmistamalla, että laitoksen tavoitteet ovat yhdensuuntaiset yliopiston strategialinjausten kanssa. c. Luomalla ja ylläpitämällä kumppanuuksia ja verkostoja tärkeiden sidosryhmien kanssa. d. Huolehtimalla, että sidosryhmät ovat mukana laatimassa tulos- ja vaikuttavuustavoitteita ja kehittämässä laitoksen johtamisjärjestelmää. e. Hakemalla laitokselle ja sen palveluille julkisuutta, mainetta ja tunnustusta. f. Kehittämällä tuotteille ja palveluille viestintä- tai markkinointikonseptin sekä viestimällä sen ottaen huomioon sidosryhmien näkökulmat. 2 Arviointialue 2: Strategiat ja toiminnan suunnittelu Määritelmä Tehokkuus, jolla laitos sovittaa yhteen toiminta-alueensa määrittää sen yleisen suoristuskyvyn. Laitos toteuttaa missiotaan ja visiotaan selkeän sidosryhmäsuuntautuneen strategian kautta, yliopiston linjaukset ja sidosryhmien tarpeet huomioon ottaen. Toimintaa tuetaan jatkuvasti paranevalla resurssien ja prosessien hallinnalla. Strategiasta tehdään selkeitä suunnitelmia, tavoitteita ja mitattavia tuloksia. Suunnittelu ja strategia kuvastavat, miten laitos toimeenpanee uudistuksia ja innovaatioita. Avainkohdat Strategia ja suunnittelu ovat osa PDCA-sykliä. Kaikki alkaa tiedon keräämisellä sidosryhmien nykyisistä ja tulevista tarpeista. Suunnitteluprosessiin vaikuttavat myös tiedot tuloksista ja toiminnan vaikutuksista. Sisäisistä arvioinneista saatava palaute on keskeistä laitoksen toiminnan parantamisessa. Pitää tunnistaa onnistumisen edellytykset ja olot, joiden pitää täyttyä, jotta pitkän aikavälin tavoitteet saavutetaan. Toinen keskeinen osa on asettaa tavoitteet siten, että voidaan tehdä ero tulosten ja vaikutusten välille. Laitos seuraa jatkuvasti ja kriittisesti strategiansa toimeenpanoa ja suunnittelua sekä päivittää suunnitelmia. 4 Opiskelijat ja alumnit, OPM, Suomen Akatemia, teollisuus ja muut tutkimuksen rahoittajat, yliopiston muut yksiköt, henkilöstö, muut yliopistot ja oppilaitokset, kunta, jne. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 5 / 23

Arviointi: Tarkastele, mitä laitos tekee ja pisteytä toiminta-alueiden arviointitaulukon avulla: 2.1 Kerätäkseen tietoa sidosryhmien nykyisistä ja tulevista tarpeista a. Tunnistamalla kaikki oleelliset sidosryhmät. b. Keräämällä tietoa sidosryhmistä, niiden odotuksista ja tarpeista ja analysoimalla niitä systemaattisesti. c. Keräämällä ja analysoimalla säännöllisesti tietoa ja tiedonlähteitä, tiedon täsmällisyyttä ja laatua. Tähän voi kuulua tiedon kerääminen myös tärkeistä yhteiskunnallisista, ekologisista, taloudellisista, lainsäädännöllisistä ja demografisista muutoksista. d. Arvioimalla systemaattisesti organisaation sisäisiä vahvuuksia ja heikkouksia (käyttäen esim. CAF- tai EFQM-malleja tai hyödyntäen SWOT-analyysia). 2.2 Kehittääkseen, uudelleen arvioidakseen ja päivittääkseen strategiaa ja suunnittelua ottamalla huomioon sidosryhmien tarpeet ja olemassa olevat resurssit a. Kehittämällä ja käyttämällä tapoja seurata, mitata ja/tai arvioida laitoksen suoritusta kaikilla tasoilla ja varmistamalla strategian toimeenpanon seurannan. b. Arvioimalla järjestelmällisesti riskejä ja mahdollisuuksia (esim. SWOT-analyysilla) ja tunnistamalla kriittiset menestystekijät arvioimalla säännöllisesti toimintaympäristöä. c. Arvioimalla olemassa olevia tehtäviä tulosten ja vaikutusten kautta d. Tasapainottamalla tehtävät ja resurssit, pitkän ja lyhyen aikavälin paineet ja sidosryhmien vaatimukset. e. Arvioimalla tarpeet organisoida ja kehittää strategioita ja suunnittelumenetelmiä. 2.3 Toteuttaakseen strategiaa ja toiminnansuunnittelua koko laitoksessa a. Toteuttamalla strategiaa ja toiminnansuunnittelua yhdessä sovitun mukaisesti. b. Ottamalla sidosryhmät mukaan strategiaprosessiin ja toiminnan suunnitteluun sekä priorisoimalla sidosryhmien odotuksia ja tarpeita. c. Muuntamalla laitoksen strategiset ja toiminnalliset tavoitteet relevanteiksi suunnitelmiksi ja tehtäviksi laitoksen eri yksiköille ja yksittäisille työntekijöille. 2.4 Suunnitellakseen, toimeenpannakseen ja arvioidakseen uudistuksia ja innovaatioita a. Luomalla ja kehittämällä uutta toimintakulttuuria ja valmiuksia innovaatioihin koulutuksella ja vertailukehittämisellä (benchmarking). b. Seuraamalla järjestelmällisesti sisäisiä indikaattoreita, muutostekijöitä sekä ulkoisia uudistus- ja innovaatiovaatimuksia. c. Kehittämällä mittareita ja menetelmiä panos-tuotos-vaikuttavuus arviointiin. d. Varmistamalla, että resurssit suunniteltujen muutosten toimeenpanemiseksi ovat saatavilla. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 6 / 23

3 Arviointialue 3: Henkilöstö Määritelmä Tapa, jolla työntekijät tekevät keskenään yhteistyötä ja käyttävät olemassa olevia resursseja, ratkaisee lopulta organisaation menestyksen. Kunnioitus, keskustelu sekä turvallisen ja terveellisen työympäristön tarjoaminen ovat keskeisiä tapoja varmistaa sitoutuminen ja osallistuminen. Avainkohdat Miten laitos tunnistaa ja kehittää henkilöstöresurssinsa yhteydessä pitkän aikavälin tavoitteisiin niin, että saavutetaan optimaalinen menestys ja hyöty. Ihmisiä tukemalla heidän osaamisensa saadaan mahdollisimman laajasti käyttöön. Henkilöstön hyvinvoinnista pidetään huolta. Henkilöstöjohtaminen on laitoksen kaikkien esimiesten (myös projektipäälliköiden) vastuulla. Esimiesten tulee osoittaa, että henkilöstökysymykset ovat tärkeitä ja heidän tulee omilla toimillaan aktiivisesti edesauttaa, että syntyy avoin ja läpinäkyvä toimintakulttuuri. Arviointi: Tarkastele, mitä laitos tekee ja pisteytä toiminta-alueiden arviointitaulukon avulla: 3.1 Suunnitellakseen, hallinnoidakseen ja parantaakseen henkilöstöresursseja avoimesti strategian ja suunnitelmien mukaisesti a. Analysoimalla säännöllisesti nykyisiä ja tulevia henkilöstötarpeita ottaen samalla huomioon sidosryhmien tarpeet ja odotukset. b. Kehittämällä strategiaan perustuvaa henkilöstöpolitiikkaa ja viestimällä siitä henkilöstölle. c. Seuraamalla ATK-palveluiden tuotantoon ja kehittämiseen suunnattuja henkilöstöresursseja. d. Varmistamalla koko henkilöstölle hyvät työskentelyolot, ml. terveys- ja turvallisuusvaatimukset. e. Varmistamalla olot työntekijöille mahdollisuudet tasapainottaa työ ja yksityiselämä. f. Kiinnittämällä erityistä huomiota vammaisten ja vajaakuntoisten työntekijöiden tarpeisiin. 3.2 Henkilöstön osaamisen tunnistaminen, kehittäminen ja käyttö niin, että voidaan yhdistää henkilökohtaiset ja laitoksen tavoitteet a. Tunnistamalla henkilötasolla ja organisaatiotasolla nykyinen osaaminen (tiedot, taidot ja asenteet). b. Keskusteluun perustuen laatimalla ja viestimällä strategia osaamisen kehittämiseksi. Tähän kuuluu myös yleinen, yhdessä sovittu koulutussuunnitelma. c. Sopimalla henkilökohtaisista kehittymissuunnitelmista jokaiselle työntekijälle. Erityinen painopiste suunnitelmassa on johtamistaidoilla, jatko-opinnoilla ja pedagogiaosaamisella. d. Tukemalla ja auttamalla uusia työntekijöitä (esim. mentorointi, valmennus, tutorointi). e. Edistämällä sisäistä ja ulkoista liikkuvuutta. f. Kehittämällä ja edistämällä uudenaikaisia koulutusmetodeja g. Suunnittelemalla koulutustapahtumia ja kehittämällä viestintätekniikoita h. Arvioimalla koulutuksen ja kehittämisohjelmien laatua ja vaikuttavuutta. 3.3 Kehittämällä avoimuutta ja ottamalla henkilöstö mukaan toiminnan suunnitteluun a. Edistämällä avoimuutta ja keskustelua sekä kannustamalla tiimityöhön. b. Olemalla aloitteellinen sellaisen ympäristön luomisessa, jossa henkilöstö voi ideoida ja tehdä aloitteita. Kehittämällä tätä tukevia keinoja (esim. aloitemenettely, työryhmät ja aivoriihet). Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 7 / 23

c. Ottamalla henkilöstö ja henkilöstön edustajat mukaan kehittämissuunnitelmien, strategioiden ja prosessien suunnitteluun sekä parantamiskohteiden tunnistamiseen ja toimeenpanoon. d. Löytämällä tavoitteista ja miten niiden saavuttaminen mitataan yhteisymmärrys esimiesten ja työntekijöiden välille. e. Toteuttamalla säännöllisesti henkilöstökyselyjä sekä julkaisemalla niiden tulokset ja tulkinnat. f. Varmistamalla, että henkilöstöllä on mahdollisuus antaa palautetta laitosjohdosta ja esimiehistään. 4 Arviointialue 4: Kumppanuudet ja resurssit Määritelmä Miten strategian toteutumista ja prosessien tehokuutta tuetaan hallitsemalla ulkoisia kumppanuuksia. Kumppanuuksien ohella laitos tarvitsee määrärahoja, teknologiaa ja tiloja. Avoimuudella laitos pystyy osoittamaan sidosryhmille, että resurssit on käytetty vastuullisesti. Avainkohdat Yliopistolaitoksilta vaaditaan, että ne tekevät yhteistyötä myös muiden julkisen ja yksityisen sektorin organisaatioiden kanssa. Laitoksen kyky saada lisäresursseja voi olla rajallinen, samoin kuin vapaus suunnata varoja juuri niihin tehtäviin, joita se haluaa toteuttaa. Tuotettavien palvelujen tehokkuus ja tuloksellisuus on tunnettava. Tärkeää on tunnistaa olemassa oleva tieto ja tiedontarpeet osana toiminnan suunnitteluprosessien tarkastelua. Mahdollisuus tehokkaaseen työskentelyyn syntyy, kun tarpeellinen tieto on saatavilla oikeaan aikaan ja helposti saavutettavassa muodossa. Laitoksen tulisi myös taata että se jakaa kriittisen tiedon avainkumppaneidensa ja muiden sidosryhmiensä kanssa niiden tarpeiden mukaisesti. Arviointi: Tarkastele, mitä laitos tekee ja pisteytä toiminta-alueiden arviointitaulukon avulla: 4.1 Kehittääkseen ja hyödyntääkseen tärkeimpiä kumppanuuksiaan a. Tunnistamalla mahdolliset strategiset kumppaninsa ja yhteistyön luonteen. b. Toimeenpanemalla yhteisiä projekteja muiden julkisen sektorin organisaatioiden kanssa. c. Luomalla olosuhteet henkilöstövaihdolle kumppaniorganisaatioiden kanssa. 4.2 Kehittääkseen ja toimeenpannakseen kumppanuuksia sidosryhmien kanssa a. Olemalla avoin sidosryhmien ideoille, aloitteille ja valituksille ja kehittämällä järjestelmiä niiden keräämiseksi (esim. selvitykset, ryhmäkuulemiset, kyselyt, palautelaatikot, mielipidekyselyt jne.). b. Varmistamalla laitoksen toiminnan, päätösten ja kehittämistyön läpinäkyvyys (esim. julkaisemalla vuosiraportteja, pitämällä lehdistötilaisuuksia ja tiedottamalla laitoksen internet-sivuilla). c. Synnyttämällä innovatiivista ja luovaa ajattelua kumppanuussuhteiden avulla. 4.3 Taloushallinto a. Varmistamalla, että resursseja käytetään kustannustehokkaasti, toimintasuunnitelmien mukaisesti. b. Seuraamalla säännöllisesti laitoksen tarjoamien palvelujen ja tuotteiden kustannuksia. c. Pohjaamalla investointipäätökset ja seuranta kustannus - hyötyanalyysiin. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 8 / 23

d. Varmistamalla sisäinen kustannusten jako (esim. sisäisten palveluiden veloitushinnat). e. Tekemällä vertailevia analyyseja eri toimijoiden ja organisaatioiden välillä. 4.4 Tiedon hallinta a. Luomalla järjestelmät laitoksen tiedon hallintaan, säilyttämiseen ja arviointiin. b. Huolehtimalla tiedon hyödyntämisestä strategisessa suunnittelussa suhteuttamalla se sidosryhmien nykyisiin ja tuleviin tarpeisiin. c. Kehittämällä koko laitoksen kattavia sisäisiä viestintäkanavia, jotta kaikilla työntekijöillä on pääsy tehtäviensä ja tavoitteidensa kannalta tarpeelliseen tietoon. d. Varmistamalla laitoksen ja sen sidosryhmien (erityisesti projektiyhteistyökumppaneiden) välinen tiedonvaihto ja tiedon saatavuus ja esittämällä tieto käyttäjäystävällisesti. e. Varmistamalla tarkoituksenmukaisella tavalla, että työntekijöillä oleva keskeinen tieto pysyy organisaatiossa kun työntekijä vaihtaa työpaikkaa. 4.5 Teknologian hallinta a. Toimeenpanemalla strategisia ja toiminnallisia tavoitteita tukevaa yhtenäistä teknologiapolitiikkaa. b. Hyödyntämällä tehokkaasti tarkoituksenmukaista tekniikkaa tehtävien hoitamiseen tiedon hallintaan oppimisen tukemiseen ja kehittämistoimiin sidosryhmien ja kumppaneiden kanssa tehtävään yhteistyöhön sisäisten ja ulkoisten verkostojen kehittämiseen ja ylläpitoon. 4.6 Toimitilojen hallinta a. Tasapainottamalla toimitilojen tehokas käyttö ja asiakkaiden tarpeet ja odotukset (esim. rakennusten keskittäminen vs. hajauttaminen). b. Varmistamalla tilojen ja laitteiden kunnossapito koko niiden elinkaaren ajalta. c. Varmistamalla turvallinen, kustannustehokas ja ergonominen tilojen käyttö. d. Optimoimalla tarvikkeiden, aineiden ja materiaalien kulutus. 5 Arviointialue 5: Prosessit Määritelmä Miten laitos määrittelee, hallinnoi ja kehittää avainprosessejaan tukeakseen toimintasuunnitelmiensa toteutumista. Prosessien kehittämisessä merkittävää ovat innovaatiot ja lisäarvo sidosryhmille. Avainkohdat Prosesseja on useita erityyppisiä: avainprosessit ovat kriittisiä tuotteiden ja palveluiden tuottamiselle, hallintoprosessit ohjaavat organisaatiota ja tukiprosessit tarjoavat tarvittavat resurssit. CAFarvioinnissa arvioidaan vain avainprosesseja. Näiden tunnistamisessa, arvioinnissa ja parantamisessa Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 9 / 23

olennaista on, kuinka keskeinen rooli niillä on laitoksen mission saavuttamisessa. Sidosryhmien odotusten huomioon ottaminen prosessien eri vaiheissa parantaa niiden laatua ja luotettavuutta. Prosessit, jotka ylittävät organisaatiorajoja, on saatava toimimaan onnistuneesti yhteen. Työ on järjestettävä tukemaan laitoksen yhtenäisyyttä esimerkiksi niin, että luodaan tehtävärajat ylittäviä tiimejä prosessien hallintaan ja niille nimetään omat vetäjänsä. Esimerkkejä laitosten prosesseista ovat: opetus ja tutkimus palveluprosessit, jotka liittyvät organisaation missioon asiakaskyselyjen käsittely hallinnolliset prosessit päätöksentekoprosessit tukiprosessit budjetointi ja suunnittelu henkilöstöhallinnon prosessit. Tukiyksiköiden avainprosesseja ovat toiminnot, jotka liittyvät kiinteästi laitoksen perustoiminnan tukemiseen. Prosessien jatkuva arviointi perustuu siihen, että markkinoille tulee jatkuvasti uutta teknologiaa ja innovaatioita. Laitos hyödyntää tarjolla olevia mahdollisuuksia siten, että se hankkii kattavaa sidosryhmäpalautetta ja käyttää sitä palvelujen ja tuotteiden kehittämiseksi. Arviointi: Tarkastele, mitä laitos tekee ja pisteytä toiminta-alueiden arviointitaulukon avulla: 5.1 Tunnistaakseen, suunnitellakseen ja parantaakseen prosessejaan jatkuvasti a. Tunnistamalla, kuvaamalla ja dokumentoimalla avainprosesseja säännöllisesti. b. Tunnistamalla prosessien omistajat ja määrittelemällä vastuut. c. Ottamalla henkilöstö ja sidosryhmät mukaan avainprosessien suunnitteluun ja kehittämiseen. d. Suuntaamalla prosesseille resurssit sen perusteella, miten keskeisiä ne ovat laitoksen strategisten tavoitteiden saavuttamiseksi. e. Asettamalla prosesseille sidosryhmäsuuntautuneita suoritustavoitteita ja indikaattoreita. f. Koordinoimalla ja yhteen sovittamalla prosesseja. g. Parantamalla prosesseja yhteistyössä sidosryhmien kanssa mitatun tehokkuuden, tuloksellisuuden ja vaikuttavuuden pohjalta. h. Analysoimalla ja arvioimalla avainprosesseja, riskejä ja kriittisiä menestystekijöitä laitoksen tavoitteet ja muuttuva toimintaympäristö huomioon ottaen. 5.2 Sidosryhmä- ja asiakaslähtöinen palveluiden ja tuotteiden kehittäminen ja tuotanto a. Ottamalla sidosryhmiä mukaan palveluiden ja tuotteiden suunnitteluun ja kehittämiseen (esim. kyselyt, palautteet, tiedustelut). b. Luomalla selkeät ohjeet ja käyttämällä selkeää kieltä. c. Edistämällä organisaation saavutettavuutta (esim. joustavat vastaanottoajat ja dokumentit monessa eri muodossa esim. kieliversiot, internet, esitteet). d. Luomalla kestävät järjestelmät valitusten ja asiakaskyselyiden käsittelyyn. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 10 / 23

Tulosten arviointi Arviointialueet 6-9 tarkastelevat laitoksen saavuttamia tuloksia: arvioidaan sitä, miten toiminnalle asetetut tavoitteet saavutetaan. Tavoitteiden toteutumista arvioidaan sekä objektiivisilla tulosindikaattoreilla että subjektiivisia näkemyksiä kuvaavilla tulostiedoilla kuten asiakaspalautteella ja henkilöstön tyytyväisyydellä. Arviointialueisiin 6-9 käytetään tulosarviointien pisteytystaulukkoa. 6 Arviointialue 6: Asiakas- ja kansalaistulokset Määritelmä Millaisia ovat organisaation toimintaa tai palveluja koskevat asiakas- ja kansalaistulokset? Avainkohdat Sidosryhmien tyytyväisyyttä laitoksen toimintaan mitataan kokonaisuutena: laitoksen palvelut, avoimuus sekä yhteistyö eri sidosryhmien kanssa. Tyytyväisyyttä mitataan yleensä kyselyin mutta täydentäviä menetelmiä ovat esimerkiksi kohderyhmien haastattelut. Sidosryhmien tyytyväisyydettä kysytään palveluihin, henkilökunnan palvelukykyyn ja -asenteeseen tai laitoksen imagoon. Arviointi: Tarkastele, mitä tuloksia laitos on saavuttanut pyrkiessään vastaamaan sidosryhmiensä odotuksiin ja pisteytä tulosarviointialueiden taulukon avulla: 6.1. Sidosryhmien tyytyväisyysmittausten tulokset a. Tulokset koskien organisaation yleistä kuvaa (esim. palvelualttius, oikeudenmukainen kohtelu ja kyky vastata yksilöllisiin tarpeisiin). b. Tulokset koskien saavutettavuutta. c. Tulokset koskien palvelujen ja tuotteiden laatua (esim. saadun tiedon oikeellisuus ja luotettavuus, käsittelyaika, julkistettujen palvelustandardien noudattaminen). 6.2. Asiakas/kansalaistuloksia koskevat indikaattorit Tulokset koskien organisaation yleistä kuvaa a. Valitusten määrä ja niiden käsittelyaika. b. Yleinen luottamus organisaatioon ja sen toimintaan, mahdolliset imagotutkimukset. c. Odotusajat sekä palvelu- tai käsittelyajat. d. Sidosryhmien palveluun liittyvän koulutuksen laajuus (palvelututkimuksen asiakaspalvelu, SA, TEKES, EU koordinaattorit jne.). e. Henkilökunnalta ja opiskelijoilta vastaanotettujen kehitysehdotusten määrä. f. Sidosryhmiä koskevien julkistettujen standardien noudattaminen (esim. opiskelijoiden kannalta tärkeät palvelusitoumukset, tutkimukseen liittyvät palvelustandardit jne.). g. Tiedon saatavuuden, täsmällisyyden ja avoimuuden parantamiseen tähtäävien kehittämistoimien laajuus. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 11 / 23

7 Arviointialue 7: Henkilöstötulokset Määritelmä Mitä tuloksia on saavutettu koskien henkilöstön osaamista, motivaatiota, työtyytyväisyyttä ja suorituskykyä. Avainkohdat Tarkastellaan koko henkilöstön tyytyväisyyttä laitoksen toimintaan. Työtyytyväisyyskyselyjä käytetään mutta voidaan tarkastella myös, miten henkilöstön suorituskyky ja osaaminen ovat kehittyneet. Ulkoiset tekijät, jotka rajoittavat laitoksen toimintavapautta ja se, miten laitos pyrkii vaikuttamaan niihin, on kuvattava selkeästi kokonaisuuden ymmärtämiseksi. On kirjattava tulokset, jotka kuvaavat henkilöstön näkemystä laitoksesta ja sen missiosta, työympäristöstä, organisaation johtamisesta, oman kehittymisen mahdollisuuksista sekä laitoksen tuottamista palveluista. Laitoksella tulisi olla käytössä monia sisäisiä indikaattoreita koskien henkilöstön työtyytyväisyyttä, ammattitaidon kehittymistä, motivaatiota ja sitoutumista, Arviointi: Tarkastele, millaisia tuloksia laitos on saavuttanut pyrkiessään vastaamaan henkilöstön tarpeisiin ja odotuksiin ja pisteytä tulosarviointialueiden taulukon avulla: 7.1. Henkilöstön motivaatio ja työtyytyväisyysmittausten tulokset Yleistä tyytyväisyyttä koskevat tulokset a. Kokonaiskuva laitoksesta ja sen suorituskyvystä suhteessa sidosryhmiin ja ympäröivään yhteiskuntaan. b. Henkilöstön kyky ja mahdollisuudet tunnistaa työtehtäviensä hoidossa mahdollisesti esiin tulevat eturistiriidat ja jääviysongelmat. c. Henkilöstön sitoutumisen taso laitokseen ja sen missioon. d. Tulokset koskien henkilöstön tyytyväisyyttä johtamiseen ja johtamisjärjestelmiin e. Käsitys organisaation ylimmän johdon ja keskijohdon johtamiskyvystä (esim. tavoitteiden asettaminen, resurssien kohdentaminen) ja viestintätaidoista. f. Henkilöiden tai tiimien suorituskyvystä palkitseminen. g. Organisaation suhtautuminen innovatiivisuuteen. Tulokset koskien tyytyväisyyttä työoloihin a. Työilmapiiri ja organisaatiokulttuuri (esim. konfliktien ja henkilöstöongelmien ratkaiseminen). b. Työhyvinvoinnin tukeminen (esim. työaikajoustot, työ- ja yksityiselämän yhteensovittaminen, työterveyshuolto). c. Tasa-arvo- ja yhdenvertaisuuskysymysten hoitaminen. d. Tulokset koskien motivaatiota, urakehitystä ja osaamisen kehittämistä e. Johdon kyky hyvään henkilöstöjohtamiseen, osaamisen kehittymisen tukemiseen ja organisaation tavoitteiden viestimiseen henkilöstölle. f. Henkilöstön muutoshalukkuus ja - kyky. 7.2. Henkilöstötulosten indikaattorit a. Työtyytyväisyyteen liittyvät indikaattorit (esim. sairaus- ja muiden poissaolojen määrä, avainhenkilöstön vaihtuvuus, valitusten määrä). b. Suorituskykyyn liittyvät indikaattorit (esim. tuottavuusmittaukset, arviointien tulokset). Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 12 / 23

c. Osaamisen kehittymistä koskevat indikaattorit (esim. henkilökunnan jatko-opintojen edistyminen, henkilön kehittyminen julkaisujen tuottajana). d. Indikaattorit koskien henkilöstön kykyä asioida yritysasiakkaiden ja muiden sidosryhmien kanssa ja vastata heidän tarpeisiinsa. e. Henkilöstön liikkuvuusaste, tutkijavaihto. f. Indikaattorit koskien motivaatiota ja osallisuutta (esim. työtyytyväisyyskyselyjen vastausprosentti, henkilöstön kehittämisaloitteiden määrä, osallistuminen laitoksen sisäiseen keskusteluun). g. Palkittujen henkilöiden tai tiimien määrä. 8 Arviointialue 8: Yhteiskunnalliset tulokset Määritelmä Millaisia ympäröivään yhteisöön vaikuttavia tuloksia laitos on saavuttanut paikallisella, kansallisella tai kansainvälisellä tasolla. Tähän voi sisältyä tuloksia esimerkiksi siitä, miten laitos suhtautuu elämänlaatuun ja ympäristökysymyksiin niin organisaation sisällä kuin vaikuttamalla niitä koskeviin kysymyksiin sen ulkopuolella. Avainkohdat Tarkastellaan laitoksen toiminnasta seuraavia tavoiteltuja tuloksia tai tahattomia sivuvaikutuksia, jotka vaikuttavat ympäröivään yhteiskuntaan mutta eivät ole laitoksen perustehtäviä. Arviointi voi perustua laadulliseen informaatioon tai määrällisiin mittareihin. Arvioitavat tulokset voivat koskea: taloudellisia vaikutuksia sosiaalisia vaikutuksia elämänlaatua koskevia vaikutuksia ympäristövaikutuksia Arviointi: Tarkastele, millaisia vaikutuksia toiminnalla on ollut seuraaviin yhteiskunnallisiin asioihin ja pisteytä tulosarviointialueiden taulukon avulla: 8.1. Sidosryhmien näkemykset organisaation yhteiskunnallisista tuloksista a. Yleinen näkemys siitä, millä tavalla laitoksen toiminta vaikuttaa sidosryhmien elämänlaatuun. b. Laitoksen maine (esim. työnantajana ja ympäröivän yhteisön tukijana). c. Vaikutukset paikalliseen, kansalliseen ja kansainväliseen talouselämään. d. Kestävän kehityksen tukeminen paikallisella, kansallisella ja kansainvälisellä tasolla. 8.2. Yhteiskunnallisia tuloksia koskevat indikaattorit a. Suhde ympäröivän yhteisön keskeisiin toimijoihin. b. Laitosta koskevan mediajulkisuuden määrä. c. Kansainväliseen kehitystyöhön osallistuminen. d. Aktiivinen tiedon ja osaamisen jakaminen muiden toimijoiden kanssa. e. Kestävän kehityksen periaatteiden noudattaminen laitoksen toiminnassa (ympäristöstandardien mukainen toiminta, kierrätettävien materiaalien käyttö, ympäristöystävällisten kulkuvälineiden käyttö, melun ja muiden ympäristöhaittojen vähentäminen, energian ja veden säästö). Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 13 / 23

9 Arviointialue 9: Keskeiset suorituskykytulokset Määritelmä Tulokset, jotka laitos on saavuttanut koskien perustehtäväänsä, asetettuja tavoitteita ja niihin liittyviä strategioita ja toimintasuunnitelmia. Tulokset voivat olla toiminnan vaikuttavuuteen liittyviä ulkoisia tuloksia tai organisaation omaan toiminnan tehokkuuteen tai kehittämiseen liittyviä sisäisiä tuloksia. Avainkohdat Keskeiset suorituskykytulokset liittyvät kaikkeen siihen, mitä laitos on määrittänyt pitkän ja lyhyen aikavälin menestyksensä kannalta välttämättömiksi sekä mitattaviksi ja arvioitaviksi tavoitteiksi. Tulokset kertovat kyvystä saavuttaa asetettuja päämääriä ja tavoitteita valittujen prosessien ja menettelytapojen avulla. Keskeiset suorituskykytulokset voidaan jaotella seuraavasti: a. Ulkoiset tulokset: toimintapolitiikan ja palvelutoiminnan tehokkuuden mittaus ja arviointi suhteessa asiakkaiden tarpeisiin vastaamiseen; tärkeimmille toiminnoille asetettujen tavoitteiden toteutuminen toiminnallisen tehokkuuden (outputs) ja yhteiskunnallisen vaikuttavuuden (outcomes) näkökulmasta. b. Sisäiset tulokset: organisaation sisäinen toimintakyky; johtaminen, kehittäminen ja taloudellinen suorituskyky (tehokkuus ja taloudellisuus). Tämän arviointialueen toiminnot liittyvät toimintapolitiikkaan ja strategioihin (arviointialue 2), kumppanuuksiin ja resursseihin (arviointialue 4) sekä prosessien hallintaan (arviointialue 5). Arviointi: Tarkastele asetettujen tavoitteiden saavuttamisesta kertovia tuloksia seuraavista näkökulmista ja pisteytä tulosarviointialueiden taulukon avulla: 9.1. Ulkoiset tulokset: tavoitteen mukaiset tuotokset ja vaikuttavuus a. Kuinka hyvin laitokselle asetetut tavoitteet on saavutettu b. Laitoksen palvelujen laadun paraneminen perustuen arviointi- ja mittaustuloksiin. c. Kustannustehokkuus. d. Erilaisten tarkastusten, auditointien ja arviointien tulokset. e. Tulokset osallistumisista ulkopuolisiin arviointeihin, esim. koulutusohjelman arviointi ja laitoksen osuus tuloksista, laatupalkintokilpailu, laatujärjestelmän sertifiointi jne. f. Vertaisarviointien ja vertaisoppimisen tulokset. Pisteytä tulosarviointialueiden taulukon avulla. 9.2. Sisäiset tulokset Tulokset liittyen johtamisjärjestelmiin, hallintoon ja innovaatioihin a. Opetukseen ja oppimiseen liittyvät tulokset. b. Tutkimukseen liittyvät tulokset. c. Tulokset liittyen kumppanuuksien muodostamiseen ja yhteisiin toimintoihin. d. Kyky tyydyttää ja tasapainottaa eri sidosryhmien tarpeita. e. Laitoksen strategioiden, rakenteen tai prosessien kehittämiseen liittyvät tulokset, uusiin innovaatioihin liittyvät tulokset. f. Tulokset liittyen sisäiseen tiedonhallintaan, sisäiseen ja ulkoiseen viestintään sekä verkostoitumiseen. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 14 / 23

g. Erilaisten tarkastusten ja arviointien tulokset (esim. tutkimusprojektien katselmus, opintojaksojen palautteen muutokset edellisestä palautekerrasta, jne.). h. Prosessien suorituskyky ja tuloksellisuus. Taloudelliset tulokset a. Talousarvion toteutuminen ja taloudellisten tavoitteiden saavuttaminen. b. Palvelujen myyntiin ja maksulliseen palvelutoimintaan liittyvien tulosten ja tavoitteiden toteutuminen. c. Osoitukset toimintamenojen kustannustehokkaasta käytöstä. 10 CAF pisteytys- ja arviointitaulukot Miksi kannattaa pisteyttää? Arviointialueiden ja niiden alakohtien pisteytyksellä on neljä päämäärää: 1. Tarjota tietoa siitä, mihin kehittämistoimiin organisaatiossa tulisi ryhtyä. 2. Arvioida oman toiminnan ja tulosten kehittymistä, mikäli arviointeja tehdään säännöllisesti, esimerkiksi vuosittain tai kerran kahdessa vuodessa. 3. Löytää hyviä käytäntöjä toiminnoista ja tuloksista, joissa pistemäärät ovat korkeita. Tulospuolen korkeat pistemäärät ovat usein merkki toimintapuolen arviointialueiden hyvistä käytännöistä 4. Paikantaa yhteistyökumppaneita vertailukehittämiseen. Yksittäisten arviointipisteiden vertailu eri laitosten tai yksiköiden välillä on usein hyödytöntä. Tämä korostuu, jos arviointi on tehty laitoksessa vain sisäisesti, ilman ulkopuolista näkemystä. Ulkopuolisen näkemyksen avulla pystytään vertaamaan itsearvioinnin pisteytyksiä muihin julkisiin organisaatioihin. Vertailukehittämisen tavoite on verrata vaihtoehtoisia toimintatapoja asetettujen tavoitteiden ja tulosten saavuttamiseksi. Mikäli arviointi on toteutettu riittävän objektiivisesti, myös arviointipisteet voivat toimia vertailukehittämisen lähtökohtana ja kehittämistyön tukena. Miten pisteet annetaan? Pisteytystapa yhdistää arvioinnissa samanaikaisesti sen, miten organisaatio toimii ja miten sen on ajateltu toimivan (ottamalla huomioon puutteet toimintatavoissa). Toiminta-arviointialueiden pisteytystaulukossa huomiota kiinnitetään PDCA-sykliin. Edistymistä arvioidaan syklin jokaisen vaiheen toteutumisen avulla. Vertailukehittäminen ja -oppiminen otetaan huomioon kaikkien eri vaiheiden arvioinnissa. Ohjeet arviointikriteerien käyttöön 1. Lue jokainen pisteytystaulukon arviointivaiheen määritelmä (Suunnittele, Kokeile, Tarkista, Toteuta tai Korjaa). 2. Etsi näyttöä, tietoja ja todisteita vahvuuksista ja kehittämisalueista arvioimalla toimintaa pisteytystaulukon avulla. Arvioinnin apuna voidaan hyödyntää käytännön esimerkkejä tai muita konkretisoitavissa olevia seikkoja, jotta itse pisteytysprosessi pysyy käsissä. Ne jotka haluavat käydä läpi kaikki esimerkit ja tiedot ko. arviointialueelta, voivat pisteyttää esimerkit käymällä läpi kaikki neljä vaihetta ja laskemalla tämän jälkeen pistekeskiarvot jokaiselle vaiheelle. 3. Laske neljän vaiheen pistemäärät yhteen ja jaa summa neljällä. Pistemäärän tulee olla uskottava ja johdonmukainen arvio, joka perustuu tosiasiallisiin tietoihin ja näyttöihin. Mikäli esimerkiksi arvio jonkin neljän arviointivaiheen osalta (PDCA) on 20 tai vähemmän, kokonaispistemäärän ei tulisi ylittää 40 pistettä (tai jos jonkin arviointivaiheen kohdalla pistemääräksi tulee 30 tai vähemmän, ei kokonaispistemäärä voi ylittää 60 pistettä). Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 15 / 23

ESIMERKKI yksityiskohtaisesta pisteytyksestä: Toiminta, Johtaminen arviointialue 1.1: Mitä johtajat tekevät ohjatakseen laitosta kehittämällä sen mission, vision ja arvot. Yhteenveto näyttöihin ja tietoihin pohjaavasta itsearvioinnista (lähtökohta kehittämistoimenpiteiden suunnittelulle ja perusta pisteytykselle). 1.1.a Laitoksen visio ja missio käsiteltiin yksityiskohtaisesti kolme vuotta sitten. Laitoksen johtaja käynnisti työn ja keskusteli asiasta muiden professorien kanssa useasti. Tuloksena laitoksen wwwsivuilla julkaistiin visio ja missio, joista tiedotettiin laitoskokouksessa koko henkilökunnalle. 1.1.b Emme ole vielä laatineet yhteisiä arvoja. Laitosjohtaja on kehittänyt tätä varten oman projektin. Tutkimusryhmien vetäjät ja projektipäälliköt kutsutaan seminaariin, jossa voi ottaa kantaa arvoihin. Arvot tullaan konkretisoimaan osaksi vaikeiden tilanteiden hallintaan liittyvää koulutusta. 1.1.c Työntekijät, asiakkaat ja muut sidosryhmät eivät ole osallistuneet organisaation vision ja mission määrittelyprosessiin tähän mennessä. Tämän seikan tärkeys nousi esille kaksi vuotta sitten, jolloin osa johdosta osallistui CAF-malliin pohjautuvaan laatuseminaariin. Tällöin tehtiin myös päätös tehdä sisäinen ja ulkoinen kysely, jossa kerätään näkemyksiä tämän työn tueksi. Kyselytulokset paljastivat, että työntekijät kokivat vision ja mission imagojulistukseksi, joka on täysin irrallaan todellisuudesta eivätkä esimerkiksi toiminnan päämäärät ole sopusoinnussa näiden julistusten kanssa. Asiakkaiden mukaan johdon olisi tarpeen suunnata huomiotaan enemmän asiakkaisiin. Asiakastilaisuutta Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 16 / 23

suunnitellaan johdon, työntekijöiden ja sidosryhmien edustajien kesken ja se toteutetaan lähiaikoina. Lisäksi on tehty päätös siitä, että työntekijöille ja asiakkaille tehdään jatkossa kyselyjä vuosittain. Koko organisaation tasoista itsearviointia on suunniteltu. 1.1.d Edellä mainittujen kyselytutkimusten tulisi taata jatkossa se, että visiota ja missiota uudistetaan tarvittaessa säännöllisesti ottaen huomioon asiakkaiden ja sidosryhmien näkemykset ja tarpeet. Työntekijöiden osallistumista ja laitoksen sisäistä viestintää pitää lisätä. Nämä havainnot on sijoitettu oheiseen yksityiskohtaiseen toiminta-arviointialueiden pisteytystaulukkoon yleiseksi malliksi ja pisteytyksen yhdenmukaistamiseksi. Kaikkia yksittäisiä esimerkkejä ei tarvitse pisteyttää mallin mukaisesti. Lomakepohjaa voi käyttää muistikirjan tavoin, jolloin eri itsearviointiryhmien tekemät eri alakohtien arvioinnit siirtyvät näkyvästi osaksi muiden ryhmien itsearviointia ja konsensuskeskustelua. Muistiinpanojen avulla voidaan ohjata konsensuskokouksen keskustelua. Tulosarviointien ohjeet Tarkastele erillään tulosten kehittymistä viimeisten kolmen vuoden aikana ja viimeisen toimintavuoden tavoitteiden saavuttamista. Arvioi ja pisteytä tulosten kehittäminen kuusiportaisella asteikolla välille 0-100. Arvioi ja pisteytä tavoitteiden saavuttamisen aste edelliseltä toimintavuodelta kuusiportaisella asteikolla välille 0-100. Laske yhteen tulosten kehittymisen ja tavoitteiden saavuttamisen pistemäärät ja jaa summa kahdella saadaksesi arviointialueen kokonaispisteet muutetuksi skaalalle 0-100. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 17 / 23

Esimerki yksityiskohtaisen pisteytyksen käytöstä, Keskeiset suorituskykytulokset, arviointialue 9.1: Ulkoiset tulokset Yhteenveto näyttöihin ja tietoihin pohjaavasta itsearvioinnista (lähtökohta kehittämistoimenpiteiden suunnittelulle ja perusta pisteytykselle). Seuraavan vuoden toimintasuunnitelmia valmistelevassa johtoryhmän kokouksessa oli tavoitteena käyttää keskeisten tulosten saavuttamisesta kertova raportti tehokkaasti hyväksi suunnittelun apuna. Raportin johtopäätökset olivat selvät: tulostavoitteet saavutettiin yli 50%:sti ja edeltäneeseen vuoteen verrattaessa tulosparannus oli 10%. Tämän johtopäätöksen merkityksestä vallitsi jossain määrin erimielisyyttä ja aiheesta käytiin tiukkaa keskustelua johtoryhmän jäsenten välillä. 11 Ohjeita CAF:n käyttöön Organisaation toiminnan kehittämistä voi suunnitella ja toteuttaa monella eri tavalla. Organisaation koko, toimintakulttuuri ja aiemmin omaksutut johtamisjärjestelmät vaikuttavat siihen, miten kokonaisvaltainen laadunkehittäminen sidotaan osaksi kehittämistä. Tässä luvussa esitellään kolmivaiheinen CAF:n soveltamisen malli, joka perustuu sitä käyttäneiden organisaatioiden kokemuksiin. Koska kehittämishankkeet ovat usein ainutkertaisia, malli ei välttämättä sellaisenaan sovi käytettäväksi kaikissa organisaatioissa, mutta sitä voi käyttää apuna oman itsearviointiprosessin suunnittelussa. Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 18 / 23

11.1 Vaihe 1 CAF:n käytön suunnittelu Itsearvioinnin valmistelu ja toteutusvalmistelu ja toteutus Johdon sitoutuminen on tärkein osatekijä, joka varmistaa itsearvioinnin onnistumisen. Johdon pitää ilmaista selkeästi päätöksensä itsearvioinnista (miten johto osallistuu siihen ja miten järjestetään itsearviointia seuraava avoin keskustelu). Johdon pitää,tuntea CAF-mallin sisältö pääpiirteittäin ja, millaista tietoa sen käyttö voi tuottaa johtamisen tueksi. Oleellista on muodostaa yhteinen käsitys siitä, mitä hyötyä itsearvioinnista koetaan, miten sen tuloksia tullaan käsittelemään ja millä tavalla niiden perusteella käynnistetään kehittämistoimenpiteitä. Johdon tehtävä on varmistaa, että itsearvioinnin valmisteluun ja toteuttamiseen on riittävät ja oikeat resurssit. Suunnittele itsearviointi Ensimmäinen vaihe on määritellä arvioinnin kohde ja taso. Itsearviointina voidaan arvioida koko laitosta tai sen yksikköä, jos toiminnassa on tunnistettavissa kaikki CAF:n yhdeksän arviointialuetta. Yksikön itsearvioinnin suunnittelussa on pitää rajata yksikön toiminnot muusta organisaatiosta. Johto nimeää henkilön tai ryhmän, jonka tehtävänä on suunnitella itsearviointiprosessi ja tukea sen toteutusta. Tehtävään kuuluu tyypillisesti: 1. Suunnitella prosessi ja miten se viestitään osallistujille. 2. Tehdä yhteistyötä henkilöstön kanssa prosessin toteutuksesta. 3. Järjestää itsearvioinnin perehdytys. 4. Kerätä tarvittava taustamateriaali ja tulostiedot. 5. Osallistua aktiivisesti itsearviointitapahtumaan. 6. Vetää konsensuskeskustelu (pisteytyksen konsensus) itsearviointitapahtumassa. 7. Laatia itsearviointiraportti. 8. Avustaa johtoa kehittämiskohteiden priorisoinnissa ja kehittämishankkeiden suunnittelussa. Itsearvioinnista vastaavan henkilön tai ryhmän tulee tuntea hyvin sekä CAF-mallin käyttö että laitoksen toiminta. Jos mallissa käytetty ilmaisutapa tai sen esimerkkikuvaukset ovat vieraita, mallin ilmaisutapa kannattaa kääntää oman organisaation käyttämälle kielelle. Itsearvioinnin syyt, tavoitteet ja toteuttamistapaa pitää viestiä selkeästi, muuten riskinä on nähdä se vain yhtenä ohimenevänä projektina muiden joukossa tai vain irrallisena johtamisrutiinina. Johdon ja itsearvioinnin toteutuksesta vastaavien kannattaa viestinnässä keskittyä seuraaviin asioihin: 1. Mitä hyötyä itsearvioinnista on. 2. Miksi juuri itsearviointi on valittu kehittämisvälineeksi. 3. Miten itsearviointi liittyy organisaation strategiseen toiminnansuunnitteluun. 4. Miten itsearviointi kytkeytyy muuhun organisaation toiminnan kehittämiseen. 11.2 Vaihe 2 Itsearvioinnin toetuttaminen Muodosta yksi tai useampi itsearviointiryhmä Itsearviointiryhmässä on oltava olla edustettuina kaikki organisaation osa-alueet ja henkilöstöryhmät tarkoituksenmukaisella tavalla. Tavoitteena on, että ryhmä pystyy työskentelemään tehokkaasti, mutta että sillä on myös hallussaan kaikki kokonaisvaltaiseen arviointiin tarvittavat tieto. Kokemuksen perusteella itsearviointiryhmien koko vaihtelee 5 20 osallistujaan. Työtehon ja keskustelevuuden varmistamiseksi suositellaan korkeintaan 10 hengen ryhmiä. Jos kyseessä on Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 19 / 23

kooltaan suuri tai toiminnoiltaan monimuotoinen organisaatio, on perusteltua muodostaa useampi kuin yksi itsearviointiryhmä. Tässä tapauksessa ryhmien työtä ja tulosten yhteenvetoa on koordinoitava. Osallistuvat henkilöt valitaan sen perusteella, miten hyvin he tuntevat organisaation toimintaa kokonaisuutena (ei ainoastaan omaa asiantuntemusaluettaan) ja miten heidän henkilökohtaiset ominaisuutensa (kuten analyyttisyys ja kommunikointitaidot) tukevat itsearviointia. Toteutuksesta vastaavien ja johdon on varmistettava, että ryhmässä ovat edustettuina kaikki tarvittavat osapuolet. Itsearviointiryhmän puheenjohtajana voi toimia koko prosessin toteuttamisesta vastuussa oleva tai ryhmä voi itse nimetä puheenjohtajansa. Lisäksi tarvitaan kirjaamisesta vastaava sihteeri. Perehdytä osallistujat Itsearviointiin osallistuvien perehdytys Osallistujat perehdytetään arviointimenetelmään. Perehdyttäjänä voi toimia prosessin toteutuksesta vastaava henkilö. Osallistujille toimitetaan ennen arviointia kaikki koottu materiaali. Etukäteen tarvitaan yhteinen näkemys siitä, mihin viitataan, kun puhutaan johdosta, sidosryhmistä, kumppaneista tai asiakkaista. Ennen arviointia on määritettävä avainprosessit ja keskeisimmät palvelut tai tuotteet. Näiden määrittely vasta itsearvioinnin aikana syö ajan arvioinnilta. Toteuta itsearviointi Toteuta yksittäiset arvioinnit Jokainen osallistuja muodostaa oman arvionsa kyseessä olevasta arviointialueesta taustamateriaalin ja oman kokemuksensa perusteella. Sihteeri kirjaa kaikki esille nousevat vahvuudet ja parantamisalueet. Erityisesti parantamisalueet on kirjattava niin, että myöhemmin on helppo ymmärtää, mitä kehittämistoimia niiden pohjalta tulisi käynnistää. Vahvuuksien ja parantamisalueiden käsittelyn jälkeen arviointialue pisteytetään. Puheenjohtaja on osallistujien tavoitettavissa koko arvioinnin ajan. Kokoa ryhmä konsensuskeskusteluun Yksittäisistä arvioinneista on muodostettava konsensus osallistujien välillä niin pian kuin mahdollista. Konsensus koskee vahvuuksia, parantamisalueita ja annettavaa pistemäärää. Konsensuskeskustelu on koko arvioinnin keskeinen osa. Keskustelun kautta osallistujat perustelevat erilaisia käsityksiään vahvuuksista ja parantamisalueista tai miksi annetut pistemäärät eroavat toisistaan. Missä järjestyksessä (yhdeksästä arviointialueesta) keskustelu käydään, on sovittavissa. CAF-mallin osoittamasta järjestyksestä (arviointialue kerrallaan) voidaan poiketa. Konsensuksen muodostaminen Yhteisymmärryksen, konsensuksen, muodostamiseen voidaan edetä seuraavan neljän vaiheen kautta: 1. Kukin esittää perusteluineen kirjaamansa vahvuudet ja parantamisalueet. 2. Esitetyistä havainnoista muodostetaan yhteinen lista vahvuuksista ja parantamisalueista. Konsensuskeskustelu nostaa joskus esiin uusia havaintoja, joita ei tullut yksittäisissä arvioinneissa. 3. Osallistujat esittelevät yksittäisissä arvioinneissa antamansa pistemäärät. 4. Keskustelun kautta annetaan yksi lopullinen pistemäärä kyseiselle arviointialueelle. Puheenjohtajalla on tärkeä rooli saada konsensus aikaan. Jos taustamateriaali tunnetaan, auttaa yksittäisten arviointien kautta esiin nostettujen asioiden analysointi nopeaan yhteisymmärrykseen. Konsensuskeskustelu on tärkein itsearvioinnin lisäarvo. Keskustelun seurauksena yksittäiset havainnot vahvuuksista tai parantamisalueista kirkastuvat ja tarkentuvat. Keskustelun tuloksena voi syntyä myös kehittämishavaintoja, jotka ovat enemmän kuin yksittäisten kirjattujen parantamisalueiden summa. Keskustelu toisistaan eroavien arviointien taustalla olevista näkemyksistä on usein tärkeämpää kuin pisteytyksestä saatava hyöty. Puheenjohtaja vastaa keskustelun johtamisesta niin, että arvioinnin Hannu Villanen www.hannuvillanen.fi www.tuottavuusneuvonta.fi 20.4.2009 S. 20 / 23