SISÄINEN AUDITOINTI Jyväskylän yliopisto Anu Räisänen 2014
KOULUTUKSEN TAVOITTEET Selkeyttää auditoinnin osuutta yliopiston (JY) laadunhallinnan kokonaisuudessa Perehtyä auditointiprosessiin ja valmistautua tulossa oleviin sisäisiin auditointeihin tuottaa kelpoisuus toimia Jyväskylän yliopiston sisäisenä asiantuntija-auditoijana 2014 Anu Räisänen
AUDITOINTI Järjestelmällinen ja riippumaton tulkinta sen määrittämiseksi, ovatko toiminnot ja niihin liittyvät tulokset tavoitteiden ja suunnitelmien ja kriteereiden mukaisia, toimitaanko tehokkaasti ja tarkoituksenmukaisesti tavoitteiden saavuttamiseksi. Sisältää: esiarvioinnin itsearvioinnin ja muun aineiston pohjalta haastattelut tutustumisen ympäristöön ja dokumentteihin havainnot ja tulkinnat raportoinnin & suullisen ja kirjallisen palautteen Kriteeriperusteisuus Näyttö dokumenttien ja arviointikäynnin perusteella Arvioinnin objektiivisuus ja tasapuolisuus: arvioijien konsensus Arvottavat tulkinnat ja johtopäätökset Anu Räisänen 2014
AUDITOINNIN TAVOITTEET auttaa kehittämään toimintaa varmistaa, että laadunvarmistusjärjestelmä on suunnitelmien ja yksikön sekä yliopiston asettamien vaatimusten mukainen varmistaa edellisen auditoinnin korjaavat toimenpiteet auditointikriteerit vertailukohtana pääauditoijan tulee sopia auditoinnin tavoitteista, kohteesta, prosesseista ja kriteereistä etukäteen auditoitavan kohteen kanssa 2014 Anu Räisänen
AUDITOINNIN PERIAATTEITA TAVOITETIETOISUUS TOSIASIAPERUSTEISUUS TASAPUOLISUUS JA OBJEKTIIVISUUS VASTUULLISUUS LUOTTAMUS & KUNNIOITUS AITO KIINNOSTUS AVOIMUUS KOHTEEN TUNTEMUS JOUSTAVUUS TILANTEEN MUKAAN KESKUSTELEVA JA KEHITTÄVÄ OTE ON NEUTRAALI, EI ARVOSTELE, EI ANNA OHJEITA ESITETTÄVÄ ARVIOINTI ARVIOITAVISTA KOHDISTA LUPA EREHTYÄ 2014 Anu Räisänen
AUDITOINTI LAADUNHALLINNAN KOKONAISUUDESSA 2014 Anu Räisänen
Kansallinen alueellinen paikallinen- institutionaalinen LAADUNHALLINNAN AVAINKÄSITTEITÄ LAADUNHALLINTA: laatupolitiikka ja sen konkretisointi laadunohjauksessa ja suunnittelussa (esim. tavoitteet), laatukontrolli ja laadunvarmistus, laadunparantaminen ja laadunkehittäminen sekä näitä koskevat vastuut LAATUPOLITIIKKA: laadun sisällön arvottaminen (asiakas & henkilöstö), määrittäminen normeissa, ohjeissa, standardeissa, suosituksissa jne. LAATUSTRATEGIA: missio, visio, arvot, päämäärät ja tavoitteet LAADUNOHJAUS: normit, ohjeet, tavoitteet, periaatteet jne. LAADUNVARMISTUS - prosessit, tulokset, edellytykset - erilaiset metodit mahdollisia - arviointi /auditointi keskeinen LAATUKONTROLLI akkreditointi - tarkastus - arviointi - seuranta, indikaattorit LAADUN PARANTAMINEN - LAADUN KEHITTÄMINEN vrt. laadunhallinnan tehtävät 2014 Anu Räisänen
LAADUNVARMISTUSJÄRJESTELMÄ STRATEGISESSA TOIMINNANOHJAUKSESSA JA LAADUNHALLINNASSA JY:SSA
AUDITOINTIKOHTEIDEN TARKASTELUA CAF:N PAINOTUSTEN MUKAAN Asiakkaat ja kansalaiset kumppaneina palvelujen suunnittelussa, toteutuksessa ja arvioinnissa LISÄARVO ASIAKKAILLE JA SIDOSRYHMILLE Prosessit Ydinprosessit arviointialueella 5 Johtamisprosessit arviointialueilla 1 ja 2 Tukiprosessit arviointialueilla 3 ja 4 Prosessiketjujen tarkastelu yli organisaatiorajojen keskeisten kumppanien kanssa. Arvoketjun luominen 9
CAF:N PAINOTUKSET JTK Tuloskeskeisyys Tulosmittareiden ja indikaattoreiden vahvistaminen tulosarviointialueilla Johdon rooli innovaatioiden tukemisessa Ideoinnin ja innovoinnin menettelyt ja toimintatavat Oppivan organisaation kulttuuri Yhteiskuntavastuu, kestävä kehitys
ERINOMAISUUDEN TUNNUSPIIRTEET AUDITOINNISSA (CAF) Yhteiskuntavastuu Kumppanuuksien kehittäminen Jatkuva oppiminen, uudistuminen ja kehittyminen Henkilöstön kehittäminen ja osallistaminen 9 arviointialuetta ja 27 arviointikohtaa Itsearvioinnin vaiheet ja ulkoisen arvioinnin periaatteet Tosiasioihin perustuva prosessijohtaminen Tuloskeskeisyys Asiakas- ja kansalaislähtöisyys Johtajuus ja johdonmukaisuus CAF 2013
LAADUNHALLINNAN SYKLIT AUDITOINNIN KOHTEENA JATKUVA OPPIMISPROSESSI PARANTAMINEN/ KEHITTÄMINEN pienet askeleet tiikerinloikat ARVIOINTI seuranta: mittarit ja tunnusluvut itsearviointi auditointi SUUNNITTELU strategian laadinta vuosisuunnittelu (tavoitteet, toimintaperiaatteet, edellytykset) prosessien mallintaminen PERUSTEHTÄVÄ suunnitelmien toimeenpano isot kehitysprojektit Anu Räisänen 2014
MITÄ ARVIOIDAAN ARVIOINNIN KOHTEET CAF:N mukaan Toiminta 50 % Tulokset 50 % Henkilöstö 10 % Henkilöstötulokset 10 % Johtajuus 10 % Strategia ja toiminnan suunnittelu 10 % Prosessit 10 % Asiakas- ja kansalaistulokset 15 % Keskeiset suorituskykytulokset 15 % Kumppanuudet ja resurssit 10 % Yhteiskuntavastuutulokset 10 % Oppiminen, luovuus ja innovatiivisuus Tutkimustoiminnan parantaminen ja kehittäminen/organisaation oppiminen ja muutoksen hallinta CAF 2013
ARVIOINTIKOHTEET DEMINGIN SYKLIN MUKAAN Toiminta 50 % Tulokset 50 % Henkilöstö 10 % Henkilöstötulokset 10 % Johtajuus 10 % Strategia ja toiminnan suunnittelu 10 % Prosessit 10 % Asiakas- ja kansalaistulokset 15 % Keskeiset suorituskykytulokset 15 % Kumppanuudet ja resurssit 10 % Yhteis- Kuntavastuutulokset 10 % Suunnittelu Toteutus Arviointi Parantaminen ja kehittäminen CAF 2013
ARVIOINNIN KOHTEET 1. Tavoitteet ja tavoitteiden mukainen toiminta (= OIKEAT ASIAT) Omat tavoitteet Ulkopuolelta asetetut tavoitteet Sidosryhmien odotusten täyttyminen/ylittyminen 2. Toiminnan systemaattisuus (= TEHDÄÄNKÖ OIKEIN) tulokset toimintaperiaatteet, toiminta, arviointi ja parantaminen toiminnan taloudellisuus tarkoituksenmukaisuus laatujärjestelmän toimivuus 3. Kuvausten mukaisuus KRITEERIT: järkevyys/ tarkoituksenmukaisuus, yhtenäisyys, arvojen ja toimintaperiaatteiden mukaisuus mittaaminen, analysointi positiivinen kehitys; tulos seurausta toiminnasta organisaation oppiminen Anu Räisänen 2014
Esimerkki 2. STRATEGIA JA TOIMINNAN SUUNNITTELU (CAF) 1 SIDOSRYHMIEN/ASIAKKAIDEN TARPEIDEN ENNAKOINTI TULOSTIETOJEN HYÖDYNTÄMINEN ULKOISEN YMPÄRISTÖN MUUTOSTEN HUOMIOON OTTAMINEN 2 TIETOON PERUSTUVA STRATEGIOIDEN JA TOIMINNAN SUUNNITTELU 3 STRATEGIOIDEN JA PERIAATTEIDEN VIESTIMINEN JA JALKAUTTAMINEN PROSESSEIHIN TULOSTAVOITTEET PROSESSIT, HANKKEET JA ORGANISAATIORAKENNE MAHDOLLISTAJINA SISÄINEN JA ULKOINEN VIESTINTÄ SEURANTA JA ARVIOINTI 4 INNOVAATIOIDEN JA MUUTOSTEN SUUNNITTELU, TOTEUTTAMINEN JA ARVIOINTI INNOVATIIVISET ASIAKASLÄHTÖISET MENETELMÄT VERTAILUOPPIMINEN OSALLISTAVA JA PALKITSEVA KULTTUURI CAF 2013/Anu Räisänen
TOIMINTA Henkilöstö Toiminta Henkilöstösuunnittelu ja -politiikka ja menettelyt Henkilöstön osaamisen kehittäminen Työyhteisön avoimuus ja valtaistaminen Työhyvinvointi Arviointi Tyytyväisyyden mittaaminen työtyytyväisyyskysely on käytössä? miten sen sisältöä kehitetään? miten siihen vastaamista motivoidaan? miten sen tuloksia käsitellään? miten kehittämistoimet käynnistetään? INNOVATIIVISUUS JA OPPIMINEN TULOKSET Henkilöstötulokset 1. Tyytyväisyys Henkilöstön yleinen tyytyväisyys Henkilöstön näkemys johtamisesta 2. Suorituskyky (esim.) sairauspoissaolot vaihtuvuus osallistumisaste tasa-arvo ja yhdenvertaisuus työolot, työtilat urakehitys ja osaamisen kehitys Tulostrendit 3-5 vuotta Vastausprosentti Kehittämistoimenpiteiden vaikutus Tulokset suhteessa muihin 17 CAF 2013/Anu Räisänen
TOIMINNAN YHDENSSUUNTAISUUS KOHTEENA Yhdensuuntaistaminen tärkeät osatekijät tukevat organisaation tavoitteiden saavuttamista Parantaminen ei ole johdettua Parantaminen hyvin johdettua kohti yhteisiä päämääriä On muodostunut yhteinen Toiminta taiteena näkemys päämääristä ja sitä tukevista kriittisistä prosesseista Anu Räisänen 2014
LAADUNHALLINNAN VAKIINNUTTAMISEN EDELLYTYKSET 1. Johdon näkyvä sitoutuminen jatkuvaan laadun parantamiseen ja kehittämiseen 2. Laadunhallintaan liittyvän osaamisen kehittäminen ja osallisuus 3. Oppimisen vakiinnuttaminen työyhteisöön oppiva yhteisö ammattikunta-, yksikkö- ja organisaatiorajat ylittävä oppiminen hyvien käytänteiden levittäminen ja uusien toimintojen vakiinnuttaminen verkostojen hyödyntäminen - vertaisuus 4. Jatkuvaa parantamista että kehittämisen keihäänkärkiä 5. Tiedon hyödyntäminen (ennakointi & arviointi) tiedosta tietämykseen Anu Räisänen 2014
AUDITOINTIHAVAINNOT JA KRITEERIT järjestelmän toimivuus kriteereiden mukaisuus toiminnan tuloksellisuus: tehokkuus, taloudellisuus, vaikuttavuus tulosten ja toiminnan yhteydet organisaation oppiminen ja kehitys Kriteerit (KKA): Puuttuva: ei näyttöä Alkava: vähän näyttöä Kehittyvä: selkeää näyttöä Edistynyt: vahvaa näyttöä Anu Räisänen 2014
AUDIOINTIKRITEERIT (ESIM.) EDISTYNYT TASO TOIMINTA suunnitelmallista tavoitteellista järjestelmällistä arvioitua kehittyvää KEHITTYVÄ TASO TOIMINTA suunnitelmallista tavoitteellista järjestelmällistä suureksi osaksi arvioimatonta kehittyvää ad hoc ALKAVA TASO TOIMINTA osittain suunnitelmallista tavoitteiden toteuttamiseen pyrkivää satunnaista arvioimatonta kehittyvää ad hoc PUUTTUVA TASO TOIMINTA suunnittelematonta vailla tavoitteita epäjohdonmukaista arvioimatonta paikallaan pysyvää Anu Räisänen 2014
Vaihe 1: suunnittele auditointi AUDITOINTIPROSESSIN VAIHEET Päätä, miten auditointi organisoidaan Viesti auditoinnista Vaihe 2: Tee auditointi Muodosta auditointiryhmät Perehdytä osallistujat Arvioi Raportoi auditoinnin tulokset Vaihe 3: Laadi kehittämissuunnitelma Laadi kehittämissuunnitelma Viesti kehittämissuunnitelmasta Toteuta kehittämissuunnitelma Suunnittele seuraavat auditoinniti Anu Räisänen 2014
AUDITOINTIPROSESSI (4 kk) 8 Kehittämiskohteiden raportointi 7. Raportin viimeistely ja toimittaminen 1. Suunnittelu ja käynnistäminen - vastuuhenkilöt - kohteet - aikataulut AUDITOINTI 2. Auditointiryhmän koulutus ja valmentautuminen 3. Auditointiin valmistautuminen -auditoitava yksikkö -auditointiryhmä -esiarviointi, arviointikysymykset 6. Kommentit 5. Auditointiryhmän istunnot ja arviointiraportti 4. Auditointikäynti (2,5 t) ja palaute 2014 Anu Räisänen
AUDITOINTI PERUSTUU yksikön tekemään itsearviointiin auditointiaineistoon auditointihaastatteluun muuhun täydentävään aineistoon Pääauditoija voi pyytää tai auditoitava yksikkö voi toimittaa täydentävää aineistoa Anu Räisänen 2014
AUDITOINTIIN VALMISTAUTUMINEN 1 Auditointiryhmän nimittäminen ja perehdyttäminen, sitoumukset Käytännön järjestelyt; ajoitus, ohjelma, materiaalit, lomakkeet jne. Valmentautuminen henkilökohtaiseen arviointiin ja konsensusarviointiin Tausta-aineiston kokoaminen ja toimittaminen auditoijille (aineisto, kriteerit, lomakkeet jne.) Työnjako Henkilökohtainen arviointi ennen istuntoa ESIARVIOINTI: aineiston analysointi (NÄYTTÖ), vahvuudet ja parantamisalueet, kysymykset auditointikäynnille 2014 Anu Räisänen
NEUVOTTELU AUDITOITAVAN YKSIKÖN KANSSA Pääauditoija järjestää valmistautumiskokouksen auditoitavassa yksikössä noin kuukautta ennen auditointia Pääauditoija sopii ajankohdasta ja järjestelyistä yksikön edustajan, yleensä laatuvastaavan kanssa Kokouksessa käsiteltävät asiat löytyvät osoitteesta https://www.jyu.fi/laatu (Sisäiset auditoinnit) Valmistelukokouksesta laaditaan muistio (muistiopohja on www-sivulla) Yksikön edustaja laatii kokouksesta muistion 2014 Anu Räisänen
AUDITOINTI-ISTUNNOT Pääauditoijan johdolla: arviointiryhmän konsensuskäsityksen muodostaminen vahvuuksista parantamisalueista muista johtopäätöksiä koskevista tulkinnoista auditointikäynnillä selvitettävissä asioista auditointiryhmän työnjaosta ja vastuista lisäaineistojen tarpeesta auditointi-istunnon aikataulusta ja haastateltavista ryhmistä ja niiden asiantuntemuksesta haastatteluteemoista ja kysymyksistä haastatteluiden dokumentoinnista (autenttinen)
AUDITOINNIN KOHDENTAMINEN YTIMEEN Miten yksikkö linjannut auditoitavaa toimintaa (tavoitteet ja tavoitteiden yhdensuuntaisuus)? Miten periaatteista ja vastuista sovittu? Miten voimavarat kohdennettu? Miten hyvin yksikkö toimii tavoitteiden ja periaatteiden ja ohjeiden mukaisesti ja onko sen toiminta tarkoituksenmukaista? Miten toimintaa seurataan ja arvioidaan? Miten toimintaa parannetaan ja miten sitä kehitetään? Miten organisaatio oppii? Miten tulokset ohjaavat jatkuvaa kehittämistä? Suunnittelu: tavoitteet ja toiminta, voimavarat Toteutus: tavoitteiden ja periaatteiden mukaisuus, vastuut & valtuudet Arviointi: seurantamittarit, palautejärjestelmä, tulosten analysointi, tietojärjestelmät Kehittäminen: pienet parannukset ja tiikerinloikat, hyvät käytännöt ja oppiminen 2014 Anu Räisänen
VINKKEJÄ AUDITOINTIIN VALMISTAUTUMISEEN 1 Perehdy huolellisesti itsearviointiin, tee esiarviointi Kirjaa muistiin keskeiset kohdat Kiinnitä erityistä huomiota arvioitavan kohteen kokonaisuuden hallintaan Jos itsearviointi tai aineisto on epäselvä, valmistaudu tekemään tarkentavia kysymyksiä auditointikäynnillä. Kirjaa epäselväksi jääneet asiat. Jos oletat, että epäselvä asia löytyy dokumenteista, esitä pääauditoijalle, että täydentävä aineisto pyydetään auditointiryhmän käyttöön. 2014 Anu Räisänen
VINKKEJÄ AUDITOINTIIN VALMISTAUTUMISEEN 2 Auditointiaineistoon kuuluva asiakirja voi olla laatukäsikirja toiminta- ja taloussuunnitelma henkilöstösuunnitelma ohjeet henkilöstölle henkilöstökokouksen pöytäkirja seuranta- tai arviointiraportti Jos aineistoon perustuva näyttö on SELVÄ, kirjoita auditointiraporttia mahdollisimman pitkälle ennen auditointikäyntiä. Keskity käynnillä epäselväksi jääneisiin kohtiin. Muista, ettei käynnin jälkeen SAA OLLA EPÄSELVIÄ asioita. 2014 Anu Räisänen
AUDITOINTIKÄYNTI JA HAASTATTELUT pääauditoija johtaa auditointikäyntiä, muut vastuut sovitaan ennalta haastattelut dokumentoidaan mahdollisimman autenttisena muista: esittely, eettiset periaatteet, vapaa sana, keskustelevuus, aikataulussa pysyminen esitä alkuun lämmittelykysymys kysy rauhallisesti, myönteisessä hengessä, jätä vastauksille tilaa kysy tasapuolisesti kaikilta osallistujilta 2014 Anu. Räisänen
TEEMAHAASTATTELUSSA HYÖDYLLISTÄ kysymys kerrallaan ei johdatteluita, arvolatauksia, vastauksia ja kommentteja ei tyydytä epämääräisiin vastauksiin kysymyspolut ja teema loppuun tarkistavat kysymykset kysymyskarttojen käyttö apulomakkeet, apukysymykset vastuu haastattelijalla, lupa keskeyttää pyydetään puheenjohtajalta 2014 Anu Räisänen
AUDITOINTI-ISTUNNOT: konsensus Auditointiryhmän jäsenet esittävät oman arviointinsa tulokset ja perustelut kokonaisuudesta ja auditointikohde kerrallaan Kukin esittää parantamis- ja kehittämiskohteet Auditointiryhmä analysoi tulokset yhdessä ja päätyy konsensukseen keskustelemalla Jos arvioijat ovat eri mieltä, konsensusta haetaan etäimpänä toisistaan olevien näkemysten kautta (tulos ja perustelut) Parantamisalueet ja vahvuudet kuvataan kokonaisina lauseina (enintään kolme/kohde) Anu Räisänen 2014
AUDITOINTIRAPORTIN LAADINTA Raportti sisältää arviointiryhmän tulkinnat järjestelmän toimivuudesta tavoitteiden ja toimintaperiaatteiden mukaisuudesta kriteereiden mukaisuudesta toiminnan tuloksellisuudesta: tehokkuus, taloudellisuus, vaikuttavuus tulosten ja toiminnan yhteyksistä organisaation oppimisesta sekä kehityksestä Anu Räisänen 2014
Perustuu konsensukseen AUDITOINTIRAPORTTI Tulkinnallinen analyysi suhteessa tavoitteisiin, laadunhallinnan vaatimuksiin ja kriteereihin Raportoidaan sekä toiminnasta että tuloksista Nostaa esiin vahvuudet ja kehittämiskohteet Arviointi ei sisällä ohjeita ja kannanottoja negaatioiden välttäminen Alustava raporttiluonnos toimitetaan kommentoitavaksi yksikköön Auditoitava yksikkö päättää tulosten julkistamisesta Kenelle raportoidaan? 2014 Anu.Räisänen
AUDITOINTIRAPORTTI Auditointiraportti kirjoitetaan itsearvioinnin, auditointimateriaalin ja auditointihaastattelujen perusteella Pääauditoija vastaa. Kaikki auditoijat kirjoittavat. Raporttipohja ja esimerkkejä löytyy sisäisten auditointien verkkosivulta https://www.jyu.fi/laatu (vasemmassa palkissa Sisäiset auditoinnit). 2014 Anu Räisänen
PALAUTE YKSIKÖLLE JA YKSIKÖN PALAUTTEET AUDITOIJILLE Orientaatio auditointiin ja sen organisointiin sekä auditoijien tekemiin valintoihin Kokonaiskuva ja tulkintojen perusteet Vahvuuksien ja kehittämiskohteiden avaaminen ja perustelut Yksikön kommentit raporttiin ja arvioijien vastuu 2014 Anu Räisänen
TASA-ARVO AUDITOINTIKOHTEENA Mistä tasa-arvossa on kyse? Tasa-arvo arvioinnin kohteena Mikä tasa-arvoon liittyvässä laadunvarmistuksessa on keskeistä? Kuka vastaa tasa-arvon toteutumisesta? tasa-arvo arvioinnin kohteena: mistä kyse? tasa-arvoa koskevat tavoitteet tasa-arvo prosesseissa tasa-arvoa koskevat laatuvaatimukset omistajat, toimijat, johtamisvastuu, kumppanit, yksikkörajojen ylittäminen ja tukiprosessit toimintaperiaatteet seuranta ja arviointi ja laadunvarmistus dokumentointi resurssit parantaminen ja kehittäminen & hyvät käytännöt 2014 Anu.Räisänen