Arviointi ja mittaaminen

Koko: px

Aloita esitys sivulta:

Download "Arviointi ja mittaaminen"

Teemu Ketonen
7 vuotta sitten
Katselukertoja:

Arviointi ja mittaaminen Laatuvastaavien koulutus 5.6.

1 Arviointi ja mittaaminen Laatuvastaavien koulutus

2 Arviointi itsearviointia sisäisiä auditointeja ulkoisia auditointeja johdon katselmusta vertaisarviointeja

3 Mittaaminen Yleensä määrällisen mittaluvun liittäminen tiettyyn kokonaisuuteen tai osaan. Mittari on sääntö, jolla mittaluku liitetään mitattavaan asiaan. Indikaattori on mittaa ilmaiseva, yleensä sijaismittari.

4 Itsearviointi 1 (ISO 9004) Voidaan soveltaa koko laadunvarmistusjärjestelmään, laadunvarmistusjärjestelmän osaan tai mihin tahansa prosessiin koko organisaatiossa tai sen osassa.

5 Itsearviointi 2 Eteneminen nykytilan arviointi vahvuudet ja parantamiskohteet kehittämistarpeet tärkeysjärjestyksessä kehittämissuunnitelma kehitettyjen asioiden arviointi

6 Itsearviointi 3 Yliopiston (tiedekunnan, laitoksen) johto arvioi omaa toimintaa, sen vaikuttavuutta, tehokkuutta sekä laadunvarmistusjärjestelmän kypsyyttä. Itsearvioinnissa on mahdollista verrata omaa suorituskykyä toisen korkeakoulun kykyyn tai kansainväliseen tasoon.

7 Sisäinen auditointi 1 Koko toiminnan tai sen osan riippumaton ja tasapuolinen, yliopiston sisäinen arviointi. Hankitaan objektiivista näyttöä toiminnan suuntaviivojen, menettelyjen ja vaatimusten noudattamisesta = laadunvarmistusjärjestelmän vaikuttavuuden ja tehokkuuden arviointi. Tuloksiin vastataan parantamalla kehityskohteiksi osoitettuja asioita.

8 Sisäinen auditointi 2 (ISO 9004) Prosessien vaikuttavuus ja tehokkuus Jatkuvan parantamisen mahdollisuus Prosessien kyvykkyys Tilastollisten tekniikoiden vaikuttava ja tehokas käyttö Informaatioteknologian hyödyntäminen

9 Sisäinen auditointi 3 (ISO 9004) Laatukustannustietojen analysointi Resurssien vaikuttava ja tehokas käyttö Suorituskykytulokset ja odotukset Suorituskykymittausten riittävyys ja tarkkuus Parantamistoimet Sidosryhmäsuhteet

10 Sisäinen auditointi 4 Auditointiohjelma, johon vaikuttavat kohteet (tärkeyden mukaan?) aikaisemmat auditointitulokset Määritellään kriteerit laajuus auditointivälin pituus menettelyt auditoinnin suunnittelutapa auditointitapa tulosten raportointitapa tallenteiden ylläpito vastuut ja vaatimukset

11 Sisäinen auditointi 5 (ISO 9004) Johto vastaa, että auditoinnin havaitsemat kehityskohteet toteutetaan ja raportoidaan asianmukaisesti ja viiveettä.

12 Johdon katselmus Laadunvarmistusjärjestelmän ennalta suunnitelluin väliajoin toistuva katselmus, jossa tarkistetaan järjestelmän jatkuva soveltuvuus, asianmukaisuus, vaikuttavuus sekä parannusmahdollisuuksien ja muutostarpeiden arviointi.

13 Ulkoinen auditointi 1 Kansallinen auditoijaorganisaatio on Korkeakoulujen arviointineuvosto KKA. Laadunvarmistusjärjestelmän tavoitteet, rakenne ja osa-alueiden väliset yhteydet Dokumentaatio Toiminnan tarkastelu suhteessa tavoitteisiin (perustehtävät, tuki- ja palvelutehtävät sekä henkilöstön kehittäminen) Laadunvarmistukseen osallistuminen (henkilöstö, opiskelijat, sidosryhmät) Laadunvarmistuksen yhteys johtamiseen ja toiminnanohjaukseen

14 Ulkoinen auditointi 2 Laadunvarmistusjärjestelmän tuottaman tiedon tarkoituksenmukaisuus ja saatavuus (sisäisesti ja ulkoisesti). Laadunvarmistuksen toimivuus ja vaikuttavuus toiminnan kehittämiseen. Laadunvarmistusjärjestelmän tuottaman tiedon hyödyntäminen. Laadunvarmistusjärjestelmän toiminnan seuranta, arviointi ja jatkuva kehittäminen. Asteikko: puuttuva, alkava, kehittyvä, edistynyt.

15 Mittaaminen 1 Tarvitaan tosiasioihin perustuvaan päätöksentekoon. Johdon asia vaikuttava mittaaminen tehokas mittaaminen kelpuutus suorituskyvyn tai sidosryhmien tyytyväisyyden varmistamiseksi katselmus: mittari validi tarkoitukseen; käyttötarkoituksen katselmus Mittausten perusteella kehitetään toimintaa.

16 Mittaaminen 2 (ISO 9004) Mittauksista saatu tieto tulisi muuntaa yliopistolle hyödylliseksi informaatioksi. Mittausta, analysointia ja parantamista tulisi käyttää tärkeysjärjestysten asettamiseen. Mittausmenetelmät tulisi katselmoida määräajoin, ja tietojen tarkkuutta ja riittävyyttä tulisi todentaa jatkuvasti.

17 Mittaaminen 3 (ISO 9004) Yksittäisten prosessien vertaisarviointia tulisi käyttää työkaluna, jolla parannetaan prosessien vaikuttavuutta ja tehokkuutta. Asiakastyytyväisyyden mittausta tulisi pitää olennaisena yliopiston suorituskykyä arvioitaessa.

18 Mittaaminen 4 (ISO 9004) Mittaukset ja saadun informaation muokkaaminen ja viestiminen yliopistoväelle on olennaisen tärkeää. Mittausten käyttötarkoitus tulisi määritellä selkeästi. Mittaustulosten viestintään tulisi käyttää soveltuvia työkaluja.

19 Mittaaminen 5 (ISO 9004) Sidosryhmäyhteydenpidon vaikuttavuutta ja tehokkuutta tulisi mitata, jotta voitaisiin arvioida, onko informaatio ollut oikeaaikaista ja selvästi ymmärrettävää. Vaikka kriteerit täytetään, saattaa silti olla hyödyllistä seurata ja analysoida suorituskykyä koskevia tietoja, jotta voitaisiin ymmärtää tarkasteltavien ominaisuuksien luonnetta entistä paremmin. Tilastollisten menetelmien käyttö voi auttaa ymmärtämään prosessin ja mittausten vaihteluja.

20 Mittaaminen 6 (ISO 9004) Laadunvarmistusjärjestelmän kypsyyden ja organisaation suorituskyvyn arvioimiseksi ja parantamismahdollisuuksien määrittelemiseksi tulisi harkita säännöllisin väliajoin itsearviointia.

21 Mittaamisketju seuranta, mittaaminen, analysointi, parantaminen osoittaa toiminnan vaatimuksenmukaisuuden varmistaa laadunvarmistusjärjestelmän vaatimuksenmukaisuuden parantaa jatkuvasti laadunvarmistusjärjestelmän vaikuttavuutta

22 Auditoinneissa Jyväskylän yliopisto havaittua 1 Näyttöä puuttuu vaatimustenmukaisuudesta (mitä suunniteltiin, myös tehtiin) vaikuttavuudesta selkeytä tavoitteet priorisoi tavoitteet selkeytä tuloksellisuusindikaattorit laadi keskeiset prosessikuvaukset ja analysoi niitä kuvaa prosessien keskinäinen vuorovaikutus (ns. rajapinnat) dokumentoi asiakirjat (lait, asetukset, säännöt, ohjeet ym.) laadunvarmistusjärjestelmään

23 Auditoinneissa Jyväskylän yliopisto havaittua 2 Keskeiset tunnusluvut eivät ole selkiytyneet henkilöstölle. n itsearviointia ei ole. n SWOT-arviointia ei ole riittävästi analysoitu. Hallinto- ja toimielinten mittaustietokäsittelyn tulee olla organisoitua. Opiskelijapalautteen käsittely ei ole systemaattista. Opiskelijapalautteen aiheuttamat muutokset liian hitaita.

24 Auditoinneissa Jyväskylän yliopisto havaittua 3 Pitkään käytetyt arviointimenetelmät lakkaavat tuottamasta tietoa kehittämistyön pohjaksi. Mittausten tarkoituksenmukainen hyödyntäminen puutteellista. Hankittu tieto ei palvele strategian ja tavoitteiden toteutumista. Opiskelijat eivät saa mittaustietoa. Sidosryhmille tehdyt vaikuttavuuskyselyt todettu hyviksi.

Samankaltaiset tiedostot

VUODEN 2014 ULKOISEEN

VUODEN 2014 ULKOISEEN AUDITOINTIIN VALMISTAUTUMINEN Koulutusneuvosto 9.2.2012 pirjo.halonen@jyu.fi 050 428 5315 Ulkoinen auditointi Edellinen auditointi 2008. Toteuttaja Korkeakoulujen arviointineuvosto