Työseminaari Vaasassa - Laadunhallintajärjestelmien itsearviointiosaaminen Vaasa 15.1.2015 klo 9.15-10.45 OKM:n laaturyhmän linjaukset Laadunhallintajärjestelmien itsearvioinnin toteutus ja kriteerien esittely Opetusneuvos Leena.Koski@oph.fi www.oph.fi
Tilaisuuden tavoitteet Tukea itsearviointien toteutusta ja edistää itsearviointien luotettavuutta. Lisätä osallistujien yhteistä näkemystä kriteerien tulkinnasta. Jakaa kokemuksia itsearviointien toteutuksesta erityisesti liittyen kriteerien käyttöön. Informoida ulkoisen validoinnin keskeisistä periaatteista ja toteutuksesta. Informoida itsearvioinnin tulosten julkistamisesta ja arvioinnin raportoinnista. Perehdytystilaisuus toteutetaan valtionavustushankkeena. Mahdollisuus seurata ja kommentoida etäyhteyden kautta.
Laadunhallintajärjestelmien arviointi ja aikataulu Arviointi 7.1.-30.8.2015. OKM:n kirje 18.12.2014, 13/591/2014 koulutuksen järjestäjille ja Opetushallitukselle ja Karville Tuloksia käytetään ammatillisen koulutuksen laadunhallinnan kehittämisessä kansallisella ja paikallisella/koulutuksen järjestäjän tasolla. Arvioinnin tuloksia käytetään myös yhtenä tausta-aineistona ammatillisen koulutuksen järjestämislupien uudistamisprosessissa. On vaikuttanut aikatauluun. Kriteeriperusteinen itsearviointi 7.1.-13.3. klo 16.15 Tulokset viedään Survette- järjestelmään. Ulkoinen validointi eli arviointikäynnit 8.4.-22.5. välisenä aikana. Itsearviointien tulosten julkistaminen ja arvioinnin alustavat tulokset 6/2015 Opetushallituksen sivuille. Arviointiraportin laatiminen 30.8. mennessä.
Toimijat Opetus- ja kulttuuriministeriö Laaturyhmä toimii ohjausryhmänä. Opetushallitus Karvi Koulutuksen järjestäjät ja heidän itsearviointeihinsa osallistuvat henkilöstön, opiskelijoiden ja ulkoisten sidosryhmien edustajat Validointiin osallistuvat ulkoiset arvioijat. Karvi ja Opetushallitus yhdessä valitsevat. Arvioijien valinta 12/2014-1/2015. Arvioijien perehdytyspäivä 9.2. Pääarvioijien valmistautumispäivä maaliskuun loppupuoli.
Itsearviointi Opetushallitus vastaa itsearvioinnista. Perehdytystilaisuudet laadunhallintajärjestelmän itsearviointiin järjestettiin johdolle ja itsearvioinnin vastuuhenkilöille 10-11/2014 (6kpl). Perehdytystilaisuudet kriteeristöön 13.1.2015 Oulu, 15.1.2015 Vaasa ja HDO 16.1.2015. Laatustrategian tuki-hankkeet ja alueelliset verkostot tukevat myös vuoden 2015 itsearviointia. Opas ammatillisen koulutuksen laadunhallintajärjestelmien itsearviointiin sisältää itsearvioinnin tukimateriaalia. Kriteerit laadunhallintajärjestelmien arviointiin. Molemmat ovat saatavilla sekä suomeksi ja ruotsiksi. www.oph.fi/laadunhallinnan tuki.
Itsearviointi Itsearvioinnin tulokset raportoidaan Survette kyselyllä, ja siihen osallistuvat kaikki ammatillisen koulutuksen järjestäjät. Survette-kyselyn tunnukset ovat lähteneet kaikille ammatillisen peruskoulutuksen järjestäjille ja lisäkoulutuksen järjestäjille lähdössä viimeistään13.1. Koulutuksen järjestäjä voi jakaa tunnuksia haluamallaan tavalla ja viedä tuloksia Survette-järjestelmään vaiheittain. (Tarkemmat ohjeet on annettu kyselyn alussa). Koulutuksen järjestäjä voi tulostaa omat vastauksensa pdfmuodossa (ohje on kyselyssä). Kultakin koulutuksen järjestäjä täyttää vain yhden Survettekyselyn. Tietojen antajat: Sisältökysymykset leena.koski@oph.fi Tekninen tuki noora.lehtonen@oph.fi
Itsearviointiin osallistuminen Eri arviointikohtien arviointiin tulee osallistua ko. arviointikohdan kannalta keskeisten toimijoiden edustajat tarkoituksenmukaisella tavalla. Arviointikohdat (4.2.-4.8.) arvioidaan ensin ja niistä saadut tulokset ovat pohjana arviointikohdan 4.1. arvioinnissa. Arviointikohdan 4.1. arviointiin tulisi osallistua koulutuksen järjestäjän johto ja kunkin koulutusmuodon, järjestämismuodon ja toiminnan edustajat. Opiskelijoiden edustajien tulee osallistua ainakin arviointialueen 4 arviointikohtien 4.2-4.7 arviointiin. Näkemys auttaa muidenkin arviointikohteiden osalta arviointikriteerikohtaisen tason määrittämisessä. Työelämän edustajien osallistuminen perustehtävien arviointiin ja muuten näkemyksen huomioonottaminen vastaavilla tavoilla kuin opiskelijoiden näkemykset. Muiden keskeisten sidosryhmien ja kumppaneiden näkemykset tulee ottaa huomioon tarkoituksenmukaisella tavalla.
Itsearvioinnin sisältö Taustatiedot Tiedot arviointiin osallistuneista ryhmistä Koulutuksen järjestäjän laadunhallinnan ja itsearvioinnin yleinen kuvaus Mikäli koulutuksen järjestäjän toiminta ei kata kaikkea toimintaa, jonka kysely sisältää, jätetään tältä osin vastaamatta. Kunkin kriteerin kohdalla arvioidaan koulutuksen järjestäjän tilanne asteikolla: 1= puuttuva 2= alkava 3= kehittyvä 4= edistynyt Kyselyn loppuun tulevat kaikkien arviointiin osallistuneiden nimet ja asema (lista voidaan kopioida) Kunkin arviointikohdan kohdalla kuvataan arvio koulutuksen järjestäjän tilanteesta ja sitä tukeva näyttö.
Ulkoinen validointi Karvi ja Opetushallitus toteuttavat yhdessä. Ulkoiseen validointiin valitaan n. 15 % koulutuksen järjestäjistä (35 kpl) itsearviointien tulosten pohjalta. Itsearviointien tulosten pohjalta järjestetään koulutuksen järjestäjät ja ulkoiseen arviointiin otetaan noin joka 5. koulutuksen järjestäjä siten, että mukaan tulee 35 koulutuksen järjestäjää. Koulutuksen järjestäjät saavat tiedon ulkoiseen arviointiin valikoitumisesta viimeistään 22.3. Arviointikäynnit kestävät yhdestä päivästä 1,5 2 päivään. Arviointiryhmän koko 3-4 arvioijaa, isommissa voi olla 6. Ulkoinen arviointi perustuu itsearviointien tuottamaan aineistoon ja otantana tehtävillä arviointikäynneillä saatavaan informaatioon. Suullinen palaute käynnin päätteeksi ja lyhyt kirjallinen palauteraportti.
Itsearvioinnin tulosten julkistaminen Itsearviointien tulokset julkistetaan koulutuksen järjestäjittäin ja arviointikohdittain (1-3) ja (5-6). Arviointikohdassa 4 julkistetaan myös alakohtien (4.1.-4.8.) tulokset sekä koulutuksen järjestäjän itsearvioinnissa kohdasta 4 antama kokonaisarvio. Mikäli koulutuksen järjestäjä ei tee itsearviointia, sekin tulos julkaistaan. Itsearviointien tulokset julkistetaan Opetushallituksen verkkosivuilla. Tuloksia käytetään laadunhallinnan kehittämisessä kansallisella tasolla.
Koulutuksen järjestäjien toimenpiteet arvioinnin jälkeen Palautekysely (Survette-kysely) koulutuksen järjestäjille tehdään koko prosessin jälkeen. Koulutuksen järjestäjä julkistaa arviointien keskeiset tulokset. Koulutuksen järjestäjä tekee mahdollisesti tarvittavat laadunhallintajärjestelmään tai sen toimivuuteen kohdistuvat korjaavat toimenpiteet. Koulutuksen järjestäjä laatii itsearviointin tulosten pohjata laadunhallintajärjestelmän kehittämissuunnitelman ja päättää suunnitelman toteutumisen seurantamenettelyn. Koulutuksen järjestäjä arvioi kehittämistoimien tuloksellisuutta ja informoi tuloksista.
Kriteerien laadinnan ja käytön periaatteet Käyttäjälähtöisyys Kriteerit eivät saa rajoittaa koulutuksen järjestäjien mahdollisuutta valita toimintaympäristöön parhaiten soveltuvan järjestelmän. Perustehtävien korostuminen kriteeristössä auttaa koulutuksen järjestäjää kohdistamaan kehittämistoimia. Luottamus Näyttö kriteerien mukaisesta toiminnasta on koulutuksen järjestäjän vastuulla. Toiminnan avoimuus ja läpinäkyvyys Tulokset ja prosessi ovat julkisia, ja tulokset helposti saatavilla. Tasalaatuisuus ja erinomaisuuteen pyrkiminen Kriteerit on laadittu neljälle tasolle. Innovatiivisuus, uudistumiskyky ja toisilta oppiminen Kriteerit sisältävät myös vaatimuksia järjestelmän innovatiivisuudelle, uudistumiskyvylle ja toisilta oppimiselle.
Ammatillisen koulutuksen laadunhallintajärjestelmien itsearvioinnin kriteerit Arviointikohdat: 1. Laatukulttuuri ja laadunhallinnan kokonaisuus Kriteerikohtaiset arviot (puuttuva, alkava, kehittyvä, edistynyt) Kokonaisarvio (puuttuva, alkava, kehittyvä, edistynyt) Arvio omasta tilanteesta arviointikohdittain Arviota tukeva näyttö 2. Strateginen johtaminen ja toiminnan ohjaus 3. Henkilöstö ja muut koulutuksen toimijat 4. Perustehtävien ja niitä tukevien toimintojen laadunhallinta 5. Arviointi ja tulosten käyttö 6. Parantaminen
Ammatillisen koulutuksen laadunhallintajärjestelmien itsearvioinnin kriteerit Arviointikohdan 4 alakohdat: 4.1 Perustehtävien laadunhallinta kokonaisuutena Kriteerikohtaiset arviot (puuttuva, alkava, kehittyvä, edistynyt) Kokonaisarvio (puuttuva, alkava, kehittyvä, edistynyt) Arvio omasta tilanteesta alakohdittain Arviota tukeva näyttö 4.2 Oppilaitosmuotoisen ammatillisena koulutuksena järjestettävä koulutus 4.3 Näyttötutkintojen järjestäminen ja niihin valmistava koulutus (pt, at, eat) 4.4 Oppisopimuskoulutus 4.5 Muu koulutus (valmistavat ja valmentavat, muu ei-tutkintotavoitteinen koulutus, työpajatoiminta) 4.6 Maksullinen palvelutoiminta 4.7 Opiskelijoille tarjottavat tukipalvelut 4.8 Ammatillisen erityisoppilaitosten erityisopetuksen kehittämis-, ohjausja tukitehtävät
Yleistä kriteereistä Kriteerin eri tasot ovat kumulatiivisia ja siten ei aina alemmalla tasolla esitettyjä vaatimuksia toisteta seuraavalle tasolle siirryttäessä. Näyttö: Näyttö on koulutuksen järjestäjän esittämä evidenssi siitä, että koulutuksen järjestäjän toiminta täyttää kriteerin edellyttämät tunnuspiirteet arvioimallaan tasolla. Vain keskeinen näyttö ja mahdollisella ulkoisella arviointikäynnillä koulutuksen järjestäjältä esittää kattavammin näyttöä arvionsa perustaksi. Näyttöä järjestelmän toimivuudesta ja jatkuvasta parantamisesta edellytetään yleensä vähintään kolmen vuoden ajalta edistyneessä vaiheessa. Laadunhallintajärjestelmän tulee kattaa myös työpaikalla tapahtuvan oppimisen laadun varmistamisen. Kun kriteerissä on useampia asioita, arvio ei ole keskiarvo, vaan yhteisen keskustelun pohjalta muodostettu arvio. Kriteeristöön sisältyy jatkuvan parantamisen periaate (EQAVETviitekehys) sekä kokonaisvaltaisesti koulutuksen järjestäjän tasolla että myöskin kunkin arviointikohteen tasolla ja myös edistyneellä tasolla.
Alkava taso Laadunhallinnan menettelyt kattavat osan organisaation toiminnoista. Laadunhallinta kytkeytyy vain osin johtamisjärjestelmään. Laadunhallinnan tavoitteet ja vastuut ovat epäselvät. Puutteita on suunnitelmallisuudessa, kattavuudessa ja dokumentoinnissa. Opiskelijoiden ja sidosryhmien osallistuminen on satunnaista tai yksiköittäin vaihtelevaa. Kerätään systemaattisesti yksittäisiä arviointi-, palaute- ja muita tulostietoja, joihin reagoidaan. On jonkin verran näyttöä menettelytapojen kehittämisestä.
Kehittyvä taso Laadunhallinnan menettelytavat muodostavat toimivan järjestelmän. Laadunhallintajärjestelmä kattaa keskeisiltä osin koulutuksen järjestäjän perustehtävät ja tarkoituksenmukaisella tavalla toiminnan kehittämistä Johto johtaa laadunvarmistusta ja laadun kehittämistä ja laadunhallinta kytkeytyy melko hyvin osaksi johtamisjärjestelmää. Sidosryhmät ja kumppanit osallistuvat laadunvarmistamiseen ja kehittämiseen. Laatukulttuurin muodostumista tuetaan laadunhallinta- ja arviointiosaamisen systemaattisella kehittämisellä. Organisaatiolla on yhteinen näkemys, miten koulutuksen laatua varmistetaan ja parannetaan ja toiminnan kehittäminen pohjautuu olemassa olevaan laatukulttuuriin. Itsearvioinnin, kansallisen ja muun arvioinnin sekä tulos- ja palautetiedon pohjalta on käynnistetty kehittämistoimia. Laadunhallintajärjestelmän vaikuttavuudesta toiminnan kehittämiseen on jonkin verran näyttöä.
Edistynyt taso Laadunhallinta on keskeinen osa johtamisjärjestelmää. Laadunhallinnan menettelytavat muodostavat kokonaisvaltaisen ja dynaamisen järjestelmän. Laadunhallintajärjestelmä kattaa kaikki koulutuksen järjestäjän toiminnot ja tasot ja tukee erinomaisella tavalla koulutuksen järjestäjän koulutuspoliittisten tavoitteiden pohjalta asetettujen ja omien strategisten tavoitteiden saavuttamista. On näyttöä menettelytapojen soveltamisesta yhteisesti sovituilla tavoilla eri toiminnoissa, yksiköissä ja tasoilla. Laatukulttuurin muodostumista tuetaan laadunhallinta- ja arviointiosaamisen systemaattisella kehittämisellä ja sen vaikuttavuudesta on selvää ja jatkuvaa näyttöä. Vakiintunut laatukulttuuri tukee erinomaisella tavalla koulutuksen järjestäjän toimintaa ja sen kehittämistä.
Edistynyt taso Laadunhallintajärjestelmän laadintaan ja toteuttamiseen osallistuu henkilöstö, opiskelijat ja muut sidosryhmät ja kumppanit tarkoituksenmukaisilla tavoitteiden saavuttamista tukevilla tavoilla. Laadunhallintajärjestelmä kattaa menettelytapojen ja niiden soveltamisen arvioinnin ja parantamisen. Laadunhallintajärjestelmän vaikuttavuudesta toiminnan kehittämiseen on selkeää ja jatkuvaa näyttöä.
Esimerkkejä kriteerien käytöstä Asiakkaat: Koulutuksen järjestäjä päättää, ketkä ovat keskeisimmät asiakkaat ja minkälaisia palveluja tai tuotteita heille tarjotaan. Johto, kumppanit koulutuksen järjestäjän päättämällä tavalla Dokumentointi: Laadunhallintajärjestelmän ja sen tuotaman tiedon dokumentointi tulisi tehdä systemaattisesti ja tarkoituksenmukaisella tavalla. Tarkoituksenmukaisilla tavoilla: Kriteereissä tarkoituksenmukaisuutta tarkastellaan suhteessa asetettuihin tavoitteisiin eli esimerkiksi siihen, miten valittu toimintatapa edistää tavoitteiden saavuttamista. Toimintatapojen yhteneväisyys: Koulutuksen järjestäjä määrittelee sen, miten yhtenäistä organisaation toiminnan tulee olla esim. eri yksiköissä tai koulutusaloilla ottaen huomioon normit.