Pilotoinnin palaute- ja keskustelutilaisuus 26.5.2014 klo 10.45-11.30 Pilotoinnin toteutus ja pilotoinnin ja palautekyselyjen tuloksia Opetusneuvos Leena Koski Leena.Koski@oph.fi www.oph.fi
Pilotoinnin tavoite Tavoitteena oli: testata kriteeri- ja arviointiprosessiehdotusten toimivuutta ja tunnistaa niihin liittyviä vahvuuksia ja kehittämistarpeita. edistää kriteerien ja prosessin pilotoinnin avulla toimivan laadunhallinnan ja laadun jatkuvaa kehittämistä tukevan järjestelmän käyttöönottoa ja edelleen kehittämistä tukea itsearviointivalmiuksien kehittämistä. Pilotointi tapahtui pääosin koulutuksen järjestäjien tasolla. (mukana ammatilliseen koulutukseen liittyvä toiminta) Leena Koski
Pilotoinnin prosessi Informaatiotilaisuus pilotointiin osallistuville koulutuksen järjestäjille 17.12. Itsearviointi ja tulokset Survette-kyselyllä Perehdyttämispäivä validointiin osallistuville ulkoisille arvioijille 12/2013-5/2014 : Kriteerien ja arviointiprosessin pilotointi itsearviointi 8.1.-4.4.2014 ulkoiset arvioinnit 22.4.-16.5. (validointi) Ulkoinen arviointikäynti 1(vajaa) 2 pv, 4-6 arvioijaa Palautekysely Survettella pilotointiin osallistuneille koulutuksen järjestäjille Koulutuksen järjestäjille arviointi- ja kokemusten vaihtotilaisuus 26.5. Opetushallitus laatii pilotoinnin keskeisistä tuloksista raportin laaturyhmälle. Leena Koski
Pilotoinnin prosessi Kesäkuu- syyskuun alku 2014: Laaturyhmä tekee pilotoinnin tulosten pohjalta lopullisen esityksen kriteereistä ja arviointiprosessista. Syksy 2014: Valmistautuminen vuoden 2015 prosessiin: opas arvioinnista ja kriteerien soveltamisesta koulutuksen järjestäjille, informaatiotilaisuudet ja muut tukitoimet. Leena Koski
Pilotointiin ilmoittautuneet/pyydetyt Ammattiopisto Luovi (erityisoppilaitos) Etelä-Savon ammattiopisto Finanssi- ja vakuutuskoulutus FINVA Haapaveden opisto Harjun oppimiskeskus Helsingin Business College/Suomen Liikemiesten kauppaopisto Hyria Koulutus Oy Ilmailuopisto Ingmanin käsi- ja taideteollisuusoppilaitos Invalidiliiton Järvenpään koulutuskeskus (erityisoppilaitos) Jyväskylän koulutuskuntayhtymä Kainuun ammattiopisto Keuda Koulutuskeskus Salpaus Koulutuskeskus SEDU Kuopion konservatorio Kouvolan aikuiskoulutuskeskus itsearviointi myöhemmin Leena Koski
Pilotointiin ilmoittautuneet/pyydetyt Länsirannikon Koulutus Oy WinNova Peräpohjolan kansanopisto itsearviointi myöhemmin Pohjois-Karjalan koulutuskuntayhtymä Pop & Jazz Konservatorion Säätiö Porvoon Ammattiopisto Salon Seudun koulutuskuntayhtymä/salon seudun oppisopimuskeskus Savon koulutuskuntayhtymä Tampereen seudun ammattiopisto Tredu (perunut osallistumisen) Turun aikuiskoulutuskeskus Turun Ammattiopistosäätiö TAO Turun Kristillinen opisto Vaasan rannikkoseudun oppisopimustoimisto Valkeakosken Seudun koulutuskuntayhtymä/valkeakosken ammatti- ja aikuisopisto Yrkesinstitutet Prakticum Äänekosken ammatillisen koulutuksen kuntayhtymä Leena Koski
Validointiin osallistuneet ulkoiset arvioijat Sauli Alaruikka Raimo Alarova (laaturyhmä) Annu Jokela-Ylipiha (laaturyhmä) Aila Korpi Leena Koski (laaturyhmä) Tarja Riihimäki (laaturyhmä) Anu Räisänen (laaturyhmä) Mika Saarinen (laaturyhmä) Teija Strandman Anne Liimatainen (laaturyhmä) Lauri Erkkilä, harjoittelija Ulkoiseen arviointiin osallistuvat arvioijat omaavat kokemusta arvioijana/auditoijana toimimisesta. Arviointiryhmien kokoonpano vaihteli, kuitenkin niin, että prosessin vastaavana on aina Opetushallituksen edustaja. Ryhmät: alle 2,5 2,5 2.8. - 3 ja yli 3 Leena Koski
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. Nimi TQM ISO 9000 EFQM BSC CAF Vrt.arv. BM Etelä-Savon Koulutus Oy x x x FINVA x x Haapaveden opisto x x x Harjun oppimiskeskus x x x Hki Business College x x x x Hengitysliitto x x x x Hyria koulutus x x x x Invalidiliitto x x x x Itä-Uudenmaan KKY x x x x x Jyväskylän KKY x x x x x Kainuun ammattiopisto x x Keski-Uudenmaan KKY x x x x Kuopion konservatorio Länsirannikon Koulutus, WinNova x x x x x Peräpohjolan kansanopisto x x x x Taulukko. Laadunhallinnassa ja/tai laadun arvioinnissa käytetyt menetelmät.
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. Nimi TQM ISO 9000 EFQM BSC CAF Vrt.arv. BM Pohjois-Karjalan KKY x x x x Pop & Jazz Konservatorio x x x Päijät-Hämeen koulutuskonserni x x x x x Salon seudun KKY x x x x Savon KKY x x x x Seinäjoen KKY x x x x Suomen Ilmailuopisto x Svenska framtidsskolan x Tri Matthias Ingman x x Turun aikuiskoulutus x x x x Turun ammattiopisto x x x Turun kristillinen opisto x x x x x Vaasan oppisopimustoimisto x x Valkeakosken seudun KKY x x x x Äänekosken am. koulutuksen KY x x Taulukko. Laadunhallinnassa ja/tai laadun arvioinnissa käytetyt menetelmät.
Itsearvioinnin alustavia tuloksia Yleinen taso on hieman alle kehittyvän. Arviointialueista alhaisimpia arvioita sai laatukulttuuri ja laadunhallinnan kokonaisuus. ja sen alakohta laadunhallinnan läpinäkyvyys ja viestintä (yleisin alkava). tiedottaminen laadunhallinnasta tapahtuu lähinnä vain henkilökunnalle tai tiedottaminen kaikille osapuolille ei ole systemaattista, mikä olisi tarvinnut täyttyä, että toiminta olisi ollut kehittynyttä Parhaan arvioin sai strateginen johtaminen ja toiminnan ohjaus, ja sen alakohta 2.9 resurssien suuntaaminen. Yleisesti katsoen suuret ammatilliset oppilaitokset antoivat paremmat arvostelut itselleen kuin pienet tietylle alalle erikoistuneet. Ulkoisissa arvioinneissa kehittämiskohteita nousi lisäksi. yleisesti arviointialueista arviointi (5) ja parantaminen (6) Leena Koski
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. Kuinka kauan on ollut systemaattista laadunhallintaa? Kauanko laadunhallintaa? alle 3v 3-5 v 6-10 v yli 10v Kuinka monella? 5 4 6 15 Keskiarvo 2,47 2,92 2,97 3,05 Korrelaatio 0,46 [-1, 1], eli löytyy jonkin verran riippuvuutta.
Tulokset satunnaisjärjestyksessä 1.1.-1.5. 2.1.- 2.14 3.1.-3.5. 4.1.- 4.7. 5.1.- 5.3. 6.1.- 6.7 Keskiar vo 3 3 3 4 3 3 3.17 2 2 2 2 3 2 2,17 3 3 3 3 3 3 3,00 2 2 3 3 2 2 2,33 4 3 3 4 4 4 3,67 3 3 2 1 3 3 2,50 2 3 3 4 3 3 3,00 2 3 3 2 1 3 2,33 2 3 3 3 3 3 2,83 3 3 3 3 3 3 3,00 2 3 3 3 3 3 2,83 3 3 2 3 3 2 2,67 3 3 3 3 3 3 3,00 4 4 3 3 4 4 3,67 4 4 4 4 4 4 4,00 2 3 3 3 2 2 2,50 2 3 3 3 2 3 2,67 3 3 2 2 3 3 2,67 3 4 3 4 4 4 3,67 2 3 3 3 3 3 2,83
Tulokset satunnaisjärjestyksessä 3 3 3 3 3 3 3,00 2 3 3 3 3 3 2,83 2 3 3 3 2 3 2,67 3 3 3 3 3 3 3,00 2 3 2 4 2 3 2,67 3 3 3 3 3 3 3,00 3 3 3 3 2 3 2,83 3 3 3 3 3 3 3,00 3 4 3 3 3 4 3,33 3 3 3 3 3 3 3,00 2,70 3,07 2,87 3,03 2,87 3,03 2,93 Arvosanat: 1 = Puuttuva 2 = Alkava 3 = Kehittyvä 4 = Edistynyt
Yleisiä huomioita ulkoisesta arvioinnista Kehittämisen tukeminen edellyttää arviointialuetta tarkempaa kriteerikohtaista arviointia. Itsearviointi näyttäisi toteutettujen arviointikäyntien pohjalta tuottavan melko luotettavaa tietoa yleisellä tasolla. Ulkoisen arviointikäynnin nähtiin palvelevan vuoden 2015 arviointiin valmistautumista. Joiltakin osin on ollut vaikeutta keskittyä toimivaan laadunhallintaa ja laadun jatkuvaa kehittämistä tukevaan järjestelmään. Itsearvioinnissa koulutuksen järjestäjiä on keskusteluttanut erityisesti näyttö. Lyhyt arvioinnin perustelu antaa itsearvioinneissa eniten informaatiota, mikäli siihen on panostettu. Itsearviointia ei pitäisi liikaa vakioida liikaa. Enemmänkin tulisi esitellä esimerkkejä toimiviksi osoittautuneista käytänteistä. Kriteeristöstä näyttäisi olevan mahdollista jonkin verran karsia. Leena Koski
Yleisiä huomioita ulkoisesta arvioinnista Koulutuksen järjestäjiä on tärkeää tukea valmistautumisessa vuoden 2015 prosessiin. Joidenkin kriteerien osalta vaatii kriteerin avaamista esim. esimerkin avulla. Joidenkin kriteerien tarvitaan tasojen tarkistusta. Arviointialue 4 näyttäisi tuottavan tärkeää tietoa koulutuksen järjestäjän perustehtävien laadunhallinnan ja niiden kehittämisen tueksi. laatuympyrä ei näyttäisi kovin vahvasti ohjaavan toimintaa. Eniten palautetta on annettu arviointialueen 4 kehittämiseksi ulkoisen arvioinnin aikana. Leena Koski
Palautekyselyn yleisiä tuloksia Keskitytään kehittämiskohteisiin Kriteerit päällekkäisiä, toistoa Kriteerien yhdistäminen (näkökulma osin eri) Arviointiasteikon tulkinnanvaraisuus Ohjeistusta ja konkreettisia esimerkkejä, esim. mikä on hyvä ja toimiva näyttö
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. Yleinen palaute ja kehittämisehdotukset: Teksti vaikealukuista, terminologia vierasta ja monitulkintaista Teksti helpommin ymmärrettäväksi, sanasto Opiskelijat vaatii perehdyttämistä Kriteeristö osin liian laaja, vie aikaa ja resursseja Tiiviimpi kokonaisuus Opiskelijat ja työelämä mukana vain osassa Suuntaa antava ohjeistus itsearviointiin Vertaistukea, vertaisoppimista esim. yhteiseltä foorumilta
Kriteerikohtaiset esimerkit: (apua tulkintaan tarvitaan) 2.8 Toimintaedellytysten varmistaminen ja resurssien suuntaaminen Puuttuva Pilotoinnin palaute- ja keskustelutilaisuus 26.5. Koulutuksen järjestäjä tuottaa pyydettäessä tietoa järjestämislupaprosessiin. Alkava Koulutuksen järjestäjä tuottaa satunnaisesti tietoa koulutuksen ja tutkintojen järjestämisedellytyksistään. Järjestämisedellytysten systemaattinen varmistaminen puuttuu.
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. Kehittyvä Koulutuksen järjestäjällä on käytössä menettelytapoja, joilla se seuraa ja arvioi säännöllisesti koulutuksen ja tutkintojen järjestämisedellytysten riittävyyttä. Edistynyt Koulutuksen järjestäjällä on selkeää näyttöä siitä, että se reagoi nopeasti ja hallitusti sisäisen ja ulkoisen toimintaympäristön sekä yhteiskunnan muutoksiin ja poikkeamiin sekä arvioi säännöllisesti myös koulutuksen ja tutkintojen järjestämisedellytysten riittävyyttä, toimii ennakoivasti niiden varmistamiseksi ja muuttaa toimintaansa strategian suuntaisesti.
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. 2.9 Toimintaedellytysten varmistaminen ja resurssien suuntaaminen (Kehittyvä Edistynyt ristiriita?) Puuttuva Resursseja ei kohdenneta tavoitteiden suuntaisesti. Alkava Resurssien kohdentamista tavoitteiden suuntaisesti ei varmisteta. Kehittyvä Resurssien sisäinen kohdentaminen ja jako ovat tarkoituksenmukaisia tavoitteiden saavuttamisen kannalta. Edistynyt Resurssien kohdentamisesta strategian suuntaisesti on selkeää näyttöä.
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. 2.2 Johdon sitoutuminen ja laadunhallinnan johtaminen (paljon palautetta) Puuttuva Koulutuksen järjestäjän toiminnan ohjaukseen osallistuvat johtajat eivät ole sitoutuneita laatutyöhön. Alkava Koulutuksen järjestäjän eri tasoilla toimivan johdon ja henkilöstön sitoutumisessa on vaihtelua, laatutyöhön suhtaudutaan osin ristiriitaisesti.
Pilotoinnin palaute- ja keskustelutilaisuus 26.5. Kehittyvä Koulutuksen järjestäjän johto johtaa laadunhallintaa ja sen kehittämistä. Johtajat ovat sitoutuneita laadunhallintaan ja sen kehittämiseen. Edistynyt Koulutuksen järjestäjän johto johtaa tavoitteellisesti laadunhallintaa ja sen kehittämistä ja osallistuu esimerkillisesti laadun hallintaan ja sen parantamiseen.
Palaute 2.2 kriteeristä: Kriteerit eivät selvästi täytä laatuympyrää. Henkilöstö on mainittu vain alkavalla arviointitasolla. Henkilöstön toimintaa arvioidaan eri arviointialueella. Tarkoitetaanko kriteerissä koulutuksen järjestäjän omistajan johtoa vai operatiivista johtoa? Ei ole tarkoituksenmukaista rinnastaa johdon ja henkilöstön sitoutumista samaan kriteeriin.