Karvi arviointitiedon tuottajana Webinaari työelämätoimikunnille 31.5.2018 Arviointineuvos Aila Korpi (aila.korpi@karvi.fi) Arviointiasiantuntija Paula Kilpeläinen (paula.kilpelainen@karvi.fi) Arviointisuunnittelija Veera Stylman (veera.stylman@karvi.fi)
WEBINAARIN SISÄLTÖ - Webinaarin avaus - Karvi kansallisen arviointitiedon tuottajana - Ammatillisen koulutuksen arviointitoiminta - Laadunhallinta ja -arviointi - Kansallinen oppimistulosten arviointi ammatillisen koulutuksen laadunvarmistajana - Keskustelua ja kysymyksiä 8.6.2018 2
Karvi Koulutuksen ja varhaiskasvatuksen ulkopuolisen arvioinnin riippumaton asiantuntijaorganisaatio Toimii opetus- ja kulttuuriministeriön hallinnonalalla Tuottaa tietoa koulutuspoliittista päätöksentekoa ja koulutuksen ja varhaiskasvatuksen kehittämistä varten Henkilöstöä noin 50 Ulkopuolisia asiantuntijoita noin 200 Toimipaikat Helsingissä ja Jyväskylässä 8.6.2018 3
Karvin tehtävät Laki Kansallisesta koulutuksen arviointikeskuksesta (1295/2013) 2 Tehtävät 1) toteuttaa koulutukseen sekä opetuksen ja koulutuksen järjestäjien ja korkeakoulujen toimintaan liittyviä arviointeja 5 :ssä tarkoitetun arviointisuunnitelman mukaisesti; 2) tehdä 5 :ssä tarkoitetun arviointisuunnitelman mukaisesti: b) ammatillisesta koulutuksesta annetun lain (630/1998) 13 :ssä tarkoitettujen opetussuunnitelman perusteiden ja ammatillisesta aikuiskoulutuksesta annetun lain (631/1998) 13 :ssä tarkoitettujen tutkinnon perusteiden sekä taiteen perusopetuksesta annetun lain (633/1998) 5 :ssä tarkoitettujen opetussuunnitelman perusteiden tavoitteiden saavuttamista koskevia oppimistulosten arviointeja; 3) tukea opetuksen ja koulutuksen järjestäjiä sekä korkeakouluja arviointia ja laadunhallintaa koskevissa asioissa; 4) kehittää koulutuksen arviointia; sekä 5) huolehtia muista tehtävistä, jotka säädetään tai määrätään sen tehtäviksi. 8.6.2018 4
Arviointimuodot Laadunhallintajärjestelmien auditoinnit ja arvioinnit Oppimistulosten arvioinnit Teema- ja järjestelmäarvioinnit Tekniikan alan AMK-koulutusohjelmien akkreditoinnit Tilauspohjaiset arvioinnit Kansainvälinen yhteistyö 8.6.2018 5
Ammatillisen koulutuksen arviointien tulevaisuus Käynnissä arviointijärjestelmän kehittäminen Reformin vaikutukset arviointijärjestelmään Oppimistulosten arvioinnin kehittäminen Koulutuksen järjestäjien laadunhallintajärjestelmien arvioinnin kehittäminen Arviointiin ja laadunhallintaan liittyvän tuen kehittäminen Kehittämistyön tukena ammatillisen koulutuksen arvioinnin asiantuntijaryhmä Toivotaan saavutettavan synergiaetuja muiden toimijoiden, mm työelämätoimikuntien kanssa Uuden arviointisuunnitelman (2020-2023) valmistelutyö on käynnistynyt (kuullaan eri tahoja ja toimijoita) 8.6.2018 6
Ammatillisen koulutuksen laadunhallinta ja - arviointi
Ammatillisen koulutuksen laadunhallinnalla ja -arvioinnilla pitkät perinteet KANSAINVÄLINEN YHTEISTYÖ LAADUNVARMISTUKSEN KEHITTÄMISESSÄ Kansalliset laatuprojektit - Ammatilliset oppilaitokset ja oppisopimuskoulutus Laadunhallintasuositukset Kansalliset ja EU linjaukset Laatupalkintokilpailut: Ammatillinen koulutus ja oppisopimuskoulutus Tuloksellisuus- Rahoitus Päivitetty laadunhallintasuositus Koulutus ja Tutkimus 2011-2016, Kehittämissuunnitelma (OKM) Kansallinen laatustrategia 2011-2020 Ammatillisen koulutuksen järjestäjien laadunhallintajärjestelmien arviointi Itsearvioinnit (N=168) Arviointikäynnit (N=35) Ammatillisen koulutuksen järjestäjien laadunhallintajärjestelmien arviointi Kansallinen laatustrategian päivitys KOULUTUKSEN JÄRJESTÄJIEN TUKEMINEN LAADUNHALLINNASSA JA -ARVIOINNISSA LAKI AMMATILLISESTA KOULUTUKSESTA KARVI UUSI AMMATILLISEN KOULUTUKSEN LAKI 1998-1999 2000 2011-2012 2012-2015 2018 2020-2023 8
Ammatillisen koulutuksen laadunhallintaa ja -arviointia ohjaavat normit, suositukset jne. Kansallinen taso Lait ja asetukset Ammatillisen koulutuksen järjestämislupa (OKM) Tutkinnon perusteet Ammatillisen koulutuksen laatustrategia Arviointisuunnitelma Paikallinen/järjestäjä taso Vastuu tutkintojen, koulutuksen ja muun toiminnan laadusta ja laadunhallinnan jatkuvasta parantamisesta Vastuu järjestämiensä tutkintojen, koulutuksen ja muun toiminnan arvioinnista sekä niiden laadusta ja vaikuttavuudesta Vastuu osaamisen arvioinnin toteuttamissuunnitelman laatimisesta tutkintoja koulutusalakohtaisesti (osa järjestäjän laadunhallintajärjestelmää) Laadunhallintajärjestelmässä kuvataan miten suunnitelma laaditaan, hyväksytään, päivitetään, dokumentoidaan ja arkistoidaan Suunnitelma sisältää linjaukset ja menettelytavat osaamisen arvioinnin toteuttamisesta Osallistuttava säännöllisesti ulkopuoliseen toimintansa ja laadunhallintajärjestelmiensä arviointiin Julkistettava arviointiensa tulokset 8.6.2018 9
Laki ammatillisesta koulutuksesta (531/2017) 28 Järjestämisluvan myöntämisedellytykset Järjestämisluvan myöntämisen edellytyksenä on, että tutkintojen ja koulutuksen järjestäminen on tarpeellista ottaen huomioon valtakunnalliset ja alueelliset osaamistarpeet sekä tutkintojen ja koulutuksen tarjonta. Tutkintoja tai koulutusta ei saa järjestää taloudellisen voiton tavoittelemiseksi. Järjestämislupa voidaan myöntää hakijalle, jolla on osaaminen ja riittävä yhteistyö työ- ja elinkeinoelämän kanssa sekä taloudelliset ja toiminnalliset edellytykset tehtävän mukaisten tutkintojen ja koulutuksen asianmukaiseen järjestämiseen. Edellytysten arvioinnissa otetaan huomioon toiminnan laatu, vaikuttavuus ja tuloksellisuus. 53 Osaamisen arviointi Koulutuksen järjestäjä laatii osana laadunhallintajärjestelmäänsä suunnitelman osaamisen arvioinnin toteuttamisesta tutkinto- tai koulutuskohtaisesti. 8.6.2018 10
126 Koulutuksen arviointi ja laadunhallinta Koulutuksen järjestäjän tulee arvioida järjestämiään tutkintoja, koulutusta ja muuta toimintaa sekä niiden laatua ja vaikuttavuutta. Koulutuksen järjestäjä vastaa järjestämiensä tutkintojen, koulutuksen ja muun toiminnan laadusta ja laadunhallinnan jatkuvasta parantamisesta. Koulutuksen järjestäjän on myös säännöllisesti osallistuttava ulkopuoliseen toimintansa ja laadunhallintajärjestelmiensä arviointiin sekä julkistettava järjestämänsä arvioinnin keskeiset tulokset. Laki opetus- ja kulttuuritoimen rahoituksesta, 3 a luku Perus-, suorite-, vaikuttavuus- ja strategiarahoitus 8.6.2018 11
Laadunhallinnan arviointi eri muotoja Koulutuksen järjestäjien itsearviointi Kiinteä osa kansallisia arviointeja teemat vaihtelevat Liittyy myös lainsäädännön velvoitteeseen (126 ) tutkinnot, koulutus ja muu toiminta sekä niiden laatu ja vaikuttavuus Laadunhallintajärjestelmän ulkoinen arviointi Perustuu kansalliseen laatustrategiaan ja Karvin arviointisuunnitelmaan Lakisääteinen velvoite osallistua (126 ) Toteutettu ensimmäisen kerran vuonna 2015 Kaikki toiminnot kattava Tuottaa tietoa laadunhallinnan tilasta kansallisella tasolla Arviointikäynti Osa kansallisia arviointeja Tavoitteena varmistaa muilla menetelmillä saadun arviointitiedon luotettavuus teemat vaihtelevat 8.6.2018 12
Laadunhallinnan arviointi Ulkoinen auditointi Tavoitteena ulkopuolisen näkemyksen tuominen oman toiminnan kehittämiseen tukee itsearviointia Perustuu vapaaehtoisuuteen, järjestäjäkohtainen Pääosin tilauspohjainen Sisäinen auditointi Järjestäjäkohtainen Voi kohdistua esim. tiettyyn toimintoon, prosessiin jne. Tavoitteena usein laadunvarmistaminen ja kehittäminen Vertaisarviointi Järjestäjien sisäistä tai välistä arviointia Tavoitteena toiminnan kehittäminen tai laadun varmistaminen tai -parantaminen Kohdistuu ennalta sovittuun teemaan esim. ops työ Arvioijat usein arvioitavan teeman asiantuntijoita ja ammattilaisia oppilaitoksista 8.6.2018 13
Laadunhallintajärjestelmien arviointi 2015 1 Laatukulttuuri ja laadunhallinnan kokonaisuus 2 Strateginen johtaminen ja toiminnan ohjaus 3 Henkilöstö ja muut koulutuksen toimijat 4.1 Perustehtävien laadunhallinta kokonaisuutena 4.2 Oppilaitosmuotoisena ammatillisena peruskoulutuksena järjestettävä koulutus 4.3 Näyttötutkintojen järjestäminen ja niihin valmistava koulutus 4.4 Oppisopimuskoulutus 4.5 Muu koulutus (valmistava ja valmentava, muu ei tutkintotavoitteinen koulutus, työpajatoiminta) 4.6. Maksullinen palvelutoiminta (ml. työvoimapoliittinenkoulutus, täydennyskoulutus) 4.7. Opiskelijoille tarjottavat tukipalvelut 4.8 Ammatillisten erityisoppilaitosten erityisopetuksen kehittämis-, ohjaus- ja tukitehtävät Laadunhallinnan keskimääräinen taso arviointialueittain 5 Arviointi-, palaute ja tulostieto 6 Parantaminen 1=puuttuva, 2=alkava, 3=kehittynyt, 4=edistynyt 8.6.2018 14
Vahvuudet Kehittämiskohteet Strateginen johtaminen ja toiminnan ohjaus Prosessin hallinta Henkilöstön osallistaminen Laadunhallinnan integrointi strategiseen johtamiseen Johdon sitoutuminen Parantaminen Seuranta-, arviointi- ja tulostietojen hyödyntäminen Hanke- ja projektitoiminta ja verkostoyhteistyö Toisilta oppimisen käytänteet Erityisopetus Asiakaslähtöisyys Tiedon hyödyntäminen Arviointi-, palaute ja tulostiedot Arviointi, auditointi ja tuloksiin liittyvä viestintä Laatukulttuuri ja laadunhallinta Laadunhallintajärjestelmän dokumentointi, tietojärjestelmät Menettelyiden yhdenmukaistaminen (toimintayksiköt) Eri ryhmien osallisuus laadunhallinnassa Laadunhallinta- ja arviointiosaaminen Perustehtävät ja niitä tukevat toiminnot (mm.) Asiakkaiden tarpeet Tavoitteiden asettaminen Menettelytavat Arviointi-, palaute- ja tulostieto 8.6.2018 15
Työelämäyhteistyön toimivuus muiden arviointien valossa Kehittämiskohteet Vahvuudet Yhteistyö tiivistymässä reformin myötä Työelämän rooli korostuu jatkossa Osaamisen hankkimisessa Ohjauksessa Arvioinnissa ja näytöissä Tutkintojen sisällöt työelämälähtöisempiä työelämän työ- ja toimintakokonaisuudet Työelämä saa nopeammin tarvitsemaansa osaamista ja osaajia Työelämäyhteistyön johtaminen kokonaisuutena yhden luukun periaate Johdon ja opetushenkilöstön työelämäosaaminen Viestinnän ja vuoropuhelun lisääminen työelämän suuntaan uudet kanavat ja tavat Suunnitteluyhteistyön lisääminen opettajien ja työpaikkaohjaajien välillä Työpaikkaohjaajien osaamisen ja työpaikkaohjaajakoulutuksen kehittäminen Laadunhallinnan ja varmistuksen kehittäminen erityisesti työpaikalla tapahtuva koulutus Näytöt Palautejärjestelmä 8.6.2018 16
Lähteet Karvin arvioinnit ja julkaisut www.karvi.fi Ammatillisen koulutuksen järjestäjien laadunhallintajärjestelmien tila Räisänen, Frisk, Hietala, Huttunen, Korpi & Koski 2015 Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi synteesi ammatillisen koulutuksen oppimistulosarviointien keskeisistä tuloksista 2007 2016 Kilpeläinen, Jalolahti & Räkköläinen 2018 Ammatillisen koulutuksen osaamisperusteisuus, asiakaslähtöisyys ja toiminnan tehokkuus osaamisperusteisuuden tila Korpi, Hietala, Kiesi & Räkköläinen 2018 Ammatillisen koulutuksen osaamisperusteisuus, asiakaslähtöisyys ja toiminnan tehokkuus politiikkatoimien vaikutusten arviointi (ex ante) Räisänen & Goman 2018 Merenkulkualan koulutuksen arviointi Korpi, Apajalahti & Salmela (toim.) 2017 8.6.2018 17
KANSALLINEN OPPIMISTULOSTEN ARVIOINTI AMMATILLISEN KOULUTUKSEN LAADUNVARMISTAJANA
Oppimistulosarvioinnin toteuttamisen periaatteet (1/2) Arviointitieto kootaan ammattiosaamisen näytöistä (2007 alkaen) Arviointi perustuu tutkintojen perusteisiin ja ammattiosaamisen näyttöjen tavoitteisiin, laatuvaatimuksiin ja taustamuuttujiin Arviointiasetelma on yhdenmukainen kaikissa ammatillisissa perustutkinnoissa Arviointi kohdistuu kaikkiin arvioitavana olevien tutkintojen koulutuksen järjestäjiin ja opiskelijoihin Arviointitieto kootaan vuosittain kolmen vuoden ajalta Arvioinnit toteutetaan ja raportoidaan tutkinnoittain 19
Oppimistulosarvioinnin toteuttamisen periaatteet (2/2) Koulutuksen järjestäjät saavat arvioinnin päätteeksi palauteraportin omista tuloksista kansalliseen vertailutietoon yhdistettynä. Vuosittain on käynnistynyt 2 4 tutkinnon arvioinnit. Arvioinnin kohteena on tähän mennessä ollut 28 ammatillista perustutkintoa. Arviointi ei ole koskenut näyttötutkintotavoitteita koulutusta. Syksyllä 2015 käynnistettiin viimeiset edellä kuvatun mukaisesti toteutetut oppimistulosarvioinnit. 20
Oppimistulosarvioinnin tavoitteena on tuottaa tietoa siitä, miten opiskelijat ovat saavuttaneet tutkinnon perusteissa asetut osaamistavoitteet ja ammattitaitovaatimukset kehittää koulutusta, tukea oppimista ja varmistaa ammatillisen koulutuksen laatua.
Arviointikysymykset ammatillisten perustutkintojen oppimistulosarvioinneissa 1. Miten hyvin opiskelijoiden osaaminen vastaa työelämän edellyttämiä ja tutkinnon perusteissa määritettyjä ammattitaitovaatimuksia? 2. Miten koulutuksen järjestäjät hallitsevat ammattiosaamisen näyttöjen järjestämiseen liittyvän prosessin laatua? 3. Miten hyvin ammattiosaamisen näyttöjen sisällöt vastaavat tutkinnon perusteiden ammattitaitovaatimuksia? 4. Miten elinikäisen oppimisen avaintaidot integroituvat ammattiosaamisen näyttöihin, ja miten näitä vaatimuksia koskevaa osaamista arvioidaan niiden osana? 5. Miten ammattiosaamisen näyttöjä tulisi kehittää niiden laadun varmistamiseksi ja oppimistulosten parantamiseksi? 22
TUTKINTOJEN PERUSTEET ARVIOINTIKYSYMYKSET OPPIMISTULOSARVIOINNIN ARVIOINTIASETELMA ARVIOINTIAINEISTO OPPIMISTULOSTIETO TÄYDENTÄVÄ ARVIOINTI ARVOSANATIEDOT AMMATTIOSAAMISEN NÄYTÖISTÄ TIEDOT NÄYTTÖJEN TOTEUTTAMISESTA JA ARVIOINNEISTA (oppilaitos/työpaikka, kuka/ketkä arvioivat) KOULUTUKSEN JÄRJESTÄJIEN ITSEARVIOINTI (n = 8) Ammattiosaamisen näyttöprosessien laatu NÄYTTÖSUUNNITELMIEN ANALYSOINTI (n = 8) NÄYTTÖJEN KUVAUSTEN ANALYSOINTI (n = 1 193) ARVIOINTI- RAPORTTI - Kansallinen - Koulutuksen järjestän palaute ARVIOINTIKÄYNNIT (2/tutkinto) I-II vuosi III vuosi Sisältää kehittämisehdotuksia 23
Ammattiosaamisen näyttöjen arvosanat (esim. Nuva) Työprosessin hallinta (n = 1 450) 4 32 63 Työmenetelmien, -välineiden ja materiaalin hallinta (n = 1 451) 5 35 60 Työn perustana olevan tiedon hallinta (n = 1 452) 11 46 43 Elinikäisen oppimisen avaintaidot (n = 1 450) 4 27 69 Tutkinnon osan näytön arvosana (n = 1 461) 4 31 65 0 % 20 % 40 % 60 % 80 % 100 % Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Sukupuolten välillä ei eroa arvosanoissa Järjestäjien välillä jonkin verran eroja, keskiarvot välillä 2,28-2,86 Erityisopiskelijoilla enemmän tyydyttäviä ja hyviä, vähemmän kiitettäviä (13 % / 46 % / 40 % tutkinnon osan näytön arvosanoista) 24
Näyttöympäristöt (esim. Nuva) Näytöistä 89 % työpaikalla, 10 % oppilaitoksessa, erityisopiskelijoilla lähes identtiset luvut Joidenkin koulutuksen järjestäjien ja tutkinnon osien osalta työpaikkanäyttöjen osuus lähes 100 % 25
Näyttöpaikkojen jakautuminen prosenttiosuuksina koulutuksen järjestäjän sijainnin mukaan (esim. audiovisuaalisen viestinnän pt) 20 Pohjois-Suomi ja Lappi (n = 319) 47 33 Länsi- ja Sisä-Suomi (n = 384) 5 28 67 Itä-Suomi (n = 332) 0 40 60 Lounais-Suomi (n = 108) 14 33 53 Etelä-Suomi (n = 862) 10 27 62 0 10 20 30 40 50 60 70 80 90 100 Työpaikka Oppilaitos Työpaikka ja oppilaitos 26
Työpaikkanäyttöjen osuus suoritetuista näytöistä koulutuksen järjestäjittäin (esim. audiovisuaalisen viestinnän pt) Työpaikkanäyttöjen osuus suoritetuista näytöistä N (järjestäjie n määrä) % järjestäjistä 50 75 % 5 24 30 49 % 3 14 15 29 % 7 33 Alle 15 % 6 29 Yhteensä 21 100 27
Näytön arvosanasta päätti (esim. Nuva) 37 % Opettaja ja työelämän edustaja (n = 358) 63 % Opettaja (n = 214) Työelämän edustaja (n = 0) 28
Tuloksia tutkintokohtaisista koulutuksen järjestäjien itsearvioinnista Arvioikaa miten hyvin seuraavat asiat ovat toteutuneet kyseisessä tutkinnossa. Valitkaa vaihtoehdoista se, joka parhaiten vastaa käsitystänne asiasta. (1 erittäin huonosti, 5 erittäin hyvin) Vastaajien määrä: 62 a) Osaamisen hankkimiseen soveltuvien työpaikkojen saatavuus b) Osaamisen osoittamiseen (näytöt*) soveltuvien työpaikkojen saatavuus c) Näyttöjen suunnittelu, toteuttaminen ja arviointi yhteistyössä työpaikkojen d) Laaja-alaisen osaamisen arviointi näytöissä (työprosessin hallinta, e) Tavoitelähtöinen ja kriteeriperusteinen osaamisen arviointi? f) Aiemmin hankitun osaamisen tunnistaminen g) Aiemmin hankitun osaamisen tunnustaminen h) Opiskelijoiden yksilöllisten opintopolkujen toteutuminen 3,0 3,3 3,5 3,8 3,9 4,1 4,1 4,0 0 1 2 3 4 5 8 0
Miten paljon olette hyödyntäneet koulutuksessa seuraavia oppimisympäristöjä? (1 erittäin vähän, 5 erittäin paljon) Vastaajien määrä: 62 Oppilaitos (työsalit, harjoitustyömaat, opetusravintolat, -kampaamot jne..) 4,6 5 Työpaikka 3,9 Verkko-oppimisympäristöt 3,3 Virtuaaliset oppimisympäristöt 2,3 Muuta, mitä? 3,5 0 1 2 3 4 5 0
Näyttöihin liittyvä suunnittelu (asteikko 0=puuttuva, 4=edistynyt, vastaajien määrä: 62 Osaamisen arviointia koskevan suunnitelman* laadinta eri alojen ja yhteisten tutkinnon osien opettajien kanssa *ent. näyttöjen toteuttamis- ja 2,2 4 Osaamisen arviointia koskevan suunnitelman laadinta yhteistyössä työpaikkojen kanssa 2,4 Opiskelijoiden osallistuminen näyttöjen toteuttamisen ja arvioinnin suunnitteluun 2,6 Näyttöjen suunnittelu osana työpaikalla järjestettävää koulutusta 2,9 0 1 2 3 4 0
Näyttöihin liittyvän pedagogisen toiminnan johtaminen (asteikko 0=puuttuva, 4=edistynyt) Vastaajien määrä: 62 Resurssien kohdentaminen työpaikalla järjestettävään koulutukseen ja näyttöihin 2,6 6 Opiskelijoiden, opettajien ja työpaikkaohjaajien perehdyttäminen 2,8 Opettajien työelämäosaamisen varmistaminen 2,8 Opettajien ja työpaikkaohjaajien arviointiosaamisen varmistaminen 2,9 Näyttöympäristön tutkinnon perusteiden mukaisen vastaavuuden varmistaminen 3,0 Opiskelijan osaamisen kehittymisen ja näytön arvioinnin periaatteista sopiminen 3,0 0 1 2 3 4 0
Ammattiosaamisen näyttöjen ja tutkinnon perusteiden ammattitaitovaatimusten vastaavuus (esim. audiovisuaalisen viestinnän pt) Arviointi 1 1,5 = helppo, alittaa ammattitaitovaatimukset 2 2,5 = sopiva, vastaa ammattitaitovaatimuksia 3 = vaikea, ylittää ammattitaitovaatimukset Näyttö työpaikalla Näyttö oppilaitoksessa Näyttö työpaikalla ja oppilaitokse ssa Kaikki analysoidut näyttökuvaukset n % n % n % n % 133 32,4 360 36,7 34 25,0 531 34,7 277 67,6 621 63,2 101 74,3 999 65,2 1 0,1 1 0,7 2 0,1 Yhteensä 410 100 982 100 136 100 1 532 100 33
Näyttöjen toteuttamis- ja arviointisuunnitelmien arvioinnin tulokset (esim. Nuva pt) Arviointikohde Suunnitelma mahdollistaa näyttöjen työelämälähtöisyyden toteutumisen (näyttöjen toteuttamisen työelämässä) Näyttösuunnitelmille annetut arviot 1 1,5 2 2,5 3 Keskiarvo Keskihajonta n 6 9 2,80 0,25 15 Suunnitelmassa on määritelty kuka / ketkä päättävät näytön arvosanasta Suunnitelmassa on määritelty missä näytöt toteutetaan Suunnitelma vastaa tutkinnon perusteiden ammattitaitovaatimuksia Suunnitelmassa on määritelty kuka / ketkä osallistuvat näytön arviointiin 4 1 10 2,70 0,46 15 2 5 8 2,70 0,37 15 2 1 2 10 2,67 0,56 15 5 1 9 2,63 0,48 15 Suunnitelma on laadittu tutkinnon osittain 3 1 1 10 2,60 0,63 15 Suunnitelmassa on määritelty, miten näytöt toteutetaan (yksi / useampi tutkinnon osa kerralla, osina) 1 3 3 2 6 2,30 0,70 15 Suunnitelmassa on huomioitu elinikäisen oppimisen avaintaitojen eri osa-alueet 1 3 4 7 2,30 0,73 15 Asteikko: 1 = ei toteudu, 2 = toteutuu kohtalaisesti, 3 = toteutuu hyvin 34
ARVIOINTIKÄYNNIT Tavoite syventää näkemystä KO. perustutkinnon ammattiosaamisen näyttöjen toteuttamisesta ja oppimistuloksista koulutuksen järjestäjä saa omaa organisaatiota koskevan palautteen Arviointiryhmä: Karvin asiantuntijoita, alan opettaja ja työelämän edustaja Ohjelma 8.00-8.15 Arviointiryhmän valmistautuminen 8.15-9.00 Haastattelu: opettajat 9.15 10.00 Haastattelu: opiskelijat 10.15 11.00 Haastattelu: järjestäjän/johdon edustajat 11.00 11.45 Lounas 11.45 12.30 Tutustuminen kirjalliseen materiaaliin ja dokumentteihin 12.45 13.30 Haastattelu: ammattiosaamisen näyttöjen toimielin/elimet, mahdolliset jaostot ja neuvottelukunnat 13.45 14.30 Haastattelu: työelämän edustajat/työpaikkaohjaajat 14.30 15.15 Arviointiryhmän valmistautuminen palautekeskusteluun 15.15 16.00 Palautekeskustelu Haastatteluteemat ovat liittyneet mm. työssäoppimisen ja näyttöjen suunnitteluun, toteuttamiseen ja arviointiin, eri osapuolten perehdyttämiseen 8.6.2018 35
Oppimistulosarviointien toteuttaminen jatkossa (suunnitelmia) Tietoa tuotetaan nopeammin ja keveämmillä prosesseilla ennakoitavissa olevalla syklillä (varmistetaan yhteys kehittämistyöhön erityisesti tutkinnon perusteiden kehittämiseen) Arviointi laajennetaan koskemaan myös ammatti- ja erikoisammattitutkintoja Oppimistulostietoa tuotetaan näyttöjen lisäksi myös yhteisistä tutkinnon osista ja elinikäisen oppimisen avaintaidoista Työelämän ja opiskelijan roolia vahvistetaan arvioinneissa Digitalisaatiota ja olemassa olevaa tietoa (esim. Koski, ophn opiskelijapalautteet, Vipunen ) hyödynnetään arvioinneissa mahdollisimman paljon Toteutetaan eri teemoja käsitteleviä synteesiarviointeja 36
Oppimistulosarviointien keskeisiä tuloksia (synteesi 2007-2016, 17 perustutkintoa) Näyttöjen arvosanoista 48 % kiitettäviä, 45 % hyviä ja 7 % tyydyttäviä Parhaimmat arvosanat opiskelijat saavat elinikäisen oppimisen avaintaidoista ja heikoimmat työn perustana olevan tiedon hallinnasta Arvosanoissa on eroja koulutuksen järjestäjien ja alueiden välillä Yli puolet (53 %) kaikista näytöistä suoritettiin työpaikalla Näyttöpaikoissa on suurta vaihtelua tutkintojen välillä, mutta myös järjestäjien välillä samassa tutkinnossa Työpaikkanäyttöjen osuus vaihteli tutkinnoittain 20 prosentista 99 prosenttiin. 37
Oppimistulosarviointien keskeisiä tuloksia (synteesi 2007-2016, 17 perustutkintoa) Näyttöjen arvosanat vaihtelevat paljon sen mukaan, missä näytöt on toteutettu ja kuka/ketkä ovat osallistuneet näytön arviointiin; työpaikalla toteutettujen näyttöjen arvosanat ovat selvästi oppilaitosnäyttöjä korkeammat useissa tutkinnoissa Näyttöjen laatu vaihtelee paljon järjestäjittäin Eri osapuolten perehdytykseen,näyttöjen suunnitteluun ja työpaikkojen laatuun kiinnitettävä jatkossa enemmän huomiota Koulutettujen työpaikkaohjaajien osuus vaihtelee paljon tutkinnoittain ja järjestäjittäin Työpaikkaohjaajien arviointiosaaminen ja opettajien työelämäosaaminen nousevat useissa arvioinneissa keskeisiksi kehittämiskohteiksi 38
Näyttöjen arvosanojen keskiarvot arviointikohteittain näyttöpaikan mukaan (n = 17 pt) % % 8.6.2018 39
Arviointiasteikko (asteikko 0 = puuttuva, 1-2 = alkava, 3-4 = kehittyvä, 5-6 = edistynyt) Yhteenvetoa koulutuksen järjestäjien näyttötoiminnan laadusta niiden itsensä arvioimana (synteesi 17 pt) Arvioinnin kohteet: 1. Ammattiosaamisen näyttöihin liittyvä suunnittelu 2. Ammattiosaamisen näyttöihin liittyvän pedagogisen toiminnan johtaminen 3. Ammattiosaamisen näyttöjen toimielimen rooli ammattiosaamisen näyttöjen järjestämisessä 4. Ammattiosaamisen näyttöjen toteuttaminen työelämässä 5. Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa 6. Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 7. Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön 8. Opiskelijan ohjaus ja tuki ammattiosaamisen näytössä ja työssäoppimisessa 9. Opiskelijan oppimisen arviointi työssäoppimisessa 10. Opiskelijan osaamisen arviointi ammattiosaamisen näytössä 11. Opiskelijan arvioinnin laadun varmistaminen 12. Ammattiosaamisen näyttöjen seuranta ja arviointi 13. Ammattiosaamisen näyttöjen kehittäminen 8.6.2018 40
NÄYTTÖJEN LAATU JA ARVIOINNIN LUOTETTAVUUS NÄYTTÖPERUSTEISESSA OPPIMISTULOSARVIOINNISSA Tutkinnon perusteet Osaamistavoitteet ja ammattitaitovaatimukset Arviointikriteerit Arvioijat Opettaja, muu koulutuksen järjestäjä, työpaikkaohjaaja Arviointiosaaminen (perehdytys/koulutus) Arviointikriteerien tulkinta Osaamisen tulkinta Arvioinnin kokoonpano Osaamisen arvioinnin toteuttamissuunnitelma NÄYTTÖJEN LAATU JA ARVIOINNIN LUOTETTAVUUS Arvioijien perehdytys Näyttöympäristöt ja arvioijat Näyttöympäristö Työpaikka, oppilaitos & muut ympäristöt HOKS Näyttöpaikka, näyttötehtävät, Arvioijat Näyttö Vastaavuus tutkinnon osan ammattitaitovaatimukseen 41
Ammatillisen koulutuksen arviointitoimintaa (2017-2019) Oppimistulosten arvioinnit Meta-arviointi ammatillisen koulutuksen oppimistulosten arvioinnista (2017) Nuoriso- ja vapaa-ajanohjauksen pt (2017) Audiovisuaalisen viestinnän pt (3/2018) Prosessiteollisuuden pt (6/2018) Talotekniikan pt (5-8/2018) Liikunnanohjauksen pt (9-10/2018) Matkailualan pt (9-10/2018) Puutarhatalouden pt (9/2018) Tieto- ja tietoliikennetekniikan pt (2/2019) Kauneudenhoitoalan pt (2/2019) Hevostalouden pt (2/2019) Synteesiraportti oppimistulosarviointien keskeisistä tuloksista 2007-2016 löytyy https://karvi.fi/publication/ammatillisen-koulutuksenoppimistulosten-arviointijarjestelman-arviointi/ 8.6.2018 42
Karvin ja työelämätoimikuntien välinen yhteistyö mitä se voisi olla? (pohdintaa ) Viestitään arviointitarpeista ja tuloksista avoimesti Tehdään yhdessä ehdotuksia arvioitavista teemoista ja tutkinnoista Karvi tuottaa ja välittää analysoitua arviointitietoa työelämätoimikunnille Karvi analysoi tuotetun tiedon ja tekee kokonaisarvioinnin eri tutkintojen tilanteesta ja laatii palautteen koulutuksen järjestäjille Suunnitellaan ja toteutetaan yhdessä arviointikäyntejä ja sovitaan niiden sisällöllisestä työnjaosta Työelämätoimikunnat ovat arviointitiedon käyttäjiä, levittäjiä ja tuottajia Tuetaan yhdessä hyvien käytänteiden levittämistä esimerkiksi vertaisarviointien, seminaarien ja työpajojen avulla 8.6.2018 43
Ennakkokysymyksiä Kaikkien oppilaitoksen käytössä olevat arviointi- yms. lomakkeet? Mitä on määrätty, mitkä ovat oppilaitoksen päätettävissä? Miten työelämätoimikuntien ja Karvin yhteistyö tutkintojen toimeenpanon seurannasta käytännössä toteutuu? Laadunvalvonta, käytännön työkalut? 8.6.2018 44
Kiitos! 8.6.2018 45