Karvi arviointitiedon tuottajana Webinaari työelämätoimikunnille

Transkriptio

1 Karvi arviointitiedon tuottajana Webinaari työelämätoimikunnille Arviointineuvos Aila Korpi Arviointiasiantuntija Paula Kilpeläinen Arviointisuunnittelija Veera Stylman

2 WEBINAARIN SISÄLTÖ - Webinaarin avaus - Karvi kansallisen arviointitiedon tuottajana - Ammatillisen koulutuksen arviointitoiminta - Laadunhallinta ja -arviointi - Kansallinen oppimistulosten arviointi ammatillisen koulutuksen laadunvarmistajana - Keskustelua ja kysymyksiä

3 Karvi Koulutuksen ja varhaiskasvatuksen ulkopuolisen arvioinnin riippumaton asiantuntijaorganisaatio Toimii opetus- ja kulttuuriministeriön hallinnonalalla Tuottaa tietoa koulutuspoliittista päätöksentekoa ja koulutuksen ja varhaiskasvatuksen kehittämistä varten Henkilöstöä noin 50 Ulkopuolisia asiantuntijoita noin 200 Toimipaikat Helsingissä ja Jyväskylässä

4 Karvin tehtävät Laki Kansallisesta koulutuksen arviointikeskuksesta (1295/2013) 2 Tehtävät 1) toteuttaa koulutukseen sekä opetuksen ja koulutuksen järjestäjien ja korkeakoulujen toimintaan liittyviä arviointeja 5 :ssä tarkoitetun arviointisuunnitelman mukaisesti; 2) tehdä 5 :ssä tarkoitetun arviointisuunnitelman mukaisesti: b) ammatillisesta koulutuksesta annetun lain (630/1998) 13 :ssä tarkoitettujen opetussuunnitelman perusteiden ja ammatillisesta aikuiskoulutuksesta annetun lain (631/1998) 13 :ssä tarkoitettujen tutkinnon perusteiden sekä taiteen perusopetuksesta annetun lain (633/1998) 5 :ssä tarkoitettujen opetussuunnitelman perusteiden tavoitteiden saavuttamista koskevia oppimistulosten arviointeja; 3) tukea opetuksen ja koulutuksen järjestäjiä sekä korkeakouluja arviointia ja laadunhallintaa koskevissa asioissa; 4) kehittää koulutuksen arviointia; sekä 5) huolehtia muista tehtävistä, jotka säädetään tai määrätään sen tehtäviksi

5 Arviointimuodot Laadunhallintajärjestelmien auditoinnit ja arvioinnit Oppimistulosten arvioinnit Teema- ja järjestelmäarvioinnit Tekniikan alan AMK-koulutusohjelmien akkreditoinnit Tilauspohjaiset arvioinnit Kansainvälinen yhteistyö

6 Ammatillisen koulutuksen arviointien tulevaisuus Käynnissä arviointijärjestelmän kehittäminen Reformin vaikutukset arviointijärjestelmään Oppimistulosten arvioinnin kehittäminen Koulutuksen järjestäjien laadunhallintajärjestelmien arvioinnin kehittäminen Arviointiin ja laadunhallintaan liittyvän tuen kehittäminen Kehittämistyön tukena ammatillisen koulutuksen arvioinnin asiantuntijaryhmä Toivotaan saavutettavan synergiaetuja muiden toimijoiden, mm työelämätoimikuntien kanssa Uuden arviointisuunnitelman ( ) valmistelutyö on käynnistynyt (kuullaan eri tahoja ja toimijoita)

7 Ammatillisen koulutuksen laadunhallinta ja - arviointi

8 Ammatillisen koulutuksen laadunhallinnalla ja -arvioinnilla pitkät perinteet KANSAINVÄLINEN YHTEISTYÖ LAADUNVARMISTUKSEN KEHITTÄMISESSÄ Kansalliset laatuprojektit - Ammatilliset oppilaitokset ja oppisopimuskoulutus Laadunhallintasuositukset Kansalliset ja EU linjaukset Laatupalkintokilpailut: Ammatillinen koulutus ja oppisopimuskoulutus Tuloksellisuus- Rahoitus Päivitetty laadunhallintasuositus Koulutus ja Tutkimus , Kehittämissuunnitelma (OKM) Kansallinen laatustrategia Ammatillisen koulutuksen järjestäjien laadunhallintajärjestelmien arviointi Itsearvioinnit (N=168) Arviointikäynnit (N=35) Ammatillisen koulutuksen järjestäjien laadunhallintajärjestelmien arviointi Kansallinen laatustrategian päivitys KOULUTUKSEN JÄRJESTÄJIEN TUKEMINEN LAADUNHALLINNASSA JA -ARVIOINNISSA LAKI AMMATILLISESTA KOULUTUKSESTA KARVI UUSI AMMATILLISEN KOULUTUKSEN LAKI

9 Ammatillisen koulutuksen laadunhallintaa ja -arviointia ohjaavat normit, suositukset jne. Kansallinen taso Lait ja asetukset Ammatillisen koulutuksen järjestämislupa (OKM) Tutkinnon perusteet Ammatillisen koulutuksen laatustrategia Arviointisuunnitelma Paikallinen/järjestäjä taso Vastuu tutkintojen, koulutuksen ja muun toiminnan laadusta ja laadunhallinnan jatkuvasta parantamisesta Vastuu järjestämiensä tutkintojen, koulutuksen ja muun toiminnan arvioinnista sekä niiden laadusta ja vaikuttavuudesta Vastuu osaamisen arvioinnin toteuttamissuunnitelman laatimisesta tutkintoja koulutusalakohtaisesti (osa järjestäjän laadunhallintajärjestelmää) Laadunhallintajärjestelmässä kuvataan miten suunnitelma laaditaan, hyväksytään, päivitetään, dokumentoidaan ja arkistoidaan Suunnitelma sisältää linjaukset ja menettelytavat osaamisen arvioinnin toteuttamisesta Osallistuttava säännöllisesti ulkopuoliseen toimintansa ja laadunhallintajärjestelmiensä arviointiin Julkistettava arviointiensa tulokset

10 Laki ammatillisesta koulutuksesta (531/2017) 28 Järjestämisluvan myöntämisedellytykset Järjestämisluvan myöntämisen edellytyksenä on, että tutkintojen ja koulutuksen järjestäminen on tarpeellista ottaen huomioon valtakunnalliset ja alueelliset osaamistarpeet sekä tutkintojen ja koulutuksen tarjonta. Tutkintoja tai koulutusta ei saa järjestää taloudellisen voiton tavoittelemiseksi. Järjestämislupa voidaan myöntää hakijalle, jolla on osaaminen ja riittävä yhteistyö työ- ja elinkeinoelämän kanssa sekä taloudelliset ja toiminnalliset edellytykset tehtävän mukaisten tutkintojen ja koulutuksen asianmukaiseen järjestämiseen. Edellytysten arvioinnissa otetaan huomioon toiminnan laatu, vaikuttavuus ja tuloksellisuus. 53 Osaamisen arviointi Koulutuksen järjestäjä laatii osana laadunhallintajärjestelmäänsä suunnitelman osaamisen arvioinnin toteuttamisesta tutkinto- tai koulutuskohtaisesti

11 126 Koulutuksen arviointi ja laadunhallinta Koulutuksen järjestäjän tulee arvioida järjestämiään tutkintoja, koulutusta ja muuta toimintaa sekä niiden laatua ja vaikuttavuutta. Koulutuksen järjestäjä vastaa järjestämiensä tutkintojen, koulutuksen ja muun toiminnan laadusta ja laadunhallinnan jatkuvasta parantamisesta. Koulutuksen järjestäjän on myös säännöllisesti osallistuttava ulkopuoliseen toimintansa ja laadunhallintajärjestelmiensä arviointiin sekä julkistettava järjestämänsä arvioinnin keskeiset tulokset. Laki opetus- ja kulttuuritoimen rahoituksesta, 3 a luku Perus-, suorite-, vaikuttavuus- ja strategiarahoitus

12 Laadunhallinnan arviointi eri muotoja Koulutuksen järjestäjien itsearviointi Kiinteä osa kansallisia arviointeja teemat vaihtelevat Liittyy myös lainsäädännön velvoitteeseen (126 ) tutkinnot, koulutus ja muu toiminta sekä niiden laatu ja vaikuttavuus Laadunhallintajärjestelmän ulkoinen arviointi Perustuu kansalliseen laatustrategiaan ja Karvin arviointisuunnitelmaan Lakisääteinen velvoite osallistua (126 ) Toteutettu ensimmäisen kerran vuonna 2015 Kaikki toiminnot kattava Tuottaa tietoa laadunhallinnan tilasta kansallisella tasolla Arviointikäynti Osa kansallisia arviointeja Tavoitteena varmistaa muilla menetelmillä saadun arviointitiedon luotettavuus teemat vaihtelevat

13 Laadunhallinnan arviointi Ulkoinen auditointi Tavoitteena ulkopuolisen näkemyksen tuominen oman toiminnan kehittämiseen tukee itsearviointia Perustuu vapaaehtoisuuteen, järjestäjäkohtainen Pääosin tilauspohjainen Sisäinen auditointi Järjestäjäkohtainen Voi kohdistua esim. tiettyyn toimintoon, prosessiin jne. Tavoitteena usein laadunvarmistaminen ja kehittäminen Vertaisarviointi Järjestäjien sisäistä tai välistä arviointia Tavoitteena toiminnan kehittäminen tai laadun varmistaminen tai -parantaminen Kohdistuu ennalta sovittuun teemaan esim. ops työ Arvioijat usein arvioitavan teeman asiantuntijoita ja ammattilaisia oppilaitoksista

14 Laadunhallintajärjestelmien arviointi Laatukulttuuri ja laadunhallinnan kokonaisuus 2 Strateginen johtaminen ja toiminnan ohjaus 3 Henkilöstö ja muut koulutuksen toimijat 4.1 Perustehtävien laadunhallinta kokonaisuutena 4.2 Oppilaitosmuotoisena ammatillisena peruskoulutuksena järjestettävä koulutus 4.3 Näyttötutkintojen järjestäminen ja niihin valmistava koulutus 4.4 Oppisopimuskoulutus 4.5 Muu koulutus (valmistava ja valmentava, muu ei tutkintotavoitteinen koulutus, työpajatoiminta) 4.6. Maksullinen palvelutoiminta (ml. työvoimapoliittinenkoulutus, täydennyskoulutus) 4.7. Opiskelijoille tarjottavat tukipalvelut 4.8 Ammatillisten erityisoppilaitosten erityisopetuksen kehittämis-, ohjaus- ja tukitehtävät Laadunhallinnan keskimääräinen taso arviointialueittain 5 Arviointi-, palaute ja tulostieto 6 Parantaminen 1=puuttuva, 2=alkava, 3=kehittynyt, 4=edistynyt

15 Vahvuudet Kehittämiskohteet Strateginen johtaminen ja toiminnan ohjaus Prosessin hallinta Henkilöstön osallistaminen Laadunhallinnan integrointi strategiseen johtamiseen Johdon sitoutuminen Parantaminen Seuranta-, arviointi- ja tulostietojen hyödyntäminen Hanke- ja projektitoiminta ja verkostoyhteistyö Toisilta oppimisen käytänteet Erityisopetus Asiakaslähtöisyys Tiedon hyödyntäminen Arviointi-, palaute ja tulostiedot Arviointi, auditointi ja tuloksiin liittyvä viestintä Laatukulttuuri ja laadunhallinta Laadunhallintajärjestelmän dokumentointi, tietojärjestelmät Menettelyiden yhdenmukaistaminen (toimintayksiköt) Eri ryhmien osallisuus laadunhallinnassa Laadunhallinta- ja arviointiosaaminen Perustehtävät ja niitä tukevat toiminnot (mm.) Asiakkaiden tarpeet Tavoitteiden asettaminen Menettelytavat Arviointi-, palaute- ja tulostieto

16 Työelämäyhteistyön toimivuus muiden arviointien valossa Kehittämiskohteet Vahvuudet Yhteistyö tiivistymässä reformin myötä Työelämän rooli korostuu jatkossa Osaamisen hankkimisessa Ohjauksessa Arvioinnissa ja näytöissä Tutkintojen sisällöt työelämälähtöisempiä työelämän työ- ja toimintakokonaisuudet Työelämä saa nopeammin tarvitsemaansa osaamista ja osaajia Työelämäyhteistyön johtaminen kokonaisuutena yhden luukun periaate Johdon ja opetushenkilöstön työelämäosaaminen Viestinnän ja vuoropuhelun lisääminen työelämän suuntaan uudet kanavat ja tavat Suunnitteluyhteistyön lisääminen opettajien ja työpaikkaohjaajien välillä Työpaikkaohjaajien osaamisen ja työpaikkaohjaajakoulutuksen kehittäminen Laadunhallinnan ja varmistuksen kehittäminen erityisesti työpaikalla tapahtuva koulutus Näytöt Palautejärjestelmä

17 Lähteet Karvin arvioinnit ja julkaisut Ammatillisen koulutuksen järjestäjien laadunhallintajärjestelmien tila Räisänen, Frisk, Hietala, Huttunen, Korpi & Koski 2015 Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän arviointi synteesi ammatillisen koulutuksen oppimistulosarviointien keskeisistä tuloksista Kilpeläinen, Jalolahti & Räkköläinen 2018 Ammatillisen koulutuksen osaamisperusteisuus, asiakaslähtöisyys ja toiminnan tehokkuus osaamisperusteisuuden tila Korpi, Hietala, Kiesi & Räkköläinen 2018 Ammatillisen koulutuksen osaamisperusteisuus, asiakaslähtöisyys ja toiminnan tehokkuus politiikkatoimien vaikutusten arviointi (ex ante) Räisänen & Goman 2018 Merenkulkualan koulutuksen arviointi Korpi, Apajalahti & Salmela (toim.)

18 KANSALLINEN OPPIMISTULOSTEN ARVIOINTI AMMATILLISEN KOULUTUKSEN LAADUNVARMISTAJANA

19 Oppimistulosarvioinnin toteuttamisen periaatteet (1/2) Arviointitieto kootaan ammattiosaamisen näytöistä (2007 alkaen) Arviointi perustuu tutkintojen perusteisiin ja ammattiosaamisen näyttöjen tavoitteisiin, laatuvaatimuksiin ja taustamuuttujiin Arviointiasetelma on yhdenmukainen kaikissa ammatillisissa perustutkinnoissa Arviointi kohdistuu kaikkiin arvioitavana olevien tutkintojen koulutuksen järjestäjiin ja opiskelijoihin Arviointitieto kootaan vuosittain kolmen vuoden ajalta Arvioinnit toteutetaan ja raportoidaan tutkinnoittain 19

20 Oppimistulosarvioinnin toteuttamisen periaatteet (2/2) Koulutuksen järjestäjät saavat arvioinnin päätteeksi palauteraportin omista tuloksista kansalliseen vertailutietoon yhdistettynä. Vuosittain on käynnistynyt 2 4 tutkinnon arvioinnit. Arvioinnin kohteena on tähän mennessä ollut 28 ammatillista perustutkintoa. Arviointi ei ole koskenut näyttötutkintotavoitteita koulutusta. Syksyllä 2015 käynnistettiin viimeiset edellä kuvatun mukaisesti toteutetut oppimistulosarvioinnit. 20

21 Oppimistulosarvioinnin tavoitteena on tuottaa tietoa siitä, miten opiskelijat ovat saavuttaneet tutkinnon perusteissa asetut osaamistavoitteet ja ammattitaitovaatimukset kehittää koulutusta, tukea oppimista ja varmistaa ammatillisen koulutuksen laatua.

22 Arviointikysymykset ammatillisten perustutkintojen oppimistulosarvioinneissa 1. Miten hyvin opiskelijoiden osaaminen vastaa työelämän edellyttämiä ja tutkinnon perusteissa määritettyjä ammattitaitovaatimuksia? 2. Miten koulutuksen järjestäjät hallitsevat ammattiosaamisen näyttöjen järjestämiseen liittyvän prosessin laatua? 3. Miten hyvin ammattiosaamisen näyttöjen sisällöt vastaavat tutkinnon perusteiden ammattitaitovaatimuksia? 4. Miten elinikäisen oppimisen avaintaidot integroituvat ammattiosaamisen näyttöihin, ja miten näitä vaatimuksia koskevaa osaamista arvioidaan niiden osana? 5. Miten ammattiosaamisen näyttöjä tulisi kehittää niiden laadun varmistamiseksi ja oppimistulosten parantamiseksi? 22

23 TUTKINTOJEN PERUSTEET ARVIOINTIKYSYMYKSET OPPIMISTULOSARVIOINNIN ARVIOINTIASETELMA ARVIOINTIAINEISTO OPPIMISTULOSTIETO TÄYDENTÄVÄ ARVIOINTI ARVOSANATIEDOT AMMATTIOSAAMISEN NÄYTÖISTÄ TIEDOT NÄYTTÖJEN TOTEUTTAMISESTA JA ARVIOINNEISTA (oppilaitos/työpaikka, kuka/ketkä arvioivat) KOULUTUKSEN JÄRJESTÄJIEN ITSEARVIOINTI (n = 8) Ammattiosaamisen näyttöprosessien laatu NÄYTTÖSUUNNITELMIEN ANALYSOINTI (n = 8) NÄYTTÖJEN KUVAUSTEN ANALYSOINTI (n = 1 193) ARVIOINTI- RAPORTTI - Kansallinen - Koulutuksen järjestän palaute ARVIOINTIKÄYNNIT (2/tutkinto) I-II vuosi III vuosi Sisältää kehittämisehdotuksia 23

24 Ammattiosaamisen näyttöjen arvosanat (esim. Nuva) Työprosessin hallinta (n = 1 450) Työmenetelmien, -välineiden ja materiaalin hallinta (n = 1 451) Työn perustana olevan tiedon hallinta (n = 1 452) Elinikäisen oppimisen avaintaidot (n = 1 450) Tutkinnon osan näytön arvosana (n = 1 461) % 20 % 40 % 60 % 80 % 100 % Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Sukupuolten välillä ei eroa arvosanoissa Järjestäjien välillä jonkin verran eroja, keskiarvot välillä 2,28-2,86 Erityisopiskelijoilla enemmän tyydyttäviä ja hyviä, vähemmän kiitettäviä (13 % / 46 % / 40 % tutkinnon osan näytön arvosanoista) 24

25 Näyttöympäristöt (esim. Nuva) Näytöistä 89 % työpaikalla, 10 % oppilaitoksessa, erityisopiskelijoilla lähes identtiset luvut Joidenkin koulutuksen järjestäjien ja tutkinnon osien osalta työpaikkanäyttöjen osuus lähes 100 % 25

26 Näyttöpaikkojen jakautuminen prosenttiosuuksina koulutuksen järjestäjän sijainnin mukaan (esim. audiovisuaalisen viestinnän pt) 20 Pohjois-Suomi ja Lappi (n = 319) Länsi- ja Sisä-Suomi (n = 384) Itä-Suomi (n = 332) Lounais-Suomi (n = 108) Etelä-Suomi (n = 862) Työpaikka Oppilaitos Työpaikka ja oppilaitos 26

27 Työpaikkanäyttöjen osuus suoritetuista näytöistä koulutuksen järjestäjittäin (esim. audiovisuaalisen viestinnän pt) Työpaikkanäyttöjen osuus suoritetuista näytöistä N (järjestäjie n määrä) % järjestäjistä % % % 7 33 Alle 15 % 6 29 Yhteensä

28 Näytön arvosanasta päätti (esim. Nuva) 37 % Opettaja ja työelämän edustaja (n = 358) 63 % Opettaja (n = 214) Työelämän edustaja (n = 0) 28

29 Tuloksia tutkintokohtaisista koulutuksen järjestäjien itsearvioinnista Arvioikaa miten hyvin seuraavat asiat ovat toteutuneet kyseisessä tutkinnossa. Valitkaa vaihtoehdoista se, joka parhaiten vastaa käsitystänne asiasta. (1 erittäin huonosti, 5 erittäin hyvin) Vastaajien määrä: 62 a) Osaamisen hankkimiseen soveltuvien työpaikkojen saatavuus b) Osaamisen osoittamiseen (näytöt*) soveltuvien työpaikkojen saatavuus c) Näyttöjen suunnittelu, toteuttaminen ja arviointi yhteistyössä työpaikkojen d) Laaja-alaisen osaamisen arviointi näytöissä (työprosessin hallinta, e) Tavoitelähtöinen ja kriteeriperusteinen osaamisen arviointi? f) Aiemmin hankitun osaamisen tunnistaminen g) Aiemmin hankitun osaamisen tunnustaminen h) Opiskelijoiden yksilöllisten opintopolkujen toteutuminen 3,0 3,3 3,5 3,8 3,9 4,1 4,1 4,

30 Miten paljon olette hyödyntäneet koulutuksessa seuraavia oppimisympäristöjä? (1 erittäin vähän, 5 erittäin paljon) Vastaajien määrä: 62 Oppilaitos (työsalit, harjoitustyömaat, opetusravintolat, -kampaamot jne..) 4,6 5 Työpaikka 3,9 Verkko-oppimisympäristöt 3,3 Virtuaaliset oppimisympäristöt 2,3 Muuta, mitä? 3,

31 Näyttöihin liittyvä suunnittelu (asteikko 0=puuttuva, 4=edistynyt, vastaajien määrä: 62 Osaamisen arviointia koskevan suunnitelman* laadinta eri alojen ja yhteisten tutkinnon osien opettajien kanssa *ent. näyttöjen toteuttamis- ja 2,2 4 Osaamisen arviointia koskevan suunnitelman laadinta yhteistyössä työpaikkojen kanssa 2,4 Opiskelijoiden osallistuminen näyttöjen toteuttamisen ja arvioinnin suunnitteluun 2,6 Näyttöjen suunnittelu osana työpaikalla järjestettävää koulutusta 2,

32 Näyttöihin liittyvän pedagogisen toiminnan johtaminen (asteikko 0=puuttuva, 4=edistynyt) Vastaajien määrä: 62 Resurssien kohdentaminen työpaikalla järjestettävään koulutukseen ja näyttöihin 2,6 6 Opiskelijoiden, opettajien ja työpaikkaohjaajien perehdyttäminen 2,8 Opettajien työelämäosaamisen varmistaminen 2,8 Opettajien ja työpaikkaohjaajien arviointiosaamisen varmistaminen 2,9 Näyttöympäristön tutkinnon perusteiden mukaisen vastaavuuden varmistaminen 3,0 Opiskelijan osaamisen kehittymisen ja näytön arvioinnin periaatteista sopiminen 3,

33 Ammattiosaamisen näyttöjen ja tutkinnon perusteiden ammattitaitovaatimusten vastaavuus (esim. audiovisuaalisen viestinnän pt) Arviointi 1 1,5 = helppo, alittaa ammattitaitovaatimukset 2 2,5 = sopiva, vastaa ammattitaitovaatimuksia 3 = vaikea, ylittää ammattitaitovaatimukset Näyttö työpaikalla Näyttö oppilaitoksessa Näyttö työpaikalla ja oppilaitokse ssa Kaikki analysoidut näyttökuvaukset n % n % n % n % , , , , , , , ,2 1 0,1 1 0,7 2 0,1 Yhteensä

34 Näyttöjen toteuttamis- ja arviointisuunnitelmien arvioinnin tulokset (esim. Nuva pt) Arviointikohde Suunnitelma mahdollistaa näyttöjen työelämälähtöisyyden toteutumisen (näyttöjen toteuttamisen työelämässä) Näyttösuunnitelmille annetut arviot 1 1,5 2 2,5 3 Keskiarvo Keskihajonta n 6 9 2,80 0,25 15 Suunnitelmassa on määritelty kuka / ketkä päättävät näytön arvosanasta Suunnitelmassa on määritelty missä näytöt toteutetaan Suunnitelma vastaa tutkinnon perusteiden ammattitaitovaatimuksia Suunnitelmassa on määritelty kuka / ketkä osallistuvat näytön arviointiin ,70 0, ,70 0, ,67 0, ,63 0,48 15 Suunnitelma on laadittu tutkinnon osittain ,60 0,63 15 Suunnitelmassa on määritelty, miten näytöt toteutetaan (yksi / useampi tutkinnon osa kerralla, osina) ,30 0,70 15 Suunnitelmassa on huomioitu elinikäisen oppimisen avaintaitojen eri osa-alueet ,30 0,73 15 Asteikko: 1 = ei toteudu, 2 = toteutuu kohtalaisesti, 3 = toteutuu hyvin 34

35 ARVIOINTIKÄYNNIT Tavoite syventää näkemystä KO. perustutkinnon ammattiosaamisen näyttöjen toteuttamisesta ja oppimistuloksista koulutuksen järjestäjä saa omaa organisaatiota koskevan palautteen Arviointiryhmä: Karvin asiantuntijoita, alan opettaja ja työelämän edustaja Ohjelma Arviointiryhmän valmistautuminen Haastattelu: opettajat Haastattelu: opiskelijat Haastattelu: järjestäjän/johdon edustajat Lounas Tutustuminen kirjalliseen materiaaliin ja dokumentteihin Haastattelu: ammattiosaamisen näyttöjen toimielin/elimet, mahdolliset jaostot ja neuvottelukunnat Haastattelu: työelämän edustajat/työpaikkaohjaajat Arviointiryhmän valmistautuminen palautekeskusteluun Palautekeskustelu Haastatteluteemat ovat liittyneet mm. työssäoppimisen ja näyttöjen suunnitteluun, toteuttamiseen ja arviointiin, eri osapuolten perehdyttämiseen

36 Oppimistulosarviointien toteuttaminen jatkossa (suunnitelmia) Tietoa tuotetaan nopeammin ja keveämmillä prosesseilla ennakoitavissa olevalla syklillä (varmistetaan yhteys kehittämistyöhön erityisesti tutkinnon perusteiden kehittämiseen) Arviointi laajennetaan koskemaan myös ammatti- ja erikoisammattitutkintoja Oppimistulostietoa tuotetaan näyttöjen lisäksi myös yhteisistä tutkinnon osista ja elinikäisen oppimisen avaintaidoista Työelämän ja opiskelijan roolia vahvistetaan arvioinneissa Digitalisaatiota ja olemassa olevaa tietoa (esim. Koski, ophn opiskelijapalautteet, Vipunen ) hyödynnetään arvioinneissa mahdollisimman paljon Toteutetaan eri teemoja käsitteleviä synteesiarviointeja 36

37 Oppimistulosarviointien keskeisiä tuloksia (synteesi , 17 perustutkintoa) Näyttöjen arvosanoista 48 % kiitettäviä, 45 % hyviä ja 7 % tyydyttäviä Parhaimmat arvosanat opiskelijat saavat elinikäisen oppimisen avaintaidoista ja heikoimmat työn perustana olevan tiedon hallinnasta Arvosanoissa on eroja koulutuksen järjestäjien ja alueiden välillä Yli puolet (53 %) kaikista näytöistä suoritettiin työpaikalla Näyttöpaikoissa on suurta vaihtelua tutkintojen välillä, mutta myös järjestäjien välillä samassa tutkinnossa Työpaikkanäyttöjen osuus vaihteli tutkinnoittain 20 prosentista 99 prosenttiin. 37

38 Oppimistulosarviointien keskeisiä tuloksia (synteesi , 17 perustutkintoa) Näyttöjen arvosanat vaihtelevat paljon sen mukaan, missä näytöt on toteutettu ja kuka/ketkä ovat osallistuneet näytön arviointiin; työpaikalla toteutettujen näyttöjen arvosanat ovat selvästi oppilaitosnäyttöjä korkeammat useissa tutkinnoissa Näyttöjen laatu vaihtelee paljon järjestäjittäin Eri osapuolten perehdytykseen,näyttöjen suunnitteluun ja työpaikkojen laatuun kiinnitettävä jatkossa enemmän huomiota Koulutettujen työpaikkaohjaajien osuus vaihtelee paljon tutkinnoittain ja järjestäjittäin Työpaikkaohjaajien arviointiosaaminen ja opettajien työelämäosaaminen nousevat useissa arvioinneissa keskeisiksi kehittämiskohteiksi 38

39 Näyttöjen arvosanojen keskiarvot arviointikohteittain näyttöpaikan mukaan (n = 17 pt) % %

40 Arviointiasteikko (asteikko 0 = puuttuva, 1-2 = alkava, 3-4 = kehittyvä, 5-6 = edistynyt) Yhteenvetoa koulutuksen järjestäjien näyttötoiminnan laadusta niiden itsensä arvioimana (synteesi 17 pt) Arvioinnin kohteet: 1. Ammattiosaamisen näyttöihin liittyvä suunnittelu 2. Ammattiosaamisen näyttöihin liittyvän pedagogisen toiminnan johtaminen 3. Ammattiosaamisen näyttöjen toimielimen rooli ammattiosaamisen näyttöjen järjestämisessä 4. Ammattiosaamisen näyttöjen toteuttaminen työelämässä 5. Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa 6. Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 7. Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön 8. Opiskelijan ohjaus ja tuki ammattiosaamisen näytössä ja työssäoppimisessa 9. Opiskelijan oppimisen arviointi työssäoppimisessa 10. Opiskelijan osaamisen arviointi ammattiosaamisen näytössä 11. Opiskelijan arvioinnin laadun varmistaminen 12. Ammattiosaamisen näyttöjen seuranta ja arviointi 13. Ammattiosaamisen näyttöjen kehittäminen

41 NÄYTTÖJEN LAATU JA ARVIOINNIN LUOTETTAVUUS NÄYTTÖPERUSTEISESSA OPPIMISTULOSARVIOINNISSA Tutkinnon perusteet Osaamistavoitteet ja ammattitaitovaatimukset Arviointikriteerit Arvioijat Opettaja, muu koulutuksen järjestäjä, työpaikkaohjaaja Arviointiosaaminen (perehdytys/koulutus) Arviointikriteerien tulkinta Osaamisen tulkinta Arvioinnin kokoonpano Osaamisen arvioinnin toteuttamissuunnitelma NÄYTTÖJEN LAATU JA ARVIOINNIN LUOTETTAVUUS Arvioijien perehdytys Näyttöympäristöt ja arvioijat Näyttöympäristö Työpaikka, oppilaitos & muut ympäristöt HOKS Näyttöpaikka, näyttötehtävät, Arvioijat Näyttö Vastaavuus tutkinnon osan ammattitaitovaatimukseen 41

42 Ammatillisen koulutuksen arviointitoimintaa ( ) Oppimistulosten arvioinnit Meta-arviointi ammatillisen koulutuksen oppimistulosten arvioinnista (2017) Nuoriso- ja vapaa-ajanohjauksen pt (2017) Audiovisuaalisen viestinnän pt (3/2018) Prosessiteollisuuden pt (6/2018) Talotekniikan pt (5-8/2018) Liikunnanohjauksen pt (9-10/2018) Matkailualan pt (9-10/2018) Puutarhatalouden pt (9/2018) Tieto- ja tietoliikennetekniikan pt (2/2019) Kauneudenhoitoalan pt (2/2019) Hevostalouden pt (2/2019) Synteesiraportti oppimistulosarviointien keskeisistä tuloksista löytyy

43 Karvin ja työelämätoimikuntien välinen yhteistyö mitä se voisi olla? (pohdintaa ) Viestitään arviointitarpeista ja tuloksista avoimesti Tehdään yhdessä ehdotuksia arvioitavista teemoista ja tutkinnoista Karvi tuottaa ja välittää analysoitua arviointitietoa työelämätoimikunnille Karvi analysoi tuotetun tiedon ja tekee kokonaisarvioinnin eri tutkintojen tilanteesta ja laatii palautteen koulutuksen järjestäjille Suunnitellaan ja toteutetaan yhdessä arviointikäyntejä ja sovitaan niiden sisällöllisestä työnjaosta Työelämätoimikunnat ovat arviointitiedon käyttäjiä, levittäjiä ja tuottajia Tuetaan yhdessä hyvien käytänteiden levittämistä esimerkiksi vertaisarviointien, seminaarien ja työpajojen avulla

44 Ennakkokysymyksiä Kaikkien oppilaitoksen käytössä olevat arviointi- yms. lomakkeet? Mitä on määrätty, mitkä ovat oppilaitoksen päätettävissä? Miten työelämätoimikuntien ja Karvin yhteistyö tutkintojen toimeenpanon seurannasta käytännössä toteutuu? Laadunvalvonta, käytännön työkalut?

45 Kiitos!