UUDET KANSALLISET OPPIMISTULOKSET Sähkö- ja automaatiotekniikka (hiusalan ja maatalousalan vertailuja) Anu Räisänen 22.3.2013 Opetushallitus
ARVIOINTIIN OSALLISTUNEET JÄRJESTÄJÄT JA OPISKELIJAT Arvioinnin ajoitus: syksy 2009 - kevät 2012 Kaikki ammatillista peruskoulutusta tarjoavat sähköalan koulutuksen järjestäjät (n = 44) Kaikki syksyllä 2009 sähköalan koulutuksen aloittaneet opiskelijat (n = 2 094) Ei erityisopiskelijoita
ARVIOINTIAINEISTO Aineisto N Kattavuus (%) Koulutuksen järjestäjät 44 100 Opiskelija 2 094 Ammattiosaamisen näytöt 8 269 Itsearvioinnit 41 93 Näyttösuunnitelmat 35 80 Näytön kuvaukset Arviointikäynnit 3 Hiusala: järjestäjät n = 34, opiskelijat n = 739, näytöt = 4388, näyttösuunnitelmat n = 31 Maatalous: järjestäjät n = 27, opiskelijat n = 785, näytöt = 3786, näyttösuunnitelmat n = 23
Taulukko 1. Ammattiosaamisen näyttöjen määrä ja ajankohta Lukuvuosi N % I lukuvuosi 2009 2010 1 513 18,4 II lukuvuosi 2010 2011 2 444 29,6 III lukuvuosi 2011 2012 4 279 52,0 Yhteensä 8 236 100 Hiusala: 3,6 % ensimmäisenä ja 62 % kolmantena lukuvuonna Maatalous: 16,2 % ensimmäisenä ja 47,8 % kolmantena lukuvuonna
OPISKELIJOIDEN SUORITTAMIEN NÄYTTÖJEN MÄÄRÄ Suoritettujen näyttöjen määrä Opiskelijalla keskimäärin neljä näyttöä % (opiskelijoista) 1-3 näyttöä 31,0 4-6 näyttöä 61,8 yli 7 näyttöä 7,1 Yhteensä 100 Maatalous: opiskelijalla keskimäärin 5 näyttöä Hiusala: opiskelijalla keskimäärin 7 näyttöä
NÄYTTÖJEN MÄÄRÄ TUTKINNON OSITTAIN Tutkinnon osa Laajuus (ov) n % Sähkö- ja automaatiotekniikan perusosaaminen 30 2 196 26,6 Sähkö- ja automaatioasennukset 20 1 877 22,7 Sähkö- ja energiatekniikka 20 1 383 16,7 Paikallisesti tarjottavat tutkinnon osat 0-20 ov 1 192 14,4 Kiinteistöjen automaatio- ja tietojärjestelmät 20 691 8,4 Kappaletavara-automaatio 20 579 7 Prosessiautomaatio 20 237 2,9 Sähköverkostoasennukset (1-20 kv) 20 79 1 Kaikille valinnaiset tutkinnon osat 15 0,2 Vapaasti valittavat tutkinnon osat 10 11 0,1 Tutkinnon osat ammatillisista perustutkinnoista 0-20 9 0,1 Yhteensä 8 269 100
NÄYTTÖJEN ARVOSANAJAKAUMAT ARVIOINTIKOHTEITTAIN (KAIKKI) Yleisin arvosana (H2) Arvosanat: 50 % hyviä, 41 % kiitettäviä ja 8 % tyydyttäviä Parhaimmat: elinikäisen oppimisen avaintaidot, Heikoimmat: työn perustana olevan tiedon hallinta
MAATALOUSALA: - 47 % kiitettäviä, 46 % hyvä, 7 % tyydyttävä - eniten kiitettäviä elinikäisen oppimisen avaintaidoissa ja eniten tyydyttäviä työn perustana olevan tiedon hallinnassa HIUSALA: - 50 % kiitettäviä, 45 % hyviä, 5 % tyydyttäviä - eniten kiitettäviä elinikäisen oppimisen avaintaidoissa ja eniten hyviä (48 %) työn perustana olevan tiedon hallinnassa
AMMATTISAAMISEN NÄYTTÖJEN ARVOSANOJEN TUNNUSLUKUJA ARVIOINTIKOHTEITTAIN Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta n 7 533 7 543 7 571 7 438 8 269 Keskiarvo 2,30 2,34 2,22 2,39 2,32 Moodi 2 2 2 2 2 Keskihajonta 0,64 0,63 0,65 0,61 0,63 Puuttuvia tietoja 736 726 698 831 0 Maatalousala: keskiarvo: 2,39, puuttuvia 85 107 Hiusala: keskiarvo: 2,45 puuttuvia 160 311
Arvosanojen keskiarvo KOULUTUKSEN JÄRJESTÄJÄT (N = 44) NÄYTÖN ARVOSANOJEN KESKIARVON MUKAAN = Koulutuksen järjestäjä Heikoin yksittäisen järjestäjän keskiarvo oli 1,98 ja paras 2,71 Maatalous: 1,77-2,61, Hiusala: 1,88 2,69
ARVOSANAT SUKUPUOLEN MUKAAN Maatalous: miehet paremmin työmenetelmät ja välineet ja naiset työprosessit ja elinikäisen oppimisen avaintaidot Hiusala: naiset selkeästi paremmat kaikilla osaamisalueilla
ARVOSANAT OPETUSKIELEN MUKAAN Maatalous ja hiusala: arvosanat suomenkielisissä yksiköissä selvästi ruotsinkielisiä yksiköitä paremmat
ARVOSANAT JÄRJESTÄJÄN SIJAINNIN MUKAAN Lapin alue: arvosanat keskimäärin muita parempia lähes kaikilla osaamisalueilla Itä-Suomi ja Oulun alue: muita heikommat arvosanat kaikilla osaamisalueilla Maatalous: Lapin alue heikoin Hiusala: Oulun alue ja Etelä-Suomi heikoin
AMMATTIOSAAMISEN NÄYTÖN SUORITUSPAIKKA Näyttöpaikka n % Työpaikka 2 883 36,6 Oppilaitos 5 002 63,4 Yhteensä 7 885 100,0 33 % näytöistä suoritettiin työssäoppimisen aikana Maatalous: 48 % työpaikalla ja 51,8 % oppilaitoksessa (47 % TOP) Hiusala: 51 % työpaikalla ja 49 % oppilaitoksessa (56 % TOP)
NÄYTTÖPAIKAT (%) JÄRJESTÄJÄN SIJAINNIN MUKAAN Maatalous: Lapin alue: 76 % oppilaitoksessa Hiusala: Oulun alue: 80 % oppilaitoksessa
ARVIOINTIKESKUSTELUUN OSALLISTUNEET Arvioijat Maatalous: 32 % opettaja ja opiskelija ja 56 % opiskelija, opettaja ja työelämän edustaja Hiusala: 26 % opettaja ja opiskelija ja 61 % opettaja, opiskelija ja työelämän edustaja
NÄYTÖN ARVOSANASTA PÄÄTTÄNEET Arvonasta päätti n % Opettaja 5998 79,2 Työelämän edustaja 253 3,3 Opettaja ja työelämän edustaja 1325 17,5 Yhteensä 7576 100,0 Maatalous: opettaja 58,4 % ja opettaja ja työelämän edustaja 37,4 % Hiusala: opettaja 53 % ja opettaja ja työelämän edustaja 44 %
NÄYTTÖJEN ARVOSANAT KOHTEITTAIN ERI OSAPUOLTEN ARVIOIMANA Hiusala: heikoin kun opettaja ja työelämän edustaja arvioi yhdessä
Pistemäärä NÄYTTÖIHIN LIITTYVIEN PEDAGOGISTEN KÄYTÄNTEIDEN LAATUTASO (KESKIARVO) JÄRJESTÄJIEN ITSEARVIOIMANA 1 = Ammattiosaamisen näyttöjen toteuttaminen työelämässä 2 = Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa 3 = Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 4 = Ammattitaitoa täydentävien tutkinnon osien integrointi ammattiosaamisen näyttöön 5 = Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön 6 = Opiskelijan ohjaus ja tuki näytössä ja työssäoppimisessa 7 = Opiskelijan oppimisen arviointi työssäoppimisessa 8 = Opiskelijan osaamisen arviointi näytössä 9 = Opiskelija-arvioinnin laadun varmistaminen
Pistemäärä AMMATTIOSAAMISEN NÄYTTÖJEN SUUNNITTELU, SEURANTA JA KEHITTÄMINEN JÄRJESTÄJIEN ITSEARVIOIMANA Asteikko 0-6: 0=ei aloitettuja toimenpiteitä, 1-2=alkava, suunnitteluvaiheessa, satunnaisia toimenpiteitä, 3-4=kehittyvä, toiminta muotoutumassa järjestelmälliseksi, 5-6=edistynyt, toiminta vakiintunutta, hyvin järjestelmällistä ja laaja-alaista.
PEDAGOGISTA TOIMINTAA KUVAAVAT TUNNUSLUVUT Päätoimisten ammattiopettajien täydennyskoulutuspäivät viiden vuoden aikana keskimäärin Koulutettujen työpaikkaohjaajien osuus Tavoitteiden mukaisten työssäoppimispaikkojen saatavuus (asteikko 1-5) Tavoitteiden mukaisten näyttöpaikkojen saatavuus (asteikko 1-5) Näyttöjen suunnittelu, toteuttaminen ja arviointi yhteistyössä työpaikkojenkanssa (asteikko 1-5) Laaja-alaisen osaamisen arviointi näytöissä (asteikko 1-5) Tavoitelähtöinen ja kriteeriperusteinen arviointi (asteikko 1-5) Toiminto n Ka Mediaani Moodi Hajonta Minimi Maksimi Lähiopetuksen viikkotuntimäärä keskimäärin Työssäoppimisen määrä opintoviikkoina Opettajien viikkotuntimäärä työssäoppimisen ja ammattiosaamisen näyttöjen ohjaukseen keskimäärin Ammattiopettajien pedagoginen pätevyys (%) Ammattiopettajien osallistuminen työelämäjaksoille (%) 40 30,0 30 30 1,3 28 32 41 21,7 20 20 2,4 20 30 39 2,6 3 3 1,0 1 4 41 82,7 85 100 17,3 25 100 41 18,5 20 0 19,1 0 76 39 17,7 10 10,0 19,7 2 94,5 40 24,2 15 0 23,6 0 100 41 3,8 4 4 0,7 2 5 41 3,2 3 3 0,9 1 5 41 3,4 3,6 4 0,8 1 4 41 3,1 3 3 0,8 1 5 41 3,5 3 3 0,5 3 5
PEDAGOGISEN TOIMINNAN YHTEYS ARVOSANOIHIN Järjestäjät arvosanojen mukaan neljään ryhmään (neljännekset) Pedagogista toimintaa kuvaavilla tekijöillä ei ole yhteyttä arvosanoihin Ryhmien välillä ei tuloksia selittävää yhtenäistä tekijää tai tekijöitä Lähiopetuksen ja työssäoppimisen määrä kaikissa ryhmissä lähes sama Pedagogisesti päteviä opettajia ja koulutettuja työpaikkaohjaajia eniten keskitasoisissa ryhmissä Opettajien osallistuminen työelämäjaksoille yhtä yleistä heikoimmissa ja keskitasoisissa yksiköissä, vähäisintä parhaimmassa neljänneksessä Koulutettuja työpaikkaohjaajia oli eniten keskitasoisilla järjestäjillä.
NÄYTTÖSUUNNITELMAT
NÄYTTÖJEN SISÄLLÖN SUHDE OSAAMISVAATIMUKSIIN Suurin osa ammattiosaamisen näytöistä on liian helppoja (kapea-alaisia) verrattuna tutkinnon osan ammattitaitovaatimuksiin. Arviointi n % 1-1,5 = helppo: alittaa ammattitaitovaatimukset 2-2,5 = vastaa ammattitaitovaatimuksia 4 434 95,2 139 3,0 3 = ylittää ammattitaitovaatimukset 87 1,9 Yhteensä 4 660 100,0 Maatalous: 69,8 % vastaa vaatimuksia, 30 % (n = 1100) alittaa vaatimukset Hiusala: 49,1 % vastaa vaatimuksia, 50,9 % (2058) alittaa vaatimukset
NÄYTTÖSUUNNITELMAT JA NÄYTTÖJEN SISÄLTÖ NÄYTTÖSUUNNITELMISSA PARHAITEN: Mahdollistaa työelämälähtöisyyden Suunnitelma laadittu tutkinnon osittain NÄYTTÖSUUNNITELMASSA HEIKOITEN: Ammattitaitoa täydentävien tutkinnon osien integrointi Näyttösuunnitelman laadinta työelämän kanssa yhdessä Hiusala: parhaiten: suunnitelma laadittu tutkinnon osittain heikoiten: ammattitaitoa täydentävien tutkinnon osien integrointi Maatalous: parhaiten: näyttösuunnitelma vastaa tutkinnon perusteita heikoiten: ammattitaitoa täydentävien tutkinnon osien integrointi
Arviointikohde 1 1,5 2 2,5 3 Ka. Keskihajonta n Koulutuksen järjestäjä on laatinut 2 2 17 2 12 2,29 0,60 35 ammattiosaamisen näyttöjen toteuttamis- ja arviointisuunnitelman ja hyväksyttänyt sen toimielimellä Näyttösuunnitelma on laadittu 3 4 1 27 2,70 0,62 35 tutkinnon osittain Näyttösuunnitelmassa on 7 1 27 2,59 0,81 35 määritelty tutkinnon osittain kuka/ketkä näytön arvioivat Näyttösuunnitelmassa on 2 15 2 16 2,43 0,60 35 määritelty tutkinnon osittain missä näytöt toteutetaan Näyttösuunnitelmassa on määritelty, miten näytöt annetaan (yksi/useampi tutkinnon osa kerralla, osina) 8 3 11 1 12 2,09 0,78 35 Näyttösuunnitelmassa on määritelty, mikä painoarvo näytöllä on ko.tutkinnon osan arvioinnissa Näyttösuunnitelma vastaa tutkinnon perusteita Näyttösuunnitelmassa on huomioitu elinikäisen oppimisen avaintaitojen eri osa-alueet Näyttösuunnitelmassa on huomioitu ammattitaitoa täydentävät tutkinnon osat Näyttösuunnitelma on laadittu yhteistyössä työelämän kanssa Näyttösuunnitelma mahdollistaa näyttöjen työelämälähtöisyyden toteutumisen 25 6 4 1,40 0,69 35 2 6 6 21 2,63 0,56 35 11 2 5 1 16 2,13 0,89 31 1 2 1 1,13 0,41 35 29 2 4 1,29 0,67 35 1 1 4 3 26 2,74 0,51 35
ALUSTAVIA JOHTOPÄÄTÖKSIÄ Työelämälähtöisyys ei toteudu kauttaaltaan tavoitteiden mukaisesti (oppilaitosnäyttöjä 64,4 % (sähkö) 49 % (hius) ja 51,8 % (maatalous)) Arvosanat hyviä Arvosanat riippuvaisia arvioijasta ja näyttöpaikasta Arvosanat paranevat hieman opintojen edetessä Erot eivät suuria taustamuuttujittain: tulosten tasaisuus Prosessimuuttujilla ja resursseilla ei yhteyttä tuloksiin Arvosana-asteikko ei erottele opiskelijoita Näyttösuunnitelmat eivät varmista näyttöjen laatua Näyttöjen sisällöt eivät vastaa ammattitaitovaatimuksia Elinikäisen oppimisen avaintaitojen integrointia näyttöihin ei ole sisäistetty: erot tutkinnon perusteissa Arvioinnin luotettavuuden riskit ovat suuret
KRIITTISET TEKIJÄT ARVIOINTITULOSTEN VALOSSA Työelämälähtöisyyden toteutumattomuus Ammatti-identiteetin kehityksen huomioon ottaminen Ammattiosaamisen näytöt ei riitä oppimistulostiedoksi Yksittäiset opiskelijat hukkuvat ryhmään Opiskelijoiden taustan huomioon ottaminen arvioinnissa Pedagogisten käytäntöjen ja arvosanojen väliset yhteydet Oppimistulosten ja yleinen retoriikan ristiriita Tietoperustan vähenevä merkitys Vertailu muihin järjestäjiin vertailukelpoisuus
ARVIOINNIN LUOTETTAVUUDEN JA LUOTTAMUKSEN LISÄÄMINEN ARVIOIJIEN KOULUTUS KRITEERIPERUSTEISEN ARVIOINNIN SELKEYTTÄMINEN JA ARVIOIJIEN YHTEISEN KÄSITYKSEN SELKEYTTÄMINEN TOTEUTTAMALLA NÄYTÖT TYÖPAIKOILLA NÄYTTÖPROSESSIN JA -YMPÄRISTÖN LAADUNVARMENNUS VERTAILUTIETOA JA TAUSTATIETOA OPPIMISTULOSTEN TULKINNAN TUEKSI