OPPIMISTULOSTEN ARVIOINTI MILLAISTA TIETOA ARVIOINTIJÄRJESTELMÄ TUOTTAA OPPIMISTULOKSIA

Transkriptio

1 OPPIMISTULOSTEN ARVIOINTI MILLAISTA TIETOA ARVIOINTIJÄRJESTELMÄ TUOTTAA OPPIMISTULOKSIA Sähkö- ja automaatiotekniikan perustutkinto (hiusalan ja maatalousalan vertailut) Anu Räisänen Helsinki 2013

2 ARVIOINTIASETELMA Hiusala: järjestäjät n = 34, opiskelijat n = 739, näytöt = 4388, näyttösuunnitelmat n = 31 Maatalous: järjestäjät n = 27, opiskelijat n = 785, näytöt = 3786, näyttösuunnitelmat n = 23

3 Taulukko 1. Ammattiosaamisen näyttöjen määrä ja ajankohta Lukuvuosi n % I lukuvuosi ,4 II lukuvuosi ,6 III lukuvuosi ,0 Yhteensä ,0 Hiusala: 3,9 % ensimmäisenä ja 62 % kolmantena lukuvuonna Maatalous: 16 % ensimmäisenä ja 48 % kolmantena lukuvuonna

4 OPISKELIJOIDEN SUORITTAMIEN NÄYTTÖJEN MÄÄRÄ Opiskelijalla keskimäärin neljä näyttöä Suoritettujen näyttöjen määrä % (opiskelijoista) 1-3 näyttöä 31,0 4-6 näyttöä 61,8 yli 7 näyttöä 7,1 Yhteensä 100,0 Maatalous: opiskelijalla keskimäärin 5 näyttöä Hiusala: opiskelijalla keskimäärin 7 näyttöä

5 NÄYTTÖJEN MÄÄRÄ TUTKINNON OSITTAIN Tutkinnon osa Laajuus (ov) n % Sähkö- ja automaatiotekniikan perusosaaminen ,6 Sähkö- ja automaatioasennukset ,7 Sähkö- ja energiatekniikka ,7 Paikallisesti tarjottavat tutkinnon osat 0-20 ov ,4 Kiinteistöjen automaatio- ja tietojärjestelmät ,4 Kappaletavara-automaatio Prosessiautomaatio ,9 Sähköverkostoasennukset (1-20 kv) Kaikille valinnaiset tutkinnon osat 15 0,2 Vapaasti valittavat tutkinnon osat ,1 Tutkinnon osat ammatillisista perustutkinnoista ,1 Yhteensä

6 NÄYTTÖJEN ARVOSANAJAKAUMAT ARVIOINTIKOHTEITTAIN (KAIKKI) Yleisin arvosana (H2) Arvosanat: 50 % hyviä, 41 % kiitettäviä ja 9 % tyydyttäviä Parhaimmat: elinikäisen oppimisen avaintaidot, Heikoimmat: työn perustana olevan tiedon hallinta

7 MAATALOUSALA: - 47 % kiitettäviä, 46 % hyvä, 7 % tyydyttävä - eniten kiitettäviä elinikäisen oppimisen avaintaidoissa ja eniten tyydyttäviä työn perustana olevan tiedon hallinnassa HIUSALA: - 50 % kiitettäviä, 45 % hyviä, 5 % tyydyttäviä - eniten kiitettäviä elinikäisen oppimisen avaintaidoissa ja eniten hyviä (48 %) työn perustana olevan tiedon hallinnassa

8 NÄYTTÖJEN ARVOSANOJEN TUNNUSLUVUT ARVIOINTIKOHTEITTAIN Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta n Keskiarvo 2,30 2,34 2,22 2,39 2,32 Moodi Keskihajonta 0,64 0,63 0,65 0,61 0,63 Puuttuvia tietoja Maatalousala: keskiarvo: 2,4, puuttuvia Hiusala: keskiarvo: 2,5 puuttuvia

9 Arvosanojen keskiarvo KOULUTUKSEN JÄRJESTÄJÄT (N = 44) NÄYTÖN ARVOSANOJEN KESKIARVON MUKAAN = Koulutuksen järjestäjä Heikoin yksittäisen järjestäjän keskiarvo oli 1,98 ja paras 2,71 Maatalous: 1,77-2,61, Hiusala: 1,88 2,69

10 ARVOSANAT SUKUPUOLEN MUKAAN Maatalous: miehet paremmin työmenetelmät ja välineet ja naiset työprosessit ja elinikäisen oppimisen avaintaidot Hiusala: naiset selkeästi paremmat kaikilla osaamisalueilla

11 ARVOSANAT OPETUSKIELEN MUKAAN Maatalous ja hiusala: suomenkieliset yksiköt ruotsinkielisiä yksiköitä parempia

12 ARVOSANAT JÄRJESTÄJÄN SIJAINNIN MUKAAN Lapin alue: arvosanat keskimäärin muita parempia lähes kaikilla osaamisalueilla Itä-Suomi ja Oulun alue: muita heikommat arvosanat kaikilla osaamisalueilla Maatalous: Lapin alue heikoin Hiusala: Oulun alue ja Etelä-Suomi heikoin

13 AMMATTIOSAAMISEN NÄYTÖN SUORITUSPAIKKA Näyttöpaikka n % Työpaikka ,6 Oppilaitos ,4 Yhteensä ,0 33 % näytöistä työssäoppimisen aikana Maatalous: 48 % työpaikalla ja 52 % oppilaitoksessa (47 % TOP) Hiusala: 51 % työpaikalla ja 49 % oppilaitoksessa (56 % TOP)

14 NÄYTTÖPAIKAT (%) JÄRJESTÄJÄN SIJAINNIN MUKAAN Maatalous: Lapin alue: 76 % oppilaitoksessa Hiusala: Oulun alue: 80 % oppilaitoksessa

15 ARVIOINTIKESKUSTELUUN OSALLISTUNEET Arvioijat Maatalous: 32 % opettaja ja opiskelija ja 56 % opiskelija, opettaja ja työelämän edustaja Hiusala: 61 % opettaja ja opiskelija ja 26 % opettaja, opiskelija ja työelämän edustaja

16 NÄYTÖN ARVOSANASTA PÄÄTTÄNEET Arvosanasta päätti n % Opettaja ,2 Työelämän edustaja 253 3,3 Opettaja ja työelämän edustaja ,5 Yhteensä ,0 Maatalous: opettaja 58,4 % ja opettaja ja työelämän edustaja 37,4 % Hiusala: opettaja 53 % ja opettaja ja työelämän edustaja 44 %

17 NÄYTTÖJEN ARVOSANAT KOHTEITTAIN ERI OSAPUOLTEN ARVIOIMANA Hiusala: heikoin kun opettaja ja työelämän edustaja arvioi yhdessä Maatalousala: heikoin kun arviointikeskustelua ei ole käyty

18 NÄYTÖN SISÄLLÖN VASTAAVUUS OSAAMISVAATIMUKSIIN Suurin osa näytöistä on liian helppoja (kapea-alaisia) verrattuna tutkinnon osan ammattitaitovaatimuksiin Suhde ammattitaitovaatimuksiin n % Alittaa Vastaa Ylittää 87 1 Ei voi arvioida Yhteensä Maatalous: 70 % (n = 2560) vastaa, 30 % (n = 1100) alittaa Hiusala: 49 % (n = 1988) vastaa vaatimuksia, 51 % (n = 2058) alittaa

19 NÄYTTÖSUUNNITELMAT Suuret laatuerot työelämänäkökulma korostuu Suurimmat ongelmat: Ylimalkaisuus Määriteltävien asioiden kirjavuus Heikko ohjaavuus Toimielimen rooli laadunvarmistajana epäselvä

20 Pistemäärä NÄYTTÖIHIN LIITTYVIEN PEDAGOGISTEN KÄYTÄNTEIDEN LAATUTASO (KESKIARVO) JÄRJESTÄJIEN ITSEARVIOIMANA 1 = Ammattiosaamisen näyttöjen toteuttaminen työelämässä 2 = Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa 3 = Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 4 = Ammattitaitoa täydentävien tutkinnon osien integrointi ammattiosaamisen näyttöön 5 = Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön 6 = Opiskelijan ohjaus ja tuki näytössä ja työssäoppimisessa 7 = Opiskelijan oppimisen arviointi työssäoppimisessa 8 = Opiskelijan osaamisen arviointi näytössä 9 = Opiskelija-arvioinnin laadun varmistaminen

21 PEDAGOGISTA TOIMINTAA KUVAAVAT TUNNUSLUVUT Opiskelijaryhmän koko Lähiopetuksen viikkotuntimäärä Työssäoppimisen määrä Opettajien ohjausresurssit (TOP/näytöt) Ammattiopettajien pedagoginen pätevyys Opettajien osallistuminen työelämäjaksoille Koulutettujen työpaikkaohjaajien osuus Tavoitteiden mukaisten työssäoppimispaikkojen saatavuus Tavoitteiden mukaisten näyttöpaikkojen saatavuus Näyttöjen suunnittelu, toteutus ja arviointi työpaikkojen kanssa Osaamisen arviointi näytöissä Tavoite- ja kriteeriperusteinen arviointi

22 PEDAGOGISEN TOIMINNAN YHTEYS ARVOSANOIHIN (sähkö ja automaatio) Järjestäjät arvosanojen mukaan neljään ryhmään (neljännekset) Pedagogista toimintaa kuvaavilla tekijöillä ei ole yhteyttä arvosanoihin Ryhmien välillä ei tuloksia selittävää yhtenäistä tekijää tai tekijöitä Lähiopetuksen ja työssäoppimisen määrä kaikissa ryhmissä lähes sama Pedagogisesti päteviä opettajia ja koulutettuja työpaikkaohjaajia eniten keskitasoisissa ryhmissä Opettajien osallistuminen työelämäjaksoille yhtä yleistä heikoimmissa ja keskitasoisissa yksiköissä, vähäisintä parhaimmassa neljänneksessä Koulutettuja työpaikkaohjaajia oli eniten keskitasoisilla järjestäjillä.

23 ARVIOIVIA JOHTOPÄÄTÖKSIÄ Ammattiosaamisen näytöt lisänneet työelämälähtöisyyttä mutta ne eivät varmista sitä Arvosanat hyviä: Onko liian hyviä? Arvosana-asteikko ei erottele opiskelijoita Prosessi - ja resurssitekijöiden ja oppimistulosten väliset tilastolliset yhteydet ovat heikot Tarve integroida ammattitaitoa täydentäviä tutkinnon osia ja elinikäisen oppimisen avaintaitoja näyttöihin Toimielimen toiminnassa ja näyttösuunnitelmien laadussa suuret erot

24 LUOTETTAVUUS Arvosanat riippuvaisia arvioijasta ja näyttöpaikasta Prosessimuuttujilla ja resursseilla ei yhteyttä tuloksiin Opiskelijoiden taustan yhteyksiä tuloksiin ei ole voitu arvioida Arvosana-asteikko ei erottele opiskelijoita Palaute-, seuranta- ja arviointikäytäntöjen kehittämisen tarve Osataanko tuloksia hyödyntää: Tietoperustainen johtaminen mitä se on?

25 KEHITTÄMISKOHTEET Koulutuksen järjestäjä Työpaikkaohjaajien ja opettajien arviointiosaaminen Opiskelijoiden tasa-arvoisuuden varmistaminen Näyttöjen laadunvarmistus Opiskelijan arvioinnin käytännöt Täydentävien tutkinnon osien ja elinikäisen oppimisen integrointi Palautetietojen hyödyntäminen Oppimistulosten arviointi itsearvioinnin osaksi Tulosten hyödyntäminen

26 ARVIOINNIN LUOTETTAVUUDEN JA LUOTTAMUKSEN PARANTAMINEN ARVIOIJIEN KOULUTUS KRITEERIPERUSTEISEN ARVIOINNIN JA ARVIOIJIEN YHTEISEN KÄSITYKSEN SELKEYTTÄMINEN NÄYTÖT TYÖPAIKOILLE PROSESSIN JA YMPÄRISTÖN JA NÄYTÖN SISÄLLÖN LAADUNVARMENNUS VERTAILUTIETOA JA TAUSTATIETOA OPPIMISTULOSTEN TULKINNAN TUEKSI