OPPIMISTULOSTEN ARVIOINTI Kuuntele kysy opi Esimerkkinä Sähkö- ja automaatiotekniikka (hiusalan ja maatalousalan vertailut) Laatua laivalla 26.8. 27.8.2013 Anu Räisänen & Pirjo Väyrynen Opetushallitus
ARVIOINTIIN OSALLISTUNEET JÄRJESTÄJÄT JA OPISKELIJAT Arvioinnin ajoitus: 2009-2012 Kaikki koulutuksen järjestäjät Kaikki syksyllä 2009 koulutuksen aloittaneet opiskelijat Ei erityisopiskelijoita
ARVIOINTIAINEISTO Aineisto N Kattavuus (%) Koulutuksen järjestäjät 44 100 Opiskelija 2 094 Ammattiosaamisen näytöt 8 269 Itsearvioinnit 41 93 Näyttösuunnitelmat 35 80 Näytön kuvaukset Arviointikäynnit 3 Hiusala: järjestäjät n = 34, opiskelijat n = 739, näytöt = 4388, näyttösuunnitelmat n = 31 Maatalous: järjestäjät n = 27, opiskelijat n = 785, näytöt = 3786, näyttösuunnitelmat n = 23
Taulukko 1. Ammattiosaamisen näyttöjen määrä ja ajankohta Lukuvuosi N % I lukuvuosi 2009 2010 1 513 18,4 II lukuvuosi 2010 2011 2 444 29,6 III lukuvuosi 2011 2012 4 279 52,0 Yhteensä 8 236 100 Hiusala: 3,9 % ensimmäisenä ja 62 % kolmantena lukuvuonna Maatalous: 16 % ensimmäisenä ja 48 % kolmantena lukuvuonna
OPISKELIJOIDEN SUORITTAMIEN NÄYTTÖJEN MÄÄRÄ Suoritettujen näyttöjen määrä Opiskelijalla keskimäärin neljä näyttöä % (opiskelijoista) 1-3 näyttöä 31,0 4-6 näyttöä 61,8 yli 7 näyttöä 7,1 Yhteensä 100 Maatalous: opiskelijalla keskimäärin 5 näyttöä Hiusala: opiskelijalla keskimäärin 7 näyttöä
NÄYTTÖJEN MÄÄRÄ TUTKINNON OSITTAIN Tutkinnon osa Laajuus (ov) n % Sähkö- ja automaatiotekniikan perusosaaminen 30 2 196 26,6 Sähkö- ja automaatioasennukset 20 1 877 22,7 Sähkö- ja energiatekniikka 20 1 383 16,7 Paikallisesti tarjottavat tutkinnon osat 0-20 ov 1 192 14,4 Kiinteistöjen automaatio- ja tietojärjestelmät 20 691 8,4 Kappaletavara-automaatio 20 579 7 Prosessiautomaatio 20 237 2,9 Sähköverkostoasennukset (1-20 kv) 20 79 1 Kaikille valinnaiset tutkinnon osat 15 0,2 Vapaasti valittavat tutkinnon osat 10 11 0,1 Tutkinnon osat ammatillisista perustutkinnoista 0-20 9 0,1 Yhteensä 8 269 100
NÄYTTÖJEN ARVOSANAJAKAUMAT ARVIOINTIKOHTEITTAIN (KAIKKI) Yleisin arvosana (H2) Arvosanat: 50 % hyviä, 41 % kiitettäviä ja 9 % tyydyttäviä Parhaimmat: elinikäisen oppimisen avaintaidot, Heikoimmat: työn perustana olevan tiedon hallinta
MAATALOUSALA: - 47 % kiitettäviä, 46 % hyvä, 7 % tyydyttävä - eniten kiitettäviä elinikäisen oppimisen avaintaidoissa ja eniten tyydyttäviä työn perustana olevan tiedon hallinnassa HIUSALA: - 50 % kiitettäviä, 45 % hyviä, 5 % tyydyttäviä - eniten kiitettäviä elinikäisen oppimisen avaintaidoissa ja eniten hyviä (48 %) työn perustana olevan tiedon hallinnassa
NÄYTTÖJEN ARVOSANOJEN TUNNUSLUVUT ARVIOINTIKOHTEITTAIN Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta n 7 533 7 543 7 571 7 438 8 269 Keskiarvo 2,30 2,34 2,22 2,39 2,32 Moodi 2 2 2 2 2 Keskihajonta 0,64 0,63 0,65 0,61 0,63 Puuttuvia tietoja 736 726 698 831 0 Maatalousala: keskiarvo: 2,4, puuttuvia 85 107 Hiusala: keskiarvo: 2,5 puuttuvia 160 311
Arvosanojen keskiarvo KOULUTUKSEN JÄRJESTÄJÄT (N = 44) NÄYTÖN ARVOSANOJEN KESKIARVON MUKAAN = Koulutuksen järjestäjä Heikoin yksittäisen järjestäjän keskiarvo oli 1,98 ja paras 2,71 Maatalous: 1,77-2,61, Hiusala: 1,88 2,69
ARVOSANAT SUKUPUOLEN MUKAAN Maatalous: miehet paremmin työmenetelmät ja välineet ja naiset työprosessit ja elinikäisen oppimisen avaintaidot Hiusala: naiset selkeästi paremmat kaikilla osaamisalueilla
ARVOSANAT OPETUSKIELEN MUKAAN Maatalous ja hiusala: suomenkieliset yksiköt ruotsinkielisiä yksiköitä parempia
ARVOSANAT JÄRJESTÄJÄN SIJAINNIN MUKAAN Lapin alue: arvosanat keskimäärin muita parempia lähes kaikilla osaamisalueilla Itä-Suomi ja Oulun alue: muita heikommat arvosanat kaikilla osaamisalueilla Maatalous: Lapin alue heikoin Hiusala: Oulun alue ja Etelä-Suomi heikoin
AMMATTIOSAAMISEN NÄYTÖN SUORITUSPAIKKA Näyttöpaikka n % Työpaikka 2 883 36,6 Oppilaitos 5 002 63,4 Yhteensä 7 885 100,0 33 % näytöistä työssäoppimisen aikana Maatalous: 48 % työpaikalla ja 52 % oppilaitoksessa (47 % TOP) Hiusala: 51 % työpaikalla ja 49 % oppilaitoksessa (56 % TOP)
NÄYTTÖPAIKAT (%) JÄRJESTÄJÄN SIJAINNIN MUKAAN Maatalous: Lapin alue: 76 % oppilaitoksessa Hiusala: Oulun alue: 80 % oppilaitoksessa
ARVIOINTIKESKUSTELUUN OSALLISTUNEET Arvioijat Maatalous: 32 % opettaja ja opiskelija ja 56 % opiskelija, opettaja ja työelämän edustaja Hiusala: 61 % opettaja ja opiskelija ja 26 % opettaja, opiskelija ja työelämän edustaja
NÄYTÖN ARVOSANASTA PÄÄTTÄNEET Arvonasta päätti n % Opettaja 5998 79,2 Työelämän edustaja 253 3,3 Opettaja ja työelämän edustaja 1325 17,5 Yhteensä 7576 100,0 Maatalous: opettaja 58,4 % ja opettaja ja työelämän edustaja 37,4 % Hiusala: opettaja 53 % ja opettaja ja työelämän edustaja 44 %
NÄYTTÖJEN ARVOSANAT KOHTEITTAIN ERI OSAPUOLTEN ARVIOIMANA Hiusala: heikoin kun opettaja ja työelämän edustaja arvioi yhdessä Maatalousala: heikoin kun arviointikeskustelua ei ole käyty
NÄYTÖN SISÄLLÖN VASTAAVUUS OSAAMISVAATIMUKSIIN Suurin osa näytöistä on liian helppoja (kapea-alaisia) verrattuna tutkinnon osan ammattitaitovaatimuksiin Suhde ammattitaitovaatimuksiin n % Alittaa 4434 63 Vastaa 139 2 Ylittää 87 1 Ei voi arvioida 2422 34 Yhteensä 7062 100 Maatalous: 70 % (n = 2560) vastaa, 30 % (n = 1100) alittaa Hiusala: 49 % (n = 1988) vastaa vaatimuksia, 51 % (n = 2058) alittaa
NÄYTTÖSUUNNITELMAT Suuret laatuerot työelämänäkökulma korostuu Suurimmat ongelmat: Ylimalkaisuus Määriteltävien asioiden kirjavuus Heikko ohjaavuus Toimielimen rooli laadunvarmistajana epäselvä
Pistemäärä NÄYTTÖIHIN LIITTYVIEN PEDAGOGISTEN KÄYTÄNTEIDEN LAATUTASO (KESKIARVO) JÄRJESTÄJIEN ITSEARVIOIMANA 1 = Ammattiosaamisen näyttöjen toteuttaminen työelämässä 2 = Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa 3 = Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 4 = Ammattitaitoa täydentävien tutkinnon osien integrointi ammattiosaamisen näyttöön 5 = Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön 6 = Opiskelijan ohjaus ja tuki näytössä ja työssäoppimisessa 7 = Opiskelijan oppimisen arviointi työssäoppimisessa 8 = Opiskelijan osaamisen arviointi näytössä 9 = Opiskelija-arvioinnin laadun varmistaminen
PEDAGOGISTA TOIMINTAA KUVAAVAT TUNNUSLUVUT Opiskelijaryhmän koko Lähiopetuksen viikkotuntimäärä Työssäoppimisen määrä Opettajien ohjausresurssit (TOP/näytöt) Ammattiopettajien pedagoginen pätevyys Opettajien osallistuminen työelämäjaksoille Koulutettujen työpaikkaohjaajien osuus Tavoitteiden mukaisten työssäoppimispaikkojen saatavuus Tavoitteiden mukaisten näyttöpaikkojen saatavuus Näyttöjen suunnittelu, toteutus ja arviointi työpaikkojen kanssa Osaamisen arviointi näytöissä Tavoite- ja kriteeriperusteinen arviointi
PEDAGOGISEN TOIMINNAN YHTEYS ARVOSANOIHIN (sähkö ja automaatio) Järjestäjät arvosanojen mukaan neljään ryhmään (neljännekset) Pedagogista toimintaa kuvaavilla tekijöillä ei ole yhteyttä arvosanoihin Ryhmien välillä ei tuloksia selittävää yhtenäistä tekijää tai tekijöitä Lähiopetuksen ja työssäoppimisen määrä kaikissa ryhmissä lähes sama Pedagogisesti päteviä opettajia ja koulutettuja työpaikkaohjaajia eniten keskitasoisissa ryhmissä Opettajien osallistuminen työelämäjaksoille yhtä yleistä heikoimmissa ja keskitasoisissa yksiköissä, vähäisintä parhaimmassa neljänneksessä Koulutettuja työpaikkaohjaajia oli eniten keskitasoisilla järjestäjillä.
Anu Räisänen 2013
ARVIOIVIA JOHTOPÄÄTÖKSIÄ Ammattiosaamisen näytöt lisänneet työelämälähtöisyyttä mutta ne eivät varmista sitä Arvosanat hyviä: Onko liian hyviä? Arvosana-asteikko ei erottele opiskelijoita Prosessi - ja resurssitekijöiden ja oppimistulosten väliset tilastolliset yhteydet ovat heikot Tarve integroida ammattitaitoa täydentäviä tutkinnon osia ja elinikäisen oppimisen avaintaitoja näyttöihin Toimielimen toiminnassa ja näyttösuunnitelmien laadussa suuret erot
Jtk Arvioinnin luotettavuuden riskit ovat suuret: Arvosanat riippuvaisia arvioijasta ja näyttöpaikasta Prosessimuuttujilla ja resursseilla ei yhteyttä tuloksiin Opiskelijoiden taustan yhteyksiä tuloksiin ei ole voitu arvioida Arvosana-asteikko ei erottele opiskelijoita Palaute-, seuranta- ja arviointikäytäntöjen kehittämisen tarve Osataanko tuloksia hyödyntää: Tietoperustainen johtaminen mitä se on?
KEHITTÄMISKOHTEET Koulutuksen järjestäjä TYÖPAIKKAOHJAAJIEN JA OPETTAJIEN OSAAMISEN VARMISTAMINEN OPISKELIJOIDEN TASA-ARVOISUUDESTA HUOLEHTIMINEN NÄYTTÖJEN LAADUNVARMISTUS OPISKELIJAN ARVIOINNIN KÄYTÄNNÖT TÄYDENTÄVIEN TUTKINNON OSIEN JA ELINIKÄISEN OPPIMISEN INTEGROINTI PALAUTETIETOJEN HYÖDYNTÄMINEN OPPIMISTULOSTEN ARVIOINTI ITSEARVIOINNIN OSAKSI TULOSTEN HYÖDYNTÄMINEN
ARVIOINNIN LUOTETTAVUUDEN JA LUOTTAMUKSEN LISÄÄMINEN ARVIOIJIEN KOULUTUS KRITEERIPERUSTEISEN ARVIOINNIN JA ARVIOIJIEN YHTEISEN KÄSITYKSEN SELKEYTTÄMINEN NÄYTÖT TYÖPAIKOILLE PROSESSIN JA YMPÄRISTÖN LAADUNVARMENNUS VERTAILUTIETOA JA TAUSTATIETOA OPPIMISTULOSTEN TULKINNAN TUEKSI