MILLAISTA TIETOA ARVIOINTIJÄRJESTELMÄ TUOTTAA? RAKENNUS- JA METSÄALAN PETUSTUTKINTOJEN OPPIMISTULOKSET 12.11.2012, OPH
NÄYTÖISTÄ KOOTUT TIEDOT 1. Koulutuksen järjestäjän nimi, oppilaitoksen/toimintayksikön nimi ja nro (Tilastokeskus) 2. Opiskelijan suku- ja kaikki etunimet 3. Opiskelijan henkilökohtainen tunniste (opiskelijahallintojärjestelmissä käytetty ID) 4. Opintojen aloituspäivä tässä oppilaitoksessa (pp.kk.vvvv) 5. Opintojen aloituspäivä tässä tutkinnossa (pp.kk.vvvv) 6. Opiskelijan sukupuoli (1 = mies, 2= nainen) 7. Perustutkinto (Tilastokeskuksen käyttämä numerointi) 8. Tutkinnon osa: käytetään Opetushallituksen opintoluokitusta. 9. Ammattiosaamisen näytön arvosanat arviointikohteittain 10. Tutkinnon osan ammattiosaamisen näytön arvosana (1 3) 11. Tutkinnon osan näytön arvosanasta päättämisen ajankohta (pp.kk.vvvv) 12. Suoritettiinko näyttö työssäoppimisjakson yhteydessä: kyllä = 1, ei = 2. 13. Ammattiosaamisen näyttöpaikka: 1 = työpaikka, 2 = oppilaitos 14. Organisaation/yrityksen/oppilaitoksen nimi/nimet, jossa /joissa ammattiosaamisen näyttö on toteutettu. 15. Lyhyt kuvaus opiskelijan suorittamasta ammattiosaamisen näytöstä. Teksti vastaa näyttötodistuksen kuvausta. 16. Arviointikeskusteluun osallistuivat: 1 = opiskelija ja opettaja, 2 = opiskelija ja työelämän edustaja 3 = opiskelija, opettaja ja työelämän edustaja, 4 = opettaja ja työelämän edustaja, 5 = arviointikeskustelua ei pidetty. 17. Ammattiosaamisen näytön arvosanasta päätti: 1 = opettaja, 2 = työelämän edustaja, 3 = opettaja ja työelämän edustaja. 18. Lomakkeen täyttäjän suku- ja etunimi 19. Tietojen täyttämisen päivämäärä PIRJO VÄYRYNEN
EDELLISTEN LISÄKSI VAIN ERITYISOPISKELIJOIDEN NÄYTÖISTÄ TOIMITETUT TIEDOT Tiedot siitä, opiskeleeko opiskelija 1=erityisoppilaitoksessa 2=erityisopiskelijoiden ryhmässä ammatillisessa oppilaitoksessa vai 3=tavallisessa opiskelijaryhmässä ammatillisessa oppilaitoksessa Tiedot siitä, käytettiinkö ammattiosaamisen näytön arvioinnissa mukautettuja tavoitteita 1=kyllä, 2=ei Miten näytön tavoitteita mukautettiin? Ammattiosaamisen näytön arvosana annetaan 1=numeerisena, 2=numeerisena ja sanallisena, 3=ainoastaan sanallisena Mitä tukitoimia on järjestetty eritysopiskelijan näytön toteuttamiseksi? Erityisopetuksen syy (vaihtoehdot perustuvat Tilastokeskuksen käyttämään luokitukseen)
ARVIOITAVA OSAAMINEN AMMATTIOSAAMISEN NÄYTÖISSÄ Näytöt suunnitellaan ja arvioidaan voimassa olevien tutkinnon perusteiden pohjalta Elokuusta 2009 voimaan tulleiden metsäalan ja rakennusalan perustutkinnon perusteissa arviointi kohdistuu: 1. työprosessin 2. työmenetelmien, välineiden ja materiaalin 3. työn perustana olevan tiedon ja 4. elinikäisen oppimisen avaintaitojen hallintaan PIRJO VÄYRYNEN
ELINIKÄISEN OPPIMISEN AVAINTAITOJA oppiminen ja ongelmanratkaisu *) vuorovaikutus- ja yhteistyö *) ammattietiikka *) terveys, turvallisuus ja toimintakyky *) aloitekyky ja yrittäjyys kestävä kehitys estetiikka viestintä- ja mediaosaaminen matematiikka ja luonnontieteet teknologia ja tietotekniikka aktiivinen kansalaisuus ja eri kulttuurit *) erikseen arvioinnin kohteena arvioitavat avaintaidot PIRJO VÄYRYNEN
METSÄALAN PERUSTUTKINNON OPPIMISTULOKSET 2008 2011 Kaikki järjestäjät (n = 18) Kaikki syksyllä 2008 koulutuksen aloittaneet opiskelijat (n = 431, 72 % aloittaneista 600 opiskelijasta) Arvioinnin kohteena 1700 näyttöä Näyttöjen suorittaminen ajoittuu opintojen loppuvaiheeseen: yli 60 % kolmantena lukuvuonna Opiskelijoilla keskimäärin neljä näyttöä Arvosanat: 35 % kiitettäviä, 53 % hyviä ja 11 tyydyttäviä
METSÄALAN PT; TUNNUSLUKUJA Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaitojen hallinta Tutkinnon osan näytön arvosana Työprosessin hallinta N 1 672 1 672 1 672 1 668 1 700 Keskiarvo 2,18 2,21 2,13 2,34 2,24 Mediaani 2,00 2,00 2,00 2,00 2,00 Moodi 2 2 2 2 2 Keskihajonta,666,661,667,627,640 Puuttuvia tietoja 28 28 28 32 0
METSÄALAN PT; TÄYDENTÄVÄT AINEISTOT Koulutuksen järjestäjät tekivät näyttöihin liittyvästä toiminnastaan itsearvioinnin, jossa kartoitettiin resursseja, ohjaajien koulutusta sekä näyttöjen järjestämisprosessin ja oppimistulosten laatua. Lisäksi ulkopuoliset asiantuntijat (kokeneita alan opettajia) analysoivat näyttösuunnitelmat (n = 17) sekä näyttöjen kuvaukset (n = 1 666). Arviointiryhmä teki kolme arviointikäyntiä oppimistulosten mukaan valittuihin kohteisiin.
METSÄALAN PT; NÄYTÖN KUVAUSTEN ANALYSOINTI Näytön kuvaukset (1 666 näytön kuvausta) analysoitiin kahden alan asiantuntijan toimesta Analysoinnin tavoitteena oli selvittää, missä määrin yksittäinen näyttö kattaa tutkinnon perusteiden ammattitaitovaatimukset ja tavoitteet Arviointia varten laadittiin kolmiportainen kriteeristö seuraavasti: 1=helppo suhteessa tutkinnon perusteiden ammattitaitovaatimuksiin (alle ammattitaitovaatimusten), 2=sopiva, vastaa tutkinnon perusteiden ammattitaitovaatimuksia, 3=vaikea suhteessa tutkinnon perusteiden ammattitaitovaatimuksiin (yli ammattitaitovaatimusten). TULOKSET: helppo 29 %, sopiva 70 % ja vaikea 1 %
METSÄALAN PT; JÄRJESTÄJÄT TUTKINNON OSIEN ARVOSANOJEN KESKIARVON MUKAAN Arvosana Heikoin keskiarvo oli 1,83 ja paras 2,66. Koulutuksen järjestäjä
METSÄALAN PT; AMMATTIOSAAMISEN NÄYTTÖJEN ARVIOINTIKÄYTÄNNÖT 79 % näytöistä oppilaitoksissa, 21 % työssäoppimisen yhteydessä 65 % näytöistä työpaikkaohjaaja ei ole arvioinut näyttöä 35 % opettajat, työpaikkaohjaaja ja opiskelija arvioivat yhdessä Opettajat päättävät 80 % näyttöjen arvosanoista, 19 % opettaja ja työelämän edustaja yhdessä 1. Näyttöjen toteuttamis- ja arviointikäytäntöjen ja arvosanojen välinen yhteys selvä Arvosanat parhaimmat kun arvioijina ovat opettaja, työpaikkaohjaaja ja opiskelija ja heikoimmat silloin kun arviointikeskustelua ei ole pidetty Oppilaitosnäyttöjä eniten Oulun ja Itä-Suomen alueilla
RAKENNUSALAN PT; OPPIMISTULOSTEN ARVIOINTI 2008 2011 Arviointi käynnistyi 8/2008 ja päättyi 5/2011 Mukana kaikki vuonna 2008 rakennusalan perustutkintoa ammatillisena peruskoulutuksena tarjoavat koulutuksen järjestäjät (n = 48 / N = 49) Mukana kaikki opiskelijat, jotka aloittivat opinnot syksyllä 2008 (n = 2 286 / N = 2 725) Oppimistulostietoa koottiin kaikista opiskelijan suorittamista ammattiosaamisen näytöistä kolmen lukuvuoden ajalta, yhteensä 11 092 näytöstä
RAKENNUSALAN PT; näyttöjen määrät eri lukuvuosina Näyttöjen suorittaminen ajoittuu opintojen loppuvaiheeseen Lukuvuosi Taulukko 2. Näyttöjen määrä lukuvuoden mukaan F % I. Lukuvuosi 2008 2009 1 302 11,8 II. Lukuvuosi 2009 2010 3 450 31,2 III. Lukuvuosi 2010 2011 6 320 57,1
RAKENNUSALAN PT; OPPIMISTULOKSIA Opiskelijat suorittivat keskimäärin viisi näyttöä Näyttöjen määrät vaihtelevat melko paljon opiskelijoiden välillä Näyttöjen arvosanat ovat keskimäärin hyviä: 59 % on hyviä, 33% kiitettäviä ja 8 % tyydyttäviä Opiskelijat saivat parhaimmat arvosanat työmenetelmien, -välineiden ja materiaalin hallinnasta ja heikoimmat arvosanat työn perustana olevan tiedon hallinnasta. Opiskelijoiden osaaminen parani opiskelun edetessä.
RAKENNUSALAN PT; TUNNUSLUKUJA Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaitojen hallinta Tutkinnon osan näytön arvosana f 10 538 10 538 10 500 10 489 11 072 Keskiarvo 2,20 2,28 2,13 2,24 2,25 Mediaani 2,00 2,00 2,00 2,00 2,00 Moodi 2 2 2 2 2 Keskihajonta,613,596,613,593,586 Puuttuvia tietoja 554 554 592 603 20
Näyttöjen (N = 397) arvosanojen jakaumat arviointikohteittain rakennusalan pt:ssa, erityisopetusta saaneet opiskelijat Tyydyttävä (T1) Hyvä (H2) Kiitettävä (K3) Tutkinnon osan näytön arvosana (f = 396) 27 61 12 Elinikäisen oppimisen avaintaidot (f = 367) 25 60 15 Työn perustana olevan tiedon hallinta (f = 356) 35 56 9 Työmenetelmien, -välineiden ja materiaalin hallinta (f = 373) 25 57 18 Työprosessien hallinta (f = 363) 28 61 11 0 10 20 30 40 50 60 70 80 90 100 % PIRJO VÄYRYNEN
RAKENNUSALAN PT; NÄYTTÖJEN TOTEUTTAMINEN Suurin osa näytöistä on ns. oppilaitosnäyttöjä (58 %). Yli puolet (53 %) näytöistä arvioitiin yhdessä opiskelijan ja opettajan kanssa ja 42 % yhdessä opettajan, opiskelijan ja työelämän edustajan kanssa. Näyttöjen toteuttamis- ja arviointikäytännöillä on selvä yhteys opiskelijan saamiin arvosanoihin: opiskelija saa parhaimmat arvosanat näytöstä silloin, kun arviointiin osallistuu työelämän edustaja. Heikoimmat arvosanat opiskelija saa puolestaan silloin, kun näyttö arvioidaan ilman opiskelijaa tai arvosanasta päättää opettaja yksin.
RAKENNUSALAN PT; TÄYDENTÄVÄT AINEISTOT Koulutuksen järjestäjät (n = 47) tekivät näyttöihin liittyvästä toiminnastaan itsearvioinnin, jossa kartoitettiin resursseja, ohjaajien koulutusta sekä näyttöjen järjestämisprosessin ja oppimistulosten laatua. Lisäksi ulkopuoliset asiantuntijat (kokeneita alan opettajia) analysoivat näyttösuunnitelmat (n = 40) sekä näyttöjen kuvaukset (n = 10 920). Arviointiryhmä teki neljä arviointikäyntiä oppimistulosten mukaan valittuihin kohteisiin.
RAKENNUSALAN PT; NÄYTÖN KUVAUSTEN ANALYSOINTI Näytön kuvaukset (10 920 näytön kuvausta) analysoitiin kahden alan asiantuntijan toimesta Analysoinnin tavoitteena oli selvittää, missä määrin yksittäinen näyttö kattaa tutkinnon perusteiden ammattitaitovaatimukset ja tavoitteet Arviointia varten laadittiin kolmiportainen kriteeristö seuraavasti: 1=helppo suhteessa tutkinnon perusteiden ammattitaitovaatimuksiin (alle ammattitaitovaatimusten), 2=sopiva, vastaa tutkinnon perusteiden ammattitaitovaatimuksia, 3=vaikea suhteessa tutkinnon perusteiden ammattitaitovaatimuksiin (yli ammattitaitovaatimusten). TULOKSET: helppo 22 %, sopiva 78 % ja vaikea 0 %
RAKENNUSALAN PT; Koulutuksen järjestäjät (n = 47) tutkinnon osan näytön arvosanojen keskiarvon mukaan Arvosana Koulutuksen järjestäjä Kansallinen keskiarvo 2,25