Webinaari talotekniikan oppimistulosarvioinnin tuloksista 19.9.2018, klo 9.00-10.30 Arviointisuunnittelija Veera Stylman (veera.stylman@karvi.fi) Arviointiasiantuntija Paula Kilpeläinen (paula.kilpelainen@karvi.fi)
WEBINAARI Webinaarin avaus Arviointitulosten esittely Kommenttipuheenvuoro, erikoisasiantuntija Juha-Ville Mäkinen, LVI-Tekniset Urakoitsijat LVI-TU ry Kysymyksiä/keskustelua 21.9.2018 2
Oppimistulosarvioinnin tavoitteena on tuottaa tietoa siitä, miten opiskelijat ovat saavuttaneet tutkinnon perusteissa asetut osaamistavoitteet ja ammattitaitovaatimukset kehittää koulutusta, tukea oppimista ja varmistaa ammatillisen koulutuksen laatua.
Arviointikysymykset 1. Miten hyvin opiskelijoiden osaaminen vastaa työelämän edellyttämiä ja tutkintojen perusteissa määritettyjä ammattitaitovaatimuksia? 4. Miten hyvin näyttöjen sisällöt vastaavat ammattitaito-vaatimuksia? 2. Miten koulutuksen järjestäjät hallitsevat näyttöjen järjestämiseen liittyvän prosessin laatua? 5. Miten elinikäisen oppimisen avaintaidot integroituvat näyttöihin? 3. Miten hyvin näyttösuunnitelmat ohjaavat näyttöjen järjestämisen laatua. Varmistavatko ne laadun? 6. Miten näyttöjä tulisi kehittää niiden laadun varmistamiseksi ja oppimistulosten parantamiseksi? 4
TUTKINTOJEN PERUSTEET ARVIOINTIKYSYMYKSET ARVIOINTIASETELMA ARVIOINTIAINEISTO OPPIMISTULOSTIETO TÄYDENTÄVÄ ARVIOINTI ARVOSANATIEDOT NÄYTÖISTÄ - arvosanat (n = 5 375) - opiskelijat (n = 931) - erityisopiskelijoiden näytöt (n = 668) - koulutuksen järjestäjät (n = 40) KOULUTUKSEN JÄRJESTÄJIEN ITSEARVIOINTI (n = 34) Näyttöprosessien laatu NÄYTTÖJEN TOTEUTTAMIS- JA ARVIOINTISUUNNITELMIEN ANALYSOINTI (n = 35) NÄYTTÖJEN KUVAUSTEN ANALYSOINTI (n = 5 362) ARVIOINTI- RAPORTTI - Kansallinen - Koulutuksen järjestäjän palaute 2017 2014-2017 2018
Näyttöjen arvosanajakaumat (%) talotekniikan perustutkinnossa Työprosessin hallinta (n = 4 897) 16 57 27 Työmenetelmien, -välineiden ja materiaalin hallinta (n = 4 895) 15 55 30 Työn perustana olevan tiedon hallinta (n = 4 897) 20 58 22 Elinikäisen oppimisen avaintaidot (n = 4 896) 12 51 37 Tutkinnon osan näytön arvosana (n = 5 370) 15 55 30 0 % 20 % 40 % 60 % 80 % 100 % Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Kiitettäviä eniten elinikäisen oppimisen avaintaidoissa (ka. 2,25) Tyydyttäviä eniten työn perustana olevan tiedon hallinnassa (ka. 2,02) Yli puolet tutkinnon osan näytön arvosanoista hyviä (ka. 2,15) 6
LVIkorjausrakentaminen Käyttövesi- ja viemärijärjestelmien asentaminen Putkistojen hitsaus Lämmitysjärjestelmie n asentaminen Näyttöjen arvosanajakaumat (%) neljässä yleisimmässä tutkinnon osassa Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana 11 11 9 11 10 9 12 13 12 14 14 12 17 15 20 18 21 22 24 22 44 49 53 54 57 55 45 62 51 59 56 57 63 59 58 59 61 57 57 0% 20% 40% 60% 80% 100% Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Työn perustana olevan tiedon hallinnasta eniten tyydyttäviä ja vähiten kiitettäviä arvosanoja ja elinikäisen oppimisen avaintaidoista selkeästi eniten kiitettäviä. Jokaisessa viidessä yleisimmässä tutkinnon osassa yleisin tutkinnon osan näytön arvosana oli hyvä (2). 57 45 41 38 35 35 32 34 35 29 29 30 30 25 26 21 21 20 20 21 21 7
Näyttöjen arvosanojen keskiarvo koulutuksen järjestäjittäin Ääripäiden välillä eroa lähes yhden arvosanan verran (1,52-2,51). Alimpaan ja ylimpään neljännekseen kuuluvien koulutuksen järjestäjien arvosanojen keskiarvojen ero 0,54 arvosanaa. Vain kahden järjestäjän keskiarvo >2,50. 8
Näyttöjen arvosanojen erot koulutuksen järjestäjien sijainnin mukaan Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana 2,00 2,11 2,06 2,06 2,19 2,07 2,16 2,12 2,10 2,22 1,97 2,04 1,95 2,03 2,05 2,00 2,18 2,26 2,32 2,36 2,04 2,14 2,07 2,14 2,23 1,00 1,50 2,00 2,50 3,00 Tutkinnon osan näytön arvosana Elinikäisen oppimisen avaintaidot Työn perustana olevan tiedon hallinta Työmenetelmi en, -välineiden ja materiaalin hallinta Työprosessin hallinta Pohjois-Suomi ja Lappi (n = 870) 2,04 2,00 1,97 2,07 2,00 Itä-Suomi (n = 1 270) 2,14 2,18 2,04 2,16 2,11 Länsi- ja Sisä-Suomi (n = 584) 2,07 2,26 1,95 2,12 2,06 Lounais-Suomi (n = 778) 2,14 2,32 2,03 2,10 2,06 Etelä-Suomi (n = 1 868) 2,23 2,36 2,05 2,22 2,19 Korkeimpia arvosanoja kaikissa osaamisalueissa saatiin Etelä-Suomen alueella toimivissa yksiköissä. Keskimäärin matalimpia arvosanoja saatiin Pohjois- Suomen ja Lapin alueilla toimivissa yksiköissä. Suurimmat erot näiden välillä oli elinikäisen oppimisen avaintaidoissa ja pienimmät työn perustana olevan tiedon hallinnassa. Sukupuolten ja opetuskielten välillä ei ilmennyt eroja arvosanoissa 9
Talotekniikan pt:n erityisopiskelijoiden ammattiosaamisen näyttöjen arvosanajakaumat (%) ei-mukautetuissa näytöissä Työprosessin hallinta (n = 652) 31 56 13 Työmenetelmien, -välineiden ja materiaalin hallinta (n = 649) 28 58 14 Työn perustana olevan tiedon hallinta (n = 650) 40 51 9 Elinikäisen oppimisen avaintaidot (n = 651) 21 58 21 Tutkinnon osan näytön arvosana (n = 665) 31 57 12 0 % 20 % 40 % 60 % 80 % 100 % Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Tiedonkeruun perusteella erityisopiskelijat suoriutuivat näytöistä ilman mukautettuja tavoitteita Jokaisella osaamisalueella yli puolet arvosanoista hyviä (2) Arvosanoissa vähemmän kiitettäviä ja enemmän tyydyttäviä 10
Näyttöjen suorituspaikat talotekniikan pt:ssa Noin neljäsosa näytöistä suoritettiin työelämässä Erityisopiskelijoiden näyttöpaikkojen jakauma käytännössä täysin identtinen (25% / 74% / 1%) AVI-alueittain työpaikkanäyttöjen osuus 24-32 % Järjestäjien välillä suurta vaihtelua, näytöistä yli puolet työpaikalla noin viidesosalla järjestäjistä 11
Verrattuna aiemmin arvioituihin ammatillisiin perustutkintoihin 12
Näyttöjen suorituspaikat neljässä yleisimmässä tutkinnon osassa Lämmitysjärjestelmien asentaminen (n = 700) 37 60 3 Putkistojen hitsaus (n = 662) 8 88 4 Käyttövesi- ja viemärijärjestelmien asentaminen (n = 647) 44 53 3 LVI-korjausrakentaminen (n = 545) 46 54 0 0% 20% 40% 60% 80% 100% Työpaikka Oppilaitos Työpaikka ja oppilaitos Kaikissa neljässä tutkinnon osassa enemmistö näytöistä toteutettiin oppilaitoksessa Putkistojen hitsaus tutkinnon osaa lukuun ottamatta muissa kolmessa tutkinnon osassa enemmän työpaikkanäyttöjä kuin koko aineiston tasolla tarkasteltuna 13
Näyttöjen suorituspaikat alueittain 30 Pohjois-Suomi ja Lappi (n = 871) 68 2 Itä-Suomi (n = 1 270) 3 24 73 Länsi- ja Sisä-Suomi (n = 584) 2 27 71 Lounais-Suomi (n = 779) 1 25 74 Etelä-Suomi (n = 1 871) 1 24 75 0 10 20 30 40 50 60 70 80 90 100 Työpaikka Oppilaitos Työpaikka ja oppilaitos Näyttöjen suorituspaikoissa oli eroja yksittäisten koulutuksen järjestäjien välillä, mutta ei juurikaan alueiden välillä 14
Näyttöpaikkojen jakautuminen koulutuksen järjestäjien arvosanojen keskiarvon mukaisissa luokissa Ylin neljännes (n = 1 134) 44 56 Ylempi keskitaso (n = 1 107) 30 68 2 Alempi keskitaso (n = 1 746) 21 77 2 Alin neljännes (n = 1 388) 12 85 3 0% 20% 40% 60% 80% 100% Työpaikka Oppilaitos Työpaikka ja oppilaitos Arvosanojen keskiarvon perusteella ylimpään neljännekseen luokitelluilla järjestäjillä oli eniten (44 %) työpaikalla toteutettuja näyttöjä Oppilaitosnäyttöjä oli eniten alimpaan neljännekseen kuuluvilla järjestäjillä (85 %) 15
Näytön arviointikeskusteluun osallistuneet 1 % 1 % 2 % 22 % Opiskelija, opettaja ja työelämän edustaja (n = 1 160) Opiskelija ja opettaja (n = 3 921) Opiskelija ja työelämän edustaja (n = 83) Opettaja ja työelämän edustaja (n = 33) 74 % Arviointikeskustelua ei pidetty (n = 106) Suurimman osan (74 %) näytöistä olivat arvioineet opiskelija ja opettaja Opiskelijan, opettajan ja työelämän edustajan yhdessä arvioimia näyttöjä oli 22 prosenttia Opiskelija ja työelämän edustaja arvioivat yhdessä noin prosentin näytöistä samoin kuin opettaja ja työelämän edustaja Arviointikeskustelua ei pidetty kahdessa prosentissa näytöistä. 16
Näytön arvosanasta päättäneet 1 % 13 % Opettaja ja työelämän edustaja (n = 707) Opettaja (n = 4 492) Työelämän edustaja (n = 56) 85 % Opettaja päätti yksin suurimmasta osasta (85 %) näyttöjen arvosanoista Työelämän edustaja päätti yksin noin prosentista näyttöjen arvosanoista Opettaja ja työelämän edustaja päättivät yhdessä 13 prosentista näyttöjen arvosanoista 17
Näyttöjen ja tutkinnon perusteiden ammattitaitovaatimusten vastaavuus näyttökuvausten analyysin perusteella Arviointi Näyttö työpaikalla Näyttö oppilaitoksessa Näyttö työpaikalla ja oppilaitoksessa Kaikki analysoidut näyttökuvaukset n % n % n % n % 1 1,5 = helppo, alittaa ammattitaitovaatimukset 2 2,5 = sopiva, vastaa ammattitaitovaatimuksia 1 010 71,3 3 042 78,8 58 66,7 4 110 76,7 344 24,3 708 18,4 27 31,0 1 080 20,1 3 = vaikea, ylittää ammattitaitovaatimukset Ei voitu arvioida 62 4,4 108 2,8 2 2,3 172 3,2 Näytöistä vain viidennes (20 %) arvioitiin tasoltaan sopiviksi, eli tutkinnon perusteiden ammattitaitovaatimuksia vastaaviksi Noin 77 prosenttia näytöistä arvioitiin liian helpoiksi eli ne alittivat tutkinnon osan ammattitaitovaatimukset. 18
Koulutuksen järjestäjien itsearvioinnin tuloksia Neljännes (25 %) ammattiopettajista oli osallistunut työelämäjaksoille viimeisimmän viiden vuoden aikana. Määrä vaihteli koulutuksen järjestäjien välillä 0-100 %. Noin 23 % työpaikkaohjaajista oli perehdytetty tai koulutettu näytön ohjaukseen ja arviointiin. Perehdytettyjen työpaikkaohjaajien osuus vaihteli koulutuksen järjestäjittäin 0-100 %. 11.5.2014 19
Näyttöihin liittyvien pedagogisten käytänteiden laatutaso Koulutuksen tavoitteiden mukaisten työssäoppimispaikkojen saatavuus (n = 34) 3,53 Tavoitteiden mukaisten näyttöpaikkojen saatavuus (n = 34) 3,00 Ammattiosaamisen näyttöjen suunnittelu, toteuttaminen ja arviointi yhteistyössä työpaikkojen kanssa (n = 34) 3,03 Laaja-alaisen osaamisen arviointi ammattiosaamisen näytöissä (n = 33) 3,61 Tavoitelähtöinen ja kriteeriperusteinen arviointi (n = 32) 3,75 1,00 2,00 3,00 4,00 5,00 Asteikko 1 5 (1 = erittäin huono, 2 = huono, 3 = kohtalainen, 4 = hyvä, 5 = erittäin hyvä) 11.5.2014 20
Keskiarvo Näyttötoiminnan laatutaso koulutuksen järjestäjien arvioimana (n= 34) 6 5 4 3 2 1 0 3,46 3,24 3,76 3,47 4,35 3,59 4,09 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Arviointiasteikko: Puuttuva (0 pistettä), alkava (1 2 pistettä), kehittyvä (3 4 pistettä), edistynyt (5 6 pistettä) Näyttötoiminnan kokonaislaatu oli keskimäärin kehittyvällä tasolla Koulutuksen järjestäjien välillä paljon hajontaa 1,62 4,47 4,09 4,38 3,85 3,50 3,15 Arvioinnin kohteet: 1. Ammattiosaamisen näyttöihin liittyvä suunnittelu 2. Ammattiosaamisen näyttöihin liittyvän pedagogisen toiminnan johtaminen 3. Ammattiosaamisen näyttöjen toimielimen rooli ammattiosaamisen näyttöjen järjestämisessä 4. Ammattiosaamisen näyttöjen toteuttaminen työpaikoilla 5. Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa 6. Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 7. Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön 8. Yhteisten tutkinnon osien integrointi ammattiosaamisen näyttöön 9. Opiskelijan ohjaus ja tuki ammattiosaamisen näytössä ja työssäoppimisessa 10. Opiskelijan oppimisen arviointi työssäoppimisessa 11. Opiskelijan osaamisen arviointi ammattiosaamisen näytössä 12. Opiskelijan arvioinnin laadun varmistaminen 13. Ammattiosaamisen näyttöjen seuranta ja arviointi 14. Ammattiosaamisen näyttöjen kehittäminen 11.5.2014 21
Yhteenvetoa: Alan vahvuuksia Arvosanat ovat keskimäärin hyviä Osaamisperusteisuus toteutuu koulutuksen järjestäjien mukaan melko hyvin (osaamisen tunnistaminen/tunnustaminen, yksilölliset opintopolut) Ohjaus ja tuki työpaikalla järjestettävässä koulutuksessa ja näytössä on onnistunut koulutuksen järjestäjien mukaan melko hyvin 21.9.2018 22
Kehittämiskohteita Työpaikkakartoitukset tavoitteiden mukaisten työpaikkojen saamiseksi. Opettajien työelämäosaamisen vahvistaminen, jalkautuminen työpaikoille jne.. Näyttöjen toteuttaminen laajoina työelämän toimintakokonaisuuksina Yhteisten tutkinnon osien integrointia näyttöihin lisättävä Palautetiedon systemaattinen kokoaminen eri osapuolilta ja sen hyödyntäminen työpaikalla järjestettävän koulutuksen ja näyttöjen kehittämisessä Vertaisoppimisen ja hyvien käytäntöjen hyödyntäminen työelämäyhteyksien kehittämisessä ja työpaikkanäyttöjen lisäämisessä 21.9.2018 23
Oppimistulosarviointien toteuttaminen jatkossa (suunnitelmia) Viimeiset nykymallilla toteutettavat arvioinnit päättyivät viime keväänä (2018) Nykyiseen arviointijärjestelmään tehtiin meta-arviointi ja sen osana synteesi (2016-2018) Arviointi laajennetaan koskemaan perustutkintojen lisäksi myös ammatti- ja erikoisammattitutkintoja Oppimistulostietoa tuotetaan näyttöjen lisäksi myös yhteisistä tutkinnon osista ja elinikäisen oppimisen avaintaidoista Työelämän ja opiskelijan roolia vahvistetaan arvioinneissa Digitalisaatiota ja olemassa olevaa tietoa (esim. Koski, ophn opiskelijapalautteet, Vipunen, ehoks ) hyödynnetään arvioinneissa mahdollisimman paljon Jatkossa tietoa tuotetaan nopeammin ja keveämmillä prosesseilla ennakoitavissa olevalla syklillä (varmistetaan yhteys kehittämistyöhön) 24
Kiitos! 21.9.2018 25