Webinaari puutarhatalouden oppimistulosarvioinnin tuloksista 5.12.2018, klo 10.00-11.00 Arviointisuunnittelija Veera Stylman (veera.stylman@karvi.fi) Arviointiasiantuntija Paula Kilpeläinen (paula.kilpelainen@karvi.fi)
WEBINAARI Webinaarin avaus Arviointitulosten esittely Kommenttipuheenvuoro, puutarhuri Tiina Mäkinen, Keski-Suomen Puutarha-Apu Oy / TL-Maint Oy Kysymyksiä/keskustelua 26.11.2018 2
Oppimistulosarvioinnin tavoitteena on tuottaa tietoa siitä, miten opiskelijat ovat saavuttaneet tutkinnon perusteissa asetut osaamistavoitteet ja ammattitaitovaatimukset kehittää koulutusta, tukea oppimista ja varmistaa ammatillisen koulutuksen laatua.
Arviointikysymykset 1. Miten hyvin opiskelijoiden osaaminen vastaa työelämän edellyttämiä ja tutkintojen perusteissa määritettyjä ammattitaitovaatimuksia? 4. Miten hyvin näyttöjen sisällöt vastaavat ammattitaitovaatimuksia? 2. Miten koulutuksen järjestäjät hallitsevat näyttöjen järjestämiseen liittyvän prosessin laatua? 5. Miten elinikäisen oppimisen avaintaidot integroituvat näyttöihin? 3. Miten hyvin näyttösuunnitelmat ohjaavat näyttöjen järjestämisen laatua? Varmistavatko ne laadun? 6. Miten näyttöjä tulisi kehittää niiden laadun varmistamiseksi ja oppimistulosten parantamiseksi? 4
TUTKINTOJEN PERUSTEET ARVIOINTIKYSYMYKSET ARVIOINTIASETELMA ARVIOINTIAINEISTO OPPIMISTULOSTIETO TÄYDENTÄVÄ ARVIOINTI ARVOSANATIEDOT NÄYTÖISTÄ - arvosanat (n = 830) - opiskelijat (n = 181) - erityisopiskelijoiden näytöt (n = 378) - koulutuksen järjestäjät (n = 15) KOULUTUKSEN JÄRJESTÄJIEN ITSEARVIOINTI (n = 15) Näyttöprosessien laatu NÄYTTÖJEN TOTEUTTAMIS- JA ARVIOINTISUUNNITELMIEN ANALYSOINTI (n = 15) NÄYTTÖJEN KUVAUSTEN ANALYSOINTI (n = 1 089) ARVIOINTI- RAPORTTI - Kansallinen - Koulutuksen järjestäjän palaute 2017 2014-2017 2018
Näyttöjen arvosanajakaumat (%) puutarhatalouden perustutkinnossa Työprosessin hallinta (n = 771) 11 41 49 Työmenetelmien, -välineiden ja materiaalin hallinta (n = 771) 11 45 44 Työn perustana olevan tiedon hallinta (n = 771) 17 52 31 Elinikäisen oppimisen avaintaidot (n = 772) 6 33 61 Tutkinnon osan näytön arvosana (n = 823) 10 40 50 0 % 20 % 40 % 60 % 80 % 100 % Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Kiitettäviä eniten elinikäisen oppimisen avaintaidoissa (ka. 2,55) Tyydyttäviä eniten työn perustana olevan tiedon hallinnassa (ka. 2,14) Puolet tutkinnon osan näytön arvosanoista kiitettäviä (ka. 2,40) 6
Kasviryhmän tuottaminen Asiakkaiden palveleminen ja myymälätyöskentely kukka- tai puutarhakaupassa Yrittäminen puutarhaalalla Työskentely puutarhaalalla Näyttöjen arvosanajakaumat (%) neljässä yleisimmässä tutkinnon osassa Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Työprosessin hallinta Työmenetelmien, -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana 2 2 4 4 6 8 8 11 10 10 9 9 15 15 13 13 13 18 19 27 22 35 37 28 40 26 34 38 45 31 41 48 47 55 45 44 46 47 60 43 0 % 20 % 40 % 60 % 80 % 100 % Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Elinikäisen oppimisen avaintaidoista eniten kiitettäviä kaikissa neljässä tutkinnon osassa Asiakkaiden palveleminen ja myymälätyöskentely kukka- tai puutarhakaupassa tutkinnon osassa erityisen vähän tyydyttäviä arvosanoja (myös työn perustana olevan tiedon hallinnasta) 75 63 62 62 64 56 57 56 52 49 49 44 41 41 43 40 37 34 30 22 7
Näyttöjen arvosanojen keskiarvo koulutuksen järjestäjittäin Arvosanojen keskiarvo 3,00 2,75 Ryhmä 1 (n = 4) ka. = 2,22 Ryhmä 2 (n = 4) ka. = 2,46 Ryhmä 3 (n = 4) ka. = 2,55 2,50 2,25 2,00 1,75 1,50 1,25 1,00 1 2 3 4 5 6 7 8 9 10 11 12 Koulutuksen järjestäjä Ääripäiden välillä eroa reilun puolen arvosanan verran (1,95-2,62). Alimpaan ja ylimpään neljännekseen kuuluvien koulutuksen järjestäjien arvosanojen keskiarvojen ero 0,33 arvosanaa. 8
Näyttöjen arvosanojen erot koulutuksen järjestäjien sijainnin mukaan 3 2,5 2 Työmenetelmien, Työprosessin hallinta -välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana 2,13 2,16 2,15 2,44 2,46 2,28 2,33 2,35 2,30 2,57 2,66 2,47 2,45 2,44 2,31 1,00 1,50 2,00 2,50 3,00 Itä- ja Pohjois-Suomi (n = 296) Länsi- ja Sisä-Suomi (n = 221) Etelä- ja Lounais-Suomi (n = 313) 2,42 2,36 2,25 2,21 2,03 2,18 2,42 2,59 2,24 2,44 Korkeimpia arvosanoja kaikissa osaamisalueissa saatiin Länsi- ja Sisä- Suomen alueella toimivissa yksiköissä. Keskimäärin matalimpia arvosanoja saatiin Etelä- ja Lounais-Suomen ja alueilla toimivissa yksiköissä. Suurimmat erot ääripäiden välillä oli elinikäisen oppimisen avaintaidoissa ja pienimmät työn perustana olevan tiedon hallinnassa. 1,5 1 Työprosessin hallinta Työmenetelmien, - välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Naiset saivat miehiä parempia arvosanoja, ero oli tasainen kaikilla osaamisalueilla (0,15-0,17) Miehet (n = 170) Naiset (n = 653) 9
Puutarhatalouden pt:n erityisopiskelijoiden ammattiosaamisen näyttöjen arvosanajakaumat (%) ei-mukautetuissa näytöissä Työprosessin hallinta (n = 267) 34 46 19 Työmenetelmien, -välineiden ja materiaalin hallinta (n = 267) 33 46 20 Työn perustana olevan tiedon hallinta (n = 265) 42 41 17 Elinikäisen oppimisen avaintaidot (n = 268) 25 47 28 Tutkinnon osan näytön arvosana (n = 268) 34 43 22 0 % 20 % 40 % 60 % 80 % 100 % Tyydyttävä (1) Hyvä (2) Kiitettävä (3) Arvosanoissa selvästi vähemmän kiitettäviä ja enemmän tyydyttäviä kuin muilla opiskelijoilla Erityisopiskelijoiden näyttöjen arviointia mukautettiin paljon verrattuna muihin tutkintoihin (29 %) 10
Näyttöjen suorituspaikat puutarhatalouden pt:ssa 14 % 35 % Työpaikka (n = 292) Oppilaitos (n = 422) Työpaikka ja oppilaitos (n = 114) 51 % Noin puolet näytöistä suoritettiin työelämässä tai työelämän ja oppilaitoksen yhdistelmänäyttönä Yhdistelmänäyttöjä suhteellisen paljon muihin tutkintoihin verrattuna Erityisopiskelijoilla hieman enemmän oppilaitosnäyttöjä (32% / 58% / 14%) AVI-alueittain verrattuna Itä- ja Pohjois-Suomessa eniten työpaikkanäyttöjä ja vähiten oppilaitosnäyttöjä 11
Verrattuna aiemmin arvioituihin ammatillisiin perustutkintoihin 12
Näyttöjen suorituspaikat neljässä yleisimmässä tutkinnon osassa Työskentely puutarha-alalla 12 61 27 Yrittäminen puutarha-alalla 2 88 9 Asiakkaiden palveleminen ja myymälätyöskentely kukka- tai puutarhakaupassa 72 7 22 Kasviryhmän tuottaminen 41 35 24 0% 20% 40% 60% 80% 100% Työpaikka Oppilaitos Työpaikka ja oppilaitos Tutkinnon osien välillä paljon eroja näyttöpaikoissa 13
Näytön arviointikeskusteluun osallistuneet 2 % 28 % Opiskelija ja opettaja Opiskelija ja työelämän edustaja 2 % Opiskelija, opettaja ja työelämän edustaja 69 % Opettaja ja työelämän edustaja Suurin osa (69 %) näytöistä oli opiskelijan, opettajan ja työelämän edustajan yhdessä arvioimia Opiskelijan ja opettajan arvioimia näyttöjä oli 28 prosenttia 14
Näytön arvosanasta päättäneet Opettaja (n = 352) 49 % 45 % Työelämän edustaja (n = 47) Opettaja ja työelämän edustaja (n = 391) 6 % Opettaja ja työelämän edustaja päättivät yhdessä noin puolesta (49 %) näyttöjen arvosanoista Opettaja päätti yksin 45 prosentista näyttöjen arvosanoista Työelämän edustaja päätti yksin 6 prosentista näyttöjen arvosanoista 15
Näyttöjen ja tutkinnon perusteiden ammattitaitovaatimusten vastaavuus näyttökuvausten analyysin perusteella Arviointi Näyttö työpaikalla Näyttö oppilaitoksessa Näyttö työpaikalla ja oppilaitoksessa Kaikki analysoidut näyttökuvaukset n % n % n % n % 1 1,5 = helppo, alittaa ammattitaitovaatimukset 66 17,5 60 10,4 13 9,6 139 12,8 2 2,5 = sopiva, vastaa ammattitaitovaatimuksia 312 82,5 515 89,6 123 90,4 950 87,2 3 = vaikea, ylittää ammattitaitovaatimukset 0 0 0 0 0 0 0 0 Näytöistä suurin osa (87 %) arvioitiin tasoltaan sopiviksi, eli tutkinnon perusteiden ammattitaitovaatimuksia vastaaviksi Työpaikkanäytöissä hieman enemmän liian helpoiksi arvioituja näyttöjä 16
Koulutuksen järjestäjien itsearvioinnin tuloksia Puutarhatalouden perustutkinnon opettajista noin 98 prosenttia oli pedagogisesti päteviä. (82-100 %) Keskimäärin vajaa kolmannes (31 %) ammattiopettajista oli osallistunut työelämäjaksoille viimeisimmän viiden vuoden aikana. (0-100 %) Ammattiopettajien täydennyskoulutuspäivien määrä vaihteli järjestäjien välillä 2 päivästä 50 päivään. (ka. 26 päivää) Noin 38 prosenttia työpaikkaohjaajista oli perehdytetty tai koulutettu näytön ohjaukseen ja arviointiin. (0 75 %) 11.5.2014 17
Näyttöihin liittyvien pedagogisten käytänteiden laatutaso Tutkinnon ammattitaitovaatimusten mukaisten työssäoppimispaikkojen saatavuus 4,00 Ammattitaitovaatimusten mukaisten näyttöpaikkojen saatavuus 3,80 Ammattiosaamisen näyttöjen suunnittelu, toteuttaminen ja arviointi yhteistyössä työpaikkojen kanssa 4,00 Laaja-alaisen osaamisen arviointi näytössä 4,20 Tavoitelähtöinen ja kriteeriperusteinen arviointi 4,20 1,00 2,00 3,00 4,00 5,00 Asteikko 1 5 (1 = erittäin huono, 2 = huono, 3 = kohtalainen, 4 = hyvä, 5 = erittäin hyvä) 11.5.2014 18
Keskiarvo Näyttötoiminnan laatutaso koulutuksen järjestäjien arvioimana (n= 14) 6 5 4 3 2 1 0 4,33 4,13 3,87 4,60 4,73 5,00 Arviointiasteikko: Puuttuva (0 pistettä), alkava (1 2 pistettä), kehittyvä (3 4 pistettä), edistynyt (5 6 pistettä) Näyttötoiminnan kokonaislaatu oli keskimäärin kehittyvällä tai edistyneellä tasolla Koulutuksen järjestäjien välillä hajontaa 5,20 1,67 4,67 4,40 4,87 4,73 3,47 3,60 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Arvioinnin kohteet: 1. Ammattiosaamisen näyttöihin liittyvä suunnittelu 2. Ammattiosaamisen näyttöihin liittyvän pedagogisen toiminnan johtaminen 3. Ammattiosaamisen näyttöjen toimielimen rooli ammattiosaamisen näyttöjen järjestämisessä 4. Ammattiosaamisen näyttöjen toteuttaminen työpaikoilla 5. Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa 6. Ammattiosaamisen näyttöjen integrointi työssäoppimiseen 7. Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön 8. Yhteisten tutkinnon osien integrointi ammattiosaamisen näyttöön 9. Opiskelijan ohjaus ja tuki ammattiosaamisen näytössä ja työssäoppimisessa 10. Opiskelijan oppimisen arviointi työssäoppimisessa 11. Opiskelijan osaamisen arviointi ammattiosaamisen näytössä 12. Opiskelijan arvioinnin laadun varmistaminen 13. Ammattiosaamisen näyttöjen seuranta ja arviointi 14. Ammattiosaamisen näyttöjen kehittäminen 11.5.2014 19
Yhteenvetoa: Alan vahvuuksia Arvosanoista puolet kiitettäviä Osaamisperusteisuus toteutuu koulutuksen järjestäjien mukaan hyvin (osaamisen tunnistaminen/tunnustaminen, yksilölliset opintopolut) Työpaikkaohjaajat aktiivisesti mukana näyttöjen arvioinnissa myös oppilaitosnäyttöjen osalta Erityisopiskelijoiden kohdalla näyttöjen arviointia mukautetaan aktiivisesti 26.11.2018 20
Kehittämissuosituksia Reformin mukaisen koulutuksen toteutuminen tulee varmistaa sekä koulutuksen järjestämistä koskevissa suunnitelmissa että opiskelijoiden henkilökohtaisissa osaamisen kehittämissuunnitelmissa. Työpaikkaohjaajien ohjaus- ja arviointiosaaminen tulee varmistaa. Opettajien edellytykset ylläpitää ammatti- ja työelämäosaamistaan on taattava sekä huolehdittava niiden kehittämisestä esimerkiksi työelämäjaksojen, täydennyskoulutuksen ja kehittämishankkeiden avulla. Arvioinnin tuloksia tulee hyödyntää koulutuksen järjestäjien toiminnan kehittämisessä liittämällä oppimistulosarvioinnit osaksi laatu- ja palautejärjestelmiä. 26.11.2018 21
Oppimistulosarviointien toteuttaminen jatkossa (suunnitelmia) Viimeiset nykymallilla toteutettavat arvioinnit päättyivät viime keväänä (2018) Nykyiseen arviointijärjestelmään tehtiin meta-arviointi ja sen osana synteesi (2016-2018) Arviointi laajennetaan koskemaan perustutkintojen lisäksi myös ammatti- ja erikoisammattitutkintoja Oppimistulostietoa tuotetaan näyttöjen lisäksi myös yhteisistä tutkinnon osista ja elinikäisen oppimisen avaintaidoista Työelämän ja opiskelijan roolia vahvistetaan arvioinneissa Digitalisaatiota ja olemassa olevaa tietoa (esim. Koski, ophn opiskelijapalautteet, Vipunen, ehoks ) hyödynnetään arvioinneissa mahdollisimman paljon Jatkossa tietoa tuotetaan nopeammin ja keveämmillä prosesseilla ennakoitavissa olevalla syklillä (varmistetaan yhteys kehittämistyöhön) 22
Kiitos! 26.11.2018 23