KESTÄVÄN KEHITYKSEN OPPIMISTULOSTEN ARVIOINTI AMMATILLISESSA PERUSKOULUTUKSESSA 215 Koulutuksen järjestäjän ja kansallisen tuloksen vertailu
Kansallinen koulutuksen arviointikeskus (Karvi) toteutti keväällä 215 kestävän kehityksen oppimistulosten arvioinnin ammatillisessa peruskoulutuksessa. Tarkoituksena on arvioida, miten ammatillisten perustutkintojen perusteissa määritellyt kestävän kehityksen tavoitteet on saavutettu. Arvioinnissa selvitetään myös, miten kestävän kehityksen tavoitteet ilmenevät koulutuksen järjestäjän toiminnassa. Arviointi koski kaikkia ammatillisen peruskoulutuksen järjestäjiä ja kaikkia perustutkintoja lukuun ottamatta 11 opiskelijamäärältään pientä perustutkintoa, jotka jätettiin arvioinnin ulkopuolelle. Karvi laati otannan, jonka perusteella määräytyivät ne perustutkinnot, jotka kultakin koulutuksen järjestäjältä olivat arvioinnin kohteena. Arviointi koski kustakin perustutkinnosta osaa keväällä 215 opintonsa päättäneistä opiskelijoista. Arvioinnin kohteena olleet perustutkintonne ja arviointiin osallistuneiden opiskelijoidenne määrä tutkinnoittain esitetään seuraavalta sivulla. Arviointi sisälsi oppimistulosten arviointikokeen sekä itsearviointikyselyt koulutuksen järjestäjille ja opettajille. Arviointikoe ja itsearviointikyselyt toteutettiin sähköisesti. Arviointikokeeseen osallistui yhteensä 4457 opiskelijaa 17 koulutuksen järjestäjältä. Koulutuksen järjestäjille suunnatun itsearvioinnin toteutti 112 järjestäjää. Opettajien itsearviointikyselyyn vastasi 796 opettajaa. Osana arviointia annetaan kaikille koulutuksen järjestäjille tämä palaute, jossa on yhteenveto koulutuksen järjestäjän tuloksista suhteessa alustaviin kansallisiin tuloksiin. Tarkistetut kansalliset arviointitulokset julkistetaan keväällä 216 ilmestyvässä kansallisessa raportissa. Palaute koostuu neljästä kuviosta, joissa käsitellään arviointikokeen keskeisiä tuloksia sekä kahdesta kuviosta, joissa käsitellään koulutuksen järjestäjän itsearvioinnin tuloksia. Opettajille suunnatun itsearviointikyselyn tuloksia ei yksittäisen opettajan tietosuojan takaamiseksi käsitellä tässä palautteessa. Opiskelijoidenne ja kaikkien arviointiin osallistuneiden opiskelijoiden tuloksia on verrattu toisiinsa tilastollisin menetelmin. Yksittäisen opiskelijan tuloksen vaikutus koulutuksen järjestäjän tulokseen on sitä suurempi, mitä vähemmän järjestäjällä on arviointiin osallistuneita opiskelijoita. Arvioinnin tulokset kertovat, poikkeavatko opiskelijoidenne osaaminen ja asenteet kaikkien arviointiin osallistuneiden opiskelijoiden osaamisesta ja asenteista. Tuloksista käy ilmi myös havaittujen erojen suuruus. Erojen suuruus perustuu efektikoon laskemiseen. Efektikokoa käytetään kahden keskiarvon välisen eron tilastollisen merkitsevyyden tarkastelun yhteydessä kuvaamaan keskiarvojen eron käytännöllistä merkittävyyttä. Tässä palautteessa efektikoon mittana on käytetty Cohenin d:tä seuraavalla tavalla: kun (d <,2), eroa ei ole, kun (,2 d <,5), ero on melko pieni ja kun (,5 d <,8), ero on melko suuri. Tällöin kuvioiden ohessa olevissa koulutuksen järjestäjäkohtaisissa tulkinnoissa eroa sanotaan olevan jonkin verran. Kun (d,8), ero on suuri. Näissä tapauksissa järjestäjäkohtaisissa tulkinnoissa opiskelijoidenne kerrotaan esimerkiksi menestyneen selvästi paremmin tai heikommin kuin kaikki arviointiin osallistuneet opiskelijat. Lisätietoja arvioinnista ja tästä palautteesta antavat arviointineuvos Mari Räkköläinen, p. 29 533 5527, mari.rakkolainen@karvi.fi ja arviointisuunnittelija Raisa Hievanen, p. 29 533 5542, raisa.hievanen@karvi.fi. Toivomme, että tämä palaute tukee teitä kestävän kehityksen mukaisen toiminnan ja opetuksen kehittämisessä. Pyydämme välittämään tiedon arvioinnin tuloksista henkilöstöllenne. Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216
Perustutkinnot, jotka teiltä olivat mukana arvioinnissa sekä sekä arviointiin osallistuneiden opiskelijoiden määrä tutkinnoittain: Hotelli-, ravintola- ja catering-alan perustutkinto (n = 2) Autoalan perustutkinto (n = 14) Sähkö- ja automaatiotekniikan perustutkinto (n = 12) Tieto- ja tietoliikennetekniikan perustutkinto (n = 12) Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216
Osuus opiskelijoista (%) Arviointikoe 1 9 8 7 6 5 4 3 2 1 <T T T+ H- H H+ K- K Osaamisen taso (n = 58) kaikki järjestäjät (N = 4457) Kuvio 1. Arvioinnin kokonaistulosten jakauma Kuviossa 1 esitetään opiskelijoidenne kokonaisosaaminen suhteessa kaikkien arviointiin osallistuneiden opiskelijoiden osaamiseen. Opiskelijoiden tulokset on jaettu kahdeksalle tasolle. Kaikista arviointiin osallistuneista opiskelijoista heikoimpien osaaminen jäi arvioinnissa alle tyydyttävän tason (<T), parhaimmillaan opiskelijat taas saavuttivat kiitettävän tason (K). Osaamisen tasot on sijoitettu kuvion vaaka-akselille. Tummansinisten pylväiden korkeus osoittaa, kuinka monta prosenttia opiskelijoistanne sijoittuu kullekin osaamisen tasolle. Mitä korkeampia kuvion oikeassa laidassa sijaitsevat pylväät ovat, sitä paremmin opiskelijanne ovat arvioinnissa suoriutuneet. Vaaleansiniset neliöt kuvaavat kaikkien opiskelijoiden osuutta kullakin osaamisen tasolla. Opiskelijanne menestyivät arvioinnissa kokonaisuudessaan samantasoisesti kuin kaikki arviointiin osallistuneet opiskelijat. 57 % opiskelijoistanne ylsi arvioinnissa tasolle hyvä (H) tai sen yli. Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216
Osuus opiskelijoista (%) Osuus opiskelijoista (%) Arviointikoe 1 Tietoa mittaavat tehtävät 1 Toimintaa mittaavat tehtävät 8 8 6 6 4 4 2 2 <T T H K K+ Osaamisen taso (n = 58) kaikki järjestäjät (N = 4457) <T T H K K+ Osaamisen taso (n = 58) kaikki järjestäjät (N = 4419) Kuvio 2. Opiskelijoiden osaaminen tietoa ja toimintaa mittaavissa tehtävissä Kestävän kehityksen osaamista mitattiin tietoa ja toimintaa mittaavilla tehtävillä. Tietoa mittaavat koskivat kestävän kehityksen tietopohjaa. Toimintaa käsittelevät tehtävät taas mittaavat opiskelijoiden kestävän kehityksen toteutumista edistävää toimintaa. Opiskelijoiden osaaminen tietoa ja toimintaa mittaavissa tehtävissä esitetään omissa kuvaajissaan kuviossa 2. Suhteessa kaikkiin arviointiin osallistuneisiin opiskelijoihin opiskelijanne osasivat kokonaisuudessaan tietoa mittaavat tehtävät jonkin verran paremmin ja toimintaa mittaavat tehtävät samantasoisesti. Opiskelijoistanne ylsi arvioinnissa tasolle hyvä (H) tai sen yli 88 % tietoa mittaavissa tehtävissä ja 85 % toimintaa mittaavissa tehtävissä. Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216
Ratkaisuosuus (%) Arviointikoe 1 9 8 7 6 5 4 3 2 1 Ekologinen Taloudellinen Kestävän kehityksen osa-alueet Sosiaalinen Kulttuurinen (n = 58) kaikki järjestäjät merkittävän poikkeaman ylä- ja alaraja Kuvio 3. Opiskelijoiden osaaminen kestävän kehityksen eri osa-alueilla Arvioinnin tehtävät koskivat kestävän kehityksen eri osa-alueita: ekologinen, taloudellinen, sosiaalinen ja kulttuurinen kestävä kehitys. Kuviosta 3 näkee sekä opiskelijoidenne että kaikkien arviointiin osallistuneiden opiskelijoiden keskimääräisen ratkaisuosuuden kunkin osa-alueen tehtävissä. Tummansiniset pylväät kuvaavat opiskelijoidenne ja vaaleansiniset kaikkien opiskelijoiden ratkaisuosuuksia sisältöalueittain. Ratkaisuosuus ilmaisee prosentteina, kuinka suuri osa maksimipisteistä saavutettiin. Pisteviivat kuvaavat merkittävän poikkeaman ylä- ja alarajaa. Mikäli tummansininen pylväs on ylemmän pisteviivan yläpuolella tai alemman pisteviivan alapuolella, opiskelijoidenne osaaminen poikkeaa kaikkien arviointiin osallistuneiden opiskelijoiden keskimääräisestä osaamisesta. Opiskelijanne osasivat eri osa-alueiden tehtävät samantasoisesti kuin kaikki arviointiin osallistuneet opiskelijat. Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216
Osaamisen taso Arviointikoe (K) 8 (K-) (H+) (H) 7 6 5 (H-) (T+) (T) 4 3 2 (<T) 1 3 4 5 6 7 8 9 Suhtautuminen opiskeluun (%) muut koulutuksen järjestäjät (n = 58) merkittävän poikkeaman ylä- ja alaraja trendiviiva erittäin merkittävän poikkeaman ylä- ja alaraja Kuvio 4. Opiskelijoiden suoriutuminen arvioinnissa ja suhtautuminen opiskeluun Kuviosta 4 käy ilmi yhteys opiskelijoidenne osaamisen ja kestävän kehityksen opiskeluun suhtautumisen välillä. Jokainen neliö kuvaa yhtä koulutuksen järjestäjää. Punainen ympyrä osoittaa teidän sijoittumisenne. Suhtautumista opiskeluun kuvataan tässä kuviossa prosentuaalisella asteikolla, jossa koulutuksen järjestäjät sijoittuvat sitä lähemmäksi kuvion oikeaa laitaa mitä myönteisemmin opiskelijat suhtautuvat kestävän kehityksen opiskeluun. Neliöiden joukossa kulkeva nouseva yhtenäinen trendiviiva kertoo, että keskimäärin opiskelijoiden tulokset arvioinnissa ovat sitä paremmat, mitä myönteisemmin he suhtautuvat opiskeluun. Mustien katkoviivojen väliin jäävät koulutuksen järjestäjät menestyivät arvioinnissa odotetusti, kun otetaan huomioon opiskelijoiden suhtautuminen kestävän kehityksen opiskeluun. Ylemmän mustan katkoviivan ja ylemmän oranssin katkoviivan väliin jäävät koulutuksen järjestäjät menestyivät arvioinnissa jonkin verran odotettua paremmin. Ylemmän oranssin katkoviivan yläpuolelle sijoittuvat ne järjestäjät, joiden opiskelijat menestyivät arvioinnissa selvästi odotettua paremmin. Vastaavasti alemman mustan katkoviivan ja alemman oranssin katkoviivan väliin jäävät järjestäjät menestyivät arvioinnissa jonkin verran odotettua heikommin. Alemman oranssin katkoviivan alapuolelle sijoittuvat ne järjestäjät, joiden opiskelijat menestyivät arvioinnissa selvästi odotettua heikommin. Opiskelijanne menestyivät arvioinnissa jonkin verran odotettua heikommin suhteessa siihen, miten he suhtautuvat kestävän kehityksen opetukseen. Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216
Koulutuksen järjestäjän itsearviointi Toiminnan arviointi ja kehittäminen Arvot 4 3 2 1 Asteikko: 1 = Puuttuva 2 = Alkava 3 = Kehittyvä 4 = Edistynyt Organisaatio ja resurssit Henkilöstön osaaminen Kestävän kehityksen linjaukset ja ohjelma kaikki järjestäjät merkittävän poikkeaman ylä- ja alaraja Kuvio 5. Kestävän kehityksen toteuttaminen organisaatiossa Koulutuksen järjestäjä arvioi kestävä kehityksen tavoitteiden toteutumista koulutuksen järjestäjän arvoissa, organisaation toiminnassa ja resursseissa, kestävän kehityksen linjauksissa ja ohjelmassa, henkilöstön osaamisessa sekä toiminnan arvioinnissa ja kehittämisessä. Kuviossa 5 tummansiniset kolmiot kuvaavat mille tasolle koulutuksen järjestäjä kussakin arviointikohteessa sijoittaa itsensä. Vaaleansiniset neliöt kuvaavat kaikkien järjestäjien keskiarvoa. Pisteviivat kuvaavat merkittävän poikkeaman ylä- ja alarajaa. Mikäli tummansininen kolmio on ulomman pisteviivan ulkopuolella, on koulutuksen järjestäjä kyseisellä toiminnan osa-alueella edellä keskimääräisestä. Jos taas tummansininen kolmio on sisemmän pisteviivan sisäpuolella, on koulutuksen järjestäjä kyseisellä toiminnan osa-alueella jäljessä keskimääräisestä tasosta. Suhteessa kaikkien koulutuksen järjestäjien itsearviointeihin, kestävän kehityksen tavoitteiden toteutuminen oli arvoissa matalammalla tasolla, organisaatiossa ja resursseissa samalla tasolla, kestävän kehityksen linjauksissa ja ohjelmassa matalammalla tasolla, henkilöstön osaamisessa matalammalla tasolla ja toiminnan arvioinnissa ja kehittämisessä matalammalla tasolla. Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216
Toiminnan intensiteetti (%) Koulutuksen järjestäjän itsearviointi Säännöllisesti/ järjestelmällisesti Ei lainkaan 1 9 8 7 6 5 4 3 2 1 Jätehuolto ja kierrätys Energiatehokkuus Ravintolapalvelut Opiskelijoiden hyvinvointi ja turvallisuus kaikki järjestäjät merkittävän poikkeaman ylä- ja alaraja Kuvio 6. Kestävä kehitys arjen käytänteissä Koulutuksen järjestäjän itsearvioinnissa selvitettiin jätehuollon ja kierrätyksen, energiatehokkuuden, ravintolapalveluiden sekä opiskelijoiden hyvinvoinnin ja turvallisuuden toteutumista ja näkymistä koulutuksen järjestäjän toiminnassa. Kuviossa 6 kuvataan toiminnan säännöllisyyttä/järjestelmällisyyttä eli intensiteettiä (%) kestävän kehityksen näkökulmasta. Taso %:a kuvaa tilannetta jossa, kyseistä toimintaa ei ole lainkaan ja 1 % taas tilannetta, jossa toiminta on säännöllistä tai järjestelmällistä. Tummansiniset kolmiot kuvaavat koulutuksen järjestäjän toiminnan intensiteettiä kussakin tarkastelukohteessa, vaaleansiniset neliöt taas kaikkien järjestäjien keskiarvoa. Pisteviivat kuvaavat merkittävän poikkeaman ylä- ja alarajaa. Mikäli tummansininen kolmio on ylemmän pisteviivan yläpuolella tai alemman pisteviivan alapuolella poikkeaa koulutuksen järjestäjän toiminnan intensiteetti keskimääräisestä. Suhteessa kaikkiin koulutuksen järjestäjiin toimintanne intensiteetti on jätehuollossa ja kierrätyksessä korkeammalla tasolla, energiatehokkuudessa matalammalla tasolla, ravintolapalveluissa matalammalla tasolla ja opiskelijoiden hyvinvoinnissa ja turvallisuudessa matalammalla tasolla. Kestävän kehityksen oppimistulosten arviointi ammatillisessa peruskoulutuksessa 215 Karvi 216