AMMATILLISEN KOULUTUKSEN OPPIMIS- TULOSTEN ARVOINTI SÄHKÖISEEN JÄRJESTELMÄÄN SIIRRYTTÄESSÄ

Transkriptio

1 AMMATILLISEN KOULUTUKSEN OPPIMIS- TULOSTEN ARVOINTI SÄHKÖISEEN JÄRJESTELMÄÄN SIIRRYTTÄESSÄ Raportit ja selvitykset 2011:17

2

3 SISÄLTÖ 1 JOHDANTO TEHTÄVÄ JA PROSESSI TOIMINTAYMPÄRISTÖN KUVAUS Ammattikoulutus Ammatilliset perustutkinnot Osaamisen arviointi Ammattiosaamisen näytöt OPPIMISTULOSTEN SEURANTA-ARVIOINNIN NYKYTILA Oppimistulosten arvioinnin tavoitteet, tehtävät ja periaatteet Oppimistulosten arviointiprosessi Ammattiosaamisen näyttöjen yleiset laatuvaatimukset Opiskelijan arvioinnin kohteet Seurantatiedon tuottaminen ja eri tahojen vastuut Oppimistulosten analysointi, raportointi ja hyödyntäminen Taustakyselyt eri osapuolille NYKYISEN JÄRJESTELMÄN KEHITTÄMISTARPEET Selvitykset ja keskeiset tulokset Kehittämistarpeet UUSI OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄ Uuden seuranta- ja arviointijärjestelmän piirteitä Oppimistulosten arviointiin sisällytettävät tiedot ja tietojen analysointi Oppimistulosten arvioinnin luotettavuus ja laadunvarmistus UUDEN OPPIMISTULOSTEN ARVIOINNIN VAIKUTUKSET LAINSÄÄDÄNTÖÖN OPPIMISTULOSTEN ARVIOINTIIN VAIKUTTAVAT SIDOSRYHMÄT JA -HANKKEET YHTEENVETO LÄHTEET, SÄÄDÖKSET JA OHJEET LIITTEET Opetushallitus 3/

4 Opetushallitus 3/ SISÄLTÖ 1 JOHDANTO TEHTÄVÄ JA PROSESSI TOIMINTAYMPÄRISTÖN KUVAUS Ammattikoulutus Ammatilliset perustutkinnot Osaamisen arviointi Ammattiosaamisen näytöt OPPIMISTULOSTEN SEURANTA-ARVIOINNIN NYKYTILA Oppimistulosten arvioinnin tavoitteet, tehtävät ja periaatteet Oppimistulosten arviointiprosessi Ammattiosaamisen näyttöjen yleiset laatuvaatimukset Opiskelijan arvioinnin kohteet Seurantatiedon tuottaminen ja eri tahojen vastuut Oppimistulosten analysointi, raportointi ja hyödyntäminen Taustakyselyt eri osapuolille NYKYISEN JÄRJESTELMÄN KEHITTÄMISTARPEET Selvitykset ja keskeiset tulokset Kehittämistarpeet UUSI OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄ Uuden seuranta- ja arviointijärjestelmän piirteitä Oppimistulosten arviointiin sisällytettävät tiedot ja tietojen analysointi Oppimistulosten arvioinnin luotettavuus ja laadunvarmistus UUDEN OPPIMISTULOSTEN ARVIOINNIN VAIKUTUKSET LAINSÄÄDÄNTÖÖN OPPIMISTULOSTEN ARVIOINTIIN VAIKUTTAVAT SIDOSRYHMÄT JA -HANKKEET YHTEENVETO LÄHTEET, SÄÄDÖKSET JA OHJEET LIITTEET

5 1 JOHDANTO Ammatillisen koulutuksen oppimistulosten arviointijärjestelmän tarkoituksena on tuottaa luotettavaa tietoa opiskelijoiden osaamisesta ja koulutuksen tuottamista oppimistuloksista. Oppimistulosten arviointi koskee ammatillisia perustutkintoja. Oppimistulosten arvioinnin pohjana oleva tieto kootaan pääosin ammattiosaamisen näytöistä ilman kansallisia testejä (HE 41/2005 ja OPM 3/502/2007). Ammattiosaamisen näytöt otettiin käyttöön kaikissa ammatillisissa perustutkinnoissa vuonna Vuonna 1999 käynnistyi kokeilu- ja kehittämisvaihe, jota seurasi ammattiosaamisen näyttöjen käyttöönotto. Oppimistulosten arvioinnin kokeilu ja kehittäminen aloitettiin vuonna 2002 (KOPPI-hanke) ja kokeiluvaihetta jatkettiin vuoteen Kokeiluun osallistui 23 koulutuksen järjestäjää, 29 oppilaitosta sekä 14 perustutkintoa. Kokeiluvaiheen jälkeen oppimistulosten arviointi on edennyt ja etenee seuraavasti: : sosiaali- ja terveysalan perustutkinto, hotelli- ja ravintola-alan perustutkinto, logistiikan perustutkinto ja kone- ja metallialan perustutkinto : rakennusalan ja metsäalan perustutkinnot : maatalousalan, hiusalan ja sähkö- ja automaatiotekniikan perustutkinnot liiketalouden, käsi- ja taideteollisuuden ja koti- ja puhdistuspalvelujen perustutkinnot elintarvikealan ja pintakäsittelyalan perustutkinnot opetus- ja kulttuuriministeriö päättää vuosien arvioinneista valmisteilla olevassa arviointisuunnitelmassa. Oppimistulosten arviointi on perustunut koulutuksen järjestäjiltä vuosittain koottuun tietoon. Tutkintokohtaiset tiedot on sähköisen järjestelmän puuttuessa koottu erillisillä Excel-taulukoilla ja kyselyillä. Arvioinneista on tuotettu kansalliset väli- ja loppuraportit ja järjestäjä-/oppilaitoskohtaiset palauteraportit. Oppimistulosten arvioinnin kehittämisen erityisenä haasteena on se, miten arvioinnissa tarvittavaa tietoa voitaisiin tuottaa koulutuksen järjestäjien opintohallintojärjestelmistä ilman erillisiä tietojen koonteja ja miten näin tuotettuun tietoon voitaisiin yhdistää myös muiden rekistereiden tuottamaa tietoa. Erityiset haasteet liittyvät prosessin laatuun liittyvien tietojen koontiin sekä oppimistulosten arvioinnin laadun varmistamiseen. Sähköiseen järjestelmään siirtyminen merkitsee uusia mahdollisuuksia ja oppimistulosten arviointia koskevia muutoksia. Oppimistulosten arvioinnin kehittämistä koskevat ehdotukset on jaettu kahteen erilliseen raporttiin, joista tässä raportissa kuvataan oppimistulosten arviointijärjestelmää ja toisessa raportissa määritetään sähköisen seurannan, arvioinnin ja raportoinnin tavoitetila 1. Tavoitetila luo perustaa JHS-vaatimukset täyttävälle vaativuusmäärittelylle. Raporttien avulla tehdään myös hankintaa koskevat päätökset ja kilpailuttaminen. Ammatillisen koulutuksen oppimistulosten arvioinnin sähköistäminen on yhteydessä SADe-ohjelmaan. Erityisen tärkeitä ovat yhteydet kehitteillä olevaan oppijan verkkopalveluun ja sen yhteyteen tulevaan todennetun osaamisen rekisteriin (TOR) sekä tutkintojen perusteiden rakenteistamista koskevaan uudis- 1 Ammatillisen koulutuksen oppimistulosten arvioinnin sähköinen järjestelmä. Tavoitetila. Helsinki: Opetushallitus. 4/64

6 tukseen (OTUPERAS). Opetushallinnon kokonaisarkkitehtuuriin liittyvät aikataulut voivat siten vaikuttaa tässä suunnitelmassa esitettyyn oppimistulosten arvioinnin sähköistämisen aikatauluun. Tässä raportissa kuvattu oppimistulosten arviointijärjestelmä luo perustaa sähköiselle tietojärjestelmälle, jonka avulla oppimistulosten seurannassa ja arvioinnissa tarvittavat tiedot kootaan koulutuksen järjestäjiltä ja tuotetaan koulutuksen järjestäjille heitä koskevat palautteet. Tavoitteena on testata sähköistä järjestelmää vuonna 2012 ja aloittaa uuden järjestelmän mukainen oppimistulosten seuranta ja arviointi kaikissa tutkinnoissa syyslukukaudella Molemmat raportit perustuvat pääjohtaja Lankisen toimeksiantoon 17/041/ /64

7 2 TEHTÄVÄ JA PROSESSI Tehtävä Ammatillisen koulutuksen oppimistulosten seuranta- ja raportointijärjestelmän vaativuusmäärittelyprojekti (AMOP-vaatimus) asetettiin (17/041/2010). Tavoitteena on luoda tietojärjestelmä, joka tuottaa oppimistulostiedot koulutuksen järjestäjiltä kansallista seurantaa ja arviointia varten ja mahdollistaa koulutuksen järjestäjille omien tulosten seurannan ja arvioinnin sekä tulosten vertailun kansallisiin vertailutietoihin. Tietojärjestelmästä saadaan siten myös palautetta koulutuksen järjestäjille. Hankkeessa selvitetään myös, miten oppimistulosten arvioinnissa voidaan hyödyntää eri tietojärjestelmissä olevaa tietoa päällekkäisten tietojen koontien välttämiseksi. Hankkeessa selvitetään myös tarpeet ja mahdollisuudet kehittää järjestelmästä henkilötietopohjainen. Näin ollen selvityksen kohteena ovat niin ikään tietosuojaan liittyvät näkökohdat. Uuden tietojärjestelmän tulee ensisijaisesti tuottaa tietoa opiskelijoiden ammattiosaamisen näyttöjen arvosanoista, ammattiosaamisen näyttöjen organisoinnista sekä muista oppimistuloksiin mahdollisesti vaikuttavista tekijöistä tutkintokohtaisesti. Tiedot tuotetaan pääosin koulutuksen järjestäjien opintohallintojärjestelmistä ja opetushallinnon tietovarastosta. Tietojen tulee mahdollistaa oppimistulosten vertailu opiskelijoita (opiskelijan tausta), prosessien laatua (opetusjärjestelyt) ja resursseja (kustannukset) koskevien taustamuuttujien mukaan. Oppimistulosten seuranta- ja arviointiraporttien tulee tuottaa tietoa sekä kansallisen että koulutuksen järjestäjien tasolla tapahtuvaan kehittämiseen. Oppimistulosten arviointi kohdistuu tällä hetkellä ammatilliseen peruskoulutukseen lukuun ottamatta näyttötutkintoina suoritettavia ammatillisia perustutkintoja. Oppimistulosten seurannan ja arvioinnin ulottamisesta myös näyttötutkintoina suoritettaviin ammatillisiin perustutkintoihin ja ammattitutkintoihin ja erikoisammattitutkintoihin päätetään myöhemmin. Oppimistulosten arviointijärjestelmä sovitetaan yhteen SADe-hankkeen Oppijan verkkopalvelukokonaisuuden kanssa. Projekti- ja ohjausryhmät Projektiryhmä on vastannut projektin suunnittelusta ja organisoinnista. Projektiryhmän kokoonpano on ollut seuraava: projektipäällikkö Vesa Saarinen saakka IT-projektipäällikkö Ulla Angervo lähtien opetusneuvos Pirjo Väyrynen asiantuntija Marika Koramo saakka asiantuntija Paula Kilpeläinen lähtien opetusneuvos Anu Räisänen lähtien, projektipäällikkö lähtien. NETUM Oy on tuottanut sähköisen järjestelmän kehittämiseen liittyviä asiantuntijapalveluita. Konsultti, DI Pekka Nieminen on osallistunut projektiryhmän kokouksiin. 6/64

8 Ohjausryhmä on vastannut projektin ohjauksesta sekä sitä koskevista päätöksistä. Ohjausryhmä on kokoontunut 8 kertaa. Ohjausryhmän kokoonpano on ollut seuraava: johtaja Pasi Kankare (pj) johtaja Kristiina Kumpulainen (sijainen Matti Lahtinen) tutkimusprofessori Ritva Jakku-Sihvonen yksikön päällikkö Mari Räkköläinen yksikön päällikkö Sirkka-Liisa Kärki opetusneuvos Pirjo Väyrynen opetusneuvos Anu Räisänen lähtien. Prosessi Projektiryhmän oman toiminnan lisäksi projektiin on sisältynyt muun muassa seuraavia toimintoja: kaksi työpajaa, joissa käsiteltiin oppimistulosten arvioinnin nykytilaa, kehittämistarpeita ja sähköiseen järjestelmään sisältyviä vaatimuksia ja odotuksia sekä koulutuksen järjestäjien tietotarpeita. Työpajoihin osallistui koulutuksen järjestäjien ja sidosryhmien edustajia sekä asiantuntijoita opetus- ja kulttuuriministeriöstä ja Opetushallituksesta. useita työkokouksia opetus- ja kulttuuriministeriön ja Opetushallituksen asiantuntijoiden, ohjelmistotoimittajien ja muiden tahojen kanssa tietosuojavaltuutetun haastattelu, jonka avulla selvitettiin mahdollisuuksia henkilötietopohjaisten tietojen (opiskelijavalintatiedot) saantiin sekä mahdollisuuksiin luoda henkilötietopohjainen (HETU) seurantajärjestelmä tilastokeskuksen asiantuntijan haastattelu, jossa selvitettiin Tilastokeskuksen kokoamien rekisteritietojen hyödyntämismahdollisuuksia oppimistulosten arvioinnissa. Vastaavasti selvitettiin Opetushallituksen ylläpitämien rekistereiden hyödyntämismahdollisuudet. tietojärjestelmiin ja niiden hyödyntämismahdollisuuksiin perehtyminen, jossa selvitettiin järjestelmien yhteensopivuus. Tarkastelu kohdistui opiskelijavalintaa koskeviin tietojärjestelmään (OPH), ammattiosaamisen näyttöjä ja työssäoppimisen järjestämistä sekä opiskelijoiden työllistymistä koskeviin tietojärjestelmiin (Tilastokeskus) sekä tuloksellisuusindikaattoreita ja ammattiosaamisen näyttöjen ja työssäoppimisen kustannuksia kuvaaviin tietojärjestelmiin (OPH). kolmen maakunnan alueella sijaitsevien koulutuksen järjestäjien ryhmähaastattelu (syksy 2010), jossa selvitettiin järjestäjien näkemyksiä oppimistulosten arvioinnista. Maakunnat olivat Uusimaa, Lappi ja Pirkanmaa. Haastatteluihin osallistui 17 koulutuksen järjestäjän edustajaa, yhteensä 64 henkilöä. Lisäksi projektiryhmä vieraili KEUDAssa ja perehtyi opiskelijahallintajärjestelmään käytännössä. kahdeksan Opetushallituksen asiantuntijan haastattelu perehtyminen opetussuunnitelman ja tutkinnon perusteiden rakenteistamiseen ja sähköistämiseen liittyvään hankkeeseen (OTUPERAS). Oppimistulosten arviointiprosessi kuvattiin yhtenä Opetushallituksen ydinprosessina. kuulemistilaisuus (helmikuu 2011), johon osallistui koulutuksen järjestäjien, opettajien, rehtoreiden, opiskelijoiden sekä työelämää edustavien työnantajien sekä työntekijöiden edustajia. Koulutuksen järjestäjien edustajia kutsuttiin erityisesti niistä kolmesta maakunnasta, jotka jo aiemassa vaiheessa olivat haastateltavina. 7/64

9 3 TOIMINTAYMPÄRISTÖN KUVAUS Tässä luvussa kuvataan ammatillista koulutusta ja sen kehityssuuntaa. Painopiste on ammatillisessa peruskoulutuksessa, johon myös oppimistulosten arviointi kohdistuu. 3.1 Ammattikoulutus Ammattikoulutus muodostuu ammatillisesta perus- ja lisäkoulutuksesta. Se on tarkoitettu sekä työelämään siirtyville nuorille että työelämässä ja eri syistä sen ulkopuolella oleville aikuisille. Ammattikoulutus antaa monipuolisia tietoja, taitoja ja valmiuksia työelämään siirtymistä ja siellä toimimista varten. Lisäksi ammattikoulutus antaa valmiuksia elinikäiseen oppimiseen ja itsensä kehittämiseen. Koulutusta voidaan järjestää niin oppilaitosten oppimisympäristöissä, työpaikoilla kuin verkko-oppimisympäristöissäkin. Ammatillisena peruskoulutuksena järjestetään ammatillisia perustutkintoja ja ammatilliseen peruskoulutukseen ohjaavia, valmistavia ja valmentavia koulutuksia. Ammatilliseen peruskoulutukseen hakeudutaan pääsääntöisesti perusopetuksen päättövaiheessa tai lukiokoulutuksen päättyessä valtakunnallisella yhteishaulla. Yhteishaku järjestetään vakiintuneina ajankohtina kahdesti vuodessa. Ammatillisen perustutkinnon suorittaneella on yleinen jatko-opintokelpoisuus ammattikorkeakouluihin ja yliopistoihin. Näyttötutkintona suoritettu ammatillinen perustutkinto tai ammatti- tai erikoisammattitutkinto antaa kelpoisuuden korkeakoulututkintoon johtaviin opintoihin ja yleisen kelpoisuuden ammattikorkeakouluopintoihin. Ammatillisena lisäkoulutuksena järjestetään ammatti- ja erikoisammattitutkintoja sekä muuta kuin tutkintotavoitteista koulutusta. 3.2 Ammatilliset perustutkinnot Ammatilliseen perustutkintoon johtavan koulutuksen tavoitteena on antaa opiskelijoille ammatissa vaadittavat tarpeelliset tiedot ja taidot sekä valmiuksia itsenäiseen ammatinharjoittamiseen. Ammatillisissa perustutkinnoissa hankitaan ja osoitetaan ammattitaidon saavuttamisen ja alalle työllistymisen edellyttämät tiedot ja taidot, laaja-alaiset perusvalmiudet alan eri tehtäviin sekä erikoistuneempi osaaminen ja työelämän edellyttämä ammattitaito yhdellä tutkinnon osa-alueella. Ammatillisia perustutkintoja on 52 ja niissä 120 koulutusohjelmaa. Perustutkinto on laajuudeltaan 120 opintoviikkoa (kolme vuotta), ja siitä vähintään 20 opintoviikkoa (puoli vuotta) toteutetaan työssäoppimisena työpaikoilla. Ammatilliset perustutkinnot muodostuvat ammatillisista tutkinnon osista (90 opintoviikkoa) ja ammattitaitoa täydentävistä tutkinnon osista (20 opintoviikkoa), jotka molemmat voivat olla pakollisia tai valinnaisia, sekä vapaasti valittavista tutkinnon osista (10 opintoviikkoa) (taulukko 1). 8/64

10 Taulukko 1. Ammatillisen perustutkinnon rakenne ja opintojen laajuus Ammatilliset tutkinnot osat 90 ov Kaikille pakolliset tutkinnon osat Koulutusohjelmittain eriytyvät tutkinnoin osat Tutkinnon osisn sisältyy: työssäoppimista vähintään 20 ov opinnäytetyö vähintään 2ov yrittäjyysosaaminen ja yrittäjävalmiudet vähintään 5 ov terveyttä ja työkykyä vahvistavat opinnot opinto-ohjausta vähintään 1,5 ov Kaikille valinnat tutkinnon osat 10 ov Ammattitaitoa täydentävät tutkinnon osat 20 ov Äidinkieli 4 ov Toinen kotimainen kieli 1 ov Vieras kieli 2 ov Matematiikka 3 ov Fysiikka ja kemia 2 ov Yhteiskutna-, yritys- ja työelämätieto 1 ov Liikunta 1 ov Terveystieto 1 ov Taide ja kulttuuri 1 pv Muut valinnaiset tutkinnon osat 5 10 ov Vapaasti valittavat tutkinnon osat 10 ov Ammatillisia opintoja Ammattitaitoa täydentävät opinnot Työkokemusta Yleissivistävät opinnot Ohjattua harrastustoimintaa Opetushallitus laatii kansalliset tutkintojen perusteet. Tutkinnot perustuvat työelämässä edellytettävään osaamiseen ja koostuvat työelämän työ- ja toimintakokonaisuuksien mukaisista tutkinnon osista. Tutkinnon perusteissa määritetään tutkinnon muodostuminen, tutkinnon perusteiden toimeenpano, tutkinnon osat, ammattitaitovaatimukset ja arvioinnin perusteet (arvioinnin kohteet ja kriteerit sekä ammattitaidon osoittamistavat). Tutkinnon ja tutkinnon osien ammattitaitovaatimukset määritetään osaamisena: tietoina, taitoina ja pätevyytenä. Ammatilliset tutkinnon osat perustuvat alan työelämän työ- ja toimintokokonaisuuksiin, ja niihin sisältyy yhteensä vähintään 20 opintoviikkoa työssäoppimista. Koulutuksen järjestäjä vastaa työssäoppimisesta. Työssäoppiminen perustuu järjestäjän ja työnantajaan väliseen kirjalliseen sopimukseen. Opettajat ja työpaikan edustajat suunnittelevat, toteuttavat ja arvioivat työssäoppimisen aikana tavoitteeksi asetetun oppimisen yhteistyössä opiskelijan kanssa. ( Ammattitaitoa täydentävien tutkinnon osien (yhteiset opinnot) tavoitteena on antaa tietoja, taitoja ja pätevyyttä, joita tarvitaan työssä, jatko-opinnoissa ja kansalaisena, ja niitä voi korvata lukio-opinnoilla. Kaikille pakollisia ammattitaitoa täydentäviä tutkinnon osia ovat muun muassa kielet, matematiikka, liikunta sekä taide ja kulttuuri. Vapaasti valittavat tutkinnon osat voivat olla ammatillisia, ammattitaitoa täydentäviä, yleissivistäviä ja harrastustavoitteisia. Ammatillisen perustutkinnon perusteissa on määritetty elinikäisen oppimisen avaintaidot, jotka on sisällytetty ammatillisten ja ammattitaitoa täydentävien tutkinnon osien ammattitaitovaatimuksiin. Elinikäisen oppimisen avaintaitoja ovat oppiminen ja ongelmanratkaisu, vuorovaikutus ja yhteistyö, ammattietiikka, terveys, turvallisuus ja toimintakyky, aloitekyky ja yrittäjyys, kestävä kehitys, estetiikka, viestintä- ja mediaosaaminen, matematiikka ja luonnontieteet, teknologia ja tietotekniikka sekä aktiivinen kansalaisuus ja eri kulttuurit. 9/64

11 Uudistettuun perustutkintoon sisältyy mahdollisuus suorittaa entistä joustavammin myös osia muista ammatillisista tutkinnoista, joita ovat muut perustutkinnot, ammattitutkinnot tai ammattikorkeakoulututkinnot. ( uudistuvat_tutkinnon_perusteet) Määrällisiä tietoja (Tilastokeskus, Opetushallinnon yhteinen tietovarasto-web-raportointipalvelu) Koulutusalat (n = 8): humanistinen ja kasvatusala, kulttuuriala, yhteiskuntatieteiden, liiketalouden ja hallinnon ala, luonnontieteiden ala, tekniikan ja liikenteen ala, luonnonvara- ja ympäristöala ja sosiaali-, terveys- ja liikunta-ala sekä matkailu-, ravitsemis- ja talousala. Ammatillisten perustutkintoja on 52. Vuonna 2009 ammatillisessa peruskoulutuksessa (oppilaitosmuotoinen) oli noin opiskelijaa. Ammatillisen koulutuksen aloittaa vuosittain noin opiskelijaa. Ammatillista peruskoulutusta tarjoavia koulutuksen järjestäjiä oli 148 vuonna Osaamisen arviointi Opiskelijan arviointi perustuu tiettyihin kriteereihin, jolloin opiskelijan oppimista ja osaamista verrataan aina joko ammatillisten tutkintojen osien ammattitaitovaatimuksiin tai ammattitaitoa täydentävien tutkinnon osien (yhteiset opinnot) tavoitteisiin sekä niiden pohjalta laadittuihin arviointikriteereihin. Oppimisen arvioinnin tavoitteena on, että opiskelija tietää, mitä hän osaa ja mitä hänen on vielä opittava. Arviointimenetelmät ovat opiskelijaa motivoivia ja aktivoivia. Oppimisen arvioinnissa ei käytetä numeroita, vaan opiskelijalle annetaan suullista ja kirjallista palautetta oppimisen etenemisestä. Palautteella tuetaan ja ohjataan opiskelijaa mahdollisimman hyviin suorituksiin tuomalla esiin opiskelijan vahvuuksia. Oppimisen arvioinnin perusteella tehdään tarvittavat muutokset opiskelijan opetukseen ja oppimisen tukemiseen. Opiskelijan saamat tutkintotodistuksen arvosanat perustuvat osaamisen arviointiin. Arvioinnissa käytetään menetelmiä, jotka osoittavat luotettavasti, miten opiskelija on saavuttanut ammattitaitovaatimukset ja -tavoitteet. Opiskelijalla tulee olla mahdollisuuksia osoittaa osaamisensa monipuolisesti ja arvioida myös itse osaamistaan. Arvosana-asteikko on tyydyttävä 1, hyvä 2, kiitettävä 3. Opiskelijan ammattitaito arvioidaan ammatillisten tutkinnon osissa ammattiosaamisen näytöllä ja muulla osaamisen arvioinnilla. Ammattiosaamisen näytöllä arvioidaan mahdollisimman laajasti ammattitaitovaatimuksissa määritetty osaaminen, mutta vähintään se, mitä tutkinnon perusteissa on määrätty. Muita arviointimenetelmiä voidaan myös käyttää, kun täydennetään ammattiosaamisen näyttöjä. Ammattiosaamisen näytöt suunnitellaan, toteutetaan ja arvioidaan työelämän ja tutkinnon perusteiden mukaisesti. Näytöt järjestetään mahdollisuuksien mukaan työssäoppimisen yhteydessä joko työpaikoilla tai oppilaitoksessa. Kun kaikki tutkintoon kuuluvat osat on suoritettu hyväksytysti, opiskelija saa tutkintotodistuksen, joka sisältää päättötodistuksen ja näyttötodistuksen. Näyttötodistukseen merkitään ammattiosaamisen näytöt ja niiden arvosanat, ja päättötodistukseen merkitään kaikki tutkintoon sisältyvät tutkinnon osat ja niiden arvosanat. 10/64

12 3.4 Ammattiosaamisen näytöt Ammattiosaamisen näytöt ovat koulutuksen järjestäjän ja työelämän yhdessä suunnittelemia, toteuttamia ja arvioimia työtilanteita antavat opiskelijalle mahdollisuuden osoittaa käytännön töissä, miten hyvin hän on saavuttanut perustutkinnon perusteiden ammattitaitovaatimuksissa määritellyn keskeisen osaamisen sijoittuvat koko koulutuksen ajalle ovat osa opiskelijan arviointia. Ammattiosaamisen näyttöjen tavoitteena on varmistaa koulutuksen laatua ja vahvistaa työelämäyhteyksiä yhtenäistää opiskelijan arviointia ja antaa palautetta opiskelijan käytännön ammattitaidosta helpottaa opiskelijoiden siirtymistä työelämään antaa koulutuksen järjestäjille tietoa opetussuunnitelmien, opetusjärjestelyiden sekä ohjaus- ja tukitoimien toimivuudesta antaa koulutuksen järjestäjille tietoa opetussuunnitelmien, opetusjärjestelyiden sekä ohjaus- ja tukitoimien toimivuudesta tuottaa tietoa oppimistulosten kansalliseen arviointiin. Ammattiosaamisen näytöt annetaan kaikista ammatillisista tutkinnon osista (90 ov). Koulutuksen järjestäjän päätöksellä ammattiosaamisen näyttö voidaan antaa myös vapaasti valittavista tutkinnon osista (10 ov), mikäli ne ovat ammatillisia. Yhteisistä opinnoista (20 ov) ei anneta erillisiä näyttöjä. Näytöt tulee suunnitella, toteuttaa ja arvioida oppilaitosten ja työelämän yhteistyönä. Koulutuksen järjestäjien tulee liittää näytöt myös osaksi omia opetussuunnitelmiaan. Koulutuksen järjestäjien tulee asettaa myös ammattiosaamisen näyttöjen toimielin, joka ohjaa ja valvoo näyttöjen toteuttamista. Toimielin hyväksyy koulutuksen järjestäjän opetussuunnitelman osana olevat suunnitelmat, jotka koskevat ammattiosaamisen näyttöjen toteuttamista ja arviointia, ja päättää ammattiosaamisen näyttöjen arvioijista. (L 601/ 2005; A 603/2005; Opetushallituksen määräys M 32/011/2005/6; Ammattiosaamisen näytöt käyttöön, 2006.) Lisäksi toimielin valvoo näyttötoimintaa ja käsittelee opiskelijan arviointia koskevat oikaisuvaatimukset. Toimielimen puheenjohtaja allekirjoittaa myös näyttötodistukset. Koulutuksen järjestäjä voi päättää toimielimen muista tehtävistä, toimintatavoista ja päätöksenteosta sekä toimielimen jäsenille maksettavista palkkioista. 11/64

13 4 OPPIMISTULOSTEN SEURANTA-ARVIOINNIN NYKYTILA Tässä luvussa kuvataan oppimistulosten arviointijärjestelmän tavoitteita, periaatteita, tiedon tuottamista, analysointia ja raportointia. Työelämä Valmistuneet Uudet opiskelijat Opiskelijavalinnat Työelämän tarpeet, ennakointi Koulutuksen järjestäminen Oppimistulokset Kansallinen oppimistulosten arviointi Koulutuksen järjestäjä OPH OKM Koulutuksen ohjaus Koulutuksen kehittäminen ja järjestäjän itsearviointi Arviointitulokset Kuvio 1. Ammatillisen koulutuksen toimintaympäristö Oppimistulosten arviointi on osa koulutuksen ohjaus- ja järjestämisprosessia (kuvio 1). Oppimistulosten arvioinnin keskeisenä tehtävänä on varmistaa koulutuksen laatu osoittamalla, miten hyvin opiskelijoiden osaaminen vastaa koulutukselle asetettuja tavoitteita. Sen tehtävä on tukea sekä koulutuksen järjestäjiä että kansallisia toimijoita koulutuksen kehittämisessä. 4.1 Oppimistulosten arvioinnin tavoitteet, tehtävät ja periaatteet Oppimistulosten seuranta ja arviointi tuottaa tietoa ammatillisen perustutkinnon perusteissa määritettyjen ammattitaitovaatimusten saavuttamisesta ja osaamisen tasosta suhteessa työelämän tarpeisiin ja jatko-opintojen edellyttämiin vaatimuksiin. Arvioinnin tavoitteena on koulutuksen laadun parantaminen ja oppimistulosten jatkuva kehittäminen sekä koulutuksellisen tasa-arvon varmistaminen. Arvioinnin tavoitteena on lainsäädännön (1061/2009) mukaan 12/64

14 hankkia ja analysoida tietoa valtakunnallisen koulutuspoliittisen ja koulutuksen kehittämisen pohjaksi hankkia ja analysoida tietoa koulutuksen paikallisen kehittämistyön ja päätöksenteon perustaksi tukea opiskelijoiden oppimista, opetustoimen henkilöstön työtä ja oppilaitosten kehittämistä ja parantaa oppimisen edellytyksiä. Opetushallitus vastaa oppimistulosten arvioinnista. Koulutuksen järjestäjien tulee arvioida järjestämäänsä koulutusta ja sen vaikuttavuutta sekä osallistua koulutuksen ulkopuolisen toiminnan arviointiin. Järjestäjillä on siten lakisääteinen velvollisuus osallistua arviointiin ja toimittaa viranomaisten edellyttämät tiedot. Tavoitteena on, että järjestäjät voivat oppia arviointiprosessista ja kehittää toimintaansa arviointitiedon avulla. Arviointijärjestelmän tuottamaa tietoa voidaan käyttää myös kansallisella tasolla muun muassa ammattiosaamisen näyttöjen ja opiskelijan arvioinnin ja tutkinnon perusteiden kehittämisessä ja käynnistettäessä ammatillisen koulutuksen kehittämishankkeita. Oppimistulosten arvioinnissa painotetaan muun muassa seuraavia periaatteita: suunnitelmallisuus ja ennakoitavuus: arviointiohjelmasta päätetään ennalta useaksi vuodeksi kattavuus: arviointi kohdistuu kaikkiin tutkintoihin ja oppimistuloksia arvioidaan säännöllisin väliajoin kriteeriperusteisuus: yhtenäiset arvioinnin kriteerit on päätetty ennalta luotettavuus: arviointiprosessin ja tulosten laatu on varmennettu vaikuttavuus: koulutuksen järjestäjät ja opetushallinto hyödyntävät oppimistuloksia toiminnan kehittämisessä ja päätöksenteossa. 4.2 Oppimistulosten arviointiprosessi Oppimistulosten arviointiprosessi muodostaa oman kokonaisuuden, johon liittyy sekä koulutuksen järjestäjätasolla 2 että kansallisella tasolla toteutuvia prosessin vaiheita. Oppimistulosten arviointiprosessilla on kiinteä yhteys tutkintojen peruste- ja sen seurantaprosessiin. 2 Koulutuksen järjestäjätasolla toteutuvat prosessit ja niiden yhteys kansalliseen oppimistulosten arviointiprosessiin analysoidaan vaativuusmäärittelyvaiheen alussa. 13/64

15 OPPIMISTULOSTEN ARVIOINTIPROSESSI 1. Luonti Esivalmistelu ja lähtökohta OKM:n hyväksymä arviointisuunnitelma OPHn vahvistamat tutkinnon perusteet Koulutuksen järjestäjän opetussuunnitelma Näyttöjen organisointi Oppimistulosaineiston koonnin suunnittelu Seurannassa koottavista tiedoista päättäminen Ohjeiden ja lomakkeiden laadinta Tiedottaminen järjestäjille Yhdyshenkilörekisterin luominen Perehdytystilaisuuksien järjestäminen yhdyshenkilöille Tiedonkeruulomakkeiden toimittaminen järjestäjille Näyttötietojen tallentaminen opiskelijahallintojärjestelmään Perustutkinto Erikoisammattitutkinto Ammattitutkinto Täydentävien aineistojen ja prosessien suunnittelu itsearviointi määrälliset tunnusluvut arviointikäynnit näyttötehtävät näyttösuunnitelmat Tulosten analysoinnin, raportoinnin ja palautteiden suunnittelu OPPIMISTULOSTEN ARVIOINTI 2. Implementointi Ammattiosaamisen näytöt Tietojen tallentaminen opiskelijahallintojärjestelmiin Tietojen siirtäminen EXCEL -taulukoihin ja toimittaminen OPH:een Aineistojen muokkaaminen ja laadun varmistaminen Eri aineistojen yhdistäminen Tulosten analysointi Palauteraporttien toimittaminen järjestäjille Täydentävät aineistot (itsearviointi, arviointikäynnit, tehtävien ja näyttöympäristön vaativuuden arviointi) Tutkintokohtaisten väliraporttien laadinta Väliraporttien toimittaminen OKM:öön Loppuraporttien laadinta Raporttien viimeistely (kielenhuolto, taitto, käännös ja painatus) Tuloksista tiedottaminen ja jakelu Perustutkinto Erikoisammattitutkinto Ammattitutkinto 14/64

16 OPPIMISTULOSTEN ARVIOINTI Koulutuksen järjestäjien palautteet Tutkintokohtaisten asiantuntijoiden palautteet Indikaattorit: tuloskortit 3. Seuranta-arviointi Perustutkinto Erikoisammattitutkinto Ammattitutkinto Oppimistulosten arviointijärjestelmän (kuvio 2) pääpiirteet: Opetus- ja kulttuuriministeriö päättää oppimistulosten arvioinneista hyväksymässään arviointisuunnitelmassa. Oppimistulosten arviointi perustuu Opetushallituksen laatimiin tutkintojen perusteisiin ja ammattiosaamisen näyttöjen laatuvaatimuksiin. Koulutuksen järjestäjät vastaavat omista opetussuunnitelmistaan, opetuksen järjestämisestä, opiskelijoiden arvioinnista ja koulutuksen kehittämisestä. Koulutuksen järjestäjä laatii ammattiosaamisen näyttöjen näyttösuunnitelmat, jotka hyväksytään ammattiosaamisen näyttöjen toimielimessä. Toimielin ohjaa ja valvoo ammattiosaamisen näyttöjen toteutusta. Opettajat ja työpaikkaohjaajat/arvioijat vastaavat ammattiosaamisen näyttöjen käytännön organisoinnista. Oppimistulosten arvioinnissa tarvittava tieto tuotetaan suoraan koulutuksen järjestäjän toteuttamista ammattiosaamisen näytöistä. Oppimistulostiedon lisäksi tietoa kootaan myös ammattiosaamisen näyttöjen arviointi- ja toteuttamiskäytännöistä sekä laatuvaatimusten täyttymisestä. Arviointitietoa kootaan Excel-taulukoiden avulla koulutuksen järjestäjien opiskelijahallintojärjestelmistä sekä erillisten kyselyiden avulla. Oppimistulosten luotettavuus varmistetaan laadunvarmistusmenetelmin. Arviointien keskeiset tulokset julkistetaan. Arvioinneista laaditaan sekä väliraportit että loppuraportit. Opetushallitus toimittaa arvioinnissa mukana olleille koulutuksen järjestäjille ja oppilaitoksille niitä koskevat arviointitulokset lainsäädännön edellyttämällä tavalla (VNA/1061/2009). Oppimistulostietoa käytetään sekä kansallisella että paikallisella tasolla koulutuksen kehittämisen perustana. 15/64

17 OKM Päätös arvioinnista Näytöt OPH Tutkinnon perusteet Näyttöjen yleiset laatuvaatimukset Tutkinnon -perusteisuus Työelämälähtöisyys Tavoitelähtöinen ja kriteeriperusteinen arviointi Laaja-alaisen osaamisen arviointi Yhteisarviointi Yhtenäinen dokumentointi Ammatillisen koulutuksen oppimistulosten arviointiprosessi Koulutuksen järjestäjä OPH Koul.järj. opetussuunnitelma Näyttöjen - suunnittelu - toteuttaminen - arviointi Arviointitiedon tallentaminen Opiskelijahallintajärjestelmä opiskelija opettaja työelämä 1.l-vuosi Excel 2.l-vuosi Kansalliset raportit Arviointitiedon analysointi ja raportointi 3.l-vuosi Koulutuksen järjestäjän palaute TOIMIELIN Osaamisen ja sivistyksen parhaaksi KEHITTÄMINEN Kuvio 2. Ammatillisen koulutuksen oppimistulosten arviointijärjestelmä 16/64

18 4.3 Ammattiosaamisen näyttöjen yleiset laatuvaatimukset Ammattiosaamisen näyttöjen yleiset laatuvaatimukset ovat seuraavat: Tutkinnonperusteisuus: Osaaminen, ammattitaitovaatimukset, arvioinnin kohteet ja kriteerit vastaavat ammatillisen perustutkinnon perusteita. Työelämälähtöisyys: Ammattiosaamisen näyttöjen suunnittelu, toteuttaminen ja arviointi toteutetaan koulutuksen järjestäjien ja työelämän yhteistyönä. Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi: Näytön arvioinnille on asetettu ennalta arvioinnin kohteet ja kriteerit, jotka ovat kaikkien osapuolten tiedossa. Opiskelijan osaamista arvioidaan suhteessa asetettuihin tavoitteisiin ja kriteereihin. Laaja-alaisen osaamisen arviointi: Näytöissä tulee voida osoittaa ja arvioida laaja-alaista, toiminnallista, tiedollista, sosiaalista ja reflektiivistä osaamista. Yhteisarviointi: Näyttöjen arviointiin osallistuvat opiskelija, opettaja ja työelämän edustaja. Näyttöjen arviointitieto tallennetaan kaikissa tutkinnoissa yhdenmukaisesti. Arviointitiedon tallentamisen yhdenmukaisuus ja läpinäkyvyys: Koulutuksen järjestäjän opetussuunnitelmaa, näyttöaineistoa ja näyttöjen toteuttamista koskevat laatu- ja arviointikriteerit laaditaan yleisten laatuvaatimusten mukaisesti. Laatuvaatimusten toteutumista on seurattu mm. eri osapuolten kyselyillä. Laatu- ja arviointikriteerit on kuvattu liitteessä Yhteenveto nykyisen järjestelmän prosessista Kuvio 3. kuvaa ammatillisen koulutuksen oppimistulosten arviointia 5 vuoden ajalle ulottuvana prosessina. Kolme vuotta kestävän oppimistulosten seurannan lisäksi prosessiin sisältyy myös suunnittelu- ja raportointivaiheet. 17/64

19 Kuvio 3. Ammatillisen koulutuksen oppimistulosten arviointiprosessi 4.5 Opiskelijan arvioinnin kohteet Opiskelijan arvioinnin lähtökohtana on perustutkinnon perusteissa määritetty työelämän edellyttämä ammattitaito. Oppimistulosten arviointi kohdistuu laaja-alaiseen toiminnalliseen, tiedolliseen, sosiaaliseen ja reflektiiviseen osaamiseen. Arvioinnin kohteena on sekä osaaminen että osaamista tuottavat prosessit. Toiminnallinen eli operatiivinen osaaminen ilmenee työtehtävien ja työtoiminnan hallintana. Kognitiiviset eli tiedolliset prosessit osoittavat kykyä soveltaa teoreettista tietoa, tiedon hallintaa ja asioiden ja prosessien välisten yhteyksien ymmärtämistä sekä työn kokonaisuuden hahmottamista. Sosiaaliset eli yhteisölliset prosessit liittyvät kykyyn toimia itsenäisesti ja vuorovaikutuksessa muiden kanssa ryhmän jäsenenä tai johtajana. Reflektiiviset eli arvioivat ja kehittävät prosessit liittyvät kykyyn oppia ja kykyyn arvioida ja kehittää sekä omaa että ympäristön toimintaa. (Poikela 1998; Poikela 2002; Poikela & Räkköläinen 2006.) Edellä kuvatut osaamisen ulottuvuudet saavat sisällön kunkin perustutkinnon perusteiden yleisistä tavoitteista sekä tutkinnon osan keskeisistä ammattitaitovaatimuksista ja sisällöistä. Arvioinnin kohteet on esitetty tutkinnon osittain tutkinnon perusteissa (mitä arvioidaan). Arviointikriteereinä ovat (miten tutkinnon osassa kuvatut sisällöt hallitaan) tyydyttävä T1, hyvä H2 ja kiitettävä K3. Tutkinnon perusteissa on lisäksi määritelty, mitä osaamista on vähintään arvioitava ammattiosaamisen näytöllä. Ammattiosaamisen näyttöjen arvioinnin kohteet ja kriteerit ovat kaikissa tutkinnoissa samat. Arviointi kohdistuu 18/64

20 työprosessin työmenetelmien, välineiden ja materiaalin työn perustana olevan tiedon elinikäisen oppimisen avaintaitojen hallintaan. Elinikäisen oppimisen avaintaitoja ovat oppiminen ja ongelmanratkaisu, vuorovaikutus- ja yhteistyö, ammattietiikka, terveys, turvallisuus ja toimintakyky, aloitekyky ja yrittäjyys, kestävä kehitys, estetiikka, viestintä- ja mediaosaaminen, matematiikka ja luonnontieteet, teknologia ja tietotekniikka sekä aktiivinen kansalaisuus ja eri kulttuurit. Neljä avaintaitoa, oppiminen ja ongelmanratkaisu, vuorovaikutus- ja yhteistyö, ammattietiikka sekä terveys, turvallisuus ja toimintakyky arvioidaan erikseen. Muut avaintaidot arvioidaan työprosessin, työmenetelmien tai työn perustana olevan tiedon hallinnan yhteydessä. 4.6 Seurantatiedon tuottaminen ja eri tahojen vastuut Opetushallitus kokoaa tietoa oppimistuloksista, ammattiosaamiseen näytöistä ja työssäoppimisesta sekä muista keskeisistä prosessimuuttujista yhteistyössä koulutuksen järjestäjien kanssa. Tieto kootaan kaikissa tutkinnoissa samalla tavalla. Ammattiosaamisen näyttöjen arvosanat tallennetaan tutkinnoittain, tutkinnon osittain ja arviointikohteittain. Opetushallitus perehdyttää koulutuksen järjestäjien nimeämät yhdyshenkilöt arvioinnin periaatteisiin, laatii tiedonkeruun ohjeet ja lomakkeet sekä vastaa tulosten analysoinnista ja raportoinnista. Opetushallitus järjestää yhdyshenkilöille informaatiotilaisuuksia sekä ohjaa yhdyshenkilöitä muutoin. Koulutuksen järjestäjä, erityisesti koulutuksen järjestäjän nimeämä yhdyshenkilö vastaa paikallisella tasolla arviointiin liittyvästä tiedottamisesta ja perehdyttämisestä, tiedon kokoamisesta, tallentamisesta ja tiedon toimittamisesta Opetushallitukseen. Yhdyshenkilö vastaa myös ammattiosaamisen näyttöjä koskevan tiedon tallentamisesta omassa yksikössään. Kaikki oppimistulosten arviointiin liittyviin tutkintoihin koulutusta järjestävät järjestäjät ovat osallistuneet kansalliseen oppimistulosten arviointiin. Tieto kootaan kaikista opiskelijoiden suorittamista näytöistä koko koulutuksen ajalta. Oppimistulostiedon tuottaminen yksittäisestä tutkinnosta kestää tällöin kolme vuotta. Tietojen koonti perustuu arvioinnista annettuun määräykseen (M 32/011/2005), näyttötodistuksessa vaadittaviin tietoihin sekä näyttötoiminnan yleisiin laatuvaatimuksiin. Koulutuksen järjestäjät ovat tuottaneet seuraavat tiedot (1 19) Opetushallitukseen Excel-lomakkeella noin kerran lukuvuodessa. 1. Koulutuksen järjestäjän nimi, oppilaitoksen nimi ja nro (Tilastokeskuksen oppilaitostunnus) 2. Opiskelijan suku- ja kaikki etunimet 3. Opiskelijan henkilökohtainen tunniste (opiskelijahallintojärjestelmissä käytetty ID) 4. Opintojen aloituspäivä tässä oppilaitoksessa (pp.kk.vvvv) 5. Opintojen aloituspäivä tässä tutkinnossa (pp.kk.vvvv) 6. Opiskelijan sukupuoli (1 = mies, 2 = nainen) 7. Perustutkinto (Tilastokeskuksen koulutusluokituksen koodi) 8. Tutkinnon osan näyttö: käytetään Opetushallituksen opintoluokitusta. Mikäli niitä ei ole oppilaitoksen järjestelmissä käytössä, annetaan täydellinen tutkinnon perusteissa mainittu tutkinnon osan nimi. 9. Ammattiosaamisen näytön arvosanat arviointikohteittain (arvosana-asteikko 1 5) 10. Tutkinnon osan ammattiosaamisen näytön arvosana (arvosana-asteikko 1 5) 19/64

21 11. Tutkinnon osan ammattiosaamisen näytön arvosanasta päättämisen ajankohta (pp.kk.vvvv) 12. Näytön suorittaminen työssäoppimisjakson yhteydessä: 1 = kyllä, 2 = ei 13. Ammattiosaamisen näyttöpaikka: 1 = työpaikka, 2 = oppilaitos 14. Organisaation/yrityksen/oppilaitoksen nimi/nimet, jossa/joissa ammattiosaamisen näyttö on toteutettu. 15. Lyhyt kuvaus opiskelijan suorittamasta ammattiosaamisen näytöstä. Teksti vastaa näyttötodistuksen kuvausta. (Opintohallintojärjestelmään vietävä kuvaus tai kuvaukset eroteltuna pilkulla, jos opintokokonaisuuden näyttö muodostuu osanäytöistä.) 16. Arviointikeskusteluun osallistuivat: 1 = opiskelija ja opettaja, 2 = opiskelija ja työelämän edustaja, 3 = opiskelija, opettaja ja työelämän edustaja, 4 = opettaja ja työelämän edustaja, 5 = arviointikeskustelua ei pidetty. (Jos opintokokonaisuuden näyttö muodostuu osanäytöistä, valitaan vaihtoehto, jossa ovat kaikki eri vaiheissa mukana olleet osapuolet.) 17. Ammattiosaamisen näytön arvosanasta päätti: 1 = opettaja, 2 = työelämän edustaja, 3 = opettaja ja työelämän edustaja. 18. Tiedot täyttäneen henkilön suku- ja etunimi 19. Tietojen täyttämisen päivämäärä (pp.kk.vvvv) Erityisopiskelijoiden oppimistulosten arviointi poikkeaa hieman muusta arvioinnista. Tieto erityisopiskelijoiden ammattiosaamisen näytöistä kootaan omalla Excel-lomakkeella, koska erityisopiskelijoiden näytöt voidaan toteuttaa mukautetuin tavoittein ja arvioida sanallisesti. Edellä lueteltujen tietojen lisäksi, erityisopiskelijoista ja heidän näytöistä kootaan seuraavat tiedot: 1. Tiedot siitä, opiskeleeko opiskelija 1 = erityisoppilaitoksessa, 2 = erityisopiskelijoiden ryhmässä ammatillisessa oppilaitoksessa vai 3 = tavallisessa opiskelijaryhmässä ammatillisessa oppilaitoksessa 2. Tiedot siitä, onko HOJKS (henkilökohtainen opetuksen järjestämistä koskeva suunnitelma) tehty? 1 = kyllä, 2 = ei, 3 = en osaa sanoa 3. Tiedot siitä, käytettiinkö ammattiosaamisen näytön arvioinnissa mukautettuja tavoitteita 1 = kyllä, 2 = ei 4. Miten näytön tavoitteita mukautettiin? (vastataan vain, jos tavoitteita on mukautettu) 5. Ammattiosaamisen näytön arvosana annetaan 1 = numeerisena, 2 = numeerisena ja sanallisena, 3 = ainoastaan sanallisena 6. Näytön sanallinen arviointi, jos annettu 7. Mitä tukitoimia on järjestetty eritysopiskelijan näytön toteuttamiseksi? 8. Arviointikeskusteluun osallistuivat: 1 = opiskelija ja opettaja(t), 2 = opiskelija ja työelämän edustaja(t), 3 = opiskelija, opettaja(t) ja työelämän edustaja(t), 4 = opiskelija ja työelämän edustaja(t), 5 = arviointikeskustelua ei pidetty, 6 = muita henkilöitä, keitä? (Jos tutkinnon osan näyttö muodostuu osanäytöistä, valitaan vaihtoehto, jossa ovat kaikki eri vaiheissa mukana olleet osapuolet.) 9. Erityisopetuksen syy (vaihtoehdot perustuvat Tilastokeskuksen käyttämään luokitukseen) 1 = hahmottamisen, tarkkaavaisuuden ja keskittymisen vaikeudet (opiskelijat, joilla on diagnosoituja vaikeuksia, kuten AD/HD tai ADD) 2 = kielelliset vaikeudet (lukemiseen, kirjoittamiseen ja puhumiseen liittyviä vaikeuksia, kuten vaikea lukiongelma, dysfasia tai dysleksia) 3 = vuorovaikutuksen ja käyttäytymisen häiriöt (käyttäytymiseen liittyviä ongelmia, kuten sosiaalista sopeutumattomuutta) 4 = lievä kehityksen viivästyminen (laajoja oppimisvaikeuksia, mutta ei kuitenkaan kohdan 5 mukaista vaikeaa kehityksen viivästymää) 20/64

22 5 = vaikea kehityksen viivästyminen; keskivaikea tai vaikea kehitysvamma (saaneet peruskoulussa opetusta toiminta-alueittain; yleensä tarvitsevat runsaasti henkilökohtaista avustusta päivittäisistä toiminnoissa), 6 = psyykkiset pitkäaikaissairaudet (mielenterveyden ongelmat, päihdekuntoutujat) 7 = fyysiset pitkäaikaissairaudet (kuten allergia, astma, diabetes, epilepsia, syöpä) 8 = autismiin ja Aspergerin oireyhtymään liittyvät oppimisvaikeudet 9 = liikkumisen ja motoristen toimintojen vaikeus (tuki- ja liikuntaelinvammat, cpoireyhtymä, lyhytkasvuisuus), 10 = kuulovamma, 11 = näkövamma, 12 = muu syy: edellyttää erityisopetusta 4.7 Oppimistulosten analysointi, raportointi ja hyödyntäminen Opetushallitus analysoi ja raportoi oppimistulosten arviointiin kokoamansa tiedot säännöllisin väliajoin seuraavasti: 1. Väliraportit on laadittu vuosittain. Väliraportit ovat sisältäneet poikkileikkauksen niiden tutkintojen oppimistuloksista, jotka kyseisenä vuonna ovat olleet arvioinnin kohteena. Väliraportit toimitetaan vuosittain opetus- ja kulttuuriministeriöön. 2. Kansallisissa arviointiraporteissa on kuvattu kaikkien yhtä aikaa arvioinnin kohteena olevien tutkintojen tulokset. Opiskelijoiden arvosanat on esitetty keskiarvoina ja jakaumina tutkinnoittain, tutkinnon osittain ja arvioinnin kohteittain. Lisäksi arvosanoja on eritelty muun muassa näyttöpaikan, arvioijien, sukupuolen ja opetuskielen mukaan. Raporteissa on tarkasteltu myös järjestäjien ja tutkintojen välisiä eroja. Raportti on sisältänyt tietoja myös näyttöjen suorituspaikoista ja arviointiin osallistuneista osapuolista. Kansalliset raportit eivät sisällä järjestäjäkohtaisia tuloksia. 3. Opetushallitus on toimittanut palauteraportit koulutuksen järjestäjille ja oppilaitoksille niiden omista tuloksista ja tulosten vertailusta kansalliseen tulokseen 1. ja 2. lukuvuodesta. Oppimistulokset esitetään koulutuksen järjestäjien ja oppilaitosten palauteraporteissa tutkinnoittain ja arvioinnin kohteittain keskiarvoina. Lisäksi esitetään tutkinnon osan näytöstä annettujen arvosanojen keskiarvo ja arvosanojen jakauma, josta näkyy yleisin arvosana (moodi). Palaute sisältää myös tiedot ammattiosaamisen näyttöjen suorituspaikoista ja arviointiin osallistuneista osapuolista. Palautteessa järjestäjän oppimistulosten keskiarvoja verrataan kansallisiin keskiarvoihin. ajankohtaisten arviointiaiheiden määrittämisessä kansallisen arviointisuunnitelman laadinnassa Koulutuksen järjestäjät voivat hyödyntää palautetietoa muun muassa näyttöjen, opetuksen ja opiskelijan arvioinnin kehittämisessä sekä yleisemmin oman toiminnan arvioinnissa liittämällä näytöistä ja laadunvarmennuksesta saadun tiedon osaksi omia arviointi- ja seurantajärjestelmiä. 4.8 Taustakyselyt eri osapuolille Opetushallitus on tehnyt vuonna 1998 oppimistulosten arvioinnin osana myös näyttöjen suunnittelua, toteuttamista ja arviointia koskevat kyselyt opettajille, opiskelijoille ja työelämän edustajille. Kyselyiden avulla on hankittu taustatietoa laatuvaatimusten toteutumisesta ja näyttöjärjestelmän toimivuudesta. 21/64

23 Kyselyiden avulla on myös kartoitettu eri osapuolten kokemuksia näyttöjen suunnittelusta ja toteuttamisesta, arvioinnin osuvuudesta ja yhdenmukaisuudesta, kriteeriperusteisen arvioinnin toteutumisesta, arviointikäytännöistä, näyttöjen integroinnista opetukseen ja opetussuunnitelmiin sekä näyttöjen hyödyllisyydestä ja merkityksestä oppimiseen. Kyselyt on tehty otantana sosiaali- ja terveysalan, hotelli- ja ravintola-alan, kone- ja metallialan sekä logistiikan perustutkintojen seuranta-arvioinnin yhteydessä. Tiedot on kerätty sekä paperilomakkeella että sähköisellä lomakkeella Surveten kautta. 22/64

24 5 NYKYISEN JÄRJESTELMÄN KEHITTÄMISTARPEET Tässä luvussa kuvataan yhteenvetona oppimistulosten arvioinnin kokeilun, erilaisten kyselyiden, selvitysten ja haastatteluiden tuloksia sekä niiden osoittamia kehittämisehdotuksia. 5.1 Selvitykset ja keskeiset tulokset Arviointijärjestelmän kehittämishankkeessa (KOPPI) tehtiin ehdotus ammatillista peruskoulutusta koskevasta kansallisesta oppimistulosten arviointijärjestelmästä sekä sen edellyttämästä laadunvarmennuksesta. Lähtökohtana oli, että oppimistulosten arviointi integroidaan ammattiosaamisen näyttöihin. Opetushallitus kartoitti arviointikokeiluun ja varsinaiseen oppimistulosten arviointiin osallistuneiden koulutuksen järjestäjien käsityksiä kyselylomakkeiden avulla. Palaute kohdistui arviointijärjestelmään, tulostiedon kokoamiseen, tiedon tallentamiseen ja palautemekanismeihin. Palaute koottiin vuosina 2003, 2006 ja Myös Koulutuksen arviointineuvoston vuonna tekemät arvioinnit (Räisänen & Hietala (toim.) 2009 ja Anttila et al. 2010) tuottivat myös lisätietoa oppimistulosten arviointijärjestelmän toimivuudesta. Koulutuksen järjestäjien mielestä oppimistulosten arviointiin liittyneet järjestäjäkohtaiset palauteraportit ovat hyödyllisiä. Keskeisimpänä vahvuutena pidettiin koulutuksen järjestäjän ja sen toimipaikan tulosten vertailua kansallisiin tuloksiin. Koulutuksen järjestäjän ja sen toimipaikkojen tulosten vertaaminen kansalliseen tulokseen tutkinnoittain, opintokokonaisuuksittain ja arviointikohteittain koettiin hyödyllisenä. Ongelmana pidettiin tulosten luotettavuutta ja vertailtavuutta. Tulosten luotettavuusongelmat koettiin liittyvän näyttötehtävien ja -ympäristöjen sekä arviointitapojen ja -osaamisen vaihteluihin. Ongelmana pidettiin myös sitä, ettei arvioinnissa riittävästi analysoida oppimistulosten eroja taustamuuttujittain. (Tuloksia ja johtopäätöksiä Koppi-hankkeesta, 5/2008; Näyttöä on! Ammattiosaamisen näyttöjen toteutuminen käytännössä, 2010.) Ongelmana pidettiin myös sitä, ettei palautetta voida hyödyntää opetuksen ja muun toiminnan kehittämisessä ja opettajien, opiskelijoiden ja työpaikkaohjaajien perehdytyksessä ja koulutuksessa. Palautteen pohjalta käynnistetyt kehittämistoimenpiteet liittyvät useimmiten opetussuunnitelmien kehittämiseen, näyttöjen ja niiden arviointiin liittyvään perehdytyksen ja koulutuksen tehostamiseen sekä ohjeiden ja arviointitiedon dokumentoitiin. Oppimistulostietojen lisäksi osa koulutuksen järjestäjistä toivoi myös tietoa opiskelijoiden sijoittumisesta, koulutuksen läpäisystä, samaan opintokokonaisuuteen laadituista näyttötehtävistä ja näyttöympäristöistä sekä näyttöihin ja seurantaan käytetystä ajasta. (Tuloksia ja johtopäätöksiä Koppi-hankkeesta, 5/2008.) 23/64

25 Taulukko 2. Oppimistulosten arvioinnin keskeiset vahvuudet ja kehittämisehdotukset koulutuksen järjestäjien arvioimina 2003, 2004 ja 2006 Kysely 2003 Kysely 2006 Kysely 2008 Selvitys Vahvuudet vertailutieto selkeys, vertailutieto vertailutieto vertailutieto jämäköittänyt ja ohjannut toimintaa Ongelmat ei vastauksia tulosten luotettavuus tulosten luotettavuus, vertailtavuus raskas järjestää tulosten luotettavuus Kehittämiskohteet ei vastauksia systemaattinen palaute- ja vertailutieto nopeasti palaute sähköisessä muodossa tutkinto- ja opintokokonaisuuskohtaisesti analysoitua tietoa tulosten syistä tietoa opiskelijoiden sijoittumisesta, koulutuksen läpäisystä, eri oppilaitosten esimerkkejä samaan opintokokonaisuuteen laadituista näyttötehtävistä ja näyttöympäristöistä sekä niiden suorittamiseen ja seurantaan käytetystä ajasta analysoitu tieto tulosten syistä tietoa myös muusta arvioinnista ja siinä käytetyistä menetelmistä, jotta saataisiin kokonaiskuva opintokokonaisuuden ja koko tutkinnon arvioinnista ja oppimistuloksista tietoa, miten eri oppilaitokset antavat resursseja työssäoppimisen ja näyttöjen toteuttamiseen tietoa opiskelijoiden työllistymisestä ja heidän sijoittumista omalle alalle tietoa tulisi kerätä ajoittain taustakyselyn (opettaja, opiskelija, työelämän edustajan kysely) kaltaisista asioista seurannan laajentaminen kaikkiin aloihin/tutkintoihin yhteinen mahdollisimman reaaliaikainen tietokanta, joka ohjaisi toiminnan kehittämistä Palautteen hyödyntäminen opetussuunnitelman kehittämisessä toteut- näyttöjen tamisessa arviointikäytäntöjen kehittämisessä opetussuunnitelman kehittämisessä opetuksen kehittämisessä arvioinnin kehittämisessä näyttöjen ja työssä oppimisen kehittämisessä opiskelijoiden ohjauksen kehittämisessä näyttöjen ohjeistuksen kehittämisessä opetuksen kehittämisessä opettajien, opiskelijoiden ja työpaikkaohjaajien perehdytyksessä ja koulutuksessa arviointitiedon dokumentoinnin ja ohjeistuksen kehittämisessä Oppimistulostiedon tuottamiseen ja tallentamiseen liittyvä kysely tehtiin varsinaisen arvioinnin yhteydessä keväällä Kyselyyn vastasivat koulutuksen järjestäjän nimeämät yhdyshenkilöt, jotka ovat vastuussa oppilaitoskohtaisen tiedon tuottamisesta, tallentamisesta ja tiedon toimittamisesta Opetushal- 24/64

26 litukseen. Yhdyshenkilöt arvioivat oppimistulostiedon tuottamista tiedottamisen, työnjaon sekä arviointitiedon tallentamisen näkökulmista. (Näyttötietoa ammattiosaamisesta I, 2008.) Yhdyshenkilöiden esittämät ongelmat ja kehittämisehdotukset liittyvät pääosin oppimistulostiedon tuottamisen aiheuttamaan lisätyöhön sekä siihen, miten opiskelijahallintojärjestelmät voidaan sovittaa yhteen kansallisen oppimistulostiedon tuottamiseen vaadittujen tietojen kanssa. Lisäksi ongelmat liittyvät oppimistulostiedon tuottamisen työnjakoon, mutta myös koulutuksen järjestäjän tasolla ammattiosaamisen näyttöjen arviointitiedon tallentamiseen. (Näyttötietoa ammattiosaamisesta I 2008.) Erityisenä ongelmana pidetään arviointitiedon moninkertaista kirjaamista. Ongelma korostui erityisesti niissä yksiköissä, jotka eivät olleet yhdenmukaistaneet opintohallintojärjestelmäänsä kansallisen oppimistulostiedon tuottamiseen vaadittujen tietojen kanssa. Sen sijaan järjestäjät, jotka olivat päivittäneet omat tietojärjestelmänsä, olivat tyytyväisiä. (Näyttötietoa ammattiosaamisesta I, 2008.) Tyytyväisiä olivat myös ne järjestäjät, jotka olivat yhdistäneet tiedonkeruun työssäoppimisen web-sovelluksen kautta. Tällöin tietokantaan oli lisätty myös ammattiosaamisen näyttöihin vaadittavat lomakkeet. Näin ollen sama tietojärjestelmä palveli kansallisen oppimistulosten arvioinnin tietotarpeiden lisäksi muita tietotarpeita. (emt.) Yhdyshenkilöiden mielestä Opetushallituksen on jatkettava tiivistä yhteistyötä opiskelijahallintojärjestelmien tuottajien kanssa. Vaikka suuri osa vastaajista uskoi tiedon tuottamisen sujuvan ongelmitta omissa yksiköissään, joissakin yksiköissä oltiin epätietoisia siitä, kuka vastaa arviointitiedon tallentamisesta, aikatauluista ja tiedon luotettavuudesta. (Näyttötietoa ammattiosaamisesta I, 2008.) Koulutuksen arviointineuvoston arviointi (Anttila et. al 2010) on yhdensuuntainen Opetushallituksen oppimistulosten arvioinnissa saamien palautteiden kanssa. Esiin nostettiin erityisesti arvioinnin luotettavuuteen liittyvät näkökohdat. Koulutuksen järjestäjien ja tutkintokohtaisten ryhmien mielestä ammattiosaamisen näyttöjen arvosanojen osoittamat oppimistulokset ovat hyviä jopa liian hyviä. Arvosanat ovat myös parantuneet verrattuna siihen aikaan, jolloin arvioinneista vastasivat opettajat. Opettajat olivat erityisen kriittisiä. Heidän mielestään ammattiosaamisen näyttöjen arviointi ei ole luotettavaa ja työelämän edustajilla on vaikeuksia tulkita arviointikriteereitä ja opiskelijan osaamista. Opettajat olivat myös melko laajasti sitä mieltä, että arvioinnin luotettavuusongelmia liittyy myös ammattiosaamisen näytöissä käytettävien tehtävien vaativuuteen, näyttöympäristöjen yhdenmukaisuuteen ja mahdollisuuksiin sekä arvioijien erilaiseen orientaatioon ja arviointikykyyn. Koulutuksen arviointineuvoston arvioinneissa kuvattiin myös (Räisänen & Hietala (toim.) 2009) koulutuksen järjestäjien käsityksiä sosiaalisiin ja viestinnällisiin valmiuksiin liittyvistä oppimistuloksista. Tulosten mukaan opiskelijat hallitsevat hyvin ko. valmiudet. Noin 70 %:lla opiskelijoista arvioitiin olevan hyvät tai kiitettävät sosiaaliset taidot, vuorovaikutus- ja viestinnälliset taidot ja oppimaan oppimisen valmiudet. Sen sijaan vähintään hyvät yrittäjyyden valmiudet arvioitiin olevan 60 %:lla opiskelijoista. Tyydyttävän tason osaaminen vaihtelee osaamisalueittain prosenttiin. Opetushallituksen ja Salon seudun koulutuskuntayhtymän koordinoiman hankkeen tarkoituksena oli selvittää ammattiosaamisen näyttöjen arviointia ja dokumentointia sekä palaute- ja seurantajärjestelmän kehittämistä koskevia kehittämistarpeita. Projektiryhmän arvion mukaan koulutuksen järjestäjät eivät vielä ole selkeästi hahmottaneet oppimistulosten arviointiprosessia ja sen tärkeyttä. Oppilaitokset eivät ole hyödyntäneet oppimistulostietoja ja Opetushallituksen palauteraportteja osana koulutuksen laadunhallintaa. Ammattiosaamisen näyttöprosessi toimii kuitenkin yleisesti hyvin, ja kaikista näytöistä kerätään arviointitiedot. Projektiryhmä arvioi, että oppilashallintojärjestelmiä voitaisiin vielä kehittää, jotta arviointitietojen järjestelmään syöttäminen helpottuisi. Ammattiosaamisen näyttöjen dokumentaatioprosessi on tärkeä osa ammattiosaamisen näyttöjen arviointia. Koulutuksen järjestäjillä on käytössään näyttöjen arviointilomakkeet, ja kaikista näytöistä kerä- 25/64

27 tään systemaattisesti samat tiedot. Dokumentointiprosessin yhtenä kehittämiskohteena on se, että koulutuksen järjestäjien tulisi laatia selkeät ohjeet siitä, miten ammattiosaamisen näytön kokonaisarvosana muodostuu osanäytöistä. Koulutuksen järjestäjien tulisi myös antaa arviointiasiakirjojen arkistointiohjeet. (Stenvall et. al ) 5.2 Kehittämistarpeet Seuraavassa esitettävät oppimistulosten arvioinnin kehittämistarpeet perustuvat oppimistulosten arvioinnista saatuihin kokemuksiin, eri tahojen näkemyksiin ja oppimistulosten arviointiin vaikuttaviin toimintaympäristön muutoksiin. Arvioinnin tavoitteet ja merkitys Nykyinen oppimistulostiedon kokoamismekanismi on raskas. Oppimistulosten arvioinnin laajentaminen kaikkiin perustutkintoihin on myös työläs sekä koulutuksen järjestäjille että kansallisella tasolla toimiville tahoille. Tiedot pitäisi voida tuottaa sähköisesti. Erillisestä dokumentoinnista luopuminen lisää sekä koulutuksen järjestäjien että Opetushallituksen toiminnan kustannustehokkuutta. Oppimistulosten arvioinnin tulee tuottaa koulutuksen järjestäjille vertailuun perustuvaa palautetietoa säännöllisin väliajoin. Koulutuksen järjestäjien toiminnan laadun ja vaikuttavuuden arviointi edellyttävät laajaa tietopohjaa ja mahdollisuutta yhdistää erilaisia seuranta- ja arviointitietoja. Oppimistulosten arvioinnissa tulee hyödyntää muista rekistereistä saatavia sekä opiskelijoita, koulutuksen järjestäjien toimintaa, tuloksia ja taloutta koskevia tietoja. Nykyinen arvosanojen perusteella tehtävä oppimistulosten arviointi on pinnallista ja luonteeltaan enemmän arvosanojen seurantaa kuin arviointia. Oppimistulosten arvioinnissa tarvitaan myös ammattiosaamisen näyttöjen ja työssäoppimisen organisointia, prosessin laatua ja voimavaroja koskevia tietoja. Tämä edellyttää myös prosesseja koskevien laadullisten tunnuslukujen seurantaa ja laadullisten indikaattoreiden kehittämistarvetta. Erityisen keskeisiä ovat myös opiskelijoiden opiskelua, opetus-, ohjausresursseja sekä ylipäätään ammattiosaamisen näyttöjen aiheuttamia kustannuksia koskevat taustatiedot. Lisäksi tarvittaneen eri tahojen, erityisesti opiskelijoiden tyytyväisyyttä koskevia taustatietoja. Ammatilliseen perustutkintoon johtavassa koulutuksessa ei ole näyttötutkinnon kaltaista AIPALmekanismia. Vastaavan järjestelmän luominen edellyttäisi opiskelijan tyytyväisyyskyselyiden yhtenäistämistä ja laajentamista myös muuhun ammatilliseen peruskoulutukseen. Oppimistulosten arvioinnin vaikuttavuutta on tarpeen lisätä. Tämä edellyttää, että koulutuksen järjestäjillä on mahdollisuus hyödyntää tulostietoja omassa arvioinnissaan, kehittämistyössään ja päätöksenteossa. Siten oppimistulosten arvioinnin hyödynnettävyyttä ja vaikuttavuutta tulee painottaa sekä arvioinnin aikana että sen jälkeen. Tämä edellyttää osallistavaa ja vuorovaikutteista arviointiprosessia ja tulosten hyödyntämistä painottavaa toimintakulttuuria. Seuranta- ja arviointitiedon tuottamisessa tulee ottaa huomioon monien toimijoiden tiedontarpeita. Koulutuksen järjestäjien ja opettajien lisäksi keskeisiä hyödynsaajia ovat kansalliset toimijat. Järjestäjien kannalta keskeistä on, miten seuranta- ja arviointitieto palvelevat omaa seurantaa, itsearviointia 26/64

28 ja siten jatkuvaa pedagogisen toiminnan parantamista ja kehittämistä. Ammattiosaamisen näyttöihin liittyvän seuranta- ja palautejärjestelmän tulisi ensisijaisesti tukea pedagogista kehittämistä. Arvioinnin ajoitus Opetus- ja kulttuuriministeriö päättää arvioitavat tutkinnot arviointisuunnitelmassa. Opetushallituksen oppimistulosten arvioinnin piirissä vuonna 2010 on ollut tai on 12/52 tutkinnosta. Oppimistulosten muutosten arviointi edellyttää tutkinnoittain selkeitä syklejä (esimerkiksi joka 5. vuosi), jolloin voidaan osoittaa myös oppimistulosten muutos ja kehitys. Ammattiosaamisen näyttöihin perustuva seuranta- ja arviointijärjestelmä kattaa vain osan ammatillisen koulutuksen opinnoista ja osaamisalueista. Ongelmana on, että ammattiosaamisen näyttöihin liittyvä oppimistulosten arviointi tuottaa hyvin yleisessä tasolla olevaa tietoa ammattitaitoa tukevista tutkinnon osista, kuten matemaattisista ja kielellisistä valmiuksista ja elinikäisen oppimisen avaintaidoista. Näiden suhteen tarvittaneen kansallisia, yksittäisinä arviointeina toteutettavia testejä. Toteutustapa voisi olla esimerkiksi yksi aine/teema/vuosi. Toteutus Oppimistulosten arvioinnista puuttuvat laadunvarmistuksen mekanismit. Suurimmat luotettavuusongelmat liittyvät eroihin, jotka koskevat tehtäviä ja niiden vaikeusastetta (tehtävästä johtuva virhe) työpaikkaohjaajien kykyä arvioida kriteeripohjaista osaamista (arvioijasta johtuva virhe) näyttöympäristöstä aiheutuvaa virhettä (työpaikkojen vaativuuden erot). Opettajat eivät juuri osallistu opiskelijan näytön arviointiin, joskin he osallistuvat arviointikeskusteluun. Opettajien mielestä työelämän edustajien antamat arvosanat ovat liian hyviä. Ammattiosaamisen näyttöihin perustuvan oppimistulosten arvioinnin ulkopuolelle jää muu opettajien tekemä opiskelijan arviointi. Opiskelijan arvioinnin tavoitteissa ja kriteereissä ei oteta huomioon osaamisen siirtovaikutuksia (transfer). Tämän vuoksi opiskelijan osaaminen voidaan todeta kiitettäväksi jo koulutuksen alussa, eikä osaamisen siirrettävyys erilaisiin toimintaympäristöihin tule ilmi. Ammattitaitoa täydentävät tutkinnon osat on integroitu ammattiosaamisen näyttöihin, jolloin niitä koskevan osaamisen arviointi on näyttöjen perusteella lähes mahdotonta. Oppimistuloksia ei ole analysoitu taustamuuttujittain, joita ovat opiskelijaa koskevat muuttuvat prosesseja koskevat muuttujat resursseja koskevat muuttujat. Tietojärjestelmät Tietoteknisiä välineitä on käytetty nykyisessä järjestelmässä vähän. Seurantaa ja arviointia tukevaa tietojärjestelmää kehittämällä voidaan seurantaa ja arviointia laajentaa ja tietomassoja kasvattaa. Tie- 27/64

29 tojärjestelmän avulla tulee parantaa arvioinnin kustannustehokkuutta sekä koulutuksen järjestäjien palautteensaantimahdollisuuksia. Palautejärjestelmä Opetushallitus on tuottanut koulutuksen järjestäjille ja oppilaitoksille palauteraportit 1. ja 2. lukuvuoden jälkeen, kun taas 3. lukuvuoden tulokset on raportoitu pelkästään kansallisessa arviointiraportissa. Ongelmaksi ovat muodostuneet seuraavat asiat: Kolmannen vuoden tulokset, joista järjestäjät ja oppilaitokset eivät ole saaneet palautetta, ovat ensimmäisen ja toisen lukuvuoden tuloksia merkittävämmät, ja ne kuvaavat ns. koulutuksen päättövaihetta. Ammattiosaamisen näytöt kasautuvat useissa tutkinnoissa ja järjestäjillä koulutuksen loppuun kolmanteen lukuvuoteen. Ensimmäisen ja toisen lukuvuoden näytöt liittyvät ammatin perusteisiin, joten niiden vaatimustaso on kolmatta lukuvuotta vähäisempi. Ensimmäisen ja toisen lukuvuoden palauteraporttien laadinta on työlästä, ja se ruuhkautuu erityisesti silloin, kun järjestäviä yksiköitä on paljon. Resurssit eivät riitä, jos palauteraportit on laadittava joka vuosi. Raportit on laadittu järjestäjä- ja oppilaitoskohtaisesti, vaikka muutoin oppilaitoskohtaisesta ajattelusta yritetään siirtyä järjestäjäkohtaiseen ajatteluun ja toimintamalliin. Kolmen maakunnan haastattelu ja kuulemistilaisuus Liitteessä 2 kuvataan kolmen maakunnan (Lappi, Pirkanmaa, Uusimaa) haastatteluissa esille nousseita näkökulmia. Koulutuksen järjestäjien ja muiden tahojen kuulemistilaisuudessa ( ) esiin nostettiin muun muassa seuraavia oppimistulosten arviointiin liittyviä näkökohtia: Yleistä: Järjestelmää on kehitettävä niin, että se tukee koulutusta kehittäviä koulutuksen järjestäjiä. Jatkuva palaute on keskeistä. Järjestelmää on kehitettävä niin, että se palvelee sekä järjestäjiä että kansallista tasoa. Sisältö: Nykyinen arvosana-asteikko ei erottele opiskelijoiden osaamista. Näyttö on liian numerokeskeinen, muuta tietoa tarvitaan myös. Oppimistulosten perustaksi on koottava raporttiluonnoksessa jo olevia tietoja: o opiskelijoita koskevat taustamuuttujat o toimielimen roolia ja toimintaa koskevat tiedot o arvioijia koskevat taustatiedot o näytön suorittamiseen liittyvät tiedot (näytön ajankohta ja kesto) o näyttötehtävän vaativuuden arviointiin ei riitä esitetty kolmeportainen asteikko o o o o 28/64 näyttöpaikan sopivuus tulee myös arvioida (kriittinen kohta) ammattiosaamisen näyttöjä ei saa erottaa työssäoppimisesta, koska ne integroidaan toisiinsa, esimerkiksi ei ole erikseen resursseja ammattiosaamisen näyttöihin, vaan se on osa työssäoppimiseen kohdennettua resurssia opiskelijoiden poissaolojen selvittäminen ei ole olennaista jatkuvan ohjauksen ja palautteen merkitys

30 o o työpaikkaohjaajien koulutus tyytyväisyyskyselyt AIPALin tapaan tulisi ulottaa koskemaan muuta ammatillista peruskoulutusta, eri tahojen tyytyväisyys tulisi olla yksi taustamuuttuja. Oppimistulosten arviointijärjestelmä Sähköisen järjestelmän kehittämiseen liittyvä aikataulu on melko tiukka. Koulutuksen järjestäjillä on useita järjestelmiä, joiden yhteensopivuus tulee selvittää hankkeen aikana. Yhteistyö ohjelmien toimittajien kanssa on keskeistä. Koulutuksen järjestäjien tiedottamiseen tulee panostaa ja tiedotussuunnitelma laatia. Arvioinnin luotettavuus Arvioinnin luotettavuuden varmistaminen on ensisijaista. Arvioinnin subjektiivisuus tulee ottaa huomioon tulosten arvioinnissa. Työelämästä saadun tiedon luotettavuuteen tulee kiinnittää erityistä huomiota. On otettava huomioon, ettei kukaan halua antaa huonoja arvosanoja pelättävissä olevan oikaisuvaatimuksen takia. Muuta Kansallisen arvioinnin kielteisiin vaikutuksiin tulee kiinnittää huomiota. Arviointi ei saa leimata työpaikkoja. Aiemmin tehtyjen oppimistulosten arviointien vaikuttavuus on ollut melko vähäistä. 29/64

31 6 UUSI OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄ Tämä luku sisältää ehdotuksen uudeksi oppimistulosten arviointijärjestelmäksi. 6.1 Uuden seuranta- ja arviointijärjestelmän piirteitä Oppimistulosten arvioinnissa on kyse tulkinnallisesta analyysista, jolla pyritään osoittamaan, saavutetaanko koulutukselle asetetut tavoitteet. Keskeistä on osoittaa, mitä opiskelijat osaavat ja mitä he eivät osaa tutkintojen perusteiden osoittamilla osaamisalueilla. Oppimistulosten arviointi on aina kriteeriperusteista, jossa kriteerit määritetään ennalta. Oppimistulosten arviointi edellyttää sekä opiskelijoita että opetuksen ja ohjauksen järjestämistä ja oppilaitosyhteisöä ja toimintakulttuuria sekä voimavaroja koskevia taustatietoja. Jos moniulotteiseen tulkinnalliseen analyysiin ei ole mahdollisuuksia, järjestelmä on luonteeltaan seurantajärjestelmä eikä oppimistulosten arviointijärjestelmä. Oppimistulosten arvioinnin keskeiset periaatteet ovat avoimuus, osallistavuus ja kehittävyys. Arviointi on luonteeltaan formatiivista. Sen ensisijaisena tavoitteena on tukea ammatillisen koulutuksen kehittämistä eri tasoilla. Oppimistulosten arviointijärjestelmä kehitetään ammatillisen koulutuksen laatustrategian ja laadunhallinnan osaksi. Kehittäminen perustuu opetus- ja kulttuuriministeriön laatimaan ammatillisen koulutuksen laatustrategiaan (Ammatillisen koulutuksen laatustrategia ). Oppimistulosten arvioinnin tulee edistää koulutuksen järjestäjiä ja kansallisia toimijoita toimimaan näyttöön perustuvasti (evidence based -johtaminen ja päätöksenteko). Seuranta- ja arviointijärjestelmä Oppimistulosten seuranta- ja arviointijärjestelmä tuottaa systemaattisesti tietoa ammatillisen koulutuksen kansallisen ja paikallisen kehittämisen ja päätöksenteon perustaksi. Uusi järjestelmä sisältää sekä kaikkia tutkintoja koskevan seurannan että tutkinnoittain säännöllisin väliajoin tehtävän oppimistulosten arvioinnin. Sähköisen järjestelmän avulla koulutuksen järjestäjät voivat seurata ja arvioida omia tuloksia kansallisiin tuloksiin sekä tehdä tulosten vertailua. Oppimistulosten vuosiseuranta kohdistuu kaikkiin tutkintoihin (n = 52) ja se on jatkuvaa. Oppimistuloksia arvioidaan jokaisessa tutkinnossa joka 5. vuosi (noin 10 tutkintoa/vuosi). Oppimistulosten arviointi sisältää koko tutkintoa koskevat tulokset (120 ov). Oppimistulosten arvioinnin lähtökohtina ovat tutkintojen perusteissa määritetyt ammattitaitovaatimukset ja kriteerit sekä ammattiosaamisen näytöille asetetut laatuvaatimukset. Arvioinnin perustana oleva tieto tuotetaan pääosin ammattiosaamisen näytöistä. Erillisiä tehtäviä ja näyttöjä ei järjestetä erillisiä pilotteja lukuun ottamatta. Seuranta kohdistuu ensisijaisesti opiskelijoiden arvosanoihin. Oppimistulosten analysointi edellyttää tietoa myös opiskelijoiden osaamisessa mahdollisesti ilmenevien erojen syistä: miksi jotkut opiskelijat osaavat paremmin kuin toiset (opiskelijoiden taustamuuttujat) ja millaisten ehtojen (prosessi ja resurssitekijät) vallitessa oppimistulokset voivat kehittyä erinomaisiksi. Arvioinnissa tarvittavat taustamuuttujat liittyvät siten opiskelijaan, opettajiin ja ohjaajiin, pedagogiseen ympäristöön ja prosessiin sekä toiminnan edellytyksiin (kuvio 30/64

32 3). Nämä taustatiedot/muuttujat kootaan opintohallintojärjestelmän lisäksi lähinnä opetushallinnon yhteisestä tietovarastosta ja sen taustalla olevista Tilastokeskuksen ja Opetushallituksen rekistereistä. PROSESSIN LAATU JA TEHOKKUUS opetus, ohjaus ja opiskelijan arviointi työssäoppiminen ammattiosaamisen näytöt OPISKELIJAN TAUSTA ikä, sukupuoli aikaisempi koulumenestys työkokemus valintatoive poissaolot RESURSSIT opetuksen ja ohjauksen määrä opettajan resurssit työssäoppimiseen ja ammattiosaamisen näyttöihin opettajien ja ohjaajien koulutus OPPIMISTULOS työprosessit työmenetelmät, välineet ja materiaalit työn perustana oleva tieto elinikäisen oppimisen avaintaidot Kuvio 4. Oppimistulokset ja niihin mahdollisesti vaikuttavat tekijät Oppimistulosten arvioinnin ja seurannan prosessien kuvaaminen ja analysointi Oppimistulosten arviointiprosessi ylittää organisaatiorajat, ja se koskee tutkintojen perusteita, koulutuksen järjestäjien opetussuunnitelmia ja opetuksen järjestämistä, opiskelijoiden arviointia, prosessien ja resurssien dokumentointia ja tiedon välittämistä Opetushallitukseen ja edelleen palautteen tuottamista koulutuksen järjestäjille. Nämä prosessit analysoidaan ja kuvataan yhdessä koulutuksen järjestäjien (pilotit) kanssa vaatimusmäärittelyvaiheen alussa. Samalla selkeytetään myös sitä, mikä tieto koulutuksen järjestäjien kannalta on ensisijaista ja mahdollista koota oppimistulosten arvioinnissa. Prosessien analysoinnin yhteydessä analysoidaan myös kansallisen oppimistulosten arvioinnin ja tutkintojen perusteiden seurantaprosessien sekä tutkintojen rakenteistamiseen liittyvien prosessien yhteydet, jotta päällekkäisyydet voidaan ennaltaehkäistä. Sähköinen tietojärjestelmä Tieto kootaan pääosin koulutuksen järjestäjien opintohallintojärjestelmistä ja muista rekistereistä kansallisten oppimistulosten arvioinnin perustaksi. Sähköinen järjestelmä integroidaan osaksi Opetushallituksen ylläpitämiä ja kehitteillä olevia tietojärjestelmiä (muun muassa oppijan verkkopalve- 31/64

33 lu/tor 3 ja opetushallinnon tietovarastot). AMOP-tietojärjestelmä sovitetaan muiden sähköisten järjestelmin kanssa. Mahdollisesti tarvittavat lainsäädäntömuutokset ratkaistaan TOR:n yhteydessä. Tieto siirtyy sähköisessä järjestelmässä opintohallintojärjestelmistä automaattisesti tietojärjestelmien avulla Opetushallituksen AMOP-tietokantaan. Erillisistä tietojen koonneista luovutaan niin paljon kuin se on mahdollista tietojärjestelmiin liittyvän tietosuojan ja muiden rajoitteiden ja järjestelmän suomien mahdollisuuksien vuoksi. Järjestelmän kehittämisessä otetaan huomioon tietoturvaa koskevat vaatimukset ja periaatteet. Opetushallitus vastaa sähköisestä järjestelmästä, siihen koottavista tiedoista ja niiden käytöstä sekä järjestelmän toimivuudesta ja käyttöoikeuksista. Järjestelmän käyttöoikeudet ovat Opetushallituksella ja koulutuksen järjestäjillä. Koulutuksen järjestäjien käyttöoikeuksien tulee olla sellaiset, että järjestäjät voivat seurata omia tuloksia ja verrata niitä kansallisiin tuloksiin (määritetään, tuleeko aikarajoituksia vai onko käytössä no stop -periaate). Järjestäjät eivät siis voi seurata toistensa tuloksia. Muilla tahoilla avointa sähköisen järjestelmän käyttöoikeutta ei ole. Opetushallitus varmistaa oppimistulosten arviointitiedon laadun ja vertailtavuuden, jotta järjestäjät voivat tehdä omia analyysejä ja kansallinen seurantaraportti voidaan laatia. Laadunvarmistukset tehdään tiettyinä aikoina vuosittain. Opetushallitus vastaa myös tietojen hallintaprosessista kokonaisuudessaan. Sähköisen järjestelmän kehittämisessä noudatetaan opetustoimen kokonaisarkkitehtuuria. Sähköinen järjestelmä otetaan käyttöön oppimistulosten seurannassa ja arvioinnissa Tämä edellyttää seuraavia toimintoja: sähköisen järjestelmän vaativuusmäärittely, huhti-lokakuu 2011 tarjouspyynnöt ja toimittajien kilpailuttaminen, marras-joulukuu 2011 tekniset valmistelut ja testaaminen, toimeenpano syyslukukaudesta 2013 lähtien. Opintohallintojärjestelmät Opetushallitus saa oppimistulostiedot ja pääosin muut arvioinnissa tarvittavat tiedot suoraan koulutuksen järjestäjien opintohallintojärjestelmistä. Opintohallintojärjestelmät uudistetaan ja yhdenmukaistetaan siten, että ne tuottavat opiskelijoiden taustaa koskevia tietoja, ammattiosaamisen näyttöjen arvosanoja ja prosessien laatua (muun muassa opiskelijan tausta ohjaus, opetus, työssäoppiminen, ammattiosaamisen näytöt, opiskelijan arviointi) sekä voimavaroja kuvaavat tunnusluvut yhdenmukaisesti ja ajantasaisesti. Opiskelijoiden taustatietojen koonnista voidaan luopua siinä vaiheessa, kun rekistereissä olevat opiskelijavalintatiedot ovat yhdistettävissä tietojärjestelmien avulla oppimistulostietoihin. Opintohallintojärjestelmien uudistaminen edellyttää yhteistyötä ko. ohjelmien toimittajien ja koulutuksen järjestäjien kanssa. 32/64

34 Opetushallitus ja koulutuksen järjestäjät sopivat opintohallintojärjestelmiin tallennettavista tiedoista, tallentamisen ja Opetushallituksen tekemän tietojen laadunvarmistuksen aikatauluista sekä siitä, milloin koulutuksen järjestäjät voivat saada omia tuloksiaan ja vertailutietoja koskevia tietoja ja analyysejä tietojärjestelmästä. Oppimistulosten arvioinnissa tarvittava laadullinen tieto Arvioinnissa tarvitaan arvioinnin luotettavuutta varmistavaa ja arviointia syventävää laadullista tietoa. Tietoa tarvitaan muun muassa työssäoppimisesta, ammattiosaamisen näytöistä ja muusta opiskelijan arvioinnista sekä resursseista. Laadullista tietoa kootaan ensisijaisesti kulloinkin arvioinnin kohteena olevista tutkinnoista vuosittain vaihtelevilla menetelmillä (esimerkiksi kyselyt, laadulliset indikaattorit, kuvaukset ja analyysit sekä itsearvioinnit, arviointikäynnit, työpajat ja seminaarit). Aineiston tuottajina ovat opettajat, opiskelijat, pedagoginen johto, työpaikkaohjaajat, ammattiosaamisen näyttöjen toimielin, sen jaostot ja ammatilliset neuvottelukunnat. Aineistot kootaan ja erilaisia laadunvarmistusmenettelyitä testataan jo keväällä 2011 rakennusalan ja metsäalan perustutkinnoissa. Nämä aineistot toimivat myös laadunvarmistuksen välineinä. Laadullisten menetelmien osana kehitetään myös laadullisia oppimistulosten arviointiin keskeisesti liittyviä indikaattoreita. Laadulliset indikaattorit luodaan tavoitteiden kannalta keskeisiin toimintoihin ja kriittisiin prosessin osiin ja niitä koskeva analyysi tehdään kulloinkin arvioinnin kohteena olevan tutkinnon osalta oppimistulosten arvioinnin yhteydessä koulutuksen päättymisvaiheessa. Laadulliset indikaattorit voivat esimerkiksi liittyä seuraaviin toimintoihin: työelämälähtöisyys, opiskelijan arvioinnin kriteeriperusteisuus, ohjauksen ja opetuksen laatu, ammattitaitoa täydentävien tutkinnon osien ja elinikäisen oppimisen avaintaitojen integraatioaste työssäoppimiseen ja ammattiosaamisen näyttöihin. Myös hyvinvointi-indikaattori otetaan käyttöön oppimistulosten arvioinnissa. Indikaattoreiden kehittämisessä otetaan huomioon tarve määrittää myös ns. hälytysindikaattoreita. Indikaattorit sovitetaan yhteen tutkintojen perusteiden seurannassa ja muussa seurannassa tarvittavien indikaattoreiden kanssa. Täydentävää laadullista aineistoa kootaan ja erilaisia laadunvarmistusmenettelyitä testataan ja niiden paremmuutta ja toimivuutta arvioidaan ensimmäisen kerran keväällä Opiskelijoiden tyytyväisyys Nykyisiä opiskelijoiden tyytyväisyysindikaattoreita ei voida käyttää taustamuuttujina koulutuksen järjestäjien nykyisten hyvin erilaisten käytänteiden vuoksi aikuiskoulutusta (AIPAL) ja työvoimapoliittista koulutusta (OPAL) lukuun ottamatta. Siirtyminen AIPALin ja OPALin kaltaiseen yhtenäiseen mittaristoon myös ammatillisena koulutuksena järjestettävässä koulutuksessa mahdollistaisi ko. indikaattoreiden hyödyntämisen myös oppimistulosten arvioinnin taustamuuttujana. Tyytyväisyysmittarikäytäntö yhtenäistetään koskemaan myös ammatillisena koulutuksena järjestettävässä koulutuksessa hankkeen edetessä. Teknisesti AIPAL -järjestelmä voidaan laajentaa myös ammatillisen koulutuksena järjestettävään peruskoulutukseen. 33/64

35 Osallistavaa tulosten analysointia Oppimistuloksia analysoidaan monitahoisesti arviointiprosessin aikana. Tulosten analyysit perustuvat sekä määrällisiin ja laadullisiin tunnuslukuihin että tutkintokohtaisesti koottaviin laadullisiin aineistoihin sekä arviointikäynteihin tai muihin laadullisiin menetelmiin. Menetelmien kehittäminen on jatkuvaa. Koulutuksen järjestäjät, opettajat ja työelämän asiantuntijat osallistuvat tulosten analysointiin ja tulkintaan yhdessä monitahoisen arviointiryhmän kanssa (paneelit, focus-ryhmät, vertaisryhmät, työpajat). Näin parannetaan myös kansallisen arvioinnin vaikuttavuutta. Opiskelijan identifiointi Henkilöpohjaisen tiedon käyttöön liittyvien tietosuojavaatimusten vuoksi oppimistulosten arvioinnissa otetaan tulevaisuudessa käyttöön opiskelijoiden henkilökohtainen opiskelijatunnus. Näin myös eri rekistereissä olevia henkilötunnukseen perustuvia tietoja voidaan hyödyntää arvioinnissa. Henkilökohtainen opiskelijatunnus voisi myös mahdollistaa todennetun osaamisen rekisterin. Tunnuksen käyttöönotto ja muut mahdolliset lainsäädäntömuutokset ratkaistaan TOR:n yhteydessä. Muiden tietojärjestelmin hyödyntäminen oppimistulosten arvioinnissa Oppimistulosten arvioinnissa hyödynnetään myös opetushallinnon tietovarastoa, kuten Tilastokeskuksen ja Opetushallituksen tuottamaa rekisteritietoa. Tiedon tarve kohdistuu erityisesti seuraaviin tietoihin: Tilastokeskuksen aineistot: työssäoppimista ja ammattiosaamisen näyttöjä koskevat seurantatiedot, koulutuksen keskeyttäminen, läpäisy ja työllistyminen. Opetushallituksen tietovarastot: opiskelijoiden keskimääräinen viikkotuntimäärä (lähiopetustunnit), työssäoppimisen määrä, opettajien resurssit työssäoppimiseen ja näyttöön, ammattiosaamisen näyttöjen ja työssäoppimisen kustannukset. Tuloksellisuusrahoituksen tunnusluvut. Oppimistulosten arvioinnissa tulisi voida hyödyntää myös opiskelijavalintarekisterin tietoja. Näiden henkilöpohjaisten tietojen hyödyntäminen suoraan rekisteristä edellyttää lainsäädäntömuutosta. Arvioinnissa tarvittavat opiskelijan taustatiedot (opiskelijan ikä, sukupuoli, peruskoulun/lukion todistuksen keskiarvo, valintatoive ja aikaisempi työkokemus, poissaolot) sisällytetään välivaiheessa opintohallintojärjestelmään. Tietojärjestelmien kehittämisessä ja niiden yhteensovittamisessa varmistetaan, että Tilastokeskuksen ja Opetushallituksen kokoamat sekä opiskelijoita että järjestäjiä koskevat tiedot ovat ajantasaisesti käytössä oppimistulosten arvioinnissa. Tulosten analysointi, palautejärjestelmä ja raportointi ja arvioinnista oppimista Koulutuksen järjestäjät saavat sähköisestä järjestelmästä tutkintokohtaisen palauteraportin, joka sisältää järjestäjän tulokset ja kansalliset vertailutiedot. Sen lisäksi koulutuksen järjestäjät voivat tehdä omia analyysejaan sähköisessä järjestelmässä olevista tiedoista. Opetushallitus ei siten laadi erillisiä järjestäjäkohtaisia palauteraportteja. 34/64

36 Arviointien keskeiset tulokset julkistetaan. Opetushallitus laatii määrällisiin tunnuslukuihin perustuvan seurantaraportin vuosittain. Seurantaraportti on tarkoitettu erityisesti opetushallinnon tarpeisiin. Seurantaraportti kuvaa kaikkien tutkintojen ammattiosaamisen näyttöjen ja oppimistulosten tilaa määrällisten tunnuslukujen valossa ilman arvioivaa osuutta. Seurantaraportti korvaa aiemmin vuosittain laaditut väliraportit ja muut ko. toimintaan kohdistuvan seurannan raportit. Opetushallitus laatii tutkintokohtaiset arviointiraportit joka 5. vuosi. Kansalliset tulokset julkistetaan noin ½ 1 vuoden kuluttua opiskelijoiden valmistumisesta. Tutkintokohtaisten oppimistulosten arvioinnin tulosten levittämiseen ja toisilta erityisesti hyvistä käytänteistä oppimiseen kehitetään erilaisia menetelmiä (esimerkiksi ryhmäbenchmarking) ja testataan niitä käytännössä. Koulutuksen järjestäjille tehtyjen seurantojen ja arviointien päällekkäisyyksien poistaminen ja ennaltaehkäisy Opetus- ja kulttuuriministeriö sekä Opetushallitus sovittavat erilaiset seurannat ja arvioinnit yhteen niin, ettei päällekkäisyyttä ole. Sähköinen järjestelmä kehitetään sellaiseksi, että erityisesti työssäoppimisen/ammattiosaamisen näyttöjen seurantaan liittyviä erillisiä tietojen koonteja tai raportointia ei tarvita. Elinikäisen oppimisen avaintaidot ja ammattitaitoa täydentävät tutkinnon osat Elinikäisen oppimisen avaintaitoja, kuten oppiminen ja ongelmanratkaisu, vuorovaikutus ja yhteistyö, ammattietiikka, kestävä kehitys, estetiikka, viestintä- ja mediaosaaminen sekä aktiivinen kansalaisuus ja eri kulttuurit, arvioidaan kansallisten testien avulla otantaperustaisesti kaikissa tutkinnoissa. Arvioinnit organisoidaan teemakohtaisesti vuorovuosin ammattitaitoa täydentävien tutkinnon osien kanssa. Arviointi aloitetaan kestävään kehitykseen liittyvästä osaamisesta. Ammattitaitoa täydentäviä tutkinnon osia, kuten äidinkieli, vieraat kielet ja matematiikka, arvioidaan otantaperustaisesti kansallisten testien avulla kaikissa tutkinnoissa. Arvioinnit organisoidaan tutkinnon osa kerrallaan (1 arviointi/joka toinen vuosi) aloittaen matematiikasta. Näiden arviointien tietojen koonti tehdään sähköisen järjestelmän ulkopuolella erikseen. Kansainvälinen yhteistyö Opetushallitus osallistuu aktiivisesti ja aloitteisesti oppimistulosten arvioinnin kehittämiseen yhdessä kansallisten ja kansainvälisten kumppaneiden kanssa ja edistää oppimistulosten arviointiverkoston syntymistä. Oppimistulosten arvioinnissa hyödynnetään eri maiden kokemuksia ja hyviä käytäntöjä. Kansainvälisiä asiantuntijoita kuullaan arvioinnin kehittämisessä. 35/64

37 Muut näkökohdat ja kehittämisehdotukset Oppimistulosten seuranta ja arviointi laajennetaan myös näyttötutkintoina järjestettävään ammatilliseen peruskoulutukseen. Oppimistulosten arvioinnissa kehitetään ja testataan erilaisia menetelmiä. Oppimistulosten arvioinnin vaikuttavuutta ja sen kehittämistarpeita seurataan palautejärjestelmän ja 3 5 vuoden välein tehtävän follow up -arvioinnin avulla. Opetushallitus tuottaa koulutuksen järjestäjille maksullisia oppimistulosten arviointipalveluita järjestäjien tarpeen ja omien mahdollisuuksiensa mukaan. Uuden arviointijärjestelmän edellyttämien tietojen koontia testataan pilottina keväällä 2012 päättyvissä arvioinneissa. Tietojen koonti toteutetaan manuaalisesti Excel-lomakkeella. 6.2 Oppimistulosten arviointiin sisällytettävät tiedot ja tietojen analysointi Oppimistulosten arvioinnissa kerättävät tiedot on koottu taulukkoon 3. Tiedot saadaan koulutuksen järjestäjien opintohallintojärjestelmistä. Taulukko 3. Oppimistulosten arviointiin tulevat/siirtyvät tiedot koulutuksen järjestäjän opintohallintojärjestelmästä Kohde Tieto Tiedon muoto Opiskelija Koulutuksen järjestäjä (nimi ja Teksti tunnusnro) Opiskelijan henkilökohtainen tunniste Numero (opiskelijahallintojärjestelmissä käytetty ID) Sukupuoli 1 = mies, 2 = nainen Äidinkieli Tilastokeskuksen luokitus Opintojen aloituspäivä ko. tutkinnossa Numero (pp.kk.vvvv) Syntymävuosi Numero Valintatoive, hakukohteen prioriteetti Numero Peruskoulun/lukion päättötodistuksen keskiarvo Aikaisempi työkokemus Numero (kk) Poissaolot ko. lukuvuonna Numero (h) Erityisopiskelija Tavoitteiden mukauttaminen 1 = kyllä, 2 = ei Ammattiosaamisen näytön arvosanan antaminen 1 = numeerisena, 2 = numeerisena ja sanallisena, 3 = ainoastaan sanallisena Näytön sanallinen arviointi, jos Teksti annettu Järjestetyt tukitoimet näytön Teksti toteuttamiseksi Erityisopetuksen syy (Tilastokeskuksen luokitus) 1 = hahmottamisen, tarkkaavaisuuden ja keskittymisen vaikeudet (opiskelijat, joilla on diagnosoituja vaikeuksia, kuten AD/HD tai ADD) 2 = kielelliset vaikeudet (vaikeita lukemiseen, 36/64

38 Kohde Tieto Tiedon muoto kirjoittamiseen ja puhumiseen liittyviä vaikeuksia, kuten vaikea lukiongelma, dysfasia tai dysleksia) 3 = vuorovaikutuksen ja käyttäytymisen häiriöt (käyttäytymiseen liittyviä ongelmia, kuten sosiaalista sopeutumattomuutta) 4 = lievä kehityksen viivästyminen (laajoja oppimisvaikeuksia, mutta ei kuitenkaan kohdan 5 mukaista vaikeaa kehityksen viivästymää) 5 = vaikea kehityksen viivästyminen; keskivaikea tai vaikea kehitysvamma (saaneet peruskoulussa opetusta toiminta-alueittain; yleensä tarvitsevat runsaasti henkilökohtaista avustusta päivittäisissä toiminnoissa), 6 = psyykkiset pitkäaikaissairaudet (mielenterveyden ongelmat, päihdekuntoutujat) 7 = fyysiset pitkäaikaissairaudet (kuten allergia, astma, diabetes, epilepsia, syöpä) 8 = autismiin ja Aspergerin oireyhtymään liittyvät oppimisvaikeudet 9 = liikkumisen ja motoristen toimintojen vaikeus (tuki- ja liikuntaelinvammat, cp-oireyhtymä, lyhytkasvuisuus), 10 = kuulovamma, 11 = näkövamma, 12 = muu syy: edellyttää erityisopetusta Ammattiosaamisen näyttö Perustutkinto, johon näyttö sisältyy (Tilastokeskuksen koulutusluokituksen koodi ja nimi) Tutkinnon osan nimi, johon näyttö sisältyy (numerona Opetushallituksen opintoluokitus) Numero ja teksti Numero Ammattiosaamisen näytön arvosanat Numero: 1 3 arviointikohteittain työprosessin hallinta työmenetelmien, -välineiden ja materiaalin hallinta työn perustana olevan tiedon hallinta elinikäisen oppimisen avaintaidot Tutkinnon osan näytön arvosana Numero: 1 3 Näytön suorittamisen ajankohta 1 = I lukuvuonna, 2 = II lukuvuonna, 3 = III lukuvuonna Näytön suorittaminen työssäoppimisjakson yhteydessä 1 = kyllä, 2 = ei Ammattiosaamisen näyttöpaikka 1 = työpaikka, 2 = oppilaitos, 3 = työpaikka ja oppilaitos Lyhyt kuvaus opiskelijan suorittamasta Teksti ammattiosaamisen näytöstä Näytön kesto (h) Näyttötehtävän vaativuus suhteessa tutkinnon osan ammattitaitovaatimuksiin Näyttöympäristön sopivuus suhteessa Määriteltävä, missä muodossa tieto tallennetaan 1 = helppo, 2 = vastaa ammattitaitovaatimuksia, 3 = vaikea 1 = helppo, 2 = vastaa ammattitaitovaatimuksia, 37/64

39 Kohde Tieto Tiedon muoto tutkinnon osan ammattitaitovaatimuksiin 3 = vaikea Arviointikeskusteluun osallistuneet henkilöt 1 = opiskelija ja opettaja, 2 = opiskelija ja työelämän edustaja, 3 = opiskelija, opettaja ja työelämän edustaja, 4 = opettaja ja työelämän edus- Tieto arvosanasta päättäneestä henkilöstä/henkilöistä taja, 5 = arviointikeskustelua ei pidetty 1 = opettaja, 2 = työelämän edustaja, 3 = opettaja ja työelämän edustaja Oppimistulosten arvioinnissa ja analysoinnissa hyödynnettävät muiden rekistereiden ja järjestelmien, lähinnä opetushallinnon tietovarastossa olevia tietoja. Nämä tiedot on koottu taulokkoon 4. Taulukko 4. Oppimistulosten arviointiin tulevat/siirtyvät tiedot muista rekistereistä ja järjestelmistä Kohde Tieto Mistä tieto saatavissa Opettaja Kelpoisuus (onko pedagogisesti pätevä vai ei) Tilastokeskus/Opetushallinnon yhteinen tietovarasto Työelämäjaksolle osallistuminen Tilastokeskus Täydennyskoulutukseen osallistuminen Tilastokeskus Koulutuksen Lähiopetuksen viikkotuntimäärä Opetus- ja kulttuuritoimen rahoitusjärjestelmä järjestäjän prosessit keskimäärin ko. tutkinnossa Työssäoppimisen kokonaismäärä (ov) Tilastokeskus tutkinnoittain Keskeyttämisaste Opetushallinnon yhteinen tietovarasto Läpäisyaste Opetushallinnon yhteinen tietovarasto Koulutuksen Työssäoppimisen kustannukset Opetus- ja kulttuuritoimen rahoitusjärjestelmä järjestäjän Ammattiosaamisen näyttöjen Opetus- ja kulttuuritoimen rahoitusjärjestelmä edellytykset kustannukset Opetuksen keskimääräinen viikkotuntimäärä Opetus- ja kulttuuritoimen rahoitusjärjestelmä Opettajien keskimääräinen ei valmista rekisteriä viikkotuntimäärä työssäoppimisen ja näyttöjen ohjaukseen/tutkinto Järjestäjän resurssit henkilöstön Opetus- ja kulttuuritoimen rahoitusjärjestelmä kouluttamiseen Koulutuksen Koko Opetushallinnon yhteinen tietovarasto järjestäjän Monialaisuus ei valmista tilastoa tausta Opetuskieli Opetushallinnon yhteinen tietovarasto Maakunta Opetushallinnon yhteinen tietovarasto Omistajapohja Opetushallinnon yhteinen tietovarasto 6.3 Oppimistulosten arvioinnin luotettavuus ja laadunvarmistus Oppimistulosten arvioinnin luotettavuushaasteet liittyvät muun muassa seuraaviin tekijöihin: arvioitsijasta johtuvat arviointivirheet: arviointitaidot ja kyky kriteeriperustaiseen arviointiin ja kyky tulkita tutkinnon perusteiden vaatimuksia ja opiskelijoiden osaamista näyttöympäristön laatuerot ja niiden luomat mahdollisuudet tavoitteiden mukaisiin näyttöihin 38/64

40 näytön vaativuuteen ja kattavuuteen liittyvät erot arviointiperusteiden ja kriteereiden vaihtelut näytön ajoittuminen opiskelijan koulutusohjelmassa oppimisen arvioinnin (formatiivinen) ja osaamisen arvioinnin (summatiivinen) sovittaminen yhteen arvosana-asteikon erottelevuus (1 2 3). Oppimistulosten arvioinnin laadunvarmistus mahdollistaa em. luotettavuusongelmien eliminoinnin tai tietoisuuden niistä. Luotettavuuden arvioiminen ei ole ratkaistavissa pelkästään sähköisen tietojärjestelmän avulla, vaan se vaatii erillisiä toimenpiteitä. Luotettavuuden arvioinnissa voidaan hyödyntää muun muassa laadullisia indikaattoreita ja arvioitsijoiden arviointikäyntejä. Edelleen kyseeseen voi tulla ammattiosaamisen näyttöelimen hyväksymien suunnitelmien, opiskelijoiden näyttöjen sisällön ja arviointikriteereiden arviointi, jonka tekee ulkoiset arvioitsijat. Oppimistulosten arvioinnin laadunvarmistus tehdään otosperustaisesti erilaisin ja vaihtelevin menetelmin. Ulkoinen laadunvarmistus kohdistetaan kansallisen arvioinnin kohteena oleviin tutkintoihin. Laadunvarmistuksessa painotetaan opettajien ja työpaikkaohjaajien sekä ammattiosaamisen näyttöjen arvioijien osallistumista. Laadunvarmistus voidaan toteuttaa myös arviointikäynteinä. Taulukko 5. Ammattiosaamisen näyttöihin perustuvan oppimistulosten arvioinnin laadunvarmistuksen menetelmiä Luotettavuusarvioinnin kohde Tehtävien laatu Näyttöympäristön vaativuus Arvioitsijan kyky arviointiin Opetussuunnitelmien vastaavuus suhteessa kansallisiin perusteisiin 4 Arviointimenetelmä ammattiosaamisen näyttöjen toimielimen hyväksymien näyttösuunnitelmien analysointi yhtenäiset tehtävät viimeisenä lukuvuonna/yhdessä tutkinnon osassa ulkopuolisen asiantuntijan tai vertaisten tekemä tehtävien kattavuutta ja vaativuutta koskeva arviointi ulkopuolisen tekemä arviointitilanteen seuranta ja opiskelijan rinnakkaisarviointi (otos) opettajien, ohjaajien ja opiskelijoiden itsearviointi ja haastattelu arviointikäynti tai auditointi otoksena/monitahoarviointi ohjaajan, opettajan ja opiskelijan yhteisarviointi (arviointiasteikko: vähän vaativa, melko vaativa, erittäin vaativa) (sisältyy sähköiseen järjestelmään) opettajan ja työpaikkaohjaajan/arvioijan itsearviointi rinnakkaisarviointi otospohjainen analyysi (esimerkiksi arviointikohteena olevista yksiköistä) 4 Edellyttää myös kansallisten tutkintojen perusteiden analyysia 39/64

41 7 UUDEN OPPIMISTULOSTEN ARVIOINNIN VAIKUTUKSET LAINSÄÄDÄNTÖÖN Tavoitteena on, että oppimistulosten arvioinnin perustana oleva tieto hankitaan opintohallintojärjestelmiin liittyvän sähköisen järjestelmän avulla. Myös koulutuksen järjestäjille annettava palaute tuotetaan sähköisellä järjestelmällä. Näin ollen erillisistä tietojen koonneista ja raportoinneista voidaan luopua. Arvioinnissa tarvittavaa tietoa saadaan tietojärjestelmien kautta myös eri rekistereistä. Keskeisimmät määrittelyt liittyvät Opetushallituksen ja Tilastokeskuksen tietojärjestelmiin. Arvioinnissa tarvittavat opiskelijaa koskevat taustatiedot liittyvät ensisijaisesti opiskelijavalintajärjestelmiin. Näiden tietojen hyödyntäminen suoraan rekisteristä edellyttää kuitenkin lainsäädäntömuutoksia. Opiskelijan taustatiedot ovat keskeisiä oppimistulosten arvioinnin tuloksia selittävinä muuttujia. Koska näitä tietoja on vähän, esitetään niiden kokoamista tässä vaiheessa opintohallintojärjestelmän kautta. Lisäksi esitetään otettavaksi käyttöön opiskelijan henkilökohtainen tunniste, jonka mukaan kaikki koulutukseen hakeutumiseen ja opintoihin liittyvät tiedot tallentuisivat rekistereihin ilman sosiaaliturvatunnusta. Näin ollen näitä tietoja voitaisiin tulevaisuudessa hyödyntää nykyistä paremmin arvioinneissa ja tutkimuksessa. Tietojärjestelmiä ylläpitävien toimijoiden, kuten Tilastokeskuksen ja Opetushallituksen, toimivaltaa koskevat tiedot opiskelijatietojen kerääjinä ja analysoijina analysoidaan raportissa II. Myös salassapitosäädökset ja tietojen säilyttämiseen ja hävittämiseen liittyvät asiat tulee ottaa huomioon. Myös tietojärjestelmän suojaus ja käytön valvonta (esim. lokitiedot) sekä rekisteröityjen oikeuksien toteutuminen tulee suunnitella. 40/64

42 8 OPPIMISTULOSTEN ARVIOINTIIN VAIKUTTAVAT SIDOS- RYHMÄT JA -HANKKEET Ammatillisen koulutuksen laatustrategia Opetus- ja kulttuuriministeriön nimittämä työryhmä on laatinut ammatillisen koulutuksen laatustrategian (Ammatillisen koulutuksen laatustrategia ), joka kohdistuu kaikkiin koulutuksen järjestämismuotoihin ja kaikille toimijatasoille. Oppimistulosten arvioinnin kannalta keskeisimmät linjaukset liittyvät tietojen hallintaan, koulutuksen järjestäjien itsearviointiin ja ulkopuoliseen kansalliseen arviointiin. Strategian mukaan ammatilliseen koulutukseen luodaan yhtenäinen tietoarkkitehtuuri ohjauksen, seurannan ja päätöksenteon tueksi. Tarkoituksena on luoda ulkopuolisesta arvioinnista ja seurannasta sekä laatujärjestelmien auditoinneista yhtenäinen laadun jatkuvaa parantamista tukeva, koordinoitu ja tasapainoinen kokonaisuus. Tiedolla johtamista tulee suositusten mukaan edistää muun muassa luomalla yhtenäinen tietoarkkitehtuuri järjestäjien ja muiden sidosryhmien kanssa ohjauksen, seurannan ja päätöksenteon perustaksi kehittämällä ulkopuolisen arvioinnin, oppimistulosten arvioinnin ja seurannan suunnitteluprosessia ja koordinointia kehittämällä arviointia ja tiedonkeruuta siten, että tuloksia ja tietoaineistoja voidaan käyttää nykyistä tehokkaammin koulutuksen kehittämiseen sekä opetushallinnossa että koulutuksen järjestäjien tasolla kehittämällä toimintatapoja, joilla voidaan tehostaa ja systematisoida ulkoisten arviointien tulosten ja muun tulos- ja palautetiedon käyttöä päätöksenteon tukena tehostamalla arviointitiedon käyttöä kehittämällä sähköisiä järjestelmiä siten, että ne tuottavat toiminnan ohjauksen, johtamisen ja kehittämisen edellyttämää vertailutietoa varmistamalla, että keskeiset sidosryhmät voivat saada tietoa toimintaa ja sen laatua koskevista tuloksista. SADe-ohjelma Valtiovarainministeriö käynnisti huhtikuussa 2009 sähköisen asioinnin ja demokratian vauhdittamisohjelman (SADe-ohjelman). Ohjelman tavoitteena on edistää sähköistä asiointia siten, että kansalaisten ja yritysten sähköinen asiointi kattaa vuoteen 2013 mennessä kaikki keskeiset palvelut. Kansalaisten ja yritysten palveluille luodaan yhtenäiset asiakasmäärittelyt eri tahojen tuottamiin julkisiin palveluihin. Tavoitteena on myös koko julkisen hallinnon tietojärjestelmien yhteentoimivuuden kehittäminen. SADe-ohjelmaan sisältyy seitsemän sähköisen asioinnin palvelukokonaisuutta, joista AMOP liittyy ensimmäisessä vaiheessa toteutettavaan Oppijan palvelukokonaisuuteen. Palvelukokonaisuuden sisältönä ja tavoitteena on tuottaa kattavasti opiskelua ja siihen hakeutumista, oppimista ja urasuunnittelua tukevia palveluita elinikäisen oppimisen periaatteella asiakaslähtöinen yhtenäinen ja kustannustehokas palvelukokonaisuus, joka syntyy nykyisistä ja uusista kehitettävistä palveluista sekä niiden tuottamista tukevista tietojärjestelmistä. 41/64

43 Oppijan palvelukokonaisuuden prosessikartta sisältää tuloksellisuuden arviointiin liittyvät prosessit, joihin myös ammatillisen koulutuksen oppimistulosten arviointi kuuluu. Näitä palveluita ei toteuteta kuitenkaan ensimmäisessä vaiheessa. Keskeisin oppijan verkkopalveluihin sisältyvä palvelu liittyy todennetun osaamisen rekisteriin (TOR), joka on tunnistettu opetustoimen ensimmäiseksi yhteiseksi päätietolähteeksi (MDS). Tietovaranto tukee opintoihin hakeutumiseen liittyviä haku- ja tietopalveluita, opintohallinnon tietojärjestelmien kehittämistä ja prosessien automatisointia. Se sisältää oppijan todennettuja suorituksia (esim. tutkintotiedot). Todennetun osaamisen rekisterin rakenne ja tietosisältö täsmennetään Oppijan palvelukokonaisuus -hankkeessa. Todennetun osaamisen rekisteriin kerätään julkisin varoin järjestetyn ja tuetun koulutuksen kautta saatu ja todennettu osaaminen. Rekisteri toimii opetustoimen keskeisenä tietovarastona, ja sen sisältämän tiedon puitteissa on mahdollista toteuttaa erilaisia palveluita kansalaisille ja muille toimijoille. Kansallinen todennetun osaamisen rekisteri hyödyttää sekä oppijoita että sidosryhmiä. Se tarjoaa opintotiedot yhdestä paikasta sähköisessä muodossa. Näitä tietoja voidaan hyödyntää monella eri tavalla Oppijan verkkopalvelussa. Rekisteri sisältää siis oppijan todennetun osaamisen eli opintosuoritukset. Epäselvää vielä on, sisältyvätkö ammattiosaamisen näyttöjen arvosanat myös TOR:iin. Lähtökohtana on, ettei oppimistulosten arvioinnissa hyödynnetä ensisijaisesti TOR:a, vaan sekä näyttöjen arvosanatiedot että työssäoppimisen ja ammattiosaamisen näyttöjen järjestämistä koskevat tiedot kootaan suoraan koulutuksen järjestäjien opintohallintojärjestelmästä suoraan Opetushallitukseen. Lähtökohtana kuitenkin on, että sekä TOR:a että oppimistulosten arviointijärjestelmää varten tarvittava tietojärjestelmä muodostavat yhtenäisen kokonaisuuden. Tutkintojen rakenteistamis- ja sähköistämishankkeessa (OTUPERAS) laaditaan esiselvitys opetussuunnitelmien ja tutkintojen perusteiden rakenteistamisen edellytyksistä, yhtenäisistä piirteistä ja toteuttamismuodoista. Tavoitteena on, että koulutuksen järjestäjät saavat valtakunnalliset opetussuunnitelmien ja tutkintojen perusteet käyttöönsä sähköisinä rakenteistetussa muodossa, jota voidaan hyödyntää koulutuksen järjestäjien opetussuunnitelmien laatimisessa, tunnistamisessa ja tunnustamisessa sekä opintojen henkilökohtaistamisessa rakenteinen ja sähköinen muoto mahdollistaa normiohjauksen seurannan uuden toimintamallin tulee palvella monia tahoja, kuten perusteiden laatijoita, koulutuksen järjestäjiä, opettajia, tutkimus-/analysointityötä tekeviä henkilöitä, arviointia ja seurantaa sekä opiskelijahallintoa tuottavuus paranee. Oppimistulosten arvioinnin sähköistäminen ja tutkintojen rakenteistaminen ja sähköistäminen tulee sovittaa yhteen yhdeksi kokonaisuudeksi ja molempien vaatimukset tulee myös ottaa huomioon opintohallintojärjestelmissä. Opetushallituksen tietokannat ja muut tietojärjestelmiin liittyvät hankkeet Kouluta-tietokanta sisältää tietoja ammatillisen koulutuksen järjestäjistä ja tutkinnoista sekä näihin liittyvistä koodistoista. Tiedot ovat nähtävissä mm. koulutusnetti.fi-palvelussa. Näitä pohjatietoja tarvitaan AMOP-järjestelmässä, jotta seuranta- ja arviointitiedot voidaan kerätä halutussa laajuudessa. 42/64

44 Kouluta-tietokanta sisältää myös yhteisvalintaan liittyviä tietoja, joita tulisi voida hyödyntää oppimistulosten arvioinnissa. Tällaisia tietoja ovat mm. ikä, peruskoulun päättötodistuksen tai ylioppilastutkintotodistuksen keskiarvo, aiemmat ammatilliset opinnot, työkokemus ja valintatoive sekä opiskelijan äidinkieli. Kyseiset tiedot ovat kuitenkin oppimistulosten arvioinnin kannalta merkityksettömiä, ellei tietoja voida yhdistää yksittäisen opiskelijan oppimistulostietoon. Opiskelijoiden valintatietojen yhdistäminen suoraan rekisteristä oppimistulostietoihin ei kuitenkaan ole mahdollista, ennen kuin Opetushallituksella on oikeus saada oppimistulostietojen yhteydessä myös opiskelijoiden sosiaaliturvatunnukset tai ennen kuin siirrytään opiskelijatunnuksen käyttöön. Osaan.fi-järjestelmä on kehitetty ammatillisia näyttötutkintoja varten, mutta sitä on alettu käyttämään myös perustutkinnoissa, ammattitutkinnoissa ja erikoisammattitutkinnoissa. Osaan.fi sisältää tiedot ammatillisista näyttötutkinnoista, tutkintojen pakollisista ja valinnaisista osista sekä niihin liittyvistä osaamisvaatimuksista. Osaan.fi-järjestelmä on tarkoitettu opiskelijoille tai niille, joilla on tarve selvittää oma osaaminen. Osaan.fi-järjestelmää on tarkoitus edelleen kehittää niin, että se sisältää myös kaikkien ammatillisten tutkintojen ammattitaitovaatimukset. Osaan.fi-sivuston määrittämisen yhteydessä on pohdittu, voisiko siihen sisällyttää myös oppimisprosessin aikaisen opiskelijan arvioinnin. Tällöin Osaan.fi tarvitsee näyttö- tai suoritustietoa joko opintohallintojärjestelmistä, AMOP:sta tai TOR:sta. AIPAL on internetin kautta käytettävä sähköinen näyttötutkintojen palautejärjestelmä, jolla kootaan tutkinnon suorittajien mielipiteitä näyttötutkintoon hakeutumisesta, tutkinnon suorittamisesta sekä tarvittavan ammattitaidon hankkimisesta. Palautetta AIPAL-järjestelmällä antavat kaikki näyttötutkintojen suorittajat lukuun ottamatta työvoimapoliittista koulutusta, jossa palaute kootaan puolestaan OPALjärjestelmän kautta. Palaute antaa tietoa aikuisten näyttötutkintojärjestelmän toimivuudesta koulutuksen tai tutkinnon järjestäjille, tutkintotoimikunnille, Opetushallitukselle sekä opetus- ja kulttuuriministeriölle. Tietoa käytetään kehittämistyössä ja laadun seurannassa. Projektiryhmä on perehtynyt AIPAL- ja OPAL -palautejärjestelmiin. Oppimistulosten arvioinnin kannalta ongelmana on, etteivät tyytyväisyyden kartoitukset kohdistu ammatillisena peruskoulutuksena toteutettavaan koulutukseen ja ettei työelämän tahojen tyytyväisyyttä koulutukseen myöskään kartoiteta systemaattisesti. Projektiryhmä esittää, että Opetushallitus yhdenmukaistaa tyytyväisyyden seurantaan liittyvät käytännöt ammatillisen koulutuksen eri koulutusmuodoissa. Näin toimien mahdollistetaan näiden näkökohtien huomioon ottaminen myös oppimistulosten arvioinnissa. Muut sidosryhmät ja hankkeet Oppimistulosten arvioinnissa hyödynnetään tuloksellisuusrahoituksen pohjana käytettäviä indikaattoreita. Näistä keskeisimmät liittyvät opintojen läpäisyyn, keskeyttämiseen, opiskelijoiden työllistymiseen ja henkilöstön kehittämiseen käytettäviin voimavaroihin. Työllistymiseen liittyvien tietojen hyödyntämistä haittaa se, miten ajantasaisesti työllistymistä koskevat tiedot on saatavissa ja miten yksilön työllistymistä koskeva tieto voidaan yhdistää kunkin opiskelijan opintomenestystä koskevaan tietoon. Tilastokeskus tuottaa koulutukseen sekä prosessien laatuun että tuloksiin liittyviä tilastotietoja, joita voidaan hyödyntää oppimistulosten arvioinnissa. Ongelmana on, että Tilastokeskuksen kokoamat tiedot ovat käytettävissä viiveellä ja että niiden saantiin liittyvät palvelut ovat maksullisia. 43/64

45 Oppimistulosten arviointia ei voida suoraan yhdistää SALAMA-hankkeeseen, jossa useampi hallinnonalan virasto voi hoitaa sähköisesti virallisten asioiden ja asiakirjojen hallinnan, dokumenttien varastoinnin ja asiakastietojen hallinnan sekä kehittää järjestelmän työvuo-ominaisuuksien avulla sisäisiä prosesseja. Ensimmäisinä SALAMA-hankkeen prosesseina ovat harkinnanvaraisten valtionavustushakemusten sekä ammatillisen koulutuksen järjestämisluvan käsittelyprosessit. Näissä myös hakijat siirtyvät sähköisten lomakkeiden ja palvelujen käyttöön. 44/64

46 9 YHTEENVETO Tässä raportissa luodaan perustaa ammatillisen koulutuksen oppimistulosten arvioinnissa käyttöön otettavalle sähköiselle järjestelmälle (AMOP). Järjestelmällä voidaan koota oppimistulosten arvioinnissa tarvittavia sekä ammattiosaamisen näyttöjä että muuta toimintaa ja resursseja koskevia tietoja suoraan koulutuksen järjestäjien opintohallintojärjestelmistä. Oppimistulosten arviointijärjestelmä Oppimistulosten arviointi perustuu pääosin ammattiosaamisen näyttöihin ja niistä saataviin arvosanoihin, eikä erillisiä valtakunnallisia tehtäviä laadita. Ammattiosaamisen näytöt toteutetaan Opetushallituksen ammatillisten perustutkintojen perusteita koskevien määräysten mukaan. Oppimistulosten arviointia kehitetään siten, että se mukautuu tutkintorakenteessa mahdollisesti tapahtuviin muutoksiin. Oppimistulosten arvioinnin sähköinen järjestelmä sovitetaan yhteen SADeohjelmassa kehitettävään oppijan verkkopalvelun, todennetun osaamisen rekisteriin (TOR) ja tutkintojen rakenteistamiseen (OTUPERAS) liittyvään järjestelmään. Oppimistulosten seuranta on jatkuvaa. Ammattiosaamisen näyttöihin perustuvia oppimistuloksia arvioidaan kussakin tutkinnossa joka 5. vuosi. Tämän lisäksi elinikäisen oppimisen avaintaitoja ja ammattitutkintoa täydentäviä tutkinnon osia arvioidaan otantaperusteisesti erikseen sovittavan aikataulun mukaan. Oppimistulosten seuranta ja arviointi laajennetaan myös näyttötutkintoina järjestettävään ammatilliseen peruskoulutukseen. Oppimistulosten arvioinnin perustana oleva tieto kootaan pääosin koulutuksen järjestäjien opintohallintojärjestelmistä. Muuta tietoa kootaan opetushallinnon tietovarastosta. Arviointia syvennetään myös erilaisen laadullisen aineiston avulla tutkintokohtaisesti. Erityistä huomiota kohdistetaan oppimistulosten arvioinnin laadunvarmennukseen. Arvioinnin tueksi kehitetään laadulliset indikaattorit. Opetushallitus kehittää koulutuksen seurantaa siten, ettei järjestäjiltä tule päällekkäisiä tietojen koonteja. Myös raportoinnin päällekkäisyydet ennaltaehkäistään. Opetushallitus tukee koulutuksen järjestäjiä kehittämään johtamis- ja päätöksentekoprosessejaan tietoon perustuvasti (evidence based). Opetushallitus laatii vuosittain kaikkia tutkintoja koskevan määrällisiin tunnuslukuihin perustuvan seurantaraportin sekä tutkintokohtaiset arviointiraportit joka 5. vuosi. Uuteen sähköiseen järjestelmään siirrytään 2013, ja sitä testataan vuonna Uuden arviointijärjestelmän edellyttämien tietojen koontia testataan kuitenkin pilottina jo keväällä 2012 päättyvissä arvioinneissa. Tietojen koonti toteutetaan näissä piloteissa manuaalisesti Excel-lomakkeella. Oppimistulosten arvioinnin kehittämisessä otetaan huomioon ammatillisen koulutuksen laadun hallintastrategian vaatimukset. 45/64

47 Sähköinen järjestelmä Sähköiseen järjestelmään siirtyminen merkitsee muun muassa seuraavia asioita: Opintohallintojärjestelmät tuottavat arvioinnissa tarvittavat tiedot ilman erillisiä tietojen koonteja. Eri tietojärjestelmien sisältämä tieto on ajantasaisesti käytettävissä kansallisessa arvioinnissa. Koulutuksen järjestäjä voi itse arvioida omaa toimintaansa oppimistulostietojen mukaan. Opintohallintojärjestelmiin tehdään oppimistulosten arvioinnin edellyttämät muutokset. Tämä edellyttää yhteistyötä koulutuksen järjestäjien ja opintohallintojärjestelmäpalvelun tuottajien kanssa. Opiskelijoiden tyytyväisyyttä koskevat palautetiedot liitetään myöhemmin osaksi opintohallintojärjestelmää. Palautejärjestelmän kehittämisessä hyödynnetään AIPAL-järjestelmää. AMOP liitetään SADe-ohjelmaan sisältyvään oppijan palvelukokonaisuuteen. Oppimistulosten arvioinnin yhteys opintohallintojärjestelmään ja todennetun osaamisen rekisteriin (TOR) määritetään tietojärjestelmissä. Yhteensopivuus määritetään ja päällekkäisiä tiedonkeruita vähennetään. Oppimistulosten arvioinnissa tarvittavia taustatietoja kootaan opintohallintojärjestelmän ohella myös opetushallinnon tietovarastosta (Tilastokeskuksen aineistot ja Opetushallituksen rekisterit). Tietojärjestelmien yhteensopivuus luodaan järjestelmän osana. Oppimistulosten arvioinnissa on keskeistä vertailla, miksi toisten opiskelijoiden oppimistulokset ovat paremmat kuin toisten opiskelijoiden. Tämä edellyttää henkilötunnistetta. Näin myös muissa rekistereissä olevia opiskelijakohtaisia tietoja voitaisiin hyödyntää tulosten analysoinnissa (opiskelijavalintaa, poissaloja ja työllistymistä koskevat tiedot). Sähköinen palvelu sovitetaan yhteen muiden tietojärjestelmien kanssa. Palvelua rakennettaessa määritetään tietojen hallinnassa tarvittavat tiedot ja taidot, tietojärjestelmien ja niiden käyttöön liittyvät yhteensopivuus, koodistot ja sanastot sekä sähköistä asiointia ja hallintoa tukevat palvelut Tietosuoja ja tietojen julkisuus Sähköisen palvelun toteutuksessa noudatetaan valtionhallinnon tietoturvaohjeita ja julkishallinnon verkkopalvelun suunnittelun ja toteuttamisen periaatteita. Lisäksi otetaan huomioon tietosuojaan ja salassapitoon sekä tietojen julkisuuteen liittyvät asiat. Opiskelijavalintarekisterin tietoja ei pystytä hyödyntämään arvioinnissa, koska eri tietojen yhdistäminen vaatisi sosiaaliturvatunnuksen. Ennen lainsäädäntömuutosta opiskelijavalintaan liittyvien tietojen saanti voidaan kuitenkin turvata sisällyttämällä kyseiset tunnusluvut koulutuksen järjestäjien opintohallintojärjestelmiin. Pitkällä tähtäimellä ehdotetaan otettavaksi käyttöön opiskelijan henkilökohtainen tunniste. Henkilötunnisteen käyttö ja mahdollisen lainsäädäntöuudistuksen tarve arvioidaan osana TOR:a. Tietojärjestelmien luomisen yhteydessä määritetään myös tietojärjestelmän suojaukseen, käytön valvontaan, käyttöoikeuksiin, tietojen säilyttämiseen ja arkistointiin liittyvät asiat. 46/64

48 Toimijat ja vastuut Opetus- ja kulttuuriministeriö päättää arviointisuunnitelmasta ja tässä raportissa esitetyistä uusista oppimistulosten arvioinnin linjauksista. Opetushallitus vastaa oppimistulosten arvioinnista ja siihen liittyvästä sähköisestä järjestelmästä, sen ylläpidosta ja jatkuvasta kehittämisestä. Palvelu integroituu Opetushallituksen arkkitehtuuriin. Koulutuksen järjestäjien on osallistuttava arviointiin ja tuotettava Opetushallituksen määrittämät tiedot. Koulutuksen järjestäjät saavat lain edellyttämät palauteraportit sähköisestä järjestelmästä. 47/64

49 LÄHTEET, SÄÄDÖKSET JA OHJEET Tässä kuvataan ammatillisen koulutuksen oppimistulosten arvioinnin ja sen sähköisen järjestelmän kehittämiseen liittyviä lähteitä, säädöksiä ja ohjeita, joita palvelussa otetaan huomioon. Ammatillisen koulutuksen laatustrategia Opetus- ja kulttuuriministeriön työryhmän raportteja 9/2011. Helsinki: Opetus- ja kulttuuriministeriö. Ammatillinen koulutus Suomessa. Ammattiosaamista, tietoja ja taitoja työelämään sekä jatko-opintohin Helsinki: Opetus- ja kulttuuriministeriö & Opetushallitus. Ammatillisen perustutkintojen ja näyttötutkintojen perusteet (esimerkiksi nuoriso- ja vapaa-ajan ohjauksen perustutkinto) (Oph DNO 17/011/2009). Ammattikoulutus Suomessa. Ammattiosaamista, tietoja ja taitoja työelämään sekä jatko-opintoihin Opetushallitus. Ammattiosaamisen näytöt käyttöön Opetushallitus. Anttila, P., Kukkonen, P., Nordman-Byskata, C., Pesonen, C., Tuomainen, S., Hietala, R. & Räisänen, A. 2010: Näyttöä on. Ammattiosaamisen näyttöjen toteuttaminen käytännössä. Koulutuksen arviointineuvosto. Arkistolaki (831/1994) Asetus ammatillisesta koulutuksesta (811/1998). Asetus ammatillisesta koulutuksesta annetun lain muuttamisesta (601/2001). Asetus tutkintojen rakenteesta ja yhteisistä opinnoista ammatillisessa peruskoulutuksessa (213/1999). Asetus tutkintojen rakenteesta ja yhteisistä opinnoista ammatillisessa peruskoulutuksessa (616/2001). Asetus viranomaisten toiminnan julkisuudesta ja hyvästä tiedonhallintatavasta 1030/1999. Hallintolaki 434/2003. Henkilötietolaki 523/ utkinnon_perusteet) 48/64

50 JHS-129 Julkishallinnon verkkopalvelun suunnittelun ja toteuttamisen periaatteet. JHS XXX. ICT-palvelujen kehittäminen: Kokonaisarkkitehtuuri-menetelmä. Kartturi Korkeakoulusektorin kokonaisarkkitehtuurikehys. Versio 1.5. Raportti laadittu Rakettihankkeen, KA-pilottiprojektin projektiryhmä. Kielilaki (423/2003). Kokonaisarkkitehtuurimalli Kartturi. Rakettihankkeen, KA-pilottiprojektin projektiryhmän raportti Kuntalaki (L365/1995). Laki ammatillisesta koulutuksesta (L630/1998). Laki ammatillisesta koulutuksesta annetun lain muuttamisesta (L601/2005). Laki Opetushallituksesta (L182/2008). Laki tietoyhteiskunnan palvelujen tarjoamisesta (L458/2002). Laki sähköisestä asioinnista viranomaistoiminnassa (L13/2003). Laki vahvasta sähköisestä tunnistamisesta ja sähköisistä allekirjoituksista annettu laki (L617/2009). Laki viranomaisten toiminnan julkisuudesta (L621/1999). Opetushallituksen määräys 32/011/2005. Opetushallituksen antama Henkilökohtaistamismääräys 43/011/2006. Opetushallituksen Ohje nro 7/012/2010 Todistusmalleista ammatillisessa perustutkinnoissa ja valmistavassa koulutuksessa. Opetushallituksen tiedonohjaussuunnitelma. Opetusministeriön asetus ammatillisesta aikuiskoulutuksesta annetussa laissa tarkoitetusta tutkintorakenteesta (24/2009). Opetusministeriön asetus ammatillisista perustutkinnoista (77/2010). Opetusministeriön asetus ammatillisista perustutkinnoista (216/2001) ja sen liiteasetukset (77/2010). Opetustoimen kokonaisarkkitehtuuri. Päädokumentti. Versio 1.0. ( ). Helsinki: Opetus- ja kulttuuriministeriö. Oppijan verkkopalvelu. Viitearkkitehtuurin kuvaus Helsinki: Opetus- ja kulttuuriministeriö. Osaan.fi-palvelun uudistamiseen liittyvät suunnitelmat (13, v ). 49/64

51 Poikela, E Oppiminen, arviointi ja osaaminen. Teoksessa A. Räisänen (toim.), Hallitaanko ammatti? Pätevyyden määrittelyä ammatin perustaksi. Opetushallitus. Arviointi 2/1998. Helsinki, Poikela, E Osaamisen arviointi. Teoksessa R. Honkonen (toim.) Koulutuksen lumo. Retoriikka, politiikka ja arviointi. Tampere: Vammalan Kirjapaino Oy, Poikela, E. & Räkköläinen, M Intelligen accountability kontekstiperustaisen arvioinnin lähtökohtia. Ammattikasvatuksen aikakauskirja. 8, 2: Räisänen, A & Hietala, R (toim.). Sovitellen. Sosiaaliset ja viestinnälliset valmiudet ammatillisessa peruskoulutuksessa Koulutuksen arviointineuvosto. Räkköläinen, M. & Kilpeläinen, P. Tuloksia ja johtopäätöksiä Koppi-hankkeesta Loppuraportti. Opetushallitus. SADe-hankkeen loppuraportti. Julkisen hallinnon ja julkisten palveluiden sähköisen asioinnin kehittämislinjaukset ja toimenpidesuunnitelma Helsinki. Valtiovarainministeriö. Stenvall, K., Anttilainen-Kulmala, E., Kotimäki, E., Lagercrantz, P Seuranta- ja palautejärjestelmän kehittäminen ammattiosaamisen näyttöihin. Projektin loppuraportti. Opetushallitus. Suomen perustuslaki (731/1999). Sähköisen viestinnän tietosuojalaki (516/2004). VAHTI-tietoturvaohjeet ja -määräykset. Valtioneuvoston asetus Opetushallituksesta (A805/2008). (VNA/1061/2009) Yhdenvertaisuuslaki (21/2004). 50/64

52 LIITTEET Liite 1. Laatu- ja arviointikriteerit I Koulutuksen järjestäjän opetussuunnitelma 1 Opetussuunnitelman sisältö ja rakenne Vastaavuus valtakunnalliseen opetussuunnitelmaan Vastaavuus työelämän tarpeisiin Näyttöperusteisen arvioinnin huomioiminen Kriteeriperusteisen arvioinnin huomioiminen Vastaavuus kansallisiin näyttöaineistoihin 2 Arvioinnin kohteet (osaaminen) Vastaavuus valtakunnalliseen opetussuunnitelmaan Vastaavuus alan ammattitaitovaatimuksiin Ydinosaamisen ja yhteisten painotusten huomioiminen Vastaavuus kansallisen arvioinnin yleisiin arvioinnin kohteisiin 3 Arviointikriteerit Arviointikriteerit kolmiportaiset (T H K) Vastaavuus työelämän vaatimustasoon Arviointiasteikko 1 5 Arviointikriteerien johdonmukaisuus ja erottelukyky Kriteerien ammatillisen osaamisen laaja-alaisuus Vastaavuus kansallisen arvioinnin yleisiin arviointikriteereihin 4 Arviointikäytäntö Arvioijien kouluttaminen Opiskelijoiden perehdyttäminen Yhteistyö työelämän kanssa Kriteeriperusteisen arvioinnin toteutuminen Näyttöperusteisen arvioinnin toteutuminen Oppimisen ja ammatillisen kasvun tukeminen 5 Dokumentointi Dokumentoinnin selkeys ja yksiselitteisyys Dokumentoinnin välineet II Näyttöaineistot 1 Näyttöaineiston sisältö ja rakenne Vastaavuus näyttöjen kehittämisperiaatteisiin Vastaavuus valtakunnalliseen opetussuunnitelmaan Keskeisen osaamisen ja alan erityisvaatimusten huomioiminen Aineiston selkeys ja käyttökelpoisuus Käsitteiden ja määritelmien johdonmukaisuus Soveltamismahdollisuudet paikallisiin olosuhteisiin 51/64

53 2 Näyttöympäristö Näyttöympäristön kuvauksen sisältö Vastaavuus työelämän toimintaympäristöön Monipuolisuus ja vaihtoehdot Vastaavuus opintokokonaisuuden tavoitteisiin Laaja-alaisen ammatillisen osaamisen arvioinnin mahdollistaminen Oppimistilanteen toteutuminen 3 Arvioinnin kohteet Vastaavuus valtakunnalliseen opetussuunnitelmaan Vastaavuus työelämän toimintaympäristöön Laaja-alaisen ammatillisen osaamisen arvioinnin toteutuminen Olennaisen ammattitaitovaatimuksen kuvaus Vastaavuus kansallisen arvioinnin yleisiin arvioinnin kohteisiin Ydinosaamisen ja yhteisten painotusten huomioiminen III Näyttöjen toteuttaminen (arviointikäynnit) 1 Näyttöympäristön arviointi Miten näyttöympäristö vastaa työelämän toimintaympäristöä? Miten näyttöympäristö vastaa opintokokonaisuuden tavoitteita? Miten näyttöympäristö mahdollistaa laaja-alaisen ammatillisen osaamisen osoittamisen ja arvioinnin? Miten näytöt ja työssäoppimisjakso yhdistetään? Miten näyttöympäristössä toteutetut näytöt ovat vertailukelpoisia eri oppilaitosten organisoimien näyttöjen kanssa? 2 Näytön arviointitilaisuuteen osallistuminen Yhteisarvioinnin toteutuminen Opiskelijan itsearvioinnin toteutuminen Arviointikriteerien käyttö ja toimivuus Arvioinnin kohteiden osuvuus Arviointi oppimistilanteena Dokumentointi Arvioinnin vertailtavuus ja luotettavuus Yhteisarvioinnin merkitys eri osapuolille 3 Opettajien, opiskelijoiden ja työelämän edustajien haastattelut Miten yhteinen näkemys arvosanasta syntyy? Millaisia ongelmia arvosanan muodostamisessa mahdollisesti oli (esimerkiksi ristiriitatilanteet)? Miten dokumentaatio tehtiin? Miten standardeja ja kriteerejä käytettiin? Millä tasolla opiskelijan näyttö arvioitiin? Miten kriteerit ymmärrettiin ja mitä mahdollisia ongelmia oli? Millainen merkitys näytöillä on eri osapuolille? Miten eri osapuolet kokevat yhteisarvioinnin? Toimivatko näytöt siinä tarkoituksessa, johon ne on tarkoitettu (formatiivinen ja summatiivinen arviointi, oppiminen, ammatillinen kasvu, työelämäyhteys)? Miten ulkoiseen vertaisarviointiin suhtaudutaan? Millaisia ajatuksia eri osapuolilla on näyttöjen ja niiden arvioinnin vertailukelpoisuudesta? 52/64

54 Liite 2. Kuvauksia ammatillisen koulutuksen järjestäjien syksyllä 2010 tehdyistä haastatteluista kolmessa maakunnassa (Uusimaa, Pirkanmaa, Lappi) Teema 1. Yleiskuva oppimistulosten arvioinnin yhdistämisestä ammattiosaamisen näyttöihin Oppimistulosten arviointijärjestelmä on tärkeä, tarpeellinen ja hyvä, mutta kerättävän tiedon relevanssi vaikuttaa tulosten hyödynnettävyyteen. Arviointi auttaa paikantamaan oman tilanteensa suhteessa muihin järjestäjiin. Tärkeää on ottaa selvää, miten tilanteet on koettu opiskelijan näkökulmasta. Näyttöjen suhteen ollaan alussa. Pitää ottaa huomioon, että kymmenen vuotta tarvittiin työssäoppimisen saamiseksi tyydyttävälle tasolle. Kaikkia näyttöjä ei myöskään voi pitää työpaikalla esim. osanäyttöjen takia. Tutkintojen väliset vaihtelut tutkinnon osien määrässä vaikuttaa näyttöjen toteuttamiseen. Myös pienten ja suurten yritysten tilanteet eroavat toisistaan. Joissakin tilanteissa pieni yritys voi olla parempi työssäoppimispaikka kuin iso yritys. Pienessä voi tehdä hyvinkin monipuolisia tehtäviä. Ammattiosaamisen näytöt ovat vieläkin uusi asia pienessä oppilaitoksessa. Ne koetaan vielä hyvin vieraina. Pienessä oppilaitoksessa opiskelijan hyvän tuntemuksen seurauksena tiedetään opiskelija osaamisen taso ennen työpaikalle menoa. Oppilaitos on myös työelämää kriittisempi ja työelämän antamia arvosanoja pidetään liian hyvinä. Ongelmana voi myös olla, ettei oppilaitoksessa ostata arvostaa työelämän antamaa arvosanaa. Opettajalla voi olla vaikea luopua päätösvallastaan ja antaa tilaa työelämän edustajalle. Ammattiosaamisen näyttöjen ja työssäoppimisen järjestämisessä on ongelmia. Ongelmana ovat hyvin erilaiset ja eriarvoiset työpaikat ja se, ettei kaikille opiskelijoille ole saatavissa tavoitteita vastaavia työssäoppimisen paikkoja, eikä kaikille edes mitään paikkaa. Ongelmia on ilmennyt muun muassa datanomikoulutuksessa. Joillakin paikkakunnilla on erityisen vaikeaa saada työssäoppimispaikkoja. Tuloksiin vaikuttaa se, minkälaisen näyttöpaikan opiskelijat saavat. Osa saa vaatimattoman paikan. Tämän vuoksi näyttöä joudutaan usein täydentämään. On kriittistä, ettei kaikkia näyttöjä pystytä järjestämään työelämässä. Myös opettajien käsitykset eroavat sen suhteen, pitäisikö näytöt järjestää työelämässä vai oppilaitoksessa. Ammattiosaamisen näyttöjen suorittaminen työpaikalla/työssäoppimisjaksolla on monilla, erityisesti tekniikan alalla riippuvainen suhdanteista. Tekniikan alalla on törmätty siihen, ettei tulevaisuutta tiedetä kahta kuukautta pidemmälle. Ollaan mietitty, riittääkö portfolio näytöksi. Ongelmana on, että pienissä yrityksissä näyttöjen sisältöä ja vaatimuksia on sopeutettava työpaikan mahdollisuuksiin. Työelämälähtöisyyden varmistaminen paljastaa miten on onnistuttu. Positiivista on, jos työelämä on arvosanojen takana. Eri yksiköiden opiskelijoita opiskelee samoilla työpaikoilla ja yksiköillä ei ole yhtenäisiä käytänteitä. Eri käytäntöjen vaikutukset oppimistuloksiin tulee analysoida. Työpaikkaohjaajien koulutuksella ei ole merkitystä, mutta enemmän on merkitystä ohjaajan ammatillisella pätevyydellä ja vankalla ammattitaidolla Ammattiosaamisen näytöt eivät ole käytännössä jakautuneet tasaisesti eri lukuvuosille. Näytöt painottuvat kolmanteen lukuvuoteen. Oppimistulosten arvioinnissa tulee ottaa huomioon, että suurin osa näytöistä annetaan loppuvaiheessa. 53/64

55 Kolmiportainen asteikko ei erottele opiskelijoita eikä osaamista. Keskeistä olisi, että arviointi pystyisi tuottamaan sellaisia tuloksia, että työnantajat voivat hyödyntää näyttötodistuksia rekrytointitilanteessa. Yleisin arvosana on 2, mistä syystä arviointi tasapäistää. Opiskelijat kritisoivat asteikkomuutosta, koska he olivat tottuneet 1-5 asteikkoon. On hyvä asia, että oppimistulosten arviointi on integroitu näyttöihin. Ongelmana on, että oppimistulosten arvioinnissa tulos kuvataan vain arvosanana ja tuloksen analysointi jää vähäiseksi tai se puuttuu kokonaan. Näin ei saada tietoa siitä, miksi tulokset olivat sellaisia kuin olivat. Opiskelijoiden taidot vaihtelevat suuresti sen mukaan, missä yksikössä hän on opiskellut. Toimintakulttuuriin liittyvien tekijöiden lisäksi myös sillä, missä työssäoppiminen on suoritettu ja missä näytöt annettu, on merkitystä. Ammattiosaamisen näytöille tulisi asettaa rima, josta pitäisi kaikkien päästä läpi, kun työelämä valitsee työntekijöitä. Yhtäkään kansallista oppimistulosten seuranta- ja arviointiraporttia en ole nähnyt. Alojen erityispiirteitä Alat eroavat toisistaan joten alojen vertailua tulee välttää eihän työelämässäkään aloja verrata toisiinsa. Eri alojen työpaikat ovat hyvin erilaisen sen suhteen, miten yritys voi resursoida ohjaukseen ja arviointiin. Arvioinnissa tulee ottaa huomioon ala- ja tutkintokohtaiset erot. Yhteistä ammattiosaamisen näyttöjen toteutusmallia ei ole mahdollista luoda. Logistiikan alan työpaikat ovat pieniä, mistä syystä näyttöjä annetaan oppilaitoksessa aika paljon. Arviointitulokset eivät hämmästyttäneet. Sosiaali- ja terveysala edustaa julkista sektoria. Ongelmana on, että SOTE -alalla maksetaan työssäoppimisesta. Sosiaali- ja terveysalalla annetut arvosanat ovat liian hyviä. Metallialan työpaikat ovat pieniä, ja ne ottavat mielellään nuoria opiskelijoita laman aikana. Pienissä firmoissa ei aina ole aikaa työpaikkakoulutukseen eikä opiskelijoiden ohjaukseen ja arviointiin. Tilanteet kuitenkin vaihtelevat työpaikoittain. Lisäksi heikosta opiskelija-aineksesta johtuen kone ja metallialalla opettaja ei aina uskalla päästää opiskelijaa työpaikan koneelle. Tällöin näytön järjestäminen oppilaitoksessa on turvallisempaa. Käytössä olevat työssäoppimisen valvojat valvovat ja käyvät firmassa. Rakennusalalla tehdään paljon näyttöjä työpaikalla. Hotelli- ja ravintola-alalla on erilaiset arvioinnit ovat vaikuttaneet ammattiosaamisen näyttöjen suunnitteluun. Lisäksi kootaan palautetta INKA -järjestelmän kautta näyttöjen toteutuksesta. Valtakunnallinen tulos on vahvistanut käsityksiämme, miten toisin voisi toimia. Erityisesti on pohdittu, missä vaiheessa näyttöjä annetaan ja miten tutkinnon osien opiskelu organisoidaan. Vertailua vaikeuttaa muun muassa se, että koulutuksen järjestäjät järjestävät näyttöjä eri aikaan. Tämän aikatekijän vaikutukset tulosten luotettavuuteen on analysoitava kansallisesti. Käsi- ja taideteollisuusalalla tulisi näkyä myös näyttöpaikan nimi. Maanmittausalalla on ongelmia näytön järjestämisessä työssäoppimsijaksolla. Päivät ovat erilaisia ja näyttö on vaikea sovittaa päivittäiseen toimintaan suunnitellusti. Kausivaihtelut näyttöjen järjestämiseen ovat suuria etenkin luonto- ja ympäristöalalla. 54/64

56 Ammattiosaamisen näytöissä ei ole mitään järkeä liiketalouden perustutkinnossa. Toimielimen rooli On hyvä, että ammattiosaamisen näyttöjen laatu varmistetaan toimielimen hyväksymillä suunnitelmilla. Arvioinnissa tulee kohdistaa huomiota siihen, toteutuvatko näytöt suunnitelmien mukaan. Ammattiosaamisen näyttöjen toimielin tuo ryhtiä näyttöihin. Toimielimellä ja ylipäätään työelämän tahoilla tulisi olla tulevaisuudessa nykyistä suurempi rooli ja vastuu. Työelämäjaosten kautta päästään lähemmäs työelämän tarpeita. Lisäksi on tärkeää luoda kutakin alaa koskevat yhteydet ison neuvottelukunnan avulla myös yliopistoon ja ammattikorkeakouluihin. Työelämäjaostot ovat osa näyttöjen toimielimen toimintaa ja ne toimivat valmistelevina eliminä toimielimelle. Ammattiosaamisen näyttöjen toimielimessä ei ole käsitelty oppimistulosten arviointien tuloksia. Näyttötoimikunta ja kuusi alakohtaista näyttöjaostoa vastaavat näyttötoiminnan ohjauksesta. Teema 2. Oppimistulosten arviointitiedon tarve On hyvä, että on kansallinen oppimistulosten arviointijärjestelmä. Nykyinen järjestelmä ei ohjaa ja kahlitse koulutuksen järjestäjiä liian paljon. Koulutus ja siten myös oppimistulosten arviointijärjestelmä mahdollistaa alueellisten, maakunnallisten ja paikallisten tarpeiden ottamisen huomioon. Kansallinen arviointi patistaa, pitää kurissa ja tuo pitkäjänteisyyttä toimintaan. Keskeistä on, että näin saamme tietoa tuloksistamme. Oppimistulosten arviointi on rajattu ammattiosaamisen näyttöihin. Tämä on hyvin kapea näkökulma. Oppimistuloksia tulisi arvioida laajemmin ja myös sijoittumista koskevat indikaattorit tulisi sisällyttää oppimistulosten arviointiin. Oppimistulostietoa tarvitaan erityisesti työssäoppimisen ja näyttöjen kehittämiseen ja eri tahojen vuoropuhelun edistämiseen. Tarvetta on koko järjestelmän uudelleen arviointiin. Ydintoiminnan arviointi on keskeistä. Tulisi analysoida millaisia tulokset ovat ja mitä on niiden taustalla. Tulisi selvittää muun muassa sitä, miksi ryhmät ovat hyvin erilaisia. Oppimistulosten arviointi kohdistuu ammatillisen koulutuksen perustoimintaan. Tämä luo mahdollisuuksia analysoida, miksi tulokset ovat sellaisia kun ovat, mitä tulosten takana on. Omia tuloksia verrataan kansalliseen tasoon mitä osoittaa tuloskortissa tavoitteena on että oppilaitos menestyy kansallisesti samalla tasolla kuin muut. Oppimistulosten arviointiin ei ole ollut vielä tarvetta eikä siten tuloksia verrata kansallisiin tuloksiin. INKAA käytetään ja sen tuloksia verrataan myös kansalliseen tasoon. Erityisopiskelijoiden oppimistulokset Tuloksia odotetaan erityisopiskelijoiden näytöistä. Keskeistä on tietää, mitä tukitoimia on järjestetty ja miten opetussuunnitelmaa on mukautettu. Kiinnostaa myös erityisopiskelijoiden vertailu muihin opiskelijoihin. Ongelmana on, ettei aina tiedetä, millä lähtötasolla opiskelija tulee oppilaitokseen (erityisoppilaitos). 55/64

57 Erityisopiskelijoiden oppimistuloksiin liittyvä tarve eroaa jossain määrin muista opiskelijoista. Koulutuksen järjestäjä tarvitsee tietoa opiskelijan osaamisen lisäksi myös opiskelijan lähtötasosta, tukitoimista, joita on tarvittu ja järjestetty. Lisäksi tarvitaan tietoa opetussuunnitelman mukauttamisesta. Lisäksi tulisi erityisopiskelijoiden tuloksia verrata muiden opiskelijoiden tuloksiin. Teema 3. Oppimistulosten arviointi osana koulutuksen järjestäjien itsearviointia ja jatkuvaa kehittämistä Koulutuksen järjestäjät ovat kehittäneet omia mittareitaan ja käytäntöjään. Opiskelijan itsearviointi on tärkeä myös ammattiosaamisen näytöissä. Kaikkien osapuolten tulee osallistua arviointikeskusteluun. Opiskelija ei itse osallistu arviointikeskustelun pohjalta tehtävään johtopäätöksen tekoon. Opiskelijan itsearviointi on osa arviointiaineistoa. Itsearvioinnissa käytetään tuloksellisuusrahoitusmittareita. Koulutuksen järjestäjillä on monia järjestelmiä kuten INKA ja Webpro, mutta näiden tuottamaa palautetta ei ole linkitetty opiskelijoiden henkilötietoihin. Koulutuksen järjestäjän tasolla on selvitetty ammattiosaamisen näyttöelimen tarpeita palautetietoon. Opiskelijapalaute käsitellään toimielimessä ja opiskelijajäsenet ovat mukana niiden käsittelyssä. Koulutuksen järjestäjillä on omat tyytyväisyyskyselyt, joista tieto ei tule OPH:een. Opiskelijat ovat pääosin tyytyväisiä työssäoppimiseen ja näyttöihin. Opiskelijoiden tyytyväisyyden kartoittaminen osana kansallisten oppimistulosten arviointia täydentäisi kokonaisuutta. Oppimistulosten arvioinnissa tulee ottaa huomioon nuoren kehitysaste ja konteksti. Itsearviointi painottuu keskeyttämisen ja läpäisyn seurantaan. Perustoiminnan tulosten arviointi on tärkeää. Tulisi keskustella siitä, että miksi tulokset ovat sellaisia kuin ovat ja mitä niiden takana on. Ryhmät ovat hyvin erilaisia ja tämän tyyppinen arviointi antaisi mahdollisuuden tuottaa tietoa myös tästä. Oppimistulosten arviointiin ei ole linkitetty laatutietoja, sähköinen järjestelmä antaa mahdollisuuden linkittää muita tietoja arviointiin. Arviointi on hyvin osastokohtaista. Kansallisia oppimistuloksia käsitellään näyttötoimielimessä ja -jaostoissa. Huomio on kohdistettu erityisesti tulosten hyvään tasoon. Vertailuja tehtiin eri alojen välillä myös vertaisarvioinnin ja ristiin arvioinnin menetelmin. Näin nähtiin, miten ja millä perusteilla arvosanoja eri aloilla annetaan. Lisäksi opettajat ovat analysoineet, miksi tiedon hallinta on huonoa. Koulutuksen järjestäjät hyödyntävät kansallista palautetta melko huonosti. Sähköinen järjestelmä tulee mahdollistaman tulosten muokkaamisen omiin tarpeisiin sopivaksi. Teema 4. Oppimistulostiedon tuottamiseen liittyvät tietojärjestelmät Tieto tulee siirtää muulla kuin Excel-lomakkeella. Nykyiset seurantaan vaadittavat tiedot ovat nykyisissä tietojärjestelmissä. Jos tarvitaan jotain lisää, toimittajat kyllä hoitavat sen. Hyvä olisi saada kaikki tieto yhteen järjestelmään. Koulutuksen järjestäjät ovat riippuvaisia toimittajien tuotekehityksestä. 56/64

58 Tulee seurata muun muassa sitä, ketkä osallistuvat arviointiin ja ketkä ovat mukana päättämässä arvioinnista. Työpaikan nimeä eri tarvita arvioinnissa. Taloudellisten asioiden kerääminen ammattiosaamisen näytöistä on turhaa, koska ne eivät ole vertailukelpoisia. Koulutuksen järjestäjän kustannusseurannassa on kehitettävää. Yhteydet ja käyttöoikeudet sähköisessä järjestelmässä tulee tuoda koulutuksen järjestäjille ei yksittäiselle opettajalle. Koulutuksen järjestäjillä on käytössä erilaisia järjestelmiä, jotka pystyvät linkittämään oppimistulokset opiskelijan taustatietoihin. Näin voidaan myös ennakoida keskeyttämistä. Osaamisen ja oppimisen arviointi on eri asia. Järjestäjän tarpeet prosessitietoihin poikkeavat kansallisista tarpeista. Valtakunnallinen järjestelmä on voitava kloonata järjestäjän omiin tarpeisiin. Koulutuksen järjestäjän näkökulmasta katsottuna tietoja kootaan paljon. Tuloksellisuusrahoituksessa tulee ottaa keskiarvotiedot, mutta oppimistulosten arvioinnissa tulee päästä pidemmälle. Haasteena luoda järjestelmä, jossa voidaan liittää eri tiedot yhteen. Tietojärjestelmät kyllä joustavat, mutta tiedon tuottaminen järjestelmiin on vaikeaa. Resurssitietojen kokoaminen on työlästä. Ongelmana on, että kyselyitä tulee paljon talon sisältä ja ulkoa. Teema 5. Oppimistulosten arvioinnin luotettavuus ja laadunvarmistus Näytön luotettavuuteen vaikuttavat tekijät, jotka tulisi ottaa arvioinnissa taustamuuttujina huomioon: - opiskelijoiden erilaiset näyttöpaikat, ja arvioijien arviointiosaaminen - opettajien työelämäosaaminen - työpaikkaohjaajien koulutukseen osallistuminen Näyttöjen merkitys ja toteutus vaihtelee koulutuksen järjestäjittäin ja tutkinnoittain. Hyvä olisi analysoida myös järjestäjien suunnitelmat. Jotta koulutusyksikön vaikutukset oppimistulokseen tiedettäisiin, tulisi mitata myös opiskelijoiden lähtötilanne. Oppimistulosten arvioinnin luotettavuuteen ja uskottavuuteen vaikuttaa erityisesti se, että arviointi perustuu pelkästään näyttöjen arvosanoihin. Näytöissä on paljon olosuhdetekijöitä, joita ei pystytä kontrolloimaan. Arvioinnin lopputulokseen vaikuttaa myös se, milloin näyttö järjestetään. Näyttöjen ajoittuminen tulee ottaa huomioon. Ammattiosaamisten näytöt pitäisi järjestää päättövaiheessa, viimeisenä lukuvuonna. Myös henkilökohtaiset opsit tulee ottaa huomioon. Arviointiin tulisi kuulua myös summatiivista arviointia. Oppimistuloksissa tulisi kyetä mittaamaan myös toiminnan vaikuttavuutta oppimistuloksiin. Ei ole selvää varmuutta siitä, kuvaako näyttötodistukseen tuleva arvosana laaja-alaista osaamista. Tutkinnon tavoitteista jää erittäin paljon näyttöjen ulkopuolelle. 57/64

59 On otettava huomioon mikä yhteys on näyttötodistuksen ja päättötodistuksen arvosanoilla. Muun arvioinnin osuus on myös selvitettävä. On muistettava, ettei työnantajaa kiinnosta, mitä on osannut 1 ja 2 lukuvuonna, enemmän painottuu 3.lukuvuoden arvosanat. Se kertoo enemmän, onko näyttö ollut työpaikalla ja missä firmassa. Näyttötodistus on todella tärkeä. Alueellisesti ollaan eri asemassa, näytön kuvaus, arviointitehtävästä johtuvat virheet, näyttötodistukseen tulee näytön kuvaus. Näytön kuvausteksti kertoo enemmän kuin numero näyttötodistuksessa. Opiskelijaa ei pidä päästää näyttöön, jos hänellä ei ole edellytyksiä selviytyä siitä. Näytön luotettavuuteen vaikuttavat erityisesti opiskelijoiden erilaiset näyttöpaikat ja arvioijien arviointiosaaminen. Tulisi selvittää, mikä merkitys on opettajan koulutustaustalla ja miten se ohjaa arviointia? Kaikki opettajat eivät kykene erottamaan ammattiosaamisen näyttöä normaalista. Opiskelijan arvioinnissa painottuu subjektiivisuus, arvosanoja ei voida verrata toisiinsa. Työelämän osallistumisessa on suuria alakohtaisia eroja. Luotettavuus lienee suurta sosiaali- ja terveysalalla ja kone- ja metallialalla, koska alojen sisällä olosuhteet ovat samanlaisia. Oppimistulosten arvioinnin luotettavuus on arvioijan armoilla. Arvioijasta johtuva epäluotettavuus on suurta. On turvallista antaa hyviä arvosanoja. Arvioitsijasta johtuvat virheet ovat suuria. Arvioijasta johtuvia virheitä ei pystytä korjaamaan, jokainen arvioi omalla taustallaan. Toimielimen tulisi ottaa selvemmin kantaa, millainen pätevyys arvioijilla tulee olla. Opettajan ja työpaikkaohjaajan koulutustaustan yhteys oppimistuloksiin tulisi selvittää. Kaikki opettajat ja ohjaajat eivät kykene arvioimaan ammattiosaamisen näyttöjä. Työllistymisen arvioinnin tulisi muodostaa osa oppimistulosten arvioinnista. Omassa yksikössä näyttötoimikunta ja -jaostot ihmettelivät hyviä (liian hyviä) tuloksia. Päädyttiin vertaisarviointiin ja ristiin arviointiin ammattiopiston sisällä. Näin nähtiin, miten arvosanoja annetaan. Arvioitiin myös sitä, miksi tietoperusta jää huonoksi. Koulutuksen järjestäjien tulisi muodostaa ryhmät, jotka pelkkien näyttöjen sijaan arvioisivat koko oppimisprosessia. Koko prosessin arviointi tuottaisi tietoa myös muun muassa ohjauksen riittävyydestä ja opettajien koulutustarpeesta. Tämä mahdollistaisi myös tulosten analysoinnin vertaismenetelmillä. Toimintamalli edellyttäisi verkostoitumista, rotaatiomallin luomista ja toisilta oppimista. Erityisoppilaitoksilla on vertaisarviointiverkosto: ympäristö on sama ja kohdejoukko. Kaiken kattava vertaisarviointi ei voi tulla kyseeseen kansallisessa arvioinnissa sen raskauden vuoksi. Vertaisarviointi olisi kuitenkin hyvä oppimisen ja verkostoitumisen väline. On pohdittava myös sitä, miten tutkinnon suorittaminen tutkinnon osittain vaikuttaa tuloksiin. Teema 6 Oppimistulosten selittäjät (indikaattorit, taustakyselyt) Taustatietojen selvittäminen osana oppimistulosten arviointia on välttämätöntä. Erityisen merkityksellistä tieto on koulutuksen järjestäjille. 58/64

60 Eri rekistereissä oleva tieto tulee yhdistää oppimistulosten arviointiin. Erityisesti tuloksellisuusrahoituksen tiedot ja hakurekisterin tiedot ovat keskeisiä. Määrällisten tunnuslukujen seuranta on helppoa. Kuvaamiseen perustuvat menetelmät parempia, mutta numerot koetaan yhteismitallisina. Oppimistulosten arvioinnissa tulisi koota sellaisia tietoja, jotka ovat tärkeitä koulutuksen järjestäjille. Toimielimen hyväksymien näyttösuunnitelmien analysointi on perusteltua ja tarpeellista. Tulee analysoida myös hopsien olemassaoloa, erityisen tuen tarvetta ja järjestämistä erityisopiskelijoiden näytöissä, työssäoppimisen määrää, lähiopetukseen määrää ja laatua sekä oppimisympäristöön liittyviä tekijöitä. Ongelma on tehdä johtopäätöksiä järjestäjän hyvyydestä ja pahuudesta. Opiskelijat voivat joutua jollekin alalle, ja kelvolliset tulokset voivat merkitä sitä, että huonoilla arvosanoilla tullut opiskelija valmistuu ykkösen arvosanoilla. Mikä on teorian ja käytännön osuus. On paljon opettajia, jotka haluaa luennoida. Oppimistulosten arviointiin tarvitaan seuraavia taustatietoja: Työpaikkaohjaajat: työpaikkaohjaajien koulutus työpaikkaohjaajakoulutuksen saaneiden osuus Näyttöympäristö/työpaikka näyttöympäristön ja työpaikan arviointi (vaativuus, tavoitteiden vastaavuus, koko) Toimielimen toiminta toimielinten hyväksymien näyttösuunnitelmien analysointi Opettajat: koulutustausta ja erityisesti näyttötutkintomestarikoulutus opettajien työelämäosaaminen ja työelämäjaksot opettajien pedagoginen osaaminen, ammattitaito opettajien työelämäyhteistyöhön kohdennettu resurssi opettajan työn resurssointi on keskeinen muuttuja Opiskelijat opiskelijan valintatiedot: opiskelijoiden arvosanat kouluun tultaessa työkokemus, arjen harjaantuminen ja kotitausta työmarkkinoiden muutosten vaikutukset opiskelijan motivaatioon Prosessimuuttujat: opetuksen ja ohjauksen määrä, opettajien ajankäyttö ammattiosaamisen näyttöihin ja työssäoppimiseen teorian ja käytännön osuus laadulliset indikaattorit: opetuksen ja ohjauksen sekä johtamisen laadun arviointiin. Lisäksi toiminnan laadun havainnointi HOPSit erityisen tuen toteutuminen työpaikalla erityisopiskelijoiden näytöissä pedagogisten valintojen yhteys oppimistuloksiin: työssäoppimisen määrä, lähiopetuksen määrä ja laatu, ohjauksen määrä ja oppimisympäristön laatu, tukitoimenpiteiden määrä 59/64

61 opiskelijahuollon tukitoimia koskevat tunnusluvut hyvinvointi-indikaattori hälytysindikaattorina opiskelijan poissaolot Johtaminen johtamista koskevat laadulliset indikaattorit / henkilöstön tyytyväisyys Tuloksellisuus ja rahoitus tuloksellisuusrahoituksen indikaattorit kustannuksia koskevat tunnusluvut resurssien kohdentaminen (esimerkiksi miten paljon opettaja on työpaikalla) Eri tahojen tyytyväisyys opiskelijan ja työelämän tyytyväisyys työelämän palaute sen jälkeen, kun opiskelijat olleet töissä noin vuoden AIPAL- ja OPAL-menettelyt tulisi laajentaa myös muuhun ammatilliseen peruskoulutukseen. Myös työelämän ja opettajien tyytyväisyyskartoitukset olisivat tarpeen. Tyytyväisyyttä kuvaavat tulokset pitäisi lisätä myös tuloksellisuusrahoitukseen. Teema 7 Oppimistulosten raportointi Tulosten raportointi koko kolmen vuoden ajalta yhdellä kertaa on riittävä. Muilla vuosilla ei ole raportoinnissa merkitystä, koska näytötkin painottuvat kolmanteen lukuvuoteen. Oppimistulosten arviointiraportti kuvaa, missä mennään. Loppuraportti tulee kuitenkin niin viiveellä, ettei sen analyysi ole enää silloin järkevää. Raportit tulisi saada silloin kun itse haluaa. Pitäisi voida tehdä ristiintaulukointia Palauteraportit tulisi tuottaa toimintayksiköittäin, jos järjestäjällä on useita yksiköitä. Tämä antaa mahdollisuuden yksiköiden välisten tulosten vertailuun ja toisilta oppimiseen. Voi olla, ettei alojen välinen ero kiinnosta kansallisella tasolla, mutta koulutuksen järjestäjän tasolla on mielenkiintoista seurata alojen välisiä eroja. On hyvä, että oppimistulokset raportoidaan tutkintokohtaisesti. Tutkintojen tulee tulevaisuudessakin olla syvällisemmän tarkastelun kohteena. Ranking listaukset eivät vaikuta uhkilta. Mitä sitten, jos olen 5 vai 50. Jokainen järjestäjä tietää, että tilanteet ja olosuhteet ovat erilaisia. Suhteessa muihin oppilaitoksiin tärkeä tieto, järjestysnumero ei ole tärkeä. Rankinglistaus pitäisi olla niin tarkasti määritelty. Tulee ymmärtää, etteivät syrjäytymisen ehkäisyä painottavissa yksiköissä voi olla erinomaiset tulokset. Hyvä jos saa nuoren työpaikalle. Julkisuus voi olla kehityksen vauhdittaja. Tanskan malli, siellä kaikki on julkista, meillä pitäisi olla sama. Julkisuus, jos aletaan julkistamaan vaan arvosanoja, vääristää paljon, jos julkistetaan vaan arvosanat, kun on niin paljon muutakin. 60/64

62 Teema 8 Oppimistulosten arvioinnin ulottaminen myös muutoin kuin ammattiosaamisen näytöissä arvioitaviin oppimistuloksiin Ammattitaitoa täydentävät tutkinnon osat Miksi atto-aineet ovat täydentäviä aineita, pikemminkin pohja muulle oppimiselle. Tulisi selvittää, miten on onnistuttu integroimaan atto-aineet ammatillisiin opintoihin. Esimerkiksi matematiikka ja äidinkieli on integroitu tutkinnon osiin todella hyvin. Lisäksi yritys- ja työelämätietoa yhdistetään työssäoppimisjaksoon myös hyvin ainakin sähköpuolella. Äidinkieli ja terveystiedon arvioinnit pitäisi integroida paremmin näyttöihin. Tekniikan puolella yhteisten opintojen integrointi ammatillisiin opintoihin ei ole ollut kovin onnistunutta. Attoaineissa tulisi olla päättökoe joka viides vuosi. Kansallisten testien ongelmana on, että opiskelussa aletaan keskittymään vain kokeeseen. Kirjalliset kokeet pitäisi kieltää. Kokoavat päättökokeet Päättökokeet ammatillisissa tutkinnon osissa on alakohtainen ja tutkintokohtainen asia. Olisi paluuta taaksepäin vastoin uusia opseja. Miksi päättöarvioinneista on luovuttu? Päättöarvioinnit osoittavat, onko opiskelijalla vaadittu osaaminen. Teema 9. Oppimistulosten julkistaminen Raportit tulee laatia koulutuksen järjestäjille, koska ne ovat vastuussa myös toiminnan kehittämisestä. Koulutuksen järjestäjän tulee nimetä omat vastuuhenkilöt ei massiivista joukkoa sähköiseen järjestelmään. Koulutuksen järjestäjää koskevat tulokset voi jakaa avoimesti kaikille ei ole niin arkaluonteista tietoa, etteikö voisi olla saatavilla OPH:n nettisivuilla. Opettajalle on tärkeä, että saa tietää opetuksensa tuloksen ja koulutuksen järjestäjän tulee saada tietoa myös samalla alueella toimivista. Järjestäjäkohtaiset tulokset voidaan julkistaa. Suhtautuminen tulosten julkistamiseen on myönteistä, ei välttämättä kuitenkaan ranking-listaukseen. Teema 10 Oppimistulosten arvioinnin vaikuttavuus Vertaisarviointia tulisi integroida osaksi kansallista oppimistulosten arviointia. Tällöin opettajat voisivat oppia toisiltaan. Opettajat ja työelämän edustajat tulee koota yhteen analysoimaan yhdessä tuloksia. Työelämän antama tulkinta on arvokas. Tulosten hyödyntämistä edistäisi, jos pääsisi keskustelemaan tuloksista työelämän kanssa. Me ei ikinä päästä puhumaan tuloksista kasvotusten. Toivoisi tietoa onko pedagogisilla valinnoilla vaikutus oppimistuloksiin Oppimistulosten arviointi on jäänyt johdolle vieraaksi, miten näitä tietoja voidaan hyödyntää koulutuksen mitoitukseen 61/64

63 Voi olla, ettei oppimistuloksia vielä osata hyödyntää osana laadunvarmennusta Oppimistulosten arvioinnissa on kyse perustoiminnan arvioinnista. Se antaa aihetta miettiä, miksi tulokset ovat sellaisia kun ovat, mitä tulosten takana on. Teema 11. Tulevaisuuden haasteet Oppimistulosten arvioinnin tulee tuottaa järjestäjille tietoa koulutuksen laadusta ja vaikuttavuudesta. Kansallisella seurannalla tulee olla lisäarvo järjestäjille. 62/64 Tietojen koonnin päällekkäisyydet on poistettava. Sähköisen palautejärjestelmän kehittäminen täydennettynä eri tilastoaineistoilla: tulee olla mahdollisuudet ristiintaulukointiin sekä järjestäjäkohtaisiin ja kansallisen tason raportteihin. Vertailuja tulee olla mahdollisuus tehdä omiin tarpeisiin Sähköiseen järjestelmään tulee tiedot siirtyä suoraan opiskelijahallintojärjestelmistä. Koulutuksen järjestäjällä tulee olla mahdollisuus tulosten hyödyntämiseen ja muokkaamiseen omien tarpeiden mukaisesti. Tiedonkeruu tulee yksinkertaistaa ja selkeyttää (rajapinnat opiskelijahallintojärjestelmiin ja rekistereihin). Arviointijärjestelmän tulee olla systemaattinen sekä kansallisesta että paikallisesta näkökulmasta katsottuna. Koulutuksen järjestäjillä on omia palautejärjestelmiä ja oppimistulosten arvioinnin tulee olla osa kokonaisuutta. Kansallisen arvioinnin tulee mahdollistaa vertailut. Järjestelmän tulee olla mahdollisimman vähän oppilaitosta työllistävä. Kansallisiin arviointeihin tulee panna enemmän painoa. Arviointia tulee suunnata kohti päättöarviointia. Summatiivinen arviointi antaa mahdollisuuden arvioida osaamisen transferia. Koulutukseen järjestäjien tietojen kerääminen pitäisi eriyttää kansallisesta arvioinnista. Koulutuksen järjestäjän kannalta on keskeistä seurata läpäisyastetta ja keskeyttämistä. Myös menestyminen SKILLS kisoissa on keskeinen seurantakohde. Oppimistulosten arvioinnissa riittää, että raportoidaan vain viimeisen vuoden näytöt. Arviointiin sisällyttää myös seuraavat kohteet: näyttösuunnitelmat. näyttöpaikat, paljonko opettajalla oli resursseja, opiskelijan taustatiedot, koulutuksen järjestäjän henkilöstötyytyväisyys ja työhyvinvointi. Myös opiskelijoiden tyytyväisyyttä tulee mitata. Ammattiosaamisen näyttöjen arvioinnista tulisi siirtää painopistettä työssäoppimisen arviointiin. Esimerkiksi laaja-alaisen osaamisen arviointi, sosiaalisten ja elinikäisen oppimisen osaamisen taitojen arviointi on työssäoppimisessa mahdollista ei näytöissä. Arvosana-arteikko tulee muuttaa takaisin 5-portaiseksi. Arviointi on kriteeriperusteinen ja laadullinen toimenpide, miksi kuitenkin käytetään numeroita Työssäoppimisen arvioinnit ja näyttöjen arvioinnit tulisi yhdistää. Työssäoppimisen arvioinnissa tulisi siirtyä kehittävään sanalliseen arviointiin. Arvioinnin tulee tuottaa vertailukelpoista ja objektiivista aineistoa koulutuksen järjestäjän oman toiminnan kehittämiseksi. Tulosten tulee kertoa oppimistulosten ja työelämän osaamistarpeiden suhteesta.

64 Arvioinnin tulee olla objektiivista. Keskeistä on varmistua ammattiosaamisen näyttöjen arvioijien pätevyydestä, osaamisesta, kouluttamisesta. Arviointikoulutus on hyvin keskeinen. Opettajille tulisi järjestää näyttömestarikoulutus. Myös työpaikkaohjaajan koulutus tulee turvata. Työpaikkaohjaajien ja opettajien välinen vastuunjako tulee selkeyttää. Jotkut opettajat ovat antaneet täyden vastuun työpaikkaohjaajalle. Oppimistuloksia tulee arvioida tutkintokohtaisesti, jotta tuloksia voidaan hyödyntää toimintaa kehitettäessä ja suunniteltaessa. Oppimistulosten arviointi tulee laajentaa koko ammatilliseen koulutukseen, näyttötutkinnot, oppisopimus, ammatti- ja erikoisammattitutkinnot. Oppimistuloksia tulee analysoida moniammatillisesti. Vertaisarviointia tulisi kehittää ja lisätä osaksi oppimistulosten arviointia toisilta oppimisen tehostamiseksi. Näin varmistetaan myös yhdessä oppiminen. Oppilaitoksissa pitäisi arvioida prosessien vaikutusta oppimistuloksiin. Arvioinnin tulee vaikuttaa oppilaitoksen prosesseihin. Työelämän näkökulma ja tarpeet tulisi saada näkyväksi. Opiskelijoiden ja työelämän palaute on keskeistä. Tulisi arvioida, miten opiskelija itse ja tuleva työnantaja kokevat ammattiosaamisen X -vuoden kuluttua valmistumisesta. Lisäksi tulee arvioida, antoivatko opinnot hyvän pohjan jatko-opinnoille. Työelämältä tulee hankkia palautetta arvioinnista, tutkinto- ja näyttötodistuksista, arviointiasteikosta ja yhteisestä kielestä. Palaute tulee ottaa huomioon kehittämisessä. Opiskelijan palautteessa tulisi painottaa arvioinnin merkitystä oppimiselle. Tulokset tulee raportoida tutkinnoittain. Ala- ja tutkintokohtaisuus tuo esiin erityistarpeet. Sekä opettajien että työelämän edustajien arviointiosaamisen parantamiseen on panostettava. Opettajille tulee turvata myös pakollinen Te-jakso. Arviointiraportista tulee käydä ilmi, miten järjestäjä pärjää a)suhteessa kriteereihin, b)mediaaniin ja c)parhaaseen neljännekseen. Oppimistuloksia tulee analysoida taustamuuttujittain. Keskeisiä taustamuuttujia ovat: työelämän, opettajien ja opiskelijoiden tyytyväisyys, näyttöjen organisointiin liittyvät tekijät työelämässä, työpaikkaa koskevat tekijät (työpaikan luonne, koko, koulutettujen ohjaajien määrä jne.), ammattiosaamisen näyttöjen suunnitteluun ja toteutukseen liittyvät tekijät, ryhmäkoko, opetuksen määrä, tavoitteiden mukauttaminen, toimielimen toiminta, opettajien työelämäjaksot ja työelämän tuntemus. Edellisen lisäksi laadullisia indikaattoreita tulee ottaa mukaan selittäjiksi. Järjestäjäkohtaisten tulosten julkistamiseen suhtaudutaan myönteisesti, ei välttämättä kuitenkaan rankinglistaukseen. Arvioinnissa pitäisikö luopua vertailusta, tulosten pitäisi johtaa koulutuksen järjestäjien prosessien tarkasteluun ja arviointiin. Numeerisen arvioinnin lisäksi järjestäjille tulee tuottaa laadullista palautetta, konkreettisia esimerkkejä erilaisista tavoista järjestää näyttöjä jne. 63/64

65 Raportit tulisi löytää netistä, jotta niitä olisi helppo käsitellä opetushenkilöstön kanssa. Tällöin riittäisi tiedotus, kun uusi raportti saatavissa. Järjestelmän tulisi kertoa mahdollisimman hyvin sen, oppivatko opiskelijat niitä asioita, mitä he tulevassa työssään tarvitsevat. Huomiota tulee kohdistaa arvioinnin vaikuttavuuteen. Huomio kohdistuu siten kehittämistoimenpiteiden käynnistämiseen tulosten perusteella sekä kansallisella että järjestäjätasolla. itsearvioinninajatus kiehtova, tarvitaan yhtenäinen tapa toteuttaa se. tietoa koko kolmen vuoden ajalta, jotta voi hyödyntää esim. opetuksen/ohjauksen kehittämise pitäisi sisällyttää osaksi koko koulutusprosessin itsearviointijärjestelmää. Opetushallitus 64/