SEURANTA- JA PALAUTEJÄRJESTELMÄN KEHITTÄMINEN AMMATTIOSAAMISEN NÄYTTÖIHIN. Kirsti Stenvall, Elise Anttalainen-Kulmala, Erja Kotimäki, Pia Lagercrantz

SEURANTA- JA PALAUTEJÄRJESTELMÄN KEHITTÄMINEN AMMATTIOSAAMISEN NÄYTTÖIHIN Kirsti Stenvall, Elise Anttalainen-Kulmala, Erja Kotimäki, Pia Lagercrantz Projektin loppuraportti 2009

2 SISÄLTÖ TIIVISTELMÄ... 3 1. JOHDANTO... 4 1.1 OPPIMISTULOSTEN KANSALLINEN SEURANTA- JA PALAUTEJÄRJESTELMÄ... 5 1.2 OPPIMISTULOSTIEDON TUOTTAMINEN JA DOKUMENTOINTI... 5 1.3 AMMATTIOSAAMISEN NÄYTTÖJEN LAATUVAATIMUKSET... 6 2. PROJEKTIN TAVOITTEET JA TOTEUTUS... 7 3. KUVAUKSET, ANALYYSIT JA TULOKSET... 9 3.1 KOULUTUKSEN JÄRJESTÄJÄN OPPIMISTULOSTEN ARVIOINTIPROSESSI... 9 3.2 KOULUTUKSEN JÄRJESTÄJÄN AMMATTIOSAAMISEN NÄYTTÖJEN DOKUMENTOINTIPRO- SESSI... 12 3.3 OPPILAITOSKOHTAINEN PALAUTERAPORTTI... 14 3.4 KANSALLINEN OPPIMISTULOSTIETOJEN ARVIOINTIKOKEILU: TAUSTAKYSELYT... 15 3.5 EHDOTUKSIA PALAUTERAPORTIN SISÄLTÖÖN JA RAKENTEESEEN... 17 4. SUOSITUKSIA JATKOTOIMENPITEKSI...19 4.1 SUOSITUKSIA KOULUTUKSEN JÄRJESTÄJILLE... 19 4.2 SUOSITUKSIA OPETUSHALLITUKSELLE... 20 4.3 YHTEENVETO... 21 LÄHTEET...22 LIITTEET 1. Projektin työseminaarit ja työvaiheet 2. Ammattiosaamisen näyttöjen määrä: Oulun ammattiopisto, Salon ammattiopisto, Turun ammatti-instituutti 3. Kansallinen näyttöperusteinen oppimistulosten arviointikokeilu 2004 2007, Opetushallituksen taustakyselylomakkeet opiskelijalle, opettajalle ja työelämän edustajalle 4. Projektiryhmän kommentit näyttöperusteiseen, oppimistulosten seurantaarvioinnin taustakyselylomakkeisiin 5. Projektiryhmän luonnos ammatillisen koulutuksen työelämäyhteistyön verkkopalveluksi 6. Ohjeet dokumentointilomakkeen täyttämiseen Opetushallitus ja tekijät ISBN: 978-952-13-4440-4 Helsinki 2009

3 TIIVISTELMÄ Opetushallitus ja Salon seudun koulutuskuntayhtymä käynnistivät vuoden 2008 lopussa kehittämishankkeen koskien seuranta- ja palautejärjestelmän kehittämistä ammattiosaamisen näyttöihin ja oppimistulosten kansalliseen arviointiin. Projektin tavoitteena on ollut kuvata, analysoida ja raportoida kolmen koulutuksen järjestäjän käytännöt ja kehittämisehdotukset ammattiosaamisen näyttöjen dokumentointiprosessiin ja oppimistulosten arvioinnin oppilaitoskohtaiseen palauteraporttiin. Lisäksi tavoitteena on ollut kuvata koulutuksen järjestäjän oppimistulosten arviointiprosessi ja tehdä kehittämisehdotukset oppimistulosten arvioinnin taustakyselyihin. Salon seudun koulutuskuntayhtymän lisäksi projektissa on ollut mukana Oulun seudun ammattiopisto (Kontinkankaan yksikkö) ja Turun ammatti-instituutti. Projektissa aineistot on koottu haastattelemalla ammattiosaamisen näytöistä vastaavaa opetushenkilöstöä ja opintoasiansihteereitä. Projektiryhmä on myös hyödyntänyt Opetushallituksen ja kolmen koulutuksen järjestäjän aineistoja ja raportteja, jotka koskevat ammatillisen peruskoulutuksen oppimistulosten arviointeja ja ammattiosaamisen näyttöjä. Ammatillisten oppimistulosten näyttöperusteinen kansallinen arviointi on haasteellinen kaikille osapuolille. Projektiryhmän arvion mukaan koulutuksen järjestäjät eivät vielä ole selkeästi hahmottaneet oppimistulosten arviointiprosessia ja sen tärkeyttä. Oppilaitokset eivät ole hyödyntäneet oppimistulostietoja ja Opetushallituksen palauteraportteja osana koulutuksen laadunhallintaa. Ammattiosaamisen näyttöprosessi toimii kuitenkin yleisesti hyvin ja kaikista näytöistä kerätään arviointitiedot. Projektiryhmä arvioi, että oppilashallintojärjestelmiä voitaisiin vielä parantaa, jotta arviointitietojen syöttäminen järjestelmään helpottuisi. Ammattiosaamisen näyttöjen dokumentaatioprosessi on tärkeä osa ammattiosaamisen näyttöjen arviointia. Koulutuksen järjestäjillä on käytössä näyttöjen arviointilomakkeet ja kaikista näytöistä kerätään systemaattisesti samat tiedot. Dokumentointiprosessin yhtenä kehittämiskohteena on, että koulutuksen järjestäjien tulisi laatia selkeät ohjeet ammattiosaamisen näytön kokonaisarvosanan muodostamiseksi osanäytöistä. Koulutuksen järjestäjien tulisi myös määritellä arviointiasiakirjojen arkistointiohjeet. Raportissa ehdotetaan toimenpiteitä Opetushallituksen palauteraportin rakenteeseen ja sisältöön. Palauteraportit antavat koulutuksen järjestäjän tutkintokohtaisten tietojen lisäksi hyvää kansallista vertailutietoa opiskelijan osaamisesta ja ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Oppimistulosten palauteraportit tulisi projektiryhmän mielestä muuttaa sähköiseksi ja siirtää Opetushallituksen ylläpitämään verkkopalveluun, jolloin raporttien ja aineistojen saatavuus, käyttö ja hyödyntäminen vahvistuisivat. Projektiryhmä on myös tehnyt ehdotuksia sähköisestä seuranta- ja palautejärjestelmästä, joka voisi toimia verkkopalveluna. Oppimistulosten kansallisessa arvioinnissa Opetushallitus on toteuttanut ammattiosaamisen näyttöjä koskevia taustakyselyjä koskien näyttöjen suunnittelua, toteutusta ja arviointia. Projektiryhmä piti taustakyselyjen tuottamaa tietoa tärkeänä kaikille toimijoille, sillä kyselyt tuottavat tietoa ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Taustakyselyt tulisi vakiinnuttaa osaksi kansallista näyttöperusteista oppimistulosten arviointijärjestelmää. Työssäoppimista ja ammattiosaamisen näyttöjä koskevia valtakunnallisia kyselyjä tulee arvioida kokonaisuutena ja katsoa vuotuisten kyselyjen määrä ja niiden sisällöt. Koulutuksen järjestäjät tarvitsevat koulutusta oppimistulosten arviointiin ja paikallisiin tulkintoihin. Oppimistulosten seuranta- ja palautejärjestelmän liittäminen koulutuksen järjestäjiä palvelevaan ammatillisen koulutuksen ohjaukseen on tarpeen, sillä tietoa koulutuksen vaikuttavuudesta tarvitaan myös paikallisella ja maakunnallisella tasolla. Tällaista informaatio-ohjausta tulisi kehittää siten, että ohjaus tukee koulutuksen järjestäjien jatkuvaa oppimista ja oman kehittämistyön periaatetta. Raportin lopussa esitetään projektiryhmän suositukset jatkotoimenpiteiksi koulutuksen järjestäjille ja Opetushallitukselle. Salon seudun koulutuskuntayhtymä on koordinoinut hanketta 26.2.2009 30.10.2009. Opetushallituksessa on toiminut hankkeen aikana ammatillisen koulutuksen arvioinnin ja kehittämisen yhteensovittamisen ohjausryhmä (AAKE). Ryhmään kuuluvat johtaja Pasi Kankare (pj.), tutkimusprofessori Ritva Jakku- Sihvonen, opetusneuvos Mari Räkköläinen, opetusneuvos Pirjo Väyrynen, erikoistutkija Jari Metsämuuronen ja opetusneuvos Tor Lindholm.

4 1. JOHDANTO Opetushallitus ja Salon seudun koulutuskuntayhtymä käynnistivät vuoden 2008 lopussa kehittämishankkeen koskien seuranta- ja palautejärjestelmän kehittämistä ammattiosaamisen näyttöihin. Projektin tarkoituksena on ollut tukea seuranta- ja palautejärjestelmän suunnittelua ja tuoda esille ammattiosaamisen näyttöjen arviointia ja dokumentointia koskevia kehittämistarpeita. Sopimus yhteisen kehittämishankkeen toteuttamisesta tehtiin helmikuussa 2009. Salon seudun koulutuskuntayhtymä on koordinoinut hanketta 26.2.2009 30.10.2009. Hankkeessa ovat olleet mukana Oulun seudun ammattiopisto (Oulun seudun koulutuskuntayhtymä) ja Turun ammatti-instituutti (Turun kaupunki). Opetushallituksessa on toteutettu vuosina 2002 2008 kansallinen, oppimistulosten arviointijärjestelmää koskeva kehittämishanke. Sen pohjalta ovat opetusministeriö ja Opetushallitus käynnistäneet vuoden 2007 alussa kansallisen oppimistulostiedon tuottamisen ja seurannan, jossa arviointitiedot kootaan suoraan ammattiosaamisen näytöistä (OPM 3/502/2007). Kansalliseen seurantaan koulutuksen järjestäjiltä pyydettävät tiedot perustuvat arvioinnista annettuun määräykseen (M32/011/2005). Ammattiosaamisen näytöistä on kerätty vuodesta 2007 lähtien arviointitietoa sosiaali- ja terveysalan, hotelli- ja ravintola-alan, kone- ja metallialan sekä logistiikan perustutkinnoista ja niistä Opetushallitus on toimittanut koulutuksen järjestäjille vuoden 2007 lopussa ja vuoden 2008 syksyllä palauteraportit. Vuonna 2008 syksyllä tiedonkeruu on laajentunut koskemaan metsäalan ja rakennusalan perustutkintoja. Koulutuksen järjestäjät ovat saaneet syksyllä 2009 oppilaitoskohtaiset palauteraportit rakennus- ja metsäalan perustutkintojen oppimistuloksista. Vuoden 2009 syksyllä on aloitettu maatalousalan, hiusalan ja sähkö- ja automaatiotekniikan perustutkintojen näytöistä koottu oppimistulostiedon kerääminen. Tavoitteena on, että vuonna 2012 järjestelmässä ovat mukana kaikki ammatilliset perustutkinnot. Tämän raportin tarkoituksena on esitellä kolmen koulutuksen järjestäjän yhteenvedot oppimistulosten arviointiprosessista, ammattiosaamisen näyttöjen dokumentointiprosessista, oppimistulosten arvioinnin taustakyselyistä ja palauteraportista sekä niihin liittyvistä vahvuuksista ja kehittämiskohteista. Raportin tehtävänä on myös tukea Opetushallituksen seuranta- ja palautejärjestelmän kehittämistä ammattiosaamisen näyttöihin. Raportti perustuu työseminaareihin, kolmen koulutuksen järjestäjän asiantuntijoiden taustatyöskentelyyn ja aineistoihin sekä keskusteluihin ja tapaamisiin Opetushallituksen asiantuntijoiden kanssa. Raportissa kuvataan projektin tavoitteet ja toteutus, työvaiheet ja niistä saadut tulokset. Raportin lopussa esitetään projektiryhmän tekemät kehittämisehdotukset.

5 1.1 Oppimistulosten kansallinen seuranta- ja palautejärjestelmä Kansallinen seuranta- ja palautejärjestelmä sisältää ammatillisen peruskoulutuksen näyttöihin perustuvan oppimistulostiedon tuottamisen (AMOP), ammattiosaamisen näyttöjen laatuvaatimuksia koskevien taustakyselyjen tuottamat tiedot ja palautetiedot koulutuksen järjestäjille (AMOS). Kokonaisuudessaan oppimistulostiedon seuranta- ja palautejärjestelmä sisältää tiedot oppimistuloksista ja tietoja näyttöjen laatuvaatimusten toteutumisesta. Koulutuksen järjestäjän saamat palauteraportit sisältävät oman oppilaitoksen tietojen ohella vertailuarvot kansallisiin tuloksiin. Kansallisen oppimistulosten arvioinnin tarkoituksena on tuottaa tietoa opetussuunnitelman/tutkinnon perusteiden tavoitteiden saavuttamisesta, osaamisen tasosta sekä siitä, miten osaaminen vastaa työelämän tarpeita ja antaa valmiuksia jatko-opintoihin. Arvioinnin tavoitteena on koulutuksen laadun parantaminen ja oppimistulosten jatkuva kehittäminen sekä koulutuksellisen tasa-arvon varmistaminen. 1 Kansallisessa seurannassa tiedonkeruu toteutetaan Opetushallituksen ja koulutuksen järjestäjien yhteistyönä ja arviointitieto kootaan suoraan koulutuksen järjestäjän organisoimista ammattiosaamisen näytöistä. Opetushallitus on vastannut tietojen analysoinnista ja raportoinnista. Opetushallituksen seurannan ja arvioinnin tavoitteena on saada kansallista tietoa toisen asteen ammatilliseen koulutukseen liittyvien ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Lisäksi tavoitteena on palauteraporttien avulla tukea koulutuksen järjestäjän itsearviointia ja siten edesauttaa koulutuksen laadun kehittämistä niin paikallisella kuin kansallisellakin tasolla. Tulevaisuuden tavoitteena on, että oppimistulostiedon kansallinen seuranta- ja palautejärjestelmä toimii sähköisesti ja oppimistulostiedon kerääminen on osa koulutuksen järjestäjien toimintaa. 1.2 Oppimistulostiedon tuottaminen ja dokumentointi Kansalliseen seurantaan koulutuksen järjestäjiltä pyydettävät tiedot perustuvat arvioinnista annettuun määräykseen (M 32/011/2005), näyttötodistuksessa vaadittaviin tietoihin sekä näyttötoiminnan yleisiin laatuvaatimuksiin. Kansalliseen seurantaan Opetushallitus pyytää koulutuksen järjestäjiltä arvosanatiedot tutkinnoittain, tutkinnon osittain ja arviointikohteittain. Taustakyselyjä Opetushallitus on testannut ammattiosaamisen näyttöjen arviointikokeiluissa (vv. 2002 2003 ja vv. 2004 2007). Kyselyillä on saatu tietoa mm. näyttöjen suunnittelusta ja toteuttamisesta sekä arviointikäytännöistä. Oppimistulostiedon toimittamista varten koulutuksen järjestäjä on nimennyt yhdyshenkilön, jonka tehtävänä on oppimistulostiedon tuottaminen oppilashallintojärjestelmästä ja tiedon toimittaminen Opetushallitukseen. Yhdyshenkilö tavallisesti vastaa yhden tai useampien perustutkintojen oppimistulostiedon tuottamisesta. Opetushallitus toimittaa yhdyshenkilöille tiedonkeruuseen liittyvät ohjeet ja lomakkeet. Yhdyshenkilöt on myös perehdytetty kansalliseen seurantaan ja oppimistulostietojen tallentamiseen ja heille tulee Opetushallituksen tiedotteet ammattiosaamisen 1 Räkköläinen & Kilpeläinen 2008.

näytön dokumentoinnin ajankohtaisista asioista. Yhdyshenkilöt huolehtivat siitä, että oppilashallintojärjestelmistä tiedot toimitetaan Opetushallitukseen Excel-lomakkeella. Koulutuksen järjestäjät tallentavat opiskelijaa ja ammattiosaamisen näyttöä koskevat tiedot opiskelijahallinto-ohjelmaan. Oppimistulostiedot sisältävät näyttöjen arvosanatiedot arviointikohteittain, tutkinnon osittain ja tutkinnoittain sekä tiedot näyttöjen suorituspaikoista ja näytön arviointiin osallistuneista osapuolista. Ammattiosaamisen näytöistä arviointitieto kootaan kaikista tutkinnoista yhdenmukaisella tavalla. Opetushallitus vastaa koulutuksen järjestäjiltä pyydettyjen tietojen analysoinnista ja raportoinnista. Yhteenvetona Opetushallitus lähettää oppilaitoskohtaisen oppimistulospalautteen koulutuksen järjestäjille. Palauteraportti sisältää seuranta-arvioinnissa mukana olleiden tutkintojen kansalliset oppimistulokset ja oppilaitoskohtaiset oppimistulokset. Kansalliset oppimistulokset sisältävät tiedot ammattiosaamisen näytön suorituspaikasta, näytön arviointikeskusteluun osallistuneista sekä oppimistulosten kansalliset keskiarvot perustutkinnoittain ja oppimistulosten keskiarvot arviointikohteittain. Lisäksi tuloksissa ovat mukana tutkinnon osien arvosanojen keskiarvot kansallisesti. Oppilaitoksen oppimistulokset sisältävät tiedot näyttöpaikasta ja arviointikeskusteluun osallistuneista. Oppilaitoksen oppimistulokset esitetään arviointikohteittain ja tutkinnon osan näytön arvosanojen keskiarvona. Lisäksi palauteraportissa on näyttöjen keskiarvot tutkinnon osittain ja arviointikohteittain sekä näytön arvosanojen prosentuaalinen jakautuminen oppilaitoksessa ja kansallisesti. Koulutuksen järjestäjien tulee säilyttää oppimistulostiedot kuten kaikki opiskelijan arviointiaineisto vähintään kuuden kuukauden ajan arvosanan antamisesta (A 603/2005 11a ). Opiskelijan näyttötodistuksessa on arvosanat suoritetuista ammattiosaamisen näytöistä tutkinnonosittain ja erityisopiskelijalla sanallinen kuvaus opiskelijan ammattiosaamisen näytöllä todennetusta ammatillisesta osaamisesta ja ammattitaidosta. 6 1.3 Ammattiosaamisen näyttöjen laatuvaatimukset Ammattiosaamisen näytöille asetetuista tavoitteista ja näyttöjen toteuttamista ohjaavista säädöksistä ja määräyksistä ja näyttötoiminnalle annetuista suosituksista on määritelty näyttötoiminnan yleiset laatuvaatimukset, joiden toteutumista seurataan kansallisesti. Laatuvaatimusten tulee ohjata ammattiosaamisen näyttöjen suunnittelua, toteutumista ja arviointia. Koulutuksen järjestäjien olisi hyvä huomioida ammatillisen koulutuksen laadunhallintasuosituksen (2008) sisältämät tavoitteet ja toimintatavat ammattiosaamisen näyttöjen suunnittelussa, toteutuksessa ja arvioinnissa. Ammattiosaamisen näyttöjen laatuvaatimukset 2 ovat: Opetussuunnitelmaperusteisuus Osaamisen, arvioinnin kohteet ja kriteerit vastaavat opetussuunnitelman perusteita. 2 Räkköläinen 2005, Räkköläinen & Kilpeläinen 2008; Räkköläinen & Jauhola & Kilpeläinen 2008; Vehviläinen 2004.

Työelämälähtöisyys Näyttöjen suunnittelu, toteuttaminen ja arviointi toteutetaan oppilaitosten ja työpaikkojen yhteistyönä. Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi Näytön arvioinnille on asetettu ennalta arvioinnin kohteet ja kriteerit, jotka ovat kaikkien osapuolten tiedossa. Laaja-alaisen osaamisen arviointi Näytöissä tulee arvioida laaja-alaista, toiminnallista, tiedollista, sosiaalista ja reflektiivistä osaamista. Yhteisarviointi Näyttöjen arviointiin osallistuvat opettaja, työelämän edustaja ja opiskelija. Dokumentoinnin yhdenmukaisuus ja läpinäkyvyys Näyttöjen arviointi dokumentoidaan kaikissa tutkinnoissa yhdenmukaisella tavalla. Oppimistulostiedon kansallisessa seuranta- ja palautejärjestelmässä taustakyselyt tuottavat tietoa ammattiosaamisen näyttöjen laatuvaatimuksista. Ne toimivat siis yhtenä näyttöjen laadunvarmistuksen menetelmänä. Taustakyselyt ovat olleet käytössä oppimistulosarvioinnin ensimmäisessä (2002 2003) ja toisessa (2004 2007) arviointikokeilussa. Ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta kysyttiin taustakyselyillä opettajille, opiskelijoille ja työelämän edustajille. Kyselyillä saatiin tietoa mm. näyttöjen suunnittelusta ja toteuttamisesta osana oppimisen ja opetussuunnitelman tavoitteita. Kyselyillä saatiin myös tietoa koulutuksen järjestäjän näyttökäytännöistä ja yhteistyöstä työelämän kanssa. Tulokset raportoitiin oppilaitoksille Opetushallituksen palauteraporteissa. Taustakyselylomakkeet ovat liitteessä 3. 7 2. PROJEKTIN TAVOITTEET JA TOTEUTUS Projektin tavoitteet Tämän projektin tavoitteena on ollut analysoida oppimistulosten arviointiprosessia ja ammattiosaamisen näyttöjen dokumentointiprosessia sekä ammattiosaamisen näyttöihin liittyviä taustakyselyjä ja Opetushallituksen tuottamia palauteraportteja. Tavoitteina ovat olleet: Kuvata koulutuksen järjestäjän toteuttama oppimistulosten arviointiprosessi. Kuvata ammattiosaamisen näyttöjen dokumentointiprosessi oppilashallintojärjestelmässä. Koota ja raportoida kolmen koulutuksen järjestäjän palautteet ja kehittämisehdotukset oppimistulosten arvioinnin oppilaitoskohtaiseen raporttiin. Koota ja raportoida kolmen koulutuksen järjestäjän palautteet ja kehittämisehdotukset oppimistulosten arvioinnin taustakyselyihin.

8 Projektin toteutus Hanketta on hallinnoinut Salon seudun koulutuskuntayhtymä, jossa projektin koordinaattorina on toiminut kuntayhtymän kehittämispäällikkö Kirsti Stenvall. Hankkeessa ovat olleet mukana Turun ammatti-instituutti, Oulun seudun ammattiopisto ja Salon seudun ammattiopisto. Projektiryhmässä ovat työskennelleet lehtori, laatukoordinaattori Elise Anttalainen-Kulmala (Salon seudun ammattiopisto), lehtori, projektipäällikkö Erja Kotimäki (Oulun seudun ammattiopisto, Kontinkankaan yksikkö) ja kehitysjohtaja Pia Lagercrantz (Turun ammatti-instituutti). Oulun seudun koulutuskuntayhtymästä projektin asiantuntijoina ovat toimineet laatukoordinaattori Sauli Alaruikka ja Priimus-pääkäyttäjä Matti Leskelä. Turun ammattiinstituutista asiantuntijoina ovat olleet työssäoppimisen koordinaattori Rolf Holmberg, opintosihteeri Leenä Mäkinen ja laskentasihteeri Laura Kristola. Salon seudun koulutuskuntayhtymästä asiantuntijoina ovat toimineet kouluttaja Jaana Hentilä (Salon seudun aikuisopisto) ja koulutussihteeri Hennamari Lotsari (Salon seudun ammattiopisto). Opetushallituksesta projektissa ovat olleet mukana opetusneuvos Mari Räkköläinen, opetusneuvos Pirjo Väyrynen, asiantuntijat Paula Kilpeläinen ja Marika Koramo. Projektin toteuttamiseksi projektityöryhmä on pitänyt kolmen koulutuksen järjestäjän yhteisiä työseminaareja, joissa on ollut mukana Opetushallituksen edustus. Kuviossa 1 esitetään projektin eteneminen, ja liitteessä 1. on tarkemmin projektipalaverien aiheet ja ajankohdat. Tietoa ja aineistoa kehittämishankkeeseen on koottu haastattelemalla ammattiosaamisen näytöistä vastaavaa opetushenkilöstöä ja opintoasiansihteereitä. Opetushallitus on kerännyt palautetta vuonna 2008 palauteraportin sisällöstä, rakenteesta, käyttökelpoisuudesta ja tulosten luotettavuudesta. Työryhmä on hyödyntänyt koulutuksen järjestäjiltä saatujen palautteiden yhteenvetoa 3. Liitteessä 2 on projektissa mukana olleiden koulutuksen järjestäjien ammattiosaamisen näyttöjen määrät tutkinnoittain. Tiedot on koottu alunperin Koulutuksen arviointineuvoston toteuttamaan ammattiosaamisen näyttöjen kansalliseen arviointiin keväällä 2009. tammik-09 Projektin aloittaminen jouluk-08 Projektin suunnitteluseminaari maalisk-09 Dokumentaatioprosessin kuvaukset toukok-09 Tausakyselyjen analyysi Palauteraportin analyysi elok-09 Tulosten kokoaminen ja arviointi, raportointi jouluk-08 maalisk-09 kesäk-09 Projekti päättyy 30.10.2009 jouluk-08 Lokakuu 2009 Kuvio 1. Projektin toteutuksen eri työvaiheet ja aikataulu 3 Räkköläinen & Jauhola & Kilpeläinen 2008.

Projektia ja sen tuloksia on esitelty Koulutuksen järjestäjien yhdistyksen (Kjy ry.) työssäoppimisen verkostossa ja työvaliokunnassa kevään ja syksyn 2009 aikana sekä syksyllä 2009 Opetushallituksen infotilaisuuksissa oppimistulostiedon tuottamisesta ja kansallisesta seurannasta (Helsinki ja Oulu). 9 3. KUVAUKSET, ANALYYSIT JA TULOKSET Seuraavassa kuvataan ja analysoidaan oppimistulosten arvioinnin ja ammattiosaamisen näyttöjen dokumentoinnin prosessit sekä esitellään kehittämisehdotukset oppimistulosten arvioinnin oppilaitoskohtaiseen palauteraporttiin ja oppimistulosten arvioinnin taustakyselyihin. Lisäksi tarkastellaan kunkin prosessin vahvuuksia ja kehittämiskohteita. 3.1 Koulutuksen järjestäjän oppimistulosten arviointiprosessi Oppimistulosten arviointiprosessi on osa laajempaa ammattiosaamisen näyttöprosessia. Koulutuksen järjestäjällä on vastuu ammattiosaamisen näyttöjen suunnittelusta, toteuttamisesta ja kehittämisestä. Kuviossa 2 on kuvattu koulutuksen järjestäjän ammattiosaamisen näyttöprosessi pääpiirteittäin näyttöjen suunnittelun, toteutuksen, arvioinnin ja kehittämisen näkökulmasta. Kuvaus pohjautuu ammatillisen koulutuksen laadunhallintasuositukseen (2008) ja yhteiseen eurooppalaisen viitekehykseen (CQAF, Common Quality Assurance Framework). Kuvio 2. Koulutuksen järjestäjän ammattiosaamisen näyttöprosessi

10 Oppimistulosten arviointiprosessi käynnistyy toimielimen hyväksyessä näyttöjen toteuttamis- ja arviointisuunnitelmat ja päättyy toimielimen ammattiosaamisen näyttöihin liittyvän kehittämistyön seurantaan (kuvio 3). Koulutuksen järjestäjän tulee asettaa toimielin tai useampia ammattiosaamisen näyttöjen suunnittelua ja toteuttamista varten. Toimielimessä tulee olla edustettuina koulutuksen järjestäjä, opettaja ja opiskelija sekä asianomaisen alan tai asianomaisten alojen työ- ja elinkeinoelämä. Koulutuksen järjestäjän tulee huolehtia toimielimen jäsenten koulutuksesta. (L 601/2005 ja A 603/2005). Oppimistulosten arviointiprosessi on tiivistetysti seuraava: Koulutuksen järjestäjän asettama ammattiosaamisen näyttöjen toimielin hyväksyy ammattiosaamisen näyttöjen toteuttamis- ja arviointisuunnitelman. Opintoasiainsihteeri alustaa näytön oppilashallintojärjestelmään. Opiskelija antaa näytön ja tekee itsearvioinnin. Työpaikkaohjaaja ja/tai opettaja arvioivat näytön sekä suullisesti että kirjallisesti näytön arviointilomakkeelle. Opettaja tallentaa näytön arviointitiedot oppilashallintojärjestelmään. Opintoasiainsihteeri pyytää tarvittaessa puuttuvat näyttöjen arviointitiedot opettajalta. Opintoasiainsihteeri kokoaa tiedot oppilashallintojärjestelmästä Opetushallituksen Excel-lomakkeelle ja lähettää sen sähköpostilla Opetushallitukseen. Opetushallitus lähettää koulutuksen järjestäjälle palauteraportin oppimistuloksista ja ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Koulutuksen järjestäjän johtoryhmät, neuvottelukunnat, toimielin, tiimit tms. määrittelevät vahvuudet, kehittämiskohteet ja parantamismenettelyt saamansa raportin pohjalta. Kehittämistoimenpiteet vastuutetaan ja aikataulutetaan ja toimielin seuraa niiden toteutumista.

11 Kuvio 3. Koulutuksen järjestäjän oppimistulosten arviointiprosessi Projektiryhmä on arvioinut kolmen koulutuksen järjestäjän oppimistulosten arviointiprosessia sen kannalta, mitkä ovat nykyisten käytäntöjen vahvuudet ja kehittämiskohteet. Oppimistulosten arviointiprosessin vahvuudet Koulutuksen järjestäjät ovat hyväksyttäneet ammattiosaamisen näyttöjen toteuttamis- ja arviointisuunnitelmat toimielimellä. Tämä luo yhtenäisen pohjan ammattiosaamisen näyttöjen suunnitelmalliseen toteuttamiseen ja arviointiin. Oppimistulostiedot tuotetaan osana ammattiosaamisen näyttöprosessia. Arviointiprosessin vahvuutena on, että prosessi edistää ammatillisen koulutuksen työelämälähtöisyyttä monin tavoin, mm. työelämällä on keskeinen rooli opiskelija-arvioinnissa ja työelämällä on mahdollisuus vaikuttaa koulutuksen kehittämiseen (toimielimen jäsenyys, taustakyselyihin vastaaminen).

Palauteraportit antavat mahdollisuuden koulutuksen järjestäjän omien näyttöjen arviointitietojen trendiseurantaan ja tietojen vertailuun kansallisella tasolla. Projektiryhmän arvion mukaan ammattiosaamisen näytön arviointitietojen kokoaminen on ensimmäinen yritys kansalliseksi prosessimittariksi. 12 Oppimistulosten arviointiprosessin kehittämiskohteet Koulutuksen järjestäjät eivät ole selkeästi hahmottaneet oppimistulosten arviointiprosessin tärkeyttä. Vastuu prosessin onnistumisesta on jäänyt yksittäiselle toimijalle (esim. tutkintoon nimetylle yhdyshenkilölle), joka ei välttämättä ole ymmärtänyt prosessia kokonaisuutena. Tämän vuoksi esimerkiksi oppimistulostietoja on saatettu lähettää puutteellisina Opetushallitukseen. Projektiryhmä arvioi, että koulutuksen järjestäjät/oppilaitokset eivät ole hyödyntäneet palauteraportteja näyttötoiminnan kehittämiseen. Syitä voi olla monia, esimerkiksi palauteraporttia ei ole jaettu oppilaitoksen sisällä tai palauteraporttia ei ole käsitelty oppilaitoksessa. Raportit eivät aina kulkeudu tiedoksi opettajille ja työelämän edustajille. Myöskään opiskelijat eivät ole saaneet palautetietoa oppimistuloksista. Palauteraporttia ei ole myöskään käsitelty toimielimissä. Projektiryhmä kiinnitti huomiota siihen, että ammattiosaamisen näyttöjen arvioinnin kolmiportaisuus saattaa tulevaisuudessa vaikeuttaa oppimistulostiedon tulkintaa ja tiedon hyödyntämistä. Kolmiportaisen asteikon (tyydyttävä T1, hyvä H2, kiitettävä K3) pohjalta laskettujen arvosanojen keskiarvojen erot ovat niin pieniä, että niiden pohjalta arviointitietojen tulkitseminen ja johtopäätösten tekeminen on vaikeaa. 3.2 Koulutuksen järjestäjän ammattiosaamisen näyttöjen dokumentointiprosessi Ammattiosaamisen näyttöjen dokumentointiprosessi on osa ammattiosaamisen näyttöjen arviointiprosessia (ks. kuvio 2). Dokumentointiprosessi alkaa siitä, kun opintoasiansihteeri saa kaikki näyttöihin liittyvät tarpeelliset tiedot, joiden pohjalta hän alustaa ammattiosaamisen näytöt oppilashallintojärjestelmään. Dokumentointiprosessi päättyy arviointilomakkeiden arkistointiin ja näyttötodistuksien kirjoittamiseen. Kuviossa 4. on ammattiosaamisen näyttöjen dokumentointiprosessi vuokaaviona. Ammattiosaamisen näyttöjen dokumentointiprosessi kulkee tiivistetysti seuraavasti: Opintoasiansihteeri alustaa ammattiosaamisen näytöt oppilashallintojärjestelmään. Opettaja tallentaa arviointilomakkeen tiedot oppilashallintojärjestelmään Opintoasiansihteeri tarkistaa em. arviointitiedot ja pyytää tarvittaessa puuttuvat tiedot. Opettaja toimittaa ammattiosaamisen näytön arviointilomakkeet arkistoitaviksi. Arkistoinnista vastaava henkilö arkistoi lomakkeet. Opintoasiansihteeri tulostaa oppilashallintojärjestelmästä näyttötodistukset.

Erityisopiskelijoiden arvosanojen poiminta oppilashallintojärjestelmästä on haasteellista, sillä järjestelmä ei automaattisesti tunnista ajoittaista erityisopiskelijaa. Jälkikäteen erityisopiskelijoiden seuranta järjestelmästä on vaikeaa. Tällöin tiedot joudutaan etsimään paperiarkistoista. 13 Kuvio 4. Koulutuksen järjestäjän ammattiosaamisen näyttöjen dokumentointiprosessi

14 Dokumentointiprosessin vahvuudet Ammattiosaamisen näytön dokumentointiprosessi on samansuuntainen muiden arviointitietojen dokumentoinnin kanssa, joten se on periaatteessa tuttu kaikille toimijoille. Oppilashallintojärjestelmään on mahdollista tallentaa kaikki Opetushallituksen tarvitsemat seurantatiedot. Oppilashallintojärjestelmää on kehitetty ammattiosaamisen näyttöjen dokumentoinnissa. Koulutuksen järjestäjillä on käytössä yhtenäiset ammattiosaamisen näyttöjen arviointilomakkeet, joten kaikista näytöistä kerätään systemaattisesti samat tiedot. Dokumentointiprosessin kehittämiskohteet Koulutuksen järjestäjällä täytyy olla selkeät aikarajat ammattiosaamisen näyttöjen arviointitietojen tallentamiseen oppilashallintojärjestelmään. Koulutuksen järjestäjällä ei ole selkeitä ohjeita ammattiosaamisen näytön kokonaisarvosanan muodostamiseksi osanäytöistä. Oppilashallintojärjestelmään tulee laittaa ns. pakollisiksi kentiksi ne tiedot, jotka tarvitaan näyttötodistukseen ja joista kootaan Opetushallitukselle oppimistulostiedot. Arviointiasiakirjojen arkistointiohjeet eivät ole selvillä kaikilla opettajilla. Oppilashallintojärjestelmä vaatii suuren työn ennen kuin sinne on mahdollista opettajan syöttää arviointitiedot eli tehdään ns. näyttöjen alustus. Tätä työvaihetta olisi mahdollista helpottaa esimerkiksi sopimalla samaan näyttöön yksi yhteinen näytön kuvaus ja antamalla ohjeet näyttöjen dokumentointiprosessista. Opettajilla on arviointiin liittyvä juridinen vastuu. Käytännössä opintoasiainsihteeri vie ammattiosaamisen näyttöjen arvosanatiedot oppilashallintojärjestelmään. 3.3 Oppilaitoskohtainen palauteraportti Opetushallituksen oppimistulostietojen palauteraportti oppilaitokselle sisältää johdannon lisäksi oppimistulosten tarkastelun kansallisesti ja oppilaitoksen tasolla. Projektiryhmä teki esityksiä ja antoi palautetta raportin vahvuuksista ja kehittämiskohteista (sisältö, rakenne, tulosten käyttö ja hyödyntäminen). Palauteraportin vahvuudet Palauteraportit antavat koulutuksen järjestäjälle, näyttöjen toimielimelle, opettajille, työelämälle ja opiskelijoille oppilaitoskohtaisten tietojen lisäksi kansallista vertailutie-

toa opiskelijan osaamisesta ja ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Palauteraporttien tuottama tieto antaa oppilaitoksille mahdollisuuden keventää omaa ammattiosaamisen näyttöihin liittyvää seuranta- ja palautejärjestelmää. Palauteraportin tietoja on käytetty ajoittain yhteisen keskustelun pohjana. 15 Palauteraportin kehittämiskohteet Projektiryhmä katsoo, että koulutuksen järjestäjät ja opetushenkilöstö eivät vielä osaa riittävästi käyttää palauteraporttia hyväkseen opetuksen kehittämisessä. Siksi on syytä tarkemmin pohtia, mitkä ovat palauteraportin kehittämiskohteet ja millainen voisi olla suunnitelma palauteraportin sisällön ja rakenteen kehittämiseksi. Projektiryhmän näkemykset kehittämiskohteista ovat seuraavat: - Koulutuksen järjestäjän ja oppilaitosten johto, opetushenkilöstö ja ammattiosaamisen toimielin eivät vielä osaa tarpeeksi tehokkaasti hyödyntää palauteraportteja ammattiosaamisen näyttötoiminnan seurannassa ja kehittämisessä tai työelämän ja työpaikkojen kanssa tehtävässä yhteistyössä (tuloksista tiedottaminen, ammattiosaamisen näyttöjen kehittäminen). Kansallisista ja tutkintokohtaisista oppimistulostiedoista ja palauteraportin käytöstä tulisi järjestää koulutusta. - Läheskään kaikki opettajat eivät saa tietoa palauteraporttien sisällöstä. Palauteraportti ei riittävästi kierrä opetushenkilöstön keskuudessa. Opiskelijat eivät myöskään saa tietoa oppimistuloksista tai palauteraportista. - On harkittava palauteraportin muuttamista sähköiseksi ja raportin siirtämistä Opetushallituksen Internet -sivustolle verkkopalveluun osaksi sähköistä seuranta- ja palautejärjestelmää. - Palauteraportin graafinen esitysmuoto vaatii kehittämistä. Esimerkiksi yhdessä taulukossa tulisi olla kohtuullinen määrä tietoa, jotta tulosten tulkinta olisi helpompaa. Tärkeä tavoite tulevaisuudessa on, että palauteraportin tiedot synnyttäisivät keskustelua oppimistuloksista koulutuksen järjestäjän johdossa, opettajien keskuudessa ja ammattiosaamisen näyttöjen toimielimessä. Palauteraportin käytön ja hyödyntämisen parantamiseksi esitetään seuraavassa yksityiskohtaisempia ehdotuksia palauteraportin kehittämissuunnitelmaksi. 3.4 Kansallinen oppimistulostietojen arviointikokeilu: taustakyselyt Opetushallitus toteutti vuoden 2007 syksyllä arviointitietojen kokoamisen yhteydessä kokeilussa mukana olleille koulutuksen järjestäjille ammattiosaamisen näyttöjä koskevan taustakyselyn opiskelijoille, opettajille ja työelämälle. Kyselyt koskivat näyttöjen suunnittelua, toteuttamista ja arviointia. Taustakyselyjen tulokset on raportoitu oppilaitoksille arviointitiedon palauteraportin yhteydessä.

Projektiryhmän tehtävänä oli koota ja raportoida koulutuksen järjestäjien palautteet ja kehittämisehdotukset oppimistulosten arvioinnin taustakyselyihin. Projektiryhmä vertaili kysymyksiä ammattiosaamisen näyttöjen laatuvaatimuksiin ja pohti kyselyjen tuottaman tiedon merkitystä laadunvarmistukseen. Liitteessä 3. on tarkemmin analysoitu kysymyksiä suhteessa ammattiosaamisen näyttöjen laatuvaatimuksiin. 16 Taustakyselyjen vahvuudet Taustakyselyjen avulla saadaan tietoa ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Taustakyselyjen tulokset raportoidaan palauteraporttien yhteydessä, joten koulutuksen järjestäjillä/oppilaitoksilla on mahdollisuus niiden avulla kehittää ammattiosaamisen näyttöjä. Taustakyselyjen tuottama tieto on yleisesti kaikille toimijoille tärkeää. Projektiryhmä pitää erityisesti opiskelijoiden ja työelämän edustajien palautteita pidetään tärkeinä, sillä ne kertovat näyttöjen toimivuudesta. Ammattiosaamisen näytön eri osapuolten (opiskelija, työelämän edustaja, opettaja) tuottama tieto samasta näytöstä antaa monipuolisen kuvan ko. näytön toteutumisesta. Taustakyselyjen kehittämiskohteet Seuranta- ja palautejärjestelmä on vielä uusi. Koulutuksen järjestäjät ja opettajat eivät aina tunnista tiedonkeruun hyötyä, joten kyselyjen tuottaman tiedon käyttö ja hyödyntäminen etsii vielä muotoaan. Tuloksista ei vielä osata riittävästi tiedottaa kansallisesti ja paikallisesti opiskelijoille, opettajille tai työelämän edustajille. Ammatillisen koulutuksen tutkinnon perusteiden uusiutumisen takia taustakyselyjen kysymykset on osin uusittava vastaamaan uusia tutkinnon perusteita. Samalla on syytä tarkistaa, että kaikkiin laatuvaatimuksiin on kohdistettu kysymyksiä ja että päällekkäiset kysymykset karsitaan pois. Ammattiosaamisen näyttöjen laadullisia ja määrällisiä kriteereitä on taustakyselyjen tuoman tiedon pohjalta kehitettävä edelleen. Olisi harkittava, voidaanko kriteereille määritellä minimivaatimukset. Minimivaatimukset suositusluonteisina saattaisivat helpottaa koulutuksen järjestäjien työtä ammattiosaamisen näyttötoiminnan arvioinnissa ja suunnittelussa. Taustakyselyjen merkitys ja tehtävät jatkossa kannattaa pohtia. Tehdäänkö kyselyt otoksena vai kohdistetaanko ne kaikkiin tietyn näytön antaneisiin opiskelijoihin, näyttöä ohjanneisiin opettajiin ja työelämän edustajiin? Kohdistetaanko kysymykset jonkin tietyn laatuvaatimuksen toteutumiseen? Miten usein taustakyselyt toteutetaan? Millainen raportointimuoto hyödyntää parhaiten koulutuksen järjestäjää?

Taustakyselyjen tulokset kiinnostavat koulutuksen järjestäjän lisäksi opettajakuntaa, työelämää ja opiskelijoita. Jatkossa voisi olla tehokkainta tiedottaa tulokset sähköisen verkkopalvelun avulla, josta jokainen saisi valita haluamansa tiedon. 17 3.5 Ehdotuksia palauteraportin sisältöön ja rakenteeseen Projektiryhmän tehtävänä oli tehdä ehdotuksia ja suunnitelma oppilaitoskohtaisen palauteraportin rakenteesta ja sisällöstä. Projektiryhmä katsoo, että palauteraportin kehittämiskohteet ovat lähtökohtana tarkemmalle kehittämissuunnitelmalle. Toinen tärkeä lähtökohta on tämän raportin lopussa olevat suositukset koulutuksen järjestäjille ja Opetushallitukselle. Oppimistulostietojen käytön ja hyödyntämisen vahvistamiseksi projektiryhmä ehdottaa sähköisen verkkopalvelujen käyttöönottoa palauteraporttiin. Oppimistulostiedon saatavuuden turvaamiseksi kehittämissuunnitelmaa ja palauteraportin sisältöä tulisi tarkastella osana projektiryhmän ehdottamaa verkkopalvelua. Ehdotukset verkkopalvelun sisällöstä ovat tämän raportin luvussa 4.2. Projektiryhmän ehdotukset Palauteraportti kuvaa koulutuksen järjestäjän oppimistuloksia ja tämän vuoksi raportin kohderyhmänä ovat erityisesti koulutuksen järjestäjien opetushenkilöstö ja työelämän yhteistyökumppanit. Ammatillisen koulutuksen viranomaiset, sidosryhmät, yhteistyökumppanit ja muut toimijat ovat niin ikään raporttien käyttäjiä. Ehdotukset palauteraportin rakenteeksi ja toteuttamistavaksi ovat seuraavat: - Palauteraportti jaetaan useampaan sähköiseen raporttiin, jolloin tietojen haku yksittäisistä raporteista on mahdollista. - Luodaan käyttäjille sähköiseen verkkopalveluun valikko valita erilaisia raportintekomahdollisuuksia taustamuuttujien mukaan (koulutusalat, tutkinnot, koulutuksen järjestäjät, maakunta, opiskelijamäärät, sukupuoli, erityisopiskelijat). - Luodaan käyttäjille sähköiseen verkkopalveluun esimerkkejä raporteista eli ns. valmiit raportit. - Raporteissa säilytetään nykyinen kahtiajako kansallisiin oppimistuloksiin ja järjestäjäkohtaisiin oppimistuloksiin. - Kansalliset oppimistulokset -raportin rakenteessa on huomioitava, että nykyiset palauteraportin sisällöt säilyvät. - Raportteja selittävä yleiset, kaikkia raportteja koskevat tilastolliset kuvaukset (mm. testaus, tilastollinen merkitsevyys, poikkeamat keskiarvosta) irrotetaan verkkopalvelussa omaksi raportikseen. - Lisätään käyttäjävalikkoon ohjeita -palvelu, jossa käyttäjiä opastetaan käyttämään palvelua ja siirtämään tietoja verkkopalvelusta omalle tietokoneelle.

- Luodaan yhdyshenkilöille oma tukipalvelu verkkopalveluun, jossa on yhdyshenkilöiden tehtäviä ja arviointitietojen tallentamista koskevat ohjeet. - Luodaan opettajille ja muulle opetushenkilöstölle oma tukipalvelu, jossa on oppimistuloksia ja ammattiosaamisen näyttöjä koskevat ohjeet ja mahdollisesti esimerkkejä tulosten tulkinnasta. - Ohjeita -palveluun sisällytetään nykyisen palauteraportin ohjeet Oppilaitoksen oppimistulostiedon tarkasteleminen ja palautteen hyödyntäminen. Palauteraportin rakenteen muutoksissa tulisi huomioida verkkopalvelun toimintaa ja tietotekniikkaa koskevat mahdollisuudet, joita projektiryhmä ei ole tässä selvityksessä voinut ottaa huomioon. Mahdollisessa verkkopalvelussa onkin syytä ennakolta tarkistaa tietoteknisten ratkaisujen sopivuus muiden, koulutuksen järjestäjille tarkoitettujen tietojärjestelmien ja palvelujen kanssa. Projektiryhmä ehdotukset palauteraportin uudeksi sisällöksi ovat seuraavat: - Säilytetään nykyinen Opetushallituksen kansalliset oppimistulokset -raportti ja palauteraportin nykyinen sisältö seuraavasti: oppimistulostietojen aineisto, näyttöjen määrä, näytön suorituspaikat, näytön arviointikeskusteluun osallistuneet, näytöt tutkinnon osittain, kansalliset keskiarvot tutkinnoittain, tutkinnon osan näytön arvosanojen prosentuaalinen jakautuminen kansallisesti perustutkinnossa. - Säilytetään Opetushallituksen oppilaitoksen oppimistulokset -raportti, mutta muutetaan raportin nimeksi koulutuksen järjestäjän raportti. - Säilytetään oppilaitoksen oppimistulokset -raportin sisältöosiot: näyttöjen määrä, näytön suorituspaikat, näytön arviointikeskusteluun osallistuneet, perustutkinnon oppimistulokset keskiarvoina arviointikohteittain ja tutkinnon osittain näytön arvosanojen keskiarvo ja vertailut kansallisiin keskiarvoihin, oppimistulosten keskiarvot tutkinnon osittain/arviointikohteittain sekä tutkinnon osan näytön arvosanojen. - Muutetaan oppilaitoskohtaisen palauteraportin esitystapaa siten, että raportin nykyiset, yleiset tilastolliset kuvaukset -osio sijoitetaan verkkopalvelussa kaikille yhteiseen raporttiin, josta käyttäjät voivat lukea raporttien tilastoselitykset. - Lisätään molempien raporttien käytettävyyttä tuomalla mukaan kansallisiin oppimistuloksiin oppimistulostietojen jakautuminen maakunnittain. Jatkossa voitaisiin selvittää, onko mahdollista lisätä kansallisiin oppimistulostietoihin opetuksen määrää ja laatua koskevia indikaattoreita (esim. suoritetut tutkinnot, keskeyttäneet). Kuviossa 5. on koottuna verkkopalvelun yleinen rakenne. Projektiryhmä kävi keskustelua myös verkkopalvelun liittymäkohdista ammatillisen koulutuksen työelämäyhteistyön ylläpitämiseen. Liitteessä 5. on yleinen luonnos laajemmasta ammatillisen koulutuksen sähköisestä verkkopalvelusta. 18

19 Kuvio 5. Ehdotus verkkopalvelun yleiseksi rakenteeksi osana sähköistä seuranta- ja palautejärjestelmää 4. SUOSITUKSIA JATKOTOIMENPITEKSI Tässä luvussa esitetään suosituksia Opetushallitukselle ja koulutuksen järjestäjille siitä, miten oppimistulosten palaute- ja seurantajärjestelmää voitaisiin kehittää jatkossa. 4.1 Suosituksia koulutuksen järjestäjille Vaikka ammattiosaamisen näyttöjä, oppimistulosten arviointia ja näyttöjen dokumentointiprosessia on vahvistettu monella tavalla viime vuosina, koulutusaloittain ja tutkinnoittain oppimistulosten arviointi ja ammattiosaamisen näyttöjä koskevat toimintatavat vielä vaihtelevat. Ne voivat olla koulutuksen järjestäjän eri yksiköissä hyvinkin erilaiset. Koulutuksen järjestäjän haasteena on kuvata ja ohjeistaa oppimistulosten arvioinnin ja ammattiosaamisen näyttöjen dokumentointiprosessi ja arvioida sen toteutumista. Kehittämistyössä olisi otettava huomioon tavoitteiden toteutuminen ja työn jatkuva arviointi. Koulutuksen järjestäjien tulee myös huolehtia toimielimen koulutuksesta. Tutkintokohtaiset näyttösuunnitelmat on huolehdittava kuntoon. Oppimistulostietojen hyödyntämistä on parannettava koulutuksen järjestäjien johdossa ja opetushenkilöstössä. Samalla on pohdittava, millä tavalla oppimistulokset liitetään omaan toiminnanohjaukseen ja ammatillisen koulutuksen laadunhallintaan,

toiminnan strategiseen suunnitteluun ja käytännön opetustyöhön. Opettajien suhtautuminen arviointitietoon muuttuu, kun arviointiasteikko muuttuu. Millä tavalla muutos mahdollisesti vaikuttaa opettajien arvosanakäytäntöihin. Taustakyselyjen tietoa tulee seurata ja parhaassa tapauksessa valtakunnallinen, oppimistuloksia ja ammattiosaamisen näyttöjä koskeva tieto tulee liittää oman toiminnan arviointiin. 20 4.2 Suosituksia Opetushallitukselle Oppimistulosten seurantaan ja tulosten arviointiin tarvitaan verkostoyhteistyötä tai foorumia, jossa koulutuksen järjestäjät ja opetushenkilöstö voivat vaihtaa kokemuksia ja siirtää ammattiosaamisen näyttöjen arviointiin liittyviä käytäntöjä järjestäjältä toiselle. Oppimistulosten seuranta- ja palautejärjestelmän kehittämiseen onkin jatkossa panostettava. Koulutuksen järjestäjät tarvitsevat tukea ja koulutusta Opetushallitukselta oppimistulostietojen arviointiin ja paikallisiin tulkintoihin. Ammattiosaamisen näyttöjä koskeviin koulutuksiin olisi tuotava mukaan yhteyshenkilöiden työtä ja käytäntöjä koskevaa koulutusta. Opintoasiainsihteerien ja opettajien dokumentointiprosessiin liittyvää osaamista pitää vahvistaa yhteisillä koulutuspäivillä. Ammattiosaamisen näyttöjen toimielinten työtä on seurattava kansallisesti ja arvioitava, mikä on toimielimen rooli ja miten nykyiset toimielimet toimivat. Taustakyselyt tulee vakiinnuttaa ja niiden sisältö ajantasaistaa. Taustakyselyjen tiedot ja analyysit tulee sisällyttää sähköiseen verkkopalveluun osaksi seuranta- ja palautejärjestelmää. Työssäoppimiseen ja ammattiosaamisen näyttöihin kehitetään jatkuvasti eri puolilla maata toimintamalleja, työvälineitä ja hyviä käytäntöjä. Kehittämistyöhön osallistuu opettajia, työpaikkaohjaajia, työelämän edustajia ja muuta henkilöstöä. Ammattiosaamisen näytöt, arviointitiedot ja niistä kootut oppimistulokset ovat olennainen osa työssäoppimista ja koulutuksen järjestäjän yhteistyötä työ- ja elinkeinoelämän kanssa. Siksi on toivottavaa, että oppimistulostiedon tallentamiseen, tiedon välittämiseen ja tulosten raportointiin kehitettäisiin sähköinen verkkopalvelu osana sähköistä seuranta- ja palautejärjestelmää. Sähköistä verkkopalvelua perustelee sen yleisöystävällisyys, oppimistulostietojen ja muiden palvelun sisältämien tietojen saavutettavuus ja välittyminen kaikille. Sähköinen palvelu säästää lisäksi käyttäjän aikaa ja kustannuksia, kun tiedot ovat yhdessä paikassa kaikkien käyttäjien saatavilla. Tällöin on mahdollista ohjata koulutuksen järjestäjän opetushenkilöstö palvelun sisältämiin tietoihin. Tällöin yhteinen oppiminen, keskustelu ja muu kehittäminen lisääntyvät. On tärkeää, että verkkopalvelun sisältöä pohdittaessa otetaan huomioon, millaista ammatillisen koulutuksen toimintaympäristöä koskevaa arviointi- ja tilastotietoa palveluun sisällytetään. On myös huomioitava, että verkkopalvelun kehittäminen edellyttää palvelun suunnitteluun ja kehittämiseen kohdistettua resurssointia Opetushallitukselta.

Palvelun käyttäjäkunnassa on otettava huomioon erilaiset käyttäjät (koulutuksen järjestäjän johto, opettajat, oppilashallinto, toimielin, työelämän edustajat), joille on tarjottava kansallista tutkintokohtaista vertailutietoa ja tietoa suoritettujen tutkintojen määrästä valtakunnallisesti ja maakunnallisesti. Lisäksi verkkopalvelussa voidaan tarjota ammatillisen koulutuksen kustannustietoa tai liittää oppimistulostiedot niihin. Projektiryhmä suosittaa verkkopalveluun seuraavaa sisältöä: Kansalliset ja oppilaitoskohtaiset oppimistulostiedot raportteina kuten on kuvattu luvussa 3.4. Taustatiedot käyttäjävalikkona, joista käyttäjät voivat poimia raportteja koulutuksen järjestäjittäin, koulutusaloittain, tutkinnoittain, maakunnittain ja mahdollisesti opiskelijamäärien mukaan. Ajankohtaista tietoa ammattiosaamisen näytöistä ja työssäoppimisesta. Tällaista tietoa voisi olla esimerkiksi valtakunnalliset kehittämishankkeet, valtionavustuksilla toteutetut kehittämishankkeet ammattiosaamisen näytöistä ja työssäoppimisesta sekä Opetushallituksen ja Koulutuksen arviointineuvoston selvitykset ja arvioinnit koskien ammattiosaamisen näyttöjä ja työssäoppimista. Ammattiosaamisen näyttöjen ja työssäoppimisen kehittämistyön onnistuneet toimintamallit ja työvälineet sekä hyvät käytännöt. 21 Verkkopalvelua suunniteltaessa on huomioitava julkisen hallinnon neuvottelukunnan ns. JUHTA suositukset verkkopalvelun suunnitteluun, toteutukseen ja hankintaan (JHS 129). Ammattiosaamisen näyttöjä koskevia ohjelmistoratkaisuja tulee parantaa yhdessä oppilashallinto -ohjelmistojen tarjoajien kanssa, jotta ohjelmistot voisivat nykyistä paremmin palvella tietojen tallentamiseen liittyviä tietoteknisiä tarpeita. On selvitettävä, mitä muita työssäoppimista, ammattiosaamisen näyttöjä sekä koulutuksen ja työelämän välisiä suhteita selvittäviä kyselyjä viranomaiset tekevät ja esiintyykö kyselyjen sisällöissä mahdollisesti päällekkäisyyttä. Työssäoppimiseen ja ammattiosaamisen näyttöjä koskevia kyselyjä opetushallinnon tulee arvioida kokonaisuutena ja katsoa vuotuisten kyselyjen määrän tarve ja yhtenäistää kyselyjen sisällöt. 4.3 Yhteenveto Kaiken kaikkiaan seuranta- ja palautejärjestelmän liittäminen koulutuksen järjestäjiä palvelevaan ammatillisen koulutuksen ohjaukseen on tarpeen, sillä tietoa koulutuksen laadusta ja vaikuttavuudesta tarvitaan myös paikallisella ja maakunnallisella tasolla. Lisäksi tietoa tarvitaan ammattiosaamisen näyttöjen toimivuudesta ja näyttöjä koskevien laatuvaatimusten toteutumisesta. Tällaisen informaatio-ohjauksen on tuettava koulutuksen järjestäjien jatkuvan oppimisen ja oman kehittämistyön periaatetta. Yhteistyön määrittämiseksi ja tehokkaasti toimivan seurannan järjestämiseksi opetushallinnon tulisi määritellä tällaisen ohjauksen ja koordinoinnin edellyttämät resurssit, toimijatahot ja jatkotyöskentelyn edellyttämät tietojärjestelmät ja niiden ylläpitämiseen tarvittava osaaminen.

22 LÄHTEET A 603/2005. Asetus ammatillisesta koulutuksesta annetun asetuksen muuttamisesta 811/1998 ja 1139/1999. Valtioneuvosto. Ammattiosaamisen näytöillä kansallista arviointitietoa. Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke Koppi 2002 2007. Moniste 2/2006. Opetushallitus 2006. Ammattiosaamisen näytöt käyttöön -opas. Opetushallitus 2006. Ammatillisen koulutuksen laadunhallintasuositus. Opetushallitus 2008. Arviointikokeilu II 2004 2007. Yhteenveto oppimistuloksista ja taustakyselyn tuloksista. Luonnos 21.4.2008. Opetushallitus, Arviointi- ja seurantapalvelut. ESR, Näyttöperusteinen oppimistulosten arviointijärjestelmän kehittäminen. JUHTA, Julkisen hallinnon neuvottelukunnan tietohallinnon neuvottelukunta. JHS 129, Julkishallinnon verkkopalvelun suunnittelun ja toteuttamisen periaatteet. Voimassaoloaika 31.12.2010. Kallionpää, P. Oppimistulostiedon analyysia informaatiomateriaalia siitä, mitä oppimistulostiedoista voidaan havaita ja miten saatua tietoa voidaan hyödyntää. AEL, julkaisematon moniste. Laki ammatillisesta koulutuksesta annetun lain muuttamisesta L 610/2005. Laamanen, K. Johda liiketoimintaa prosessien verkkona. Laatukeskus 2007. Näyttötietoa ammattiosaamisen näytöistä I. Kansallisen oppimistulostiedon tuottaminen ammattiosaamisen näytöistä sosiaali- ja terveys-alan, hotelli- ja ravintola-alan, kone- ja metallialan sekä logistiikan perustutkinnoissa, Opetushallitus, Arviointi- ja seurantapalvelut 2008. Opetushallitus. Määräys (M 32/011/2005) ammatillisten perustutkintojen opetussuunnitelman näyttötutkinnon perusteet. Opetusministeriö. Päätös (3/502/2007) kansallinen oppimistulostiedon tuottaminen ja seuranta sosiaali- ja terveysalan, hotelli- ja ravintola-alan, logistiikan ja kone- ja metallialan perustutkintojen ammattiosaamisen näytöistä. Räkköläinen, M. Kansallisen ammattiosaamisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä. Arviointi 3/2005. Opetushallitus 2005. Räkköläinen, M. & Ecclestone, K. The Implications of Using Skills Tests as a Basis for a National Evaluation System in Finland. Opetushallitus 2005. Räkköläinen, M. & Kilpeläinen, P. Arviointikokeilu II 2004 2007. Yhteenveto oppimistuloksista ja taustakyselyjen tuloksista. Moniste 4/2008. Opetushallitus 2008.(a)

Räkköläinen, M. & Kilpeläinen, P. Tuloksia ja johtopäätöksiä Koppi-hankkeesta 2002 2008. Loppuraportti. Moniste 5/2008. Opetushallitus. (b) Räkköläinen, M. & Jauhola, L. & Kilpeläinen, P. Kansallinen oppimistulostiedon tuottaminen ammattiosaamisen näytöistä ja kansallinen seuranta. Ehdotus seuranta- ja palautejärjestelmäksi. Luonnos 25.11.2008. Moniste. Selvitys ammattiosaamisen näyttöjen suunnittelusta ja toteuttamisesta vastaavasta toimielimestä 2006. Mari Räkköläinen, Marianne Mäki, Paula Kilpeläinen. Opetushallitus 2006. Spangar, T. Maaston raivaamisesta vertaisarviointiin. Ammatillisen osaamisen kansallisen arviointijärjestelmän rakentaminen ammattiosaamisen näyttöihin perustuen. Arviointi 1/2008. Opetushallitus 2008. Vehviläinen, J. Ammattiosaamisen näyttöjen laatuvaatimukset. Opetushallitus 2004. 23

24 LIITE 1 Projektin työseminaarit ja työvaiheet * Salon seudun koulutuskuntayhtymän ja Opetushallituksen yhteinen seminaari; kokemuksia ja näkemyksiä oppimistulostiedon seuranta- ja palautejärjestelmästä. * I työseminaari: oppimistulostietojen käyttö ja hyödyntäminen, kokemuksia ja tilannekatsaukset kolmelta koulutuksen järjestäjältä. *II työseminaari: perehtyminen asiakasajatteluun, hyvän prosessin tunnuspiirteisiin, tutustuminen Aipal-järjestelmään; oppimistulostietojen dokumentaatioprosessi; väliraportin valmistelu. *III työseminaari: koulutuksen järjestäjän oppimistulostietojen dokumentaatioprosessi, Opetushallituksen taustakyselyt. * IV työseminaari: oppilaitoksille toimitettujen palauteraporttien läpikäynti. Aika ja paikka 26.11.2008 Salon seudun koulutuskuntayhtymä, Salo. 4.2.2009, Opetushallitus, Helsinki 9.3.2009 Opetushallitus, Helsinki 3.4.2009 Opetushallitus, Helsinki 24.4.2009 Opetushallitus, Helsinki * V työseminaari: palauteraportin yhteinen arviointi jatkuu, kokemuksia sähköisistä palautejärjestelmistä, Koulutuksen järjestäjäyhdistys ry.:n kehittämisehdotukset. *VI: kehittämisehdotusten koonti ja analyysit, loppuraportin valmistaminen, oppimistulostiedon dokumentointi ja hyödyntäminen Oulun seudun ammattiopistossa *VII: loppuraporttiluonnoksen läpikäynti 15.5.2009 Opetushallitus, Helsinki 12.6.2009 Oulun seudun ammattiopisto, Oulu. 29.8.2009, Opetushallitus, Helsinki 18.9.2009 Opetushallitus, Helsinki *VIII: tulosten esittely Opetushallituksen arviointiryhmässä (AAKE) * IX: projektin työn esittelyä Opetushallituksen seminaarissa 24.9. 2009 Opetushallitus, Helsinki * X: loppuraportin koonti- ja viimeistelyseminaari 12.10 Opetushallitus, Helsinki * XI: loppuraportin käsittely Aake -työryhmässä 13.9. ja 4.11.2009 * XII: loppuraportti Opetushallitukselle 5.11.2009

25 LIITE 2 Vuonna 2006 aloittaneiden ja 2009 päättäneiden opiskelijoiden ammattiosaamisen näyttöjen kokonaismäärä tutkinnoittain eriteltyinä. Tiedot on poimittu Oulun seudun ammattiopiston, Salon seudun ammattiopiston ja Turun ammatti-instituutin tiedoista, jotka on toimitettu keväällä 2009 Koulutuksen arviointineuvoston valtakunnalliseen arviointiin koskien "Ammattiosaamisen näyttöjen toteutuminen ja työssoppimisen follow-up". Oulun seudun ammattiopisto Salon seudun ammattiopisto Turun ammattiinstituutti Vuonna 2006 aloittaneet opiskelijat, yhteensä 2439 504 1137 Näyttöjen määrä vv. 2008 2009, yhteensä (mukana ei ole osanäyttöjen määrää) Näyttöjen määrä tutkinnoittain Audiovisuaalisen viestinnän perustutkinto 673 1285 3455 Autoalan perustutkinto 95 125 395 Catering-alan perustutkinto 33 71 334 Elintarvikealan perustutkinto 2 209 Grundexamen i databehandling 43 Grundexamen inom företagsekonomi 76 Hiusalan perustutkinto 8 78 108 Hotelli- ja ravintola-alan perustutkinto 4 53 238 Kauneudenhoitoalan perustutkinto 4 Kemiantekniikan perustutkinto 5 69 Kone- ja metallialan perustutkinto 54 203 Kotitalous- ja kuluttajapalvelujen perustutkinto 19 Käsi- ja taideteollisuusalan perustutkinto 6 90 Laboratorioalan perustutkinto 6 112 Liiketalouden perustutkinto 4 46 216 Logistiikan perustutkinto 1 135 82 Lääkealan perustutkinto 19 89 Maanmittausalan perustutkinto 65 Maatalousalan perustutkinto 18 Matkailualan perustutkinto 14 Metsäalan perustutkinto, bioenergia 8 Painoviestinnän perustutkinto 90 Pintakäsittelyalan perustutkinto 27 36 Puhdistuspalvelujen perustutkinto 11 Puualan perustutkinto 2 34 51 Puutarhatalouden perustutkinto 36 Rakennusalan perustutkinto 129 157 203 Sosiaali- ja terveysalan perustutkinto 158 44 44 Suunnitteluassistentin perustutkinto 32 59 Sähköalan perustutkinto 39 142 159 Talotekniikan perustutkinto 3 146 343 Tietojenkäsittelyn perustutkinto 15 153 Turvallisuusalan perustutkinto 19 Vaatetusalan perustutkinto 1 143

26 LIITE 3 OPETUSHALLITUS UTBILDNINGSSTYRELSEN KANSALLINEN NÄYTTÖPERUSTEINEN OPPIMISTULOSTEN ARVIOINTIKOKEILU 2004-2007 OPETTAJAN KYSELY TAUSTATIEDOT Opiskelijan nimi (jonka näyttöä vastauksesi koskee) Oppilaitos Minkä opintokokonaisuuden näyttöä vastauksesi koskee? Tutkinto, johon näyttö sisältyy Näyttöpaikan nimi Näytön arviointipäivä Valitse väittämistä asteikolla 1-5 tai vastausvaihtoehdoista se, joka parhaiten vastaa mielipidettäsi ko. asiasta. Kirjoita perustelut erikseen pyydettäviin kohtiin. Mustatkaa soikio näin (ei rastiteta): I NÄYTÖN TOTEUTTAMINEN 1. Näyttö oli (tarvittaessa voit valita useamman vaihtoehdon) Työskentelyä työpaikalla Käytännön työtehtäviä oppilaitoksessa Portfolio, projektityö tms. Kirjallinen koe Suullinen koe Jokin muu, mikä? 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 2. Olen osallistunut tämän näytön toteutuksen suunnitteluun 1 2 3 4 5 3. Suunnittelin näyttöä yhdessä opettajakollegoiden kanssa 4. Suunnittelin näyttöä yhdessä työelämän kanssa 5. Suunnittelin näyttöä yhdessä opiskelijan kanssa 6. Sain näytön toteuttamiseksi ohjeita 7. Näytön tavoitteet olivat selkeät 8. Käytin kansallista näyttöaineistoa näytön suunnittelussa ja toteutuksessa 9. Kansallisesta näyttöaineistosta oli hyötyä näytön toteuttamisessa 10. Ohjasin opiskelijaa näytön suunnittelussa 11. Ohjasin opiskelijaa näytön aikana 12. Perehdytin työelämän edustajan näytön tavoitteisiin ja sisältöön 13. Toteutettiinko näyttö työssäoppimisjakson yhteydessä? Kyllä Ei Huom! Mikäli vastasit Ei, siirry suoraan kohtaan 15.

27 2 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 14. Näytössä pystyi hyödyntämään työssäoppimisjaksolla opittuja asioita 1 2 3 4 5 II NÄYTÖN ARVIOINTI 15. Näyttöpaikka vastasi aitoa työelämän tilannetta 16. Näyttöpaikka oli sopiva opintokokonaisuuden tavoitteisiin 17. Näytössä oli mahdollista hyödyntää opintokokonaisuuden opetuksessa käsiteltyjä asioita 18. Näyttö vastasi työelämässä vaadittavaa osaamista 19. Näytössä oli mahdollista osoittaa laaja-alaista ammatillista osaamista 20. Näytössä oli mahdollista osoittaa ja arvioida 20.1 työmenetelmien, -välineiden ja materiaalien käyttötaitoja 20.2 työprosessin suunnittelu-, toteuttamis- ja arviointitaitoja 20.3 työssä tarvittavan teoriatiedon hallintaa ja sen soveltamiskykyä 20.4 kykyä noudattaa työturvallisuusohjeita ja -määräyksiä 21. Näytössä oli mahdollista osoittaa ja (arvioida) 21.1 vuorovaikutus- ja viestintätaitoja 21.2 ryhmässä työskentelyn taitoja 21.3 kykyä ratkaista ongelmia ja tehdä valintoja 21.4 kykyä huomioida toisia 21.5 kykyä arvioida omaa työtään ja itseään 22. Tiesin näytön arviointikohteet ennen näyttöä 23. Tiesin näytön arviointikriteerit ennen näyttöä 24. Näytön arviointikriteerit olivat selkeät ja ymmärrettävät 25. Näytön arviointikriteerit olivat käyttökelpoiset näytön arviointitilanteessa 26. Opiskelijalle näytöstä annettu arvosana oli mielestäni oikeudenmukainen 27. Opiskelijan itsearviointi otettiin huomioon arvosanaa muodostettaessa 28. Näytön arvosanan muodostaminen oli helppoa 29. Koin, että minulla oli riittävä ammattitaito tämän näytön arviointiin 30. Näyttö vastasi vaativuudeltaan muille saman ryhmän opiskelijoille järjestettyjä näyttöjä 31. Näytön arvosanaa voidaan verrata toisten opiskelijoiden vastaaviin arvosanoihin Perustele vastauksesi 1 2 3 4 5 32. Näytön ja muun arvioinnin yhteensovitaminen onnistuu tässä opintokokonaisuudessa 33. Tämä näyttö riittää opintokokonaisuuden keskeisen osaamisen arviointiin 1 2 3 4 5

28 3 34. Millainen näyttö oli vaikeusasteeltaan? Liian helppo Sopiva Liian vaikea 35. Luotettavan arvioinnin tekeminen opintokokonaisuudesta edellyttää myös muuta arviointia tämän näytön lisäksi Kyllä Ei Jos vastasit kyllä, mitä muuta esim. 36. Osallistuitko näytön arviointikeskusteluun Kyllä En 37. Näytön arviointikeskusteluun osallistuivat (valitse vain yksi vaihtoehto) Opiskelija ja opettaja Opiskelija ja työelämän edustaja Opiskelija, opettaja ja työelämän edustaja Opettaja ja työelämän edustaja Arviointikeskustelua ei pidetty Huom! Vastaa kysymyksiin 38-40 vain siinä tapauksessa, mikäli työelämän edustaja osallistui näytön arviointiin. Muutoin siirry kohtaan 41. 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 38. Työelämän edustajan asiantuntemus sopi tämän näytön arviointiin 39. Työelämän edustajan arviointi oli luotettavaa 40. Työelämän edustaja arvioi näyttöä arviointikriteereiden mukaisesti 41. Näytön arviointi yhdessä opiskelijan, opettajan ja työelämän edustajan kanssa on mielestäni tarpeellista 1 2 3 4 5 Perustele vastauksesi 42. Opintokokonaisuuden näyttöarvosanan dokumentointilomake oli käyttökelpoinen näytön arvioinnissa 1 2 3 4 5 43. Näyttö dokumentoitiin opintokokonaisuuksittain Kyllä Ei 44. Näyttö dokumentoitiin arviointikohteittain Kyllä Ei

29 OPETUSHALLITUS UTBILDNINGSSTYRELSEN KANSALLINEN NÄYTTÖPERUSTEINEN OPPIMISTULOSTEN ARVIOINTIKOKEILU 2004-2007 OPISKELIJAN KYSELY TAUSTATIEDOT Nimi Oppilaitos Minkä opintokokonaisuuden näyttöä vastauksesi koskee? Perustutkinto, johon näyttö sisältyy Näyttöpaikan nimi Näytön arviointipäivä Valitse väittämistä asteikolla 1-5 tai vastausvaihtoehdoista se, joka parhaiten vastaa mielipidettäsi ko. asiasta. Kirjoita perustelut erikseen pyydettäviin kohtiin. 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon Mustatkaa soikio näin (ei rastiteta): I NÄYTÖN TOTEUTTAMINEN 1. Näyttö oli (tarvittaessa voit valita useamman vaihtoehdon) Työskentelyä työpaikalla Käytännön työtehtäviä oppilaitoksessa Portfolio, projektityö tms. Kirjallinen koe Suullinen koe Jokin muu, mikä? 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 2. Osallistuin tämän näytön toteutuksen suunnitteluun 3. Sain näytöstä ohjeita 4. Näytön tavoitteet olivat selkeät 1 2 3 4 5 5. Teitkö näytön työssäoppimisjakson yhteydessä? Kyllä En Huom! Mikäli vastasit En, siirry suoraan kohtaan 7. 6. Pystyin näytössä hyödyntämään työssäoppimisjaksolla oppimiani asioita 7. Työelämän edustaja ohjasi minua näytön toteutuksen suunnittelussa 8. Työelämän edustaja ohjasi minua näytön aikana 9. Opettaja ohjasi minua näytön toteutuksen suunnittelussa 10. Opettaja ohjasi minua näytön aikana

30 2 II NÄYTÖN ARVIOINTI 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 11. Näyttöpaikka vastasi aitoa työelämän tilannetta 12. Näyttöpaikka oli sopiva opintokokonaisuuden tavoitteiden kannalta 13. Näytössä oli mahdollista hyödyntää opetuksessa käsiteltyjä asioita 14. Näyttö vastasi työelämässä vaadittavaa osaamista 15. Näytössä oli mahdollista osoittaa laaja-alaista ammatillista osaamista 16. Näytössä oli mahdollista osoittaa ja arvioida 16.1 työmenetelmien, -välineiden ja materiaalien käyttötaitoja 16.2 työprosessin suunnittelu-, toteuttamis- ja arviointitaitoja 16.3 työssä tarvittavan teoriatiedon hallintaa ja se soveltamiskykyä 16.4 kykyä noudattaa työturvallisuusohjeita ja -määräyksiä 17. Näytössä oli mahdollista osoittaa ja (arvioida) 17.1 vuorovaikutus- ja viestintätaitoja 17.2 ryhmässä työskentelyn taitoja 17.3 kykyä ratkaista ongelmia ja tehdä valintoja 17.4 kykyä huomioida toisia 17.5 kykyä arvioida omaa työtään ja itseään 18. Tiesin etukäteen, millaista osaamista näytössä arvioidaan 19. Tiesin näytön arviointikriteerit ennen näyttöä 20. Näytön arviointikriteerit olivat selkeät ja ymmärrettävät 21. Näytön arviointikeskusteluun osallistuivat (valitse vain yksi vaihtoehdoista) Opiskelija ja opettaja Opiskelija ja työelämän edustaja Opiskelija, opettaja ja työelämän edustaja Opettaja ja työelämän edustaja Arviointikeskustelua ei pidetty 22. Teitkö näytön jälkeen itsearvoinnin? 1 2 3 4 5 Kyllä En Huom! Mikäli vastasit En, siirry suoraan kohtaan 24. 1 2 3 4 5 23. Itsearviointini otettiin huomioon näytön arvioinnissa 24. Näytön arvosanan muodostaminen oli helppoa 25. Näytöstä minulle annettu arvosana oli mielestäni oikeudenmukainen 26. Minulle järjestetty näyttö vastasi vaativuudeltaan muille saman ryhmän opiskelijoille järjestettyjä näyttöjä 27. Minulta vaadittiin näytössä enemmän suorituksia kuin muilta saman ryhmän opiskelijoilta

31 3 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 28. Näytön arvosanaani voidaan verrata toisten opiskelijoiden vastaaviin arvosanoihin Perustele vastauksesi 1 2 3 4 5 29. Näytön arviointi yhdessä opiskelijan, opettajan ja työelämän edustajan kanssa on mielestäni tarpeellista 30. Millainen näyttö oli vaikeusasteeltaan? Liian helppo Sopiva Liian vaikea 31. Tämä näyttö on mielestäni riittävä koko opintokokonaisuuden arviointiin Kyllä Ei Perustele vastauksesi 32. On hyvä, että näytöstä tulee arvosana näyttötodistukseen Kyllä Ei Perustele vastauksesi III NÄYTÖN VAIKUTTAVUUS 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 33. Sain tietoa näytön avulla omista vahvuuksistani ja kehittämistarpeistani 34. Opin näytössä uusia asioita 35. Näyttö oli tarpeellinen 36. Arviointikeskustelu oli hyödyllinen oppimistilanne 37. Näyttö lisäsi kiinnostustani valitsemaani alaan 38. Näyttö edisti omia työelämäyhteyksiäni 39. Minulla on aikaisempaa kokemusta näytön suorituksesta 1 2 3 4 5

32 OPETUSHALLITUS UTBILDNINGSSTYRELSEN KANSALLINEN NÄYTTÖPERUSTEINEN OPPIMISTULOSTEN ARVIOINTIKOKEILU 2004-2007 TYÖELÄMÄN EDUSTAJAN KYSELY TAUSTATIEDOT Opiskelijan nimi (jonka näyttöä vastauksesi koskee) Oppilaitos Minkä opintokokonaisuuden näyttöä vastauksesi koskee? Tutkinto, johon näyttö sisältyy Näyttöpaikan nimi Näytön arviointipäivä Valitse väittämistä asteikolla 1-5 tai vastausvaihtoehdoista se, joka parhaiten vastaa mielipidettäsi ko. asiasta. Kirjoita perustelut erikseen pyydettäviin kohtiin. 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon Mustatkaa soikio näin (ei rastiteta): I NÄYTÖN TOTEUTTAMINEN 1. Näyttö oli (tarvittaessa voit valita useamman vaihtoehdon) Työskentelyä työpaikalla Käytännön työtehtäviä oppilaitoksessa Portfolio, projektityö tms. Kirjallinen koe Suullinen koe Jokin muu, mikä? 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 1 2 3 4 5 2. Osallistuin tämän näytön toteutuksen suunnitteluun 3. Sain näyton toteuttamiseksi ohjeita 4. Minut perehdytettiin näytön tavoitteisiin ja sisältöön 5. Näytön tavoitteet olivat selkeät 6. Minut perehdytettiin näytön arviointiin 7. Ohjasin opiskelijaa näytön suunnittelussa 8. Ohjasin opiskelijaa näytön aikana 9. Toteutettiinko näyttö työssäoppimisjakson yhteydessä? Kyllä Ei Huom! Mikäli vastasit Ei, siirry suoraan kohtaan 11. 1 2 3 4 5 10. Näytössä pystyi hyödyntämään työssäoppimisjaksolla opittuja asioita

33 2 II NÄYTÖN ARVIOINTI 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 11. Näyttöpaikka vastasi aitoa työelämän tilannetta 1 2 3 4 5 12. Näyttöpaikka oli sopiva opintokokonaisuuden tavoitteiden kannalta 13. Näyttö vastasi työelämässä vaadittavaa osaamista 14. Näytössä oli mahdollista osoittaa laaja-alaista ammatillista osaamista 15. Näytössä oli mahdollista osoittaa ja arvioida 15.1 työmenetelmien, -välineiden ja materiaalien käyttötaitoja 15.2 työprosessin suunnittelu-, toteuttamis- ja arviointitaitoja 15.3 työssä tarvittavan teoriatiedon hallintaa ja sen soveltamiskykyä 15.4 kykyä noudattaa työturvallisuusohjeita ja -määräyksiä 16. Näytössä oli mahdollista osoittaa ja arvioida 16.1 vuorovaikutus- ja viestintätaitoja 16.2 ryhmässä työskentelyn taitoja 16.3 kykyä ratkaista ongelmia ja tehdä valintoja 16.4 kykyä huomioida toisia 16.5 kykyä arvioida omaa työtään ja itseään 17. Tiesin etukäteen millaista osaamista näytössä arvioidaan 18. Tiesin näytön arviointikriteerit ennen näyttöä 19. Näytön arviointikriteerit olivat selkeät ja ymmärrettävät 20. Näytön arviointikriteerit olivat käyttökelpoiset näytön arviointitilanteessa 21. Näytön arvosanan muodostaminen oli helppoa 22. Näytöstä opiskelijalle annettu arvosana oli mielestäni oikeudenmukainen 23. Näytön arvosanaa voidaan verrata toisten opiskelijoiden vastaaviin arvosanoihin Perustele vastauksesi 1 2 3 4 5 24. Koin, että minulla oli riittävä ammattitaito tämän näytön arviointiin 25. Näytön arviointi yhdessä opiskelijan, opettajan ja työelämän edustajan kanssa on mielestäni tarpeellista Perustele vastauksesi 26. On hyvä, että näytöstä tulee arvosana myös näyttötodistukseen Kyllä Ei

34 3 27. Osallistuisitko näytön arviointikeskusteluun? Kyllä En 28. Näytön arviointikeskusteluun osallistuivat (valitse yksi vaihtoehdoista) Opiskelija ja opettaja Opiskelija ja työelämän edustaja Opiskelija, opettaja ja työelämän edustaja Opettaja ja työelämän edustaja Arviointikeskustelua ei pidetty 29. Millainen näyttö oli vaikeusasteeltaan Liian helppo Sopiva Liian vaikea III NÄYTÖN VAIKUTTAVUUS 1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon 30. Sain tietoa näytön avulla opiskelijan vahvuuksista ja kehittämistarpeista 31. Näyttö motivoi opiskelijaa oppimaan uusia asioita 32. Näyttö edisti opiskelijan ammatillista kasvua 33 Näyttö lisäsi opiskelijan sitoutumista opiskeltavaan ammattiin 34. Näyttö edisti opiskelijan työelämäyhteyksiä 35. Näyttö oli hyödyllinen oman työni kannalta 36. Näyttö oli hyödyllinen myös työyhteisön kannalta 37. Näyttö antoi eväitä oman työni kehittämiseen 38. Näyton toteutus oli mahdollista työtehtävieni ohessa 39. Näyttö edisti oppilaitoksen ja työelämän välistä yhteistyötä 40. Minulla on aikaisempaa kokemusta ammattiosaamisen (nuorten) näytön arvioinnista 1 2 3 4 5 Kyllä Ei ********************************************************************************************************************************** 41. Miten kehittäisit näyttöjen suunnittelua, toteuttamista ja arviointia? KIITOS VASTAUKSESTASI!

35 Oppimistulosten seuranta-arvioinnin taustakyselylomakkeiden teemat, kysymykset ja projektiryhmän ehdotukset Taustakyselyt on toteutettu Opetushallituksen kansallisessa näyttöperusteisessa oppimistulosten arviointikokeilussa v. 2007. Liite 4a OPETTAJAN KYSELYLOMAKE: TEEMAT Kysymysten määrä arviointialueella Projektiryhmän ajankohtaisina pitämät kysymykset lomakkeissa Kysymysten tarpeellisuus arvioitava Perusteluja kysymysten tarpeellisuuteen/ajankohtaisuuteen Taustatiedot 6 1,2,3,4,5,6 I Näytön toteuttaminen 13 1,3,4,5,6 Kysymys 2 * Opettajan osallistuminen näytön suunnitteluun tulee esille kysymyksissä 3-5. Kysymys 6 * Kysymys muotoon: minut on perehdytetty ammattiosaamisen näyttöön. Kysymys 7 * Tutkinnon perusteissa näytön tavoitteet ovat selkeät. Kysymykset 8,9 * Tarpeettomia, uudet tutkinnon perusteet korvaavat näyttöaineistot. Kysymys 10 * Sama kuin kysymys 5. II Näytön arviointi 32 20,21, 24 34, 37 44 Kysymykset 15-19 * Ovat näytön toteuttamista. Kysymys 15 Kysymykset 16-17 * Kysymys muotoon: Näyttö vastasi aitoa työelämän tilannetta. * Opintokokonaisuus = tutkinnon osa. Kysymys 18 * Sama kuin kysymys 15 Kysymys 19 * Tulee esille kysymyksissä 20 ja 21. Kysymys 20, 21 Kysymykset 22-23 Kysymys 32, 33 * Käsitteet uuden tutkinnon perusteiden mukaiseksi. * Opettajan tulee tietää näytön arviointikriteerit. * Opintokokonaisuus = tutkinnon osa. Kysymys 33 * Sama asia tulee esille kysymyksessä 35. Kysymys 35 * Kysymys toistaa kysymystä 33. Kysymys 36 * Kysymys tulee esille kysymyksessä 37. Kysymykset 42, 43 * Opintokokonaisuus = tutkinnon osa. Kysymys 45, 46 * Vanhentuneita kysymyksiä. III Näytön vaikuttavuus 10 47, 48, 56, 57 Kysymys 49 * Näytön vaikutusta opiskelijan sitoutumiseen on vaikea arvioida. Kysymyksiä yhteensä opettajalomakkeessa 57 Kysymys 50 Kysymys 51 Kysymys 52 Kysymykset 53, 54 Kysymys 55 * Näytön motivoivaa vaikutusta on vaikea arvioida yhden näytön perusteella. * Näytön vaikutusta työelämäyhteyteen on vaikea arvioida. * Itsestäänselvyys. * Millä tavalla voi vaikuttaa opettajan työhön tai opetustyön kehittämiseen. * Koulutuksen järjestäjän on resurssoitava ops:an mukainen opetus.

36 LIITE 4b OPISKELIJAN KYSELYLOMAKE: TEEMAT Kysymysten määrä arviointialueella Projektiryhmän ajankohtaisina pitämät kysymykset lomakkeissa Kysymysten tarpeellisuus arvioitava Perusteluja (lomakkeissa olevien kysymysten numerot suluissa) Taustatiedot 6 Kaikki kysymykset I Näytön toteuttaminen 10 Kaikki kysymykset II Näytön arviointi 21 11, 13, 16,17, 18,19, 20, 21,22, 23, 24, 25, 29, 30 Kysymys 11 * Kysymys muotoon: Näyttö vastasi aitoa työelämän tilannetta. Kysymys 12 * Tulee esille kysymyksessä 16. Kysymys 14 * Sama kuin kysymys 11. Kysymys 15 * Tulee esille kysymyksessä 16. Kysymykset 16, 17 * Käsitteet uuden tutkinnon perusteiden mukaiseksi. Kysymykset 26-27 * Ovat samoja asioita. Oikeudenmukaisuus tulee esille kysymyksessä 25. Kysymys 28 Kysymys 31,32 * Opiskelijan on vaikea verrata saamaansa arvosanaa toisten opiskelijoiden arvosanoihin. * Vanhentuneita kysymyksiä. III Näytön vaikuttavuus 8 33,34,35,36,37,40 Kysymys 38 * Vaikea arvioida yhden näytön perusteella. Kysymyksiä yhteensä opiskelijalomakkeessa 40 Kysymys 39 * Tietoa aiemmista näytöistä voidaan kysyä taustatiedoissa.

37 LIITE 4c TYÖELÄMÄN EDUSTAJAN KYSELYLOMAKKEEN TEEMAT Kysymysten määrä arviointialueella Projektiryhmän ajankohtaisina pitämät kysymykset lomakkeissa Kysymysten tarpeellisuus arvioitava Perusteluja (lomakkeissa olevien kysymysten numerot suluissa) Taustatiedot 6 Kaikki kysymykset II Näytön toteuttaminen 10 1,2,3,5, 7, 8, 9, 10 Kysymys 3 * Kysymys muotoon: minut on perehdytetty ammattiosaamisen näyttöön. III Näytön arviointi 17 11,12,15, 16, 17, 18,19,20, 21,22,23,24,25,28, 29 IV Näytön vaikuttavuus 8 30, 31, 32,33, 35,36,37, 38, 39, 41 Kysymyksiä yhteensä työelämäedustajan lomakkeessa 41 Kysymys 4, 6 Kysymykset 11 13 Kysymys 11 Kysymys 12 Kysymys 13 Kysymys 14 Kysymys 15, 16 Kysymys 26 Kysymys 27 Kysymys 34 Kysymys 40 * Turhia, jos kysymys 3 muutetaan em. muotoon. * Liittyvät näytön toteuttamiseen. * Kysymys muotoon: Näyttö vastasi työelämän tilannetta. * Opintokokonaisuus = tutkinnon osa. * Päällekkäinen kysymyksen 11 kanssa. * Päällekkäinen kysymysten 15 ja 16 kanssa. * Käsitteet uuden tutkinnon perusteiden mukaiseksi. * Vanhentunut kysymys. * Päällekkäinen kysymys kysymyksen 28 kanssa. * Vaikea arvioida yhden näytön perusteella. * Tietoa aiemmista näytöistä voidaan kysyä taustatiedoissa.

38 LIITE 5 Projektiryhmän luonnos ammatillisen koulutuksen työelämäyhteistyön verkkopalveluksi