TULOKSIA JA JOHTOPÄÄTÖKSIÄ KOPPI-HANKKEESTA 2002 2008. Mari Räkköläinen & Paula Kilpeläinen LOPPURAPORTTI

KANSALLISEN NÄYTTÖPERUSTEISEN OPPIMISTULOSTEN ARVIOINTI- JÄRJESTELMÄN KEHITTÄMINEN AMMATILLISIIN PERUSTUTKINTOIHIN TULOKSIA JA JOHTOPÄÄTÖKSIÄ KOPPI-HANKKEESTA 2002 2008 Mari Räkköläinen & Paula Kilpeläinen LOPPURAPORTTI

Opetushallitus Moniste 5/2008 ISBN 978-952-13-3695-9 (nid.) ISBN 978-952-13-3696-6 (pdf) ISSN 1237-6590 Painopaikka: Edita Oy, Helsinki 2008 2

ALKUSANAT Kansallista näyttöperusteista oppimistulosten arviointijärjestelmää on kehitetty Opetushallituksen koordinoimassa Koppi-hankkeessa vuodesta 2002. Kehittämishankkeessa selvitettiin, voidaanko kansallinen arviointitieto koota suoraan koulutuksen järjestäjän organisoimista ammattiosaamisen näytöistä. Hankkeessa toteutettiin kaksi laajaa arviointikokeilua, joissa näyttöperusteista arviointijärjestelmää testattiin käytännössä. Kokeiluissa arviointitieto saatiin suoraan kokeiluun osallistuneiden koulutuksen järjestäjän toteuttamista näytöistä. Arviointikokeilun pohjalta voidaan todeta, että kansallinen arviointi on mahdollista liittää ammattiosaamisen näyttöihin. Näytöistä saatua arviointitietoa voidaan hyödyntää opetuksen ja koulutuksen kehittämisessä. Luotettavan ja vertailukelpoisen kansallisen arviointitiedon saaminen edellyttää kuitenkin näyttötoiminnan laadunvarmennusta. Seuraavaksi arviointijärjestelmän kehittämistyössä ryhdytään kehittämään palaute- ja seurantajärjestelmää, jonka tuottamaa tietoa on mahdollista hyödyntää koulutuksen ja opetuksen kehittämisessä niin paikallisella kuin kansallisellakin tasolla. Tämä raportti on yhteenveto kehittämishankkeessa tehdystä työstä ja sen keskeisistä tuloksista. Hanke päättyi keväällä 2008. Raportin tarkoitus on tukea kansallisen arvioinnin ja näyttöperusteisen opiskelijan arvioinnin kehittämistä. Raportissa esitellään tuloksia ja johtopäätöksiä arviointijärjestelmän toimivuudesta ja se on tarkoitettu kaikille hankkeeseen osallistuneille palautteeksi ja hyödynnettäväksi oman toiminnan kehittämisessä. Raportti soveltuu virikkeeksi myös yleensä arvioinnin kehittämisestä kiinnostuneille ja sen parissa työskenteleville. Kansallisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittämisestä sekä Koppi-hankkeen johtamisesta ja arviointikokeilun kokonaisuudesta on vastannut projektipäällikkö, opetusneuvos Mari Räkköläinen. Arviointikokeilujen tulosten analysoinnista ja raportoinnista sekä loppuraportin kokoamisesta on vastannut projektisuunnittelija Paula Kilpeläinen. Asiantuntijana ja vertaisarvioijana kehittämistyössä on toiminut tohtori Kathryn Ecclestone Oxford Brookersin yliopistosta Englannista. Hän on tuonut arvokasta ulkopuolista näkemystä ja arvioinnin asiantuntemusta jäsentäessämme arvioinnin teoreettisia ja käytännöllisiä haasteita. Kehittämistyöhön on osallistunut suuri joukko opettajia, opiskelijoita, työpaikkaohjaajia sekä eri alojen asiantuntijoita tutkimuslaitoksista, työmarkkinajärjestöistä ja opetushallinnosta. Kiitämme kaikkia osapuolia arviointijärjestelmän kehittämiseen liittyvästä arvokkaasta panoksesta. Erityiset kiitokset saavat arviointijärjestelmän ja arviointikäytäntöjen kehittämishankkeiden projektipäälliköt, jotka ovat tukeneet asiantuntemuksellaan monin eri tavoin näyttöperusteisen arviointijärjestelmän ja laadunvarmennusjärjestelmän kehittämistä sekä koordinoineet arviointikokeilut yhteistyöoppilaitoksissaan. Arviointikokeilun aineiston metodisissa kysymyksissä ovat avustaneet erikoistutkija Jari Metsämuuronen, tutkimussihteeri Markus Mattsson ja projektisuunnittelijat Laura Jauhola ja Marika Koramo. Erityiskiitos sihteeri Ritva Sauriolle, joka on ollut korvaamaton apu monissa käytännön asioissa ja näin mahdollistanut projektin sujuvan etenemisen. Hän on myös taittanut useat Koppi-hankkeen julkaisut ja vastannut niiden ulkoasusta. Arviointi- ja seurantapalvelut -asiantuntijayksikön päällikkö Pentti Yrjölä on ohjauksellaan ja arvokkailla kommenteillaan tukenut koko kehittämishankkeen etenemistä. 3

Raportin pohjalta kehitetään edelleen näyttöperusteista oppimistulosten arviointijärjestelmää. Kesällä 2008 Mari Räkköläinen opetusneuvos Opetushallitus 4

SISÄLTÖ ALKUSANAT... 3 JOHDANTO... 7 1 LÄHTÖKOHDAT... 9 Ammattiosaamisen näytöt ammatillisiin perustutkintoihin... 9 2 KANSALLISEN NÄYTTÖPERUSTEISEEN OPPIMISTULOSTEN ARVIOINTIMALLIN KEHITTÄMINEN... 10 2.1 Kansallisen arvioinnin tavoitteet... 10 2.2 Aikaisempien arviointien toteuttamistapa... 10 2.3 Kansallinen oppimistulosten arviointi osaksi näyttöjärjestelmää... 12 2.4 Kansallisen arvioinnin ja näyttöjen yhteensovittamisen haasteet... 13 2.5 Kehittämishanke KOPPI... 14 2.6 Kehittämistyön organisointi... 17 3 NÄYTTÖPERUSTEINEN OPPIMISTULOSTEN ARVIOINTIMALLI... 20 3.1 Arviointimallin periaatteet... 20 3.2 Arvioitava osaaminen näytössä... 21 3.3 Laadunvarmennus ja laatuvaatimukset... 24 3.5 Arviointitiedon kokoaminen ja raportointi... 28 4 ARVIOINTIKOKEILUT KEHITTÄMISHANKKEESSA... 30 4.1 Arviointikokeilujen tarkoitus ja keskeiset kysymykset... 30 4.2 Arviointikokeilujen toteutus... 31 4.3 Laadunvarmennus arviointikokeiluissa... 32 4.4 Tuloksia arviointikokeiluista... 34 5 VERTAISARVIOINNIN KEHITTÄMINEN OSAKSI NÄYTTÖ- PERUSTEISEN ARVOINNIN LAADUNVARMENNUSTA... 40 5.1 Vertaisarvioinnin kehittäminen Koppi-hankkeessa... 40 5.2 Vertaisarviointikokeilut Koppi-hankkeessa... 42 5.3 Vertaisarvioinnin kehittämistyön ja kokeilujen tuloksia... 42 5.4 Suosituksia ja näkökulmia tulevaisuuteen... 46 6 KEHITTÄMISHANKKEEN TULOKSET... 49 6.1 Ehdotus arviointijärjestelmäksi... 49 6.2 Ehdotus laadunvarmennusjärjestelmäksi... 50 6.3 Ehdotus palaute- ja informaatiojärjestelmäksi... 52 6.4 Sähköisen ammattiosaamisen näyttöjen oppimistulostiedon raportointi-ja seurantajärjestelmän (AMOP) toteuttaminen... 52 6.5 Oppimistulostiedon laadunvarmennuksen sähköinen palautejärjestelmä AMOS ja sen toteuttaminen... 52 6.6 Koppi-hankkeessa tuotetut materiaalit ja julkaisut... 60 5

7 ARVIOINTIJÄRJESTELMÄN KEHITTÄMISHANKKEEN ULKOINEN ARVIOINTI... 63 7.1 Arvioinnin tavoitteet ja toteuttaminen... 63 7.2 Tuloksia ulkoisesta arvioinnista... 64 8 JOHTOPÄÄTÖKSET JA KEHITTÄMISEHDOTUKSET... 69 9 LOPUKSI... 73 LIITTEET... 75 LIITE 1 Arviointijärjestelmän kehittämishankkeet ja niiden tavoitteet... 77 LIITE 2 Arviointikäytäntöjen kehittämishankkeet ja niiden tavoitteet... 78 LIITE 3 Arviointijärjestelmän ja arviointikäytäntöjen kehittämisprojektit... 81 LIITE 4 Kooste Koppi-hankkeen tapahtumista ja tilaisuuksista vuosina 2002 2008... 83 LIITE 5 Koppi-hankkeen palautekysely... 86 LIITE 6 Kansallisen arvioinnin ja näyttöjen yhteensovittamisen kriittiset pisteet... 89 LIITE 7 Eri osapuolten taustakyselyt... 92 LIITE 8 Esimerkki oppilaitoskohtaisesta palauteraportista... 103 LIITE 9 Palaute arviointikokeilun ja palauteraporttien hyödyllisyydestä... 103 LIITE 10 Palautekysely ja yhteenveto kyselyn tuloksista... 120 LIITE 11 Arvioinnin kohteet ja kriteerit vertaisarviointikäynnillä... 131 LIITE 12 Näytön arvosanan dokumentointilomake... 138 LIITE 13 Palautelomake oppilaitoskohtaisesta pikapalauteraportista... 139 LIITE 14 Arviointijärjestelmän ja arviointikäytäntöjen kehittämishankkeiden tuotokset... 142 LIITE 15 KOPPI-hankkeen julkaisut... 144 LÄHTEET... 145 6

JOHDANTO Ammattiosaamisen näyttöihin integroitua kansallista oppimistulosten arviointijärjestelmää kehitettiin Opetushallituksen koordinoimassa ESR-rahoitteisessa KOPPI-hankkeessa vuosina 2002 2008. Aikaisemmin toteutettu kansallisiin päättökokeisiin perustunut kansallinen arviointi joutui muutokseen, kun ammatillisen peruskoulutuksen opiskelijan arviointia ryhdyttiin kehittämään näyttöperusteiseksi arvioinniksi 1990-luvun lopussa. Samanaikaisesti ryhdyttiin selvittämään, voidaanko kansallinen arviointi liittää osaksi näyttöjärjestelmää niin, että kansallinen arviointitieto saataisiin suoraan koulutuksen järjestäjän organisoimista ammattiosaamisen näytöistä. Varsinainen arviointijärjestelmän kehittämistyö käynnistettiin Opetushallituksessa vuoden 2002 alusta. Kehittämishankkeen (KOPPI) tavoitteeksi asetettiin näyttöperusteisen arviointijärjestelmän sekä kansallisen arvioinnin edellyttämän laadunvarmennusjärjestelmän kehittäminen, arviointijärjestelmän testaaminen ja oppimistulosten arviointi valituissa perustutkinnossa. Näiden lisäksi tavoitteena oli laatia myös suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palauteja informaatiojärjestelmästä. Arviointijärjestelmän kehittämishanke toteutettiin yhteistyössä arviointijärjestelmän ja arviointikäytäntöjen kehittämishankkeiden kanssa sekä näyttöjärjestelmän kehittäjien, ammatillisten oppilaitosten, työnantaja- ja työntekijäjärjestöjen, tutkimuslaitosten ja kansainvälisten yhteistyökumppanien kanssa. Hankkeessa toteutettiin kaksi laajaa arviointikokeilua, joissa näyttöperusteista arviointijärjestelmää testattiin käytännössä. Kokeiluissa kerättiin usealla eri tavalla tietoa arviointitiedon luotettavuudesta ja testattavan mallin toimivuudesta käytännössä. Tämä raportti on yhteenveto näyttöperusteisen arviointijärjestelmän kehittämistyöstä sekä kehittämistyön keskeisistä tuloksista. Raportissa kuvataan kehittämistyön eteneminen vaihe vaiheelta. Raportissa valotetaan arviointiuudistuksen lähtökohtia, tuodaan esiin kansallisen arvioinnin ja näyttöjen integrointiin liittyviä haasteita, aikaisempi arviointitapa sekä näyttöperusteisen arviointimallin periaatteet ja arviointikokeilujen keskeiset tulokset. Raportin loppuosassa on ehdotukset kansallisesta arviointi- ja laadunvarmennusjärjestelmästä sekä suunnitelma kansallista arviointia ja koulutuksen järjestäjän itsearviointia tukevasta palautejärjestelmästä. Raportissa esitellään myös Koppi-hankkeen keskeiset tuotokset ja julkaisut. Viimeisenä raportissa esitellään johtopäätökset kansallisen näyttöperusteisen oppimistulosten arvioinnin kehittämiseksi. Raportissa arviointijärjestelmän kehittämishanke on kuvattu mahdollisimman kattavasti ja yksityiskohtaisesti, joten myös muilla kuin kehittämishankkeessa mukana olleilla on mahdollisuus seurata kehittämistyön etenemistä. Raporttia voidaan hyödyntää ennen kaikkea näyttöperusteisen opiskelijan arvioinnin kehittämisessä mutta myös laajemmin ammatillisen koulutuksen kehittämisessä. Raportti monine liitteineen antaa myös mahdollisuuden saada eri tahoilta palautetta näyttöperusteisen arviointijärjestelmän jatkokehittämisen tueksi. 7

Kehittämishankkeen pohjalta käynnistettiin Opetushallituksessa vuoden 2007 alussa kansallinen oppimistulostiedon tuottaminen ja seuranta, jossa arviointitieto kootaan suoraan ammattiosaamisen näytöistä (opetusministeriön päätös (3/502/07). Oppimistulostiedot tuotetaan sosiaali- ja terveysalan, hotelli- ja ravintola-alan, kone- ja metallialan sekä logistiikan perustutkintojen kaikista opiskelijoiden suorittamista ammattiosaamisen näytöistä tutkintojen suorittamisen loppuun saakka. Ammattiosaamisen näyttöjen toteutumista arvioidaan kokonaisuudessaan vuonna 2009. 8

1 LÄHTÖKOHDAT Ammattiosaamisen näytöt ammatillisiin perustutkintoihin Opetusministeriön päätöksellä (212/430/98) kaikkiin ammatillisiin perustutkintoihin tuli liittää näyttöön (myöhemmin ammattiosaamisen näyttö) perustuva osoitus ammatillisten tavoitteiden saavuttamisesta. Opetusministeriö asetti 18.9.1998 työryhmän selvittämään ammatilliseen peruskoulutukseen sisällytettävien ammattiosaamisen näyttöjen järjestämistä. Työryhmä luovutti muistionsa kesäkuussa 1999. Vuosien 1999 2004 kehittämissuunnitelmassa oli tavoitteena kehittää suunnitelmakaudella nuorisoasteen ammatilliseen koulutukseen näytöt osaamisen laadunvarmistamiseksi. Kehittämissuunnitelma 2003 2008 (Opetusministeriö, 2004, 39) kirjaa nykyiset ammattiosaamisen näyttöjen periaatteet. Sen mukaan ammattiosaamisen näytöillä osoitetaan ammattitaidon saavuttaminen ja ne järjestetään yhteistyössä työelämän kanssa. Ammattiosaamisen näyttöjen käyttöönotolla parannetaan ammatillisen koulutuksen laatua. Ne ovat osa opiskelijan arvioinnin, opetusjärjestelyiden sekä ohjaus- ja tukitoiminnan kehittämistä. Ammattiosaamisen näyttöjen tarkoituksena on yhdenmukaistaa ja monipuolistaa arviointia sekä tuoda työelämän näkemys osaksi osaamisen arviointia. Ammattiosaamisen näytöt ovat koulutuksen järjestäjän ja työelämän yhdessä suunnittelema, toteuttama ja arvioima työtilanne tai työprosessi. Ammattiosaamisen näytössä opiskelija osoittaa osaamistaan ja työelämän edellyttämää ammattitaitoa tekemällä käytännön työtehtäviä työpaikalla tai oppilaitoksessa. Näytössä arvioidaan opetussuunnitelman perusteiden tavoitteissa määritettyä ammatillista osaamista. Ammatilliseen perustutkintoon johtavassa koulutuksessa ammattiosaamisen näytöt ovat osa koulutusta ja sijoittuvat koko koulutuksen ajalle. Ammattiosaamisen näytöt annetaan kaikista ammatillisten opintojen opintokokonaisuuksista. (Ammattiosaamisen näytöt käyttöön 2005, 6.) Opetusministeriön asettama näyttötyöryhmä toi ammattiosaamisen näyttöjen kehittämisperiaatteissa esiin, että näyttöjen ja kansallisen tason oppimistulosten arvioinnin yhteys on selvitettävä näyttökokeilujen yhteydessä. Tavoitteena oli selvittää, voidaanko kansallinen oppimistulosten arviointiaineisto koota näyttöjärjestelmästä. Tämä mahdollistaisi työryhmän mukaan sen, ettei erillisiä kansallisia kokeita tarvita. (OPM:n työryhmien muistioita 14:1999.) Myös koulutuksen ja tutkimuksen kehittämissuunnitelmassa (KESU 2003 2008) asetettiin tavoitteeksi, että näyttöjärjestelmän vakiinnuttamisen yhteydessä kehitetään näyttöperusteinen ammatillisen koulutuksen kansallinen oppimistulosten arviointi. Ammattiosaamisen näyttöihin integroitua kansallista oppimistulosten arviointijärjestelmää ryhdyttiin kehittämään vuonna 2002 käynnistyneessä ESR-rahoitteisessa kehittämishankkeessa. Kehittämishankkeen päätehtäviksi asetettiin oppimistulosten arviointijärjestelmän kehittäminen näyttöperusteiseen arviointiin siirryttäessä sekä arviointijärjestelmän testaaminen ja oppimistulosten arviointi valituilla aloilla. Tavoitteena oli kehittää järjestelmä, joka liittyy kiinteästi oppilaitosten tavanomaiseen toimintaan, antaa säännöllistä palautetietoa, tukee ja ohjaa itsearviointia ja kannustaa kehittämistyöhön. 9

2 KANSALLISEN NÄYTTÖPERUSTEISEEN OPPIMIS- TULOSTEN ARVIOINTIMALLIN KEHITTÄMINEN 2.1 Kansallisen arvioinnin tavoitteet Kansallisen oppimistulosten arvioinnin tavoitteena on tuottaa valtakunnallista arviointitietoa koulutuksen laadusta ja tuloksista. Oppimistulosten arviointijärjestelmän avulla tuotetaan tietoa erityisesti koulutuksen vaikuttavuudesta. Tällöin tuotetaan tietoa siitä, miten hyvin opetussuunnitelman perusteissa asetetut tavoitteet on saavutettu. Arviointitiedon tulee olla luotettavaa ja vertailukelpoista ja sen avulla pyritään lisäämään koulutuksen läpinäkyvyyttä. Oppimistulosten arviointi tuottaa suorituksen tai toiminnan laatua ja tasoa kuvaavaa tietoa. Arviointia tapahtuu sekä määrällisesti että laadullisesti. Eri tahoille tuotetaan informaatiota siitä, millaisia tuloksia saavutetaan; mitä osataan ja millaista osaamista koulutus tuottaa. (Räkköläinen 2005.) Arviointitiedon tulee olla käyttökelpoista ja hyödyllistä kaikille osapuolille. Tietoa tuotetaan koulutuksen järjestäjille itsearviointia varten, jotta ne voivat jatkuvasti kehittää toimintaansa oppimistulosten parantamiseksi. Arvioinnin avulla tuetaan oppilaitoksia ja opettajia opetuksen kehittämistyössä. Työelämä puolestaan tarvitsee tietoa siitä, millaista osaamista koulutus tuottaa ja mitä opiskelijat osaavat työelämään siirtyessään. Oppimistulosten arviointitietoa käytetään koulutusta koskevassa ohjauksessa ja päätöksenteossa. Arvioinnin merkitys koulutuksen kehittämisen ja ohjauksen välineenä on entisestään lisääntynyt, sillä koululakiuudistuksessa 1990-luvulla vähennettiin koulutuksen järjestämiseen liittyvää valtakunnallista ohjausta ja lisättiin koulutuksen järjestäjien paikallista päätösvaltaa. Koulutuksen järjestäjän tulee itse arvioida antamaansa koulutusta ja sen vaikuttavuutta sekä osallistua ulkopuoliseen toimintansa arviointiin. Oppimistulosten arvioinnin perimmäisenä tavoitteena voidaan sanoa olevan siis koulutuksen laadun parantaminen ja oppimistulosten jatkuva kehittäminen sekä koulutuksellisen tasa-arvon varmistaminen. Tämä edellyttää, että arvioinnin avulla tuetaan kehittämistyötä tuottamalla oppimistuloksista luotettavaa, vertailukelpoista ja riittävän monipuolista tietoa, joka perustuu systemaattiseen ja analyyttiseen arviointijärjestelmään ja jota hyödynnetään myös oppilaitosten itsearvioinnissa. (Räkköläinen 2005.) 2.2 Aikaisempien arviointien toteuttamistapa Suomessa Opetushallitus on ollut keskeinen ammatillista peruskoulutusta koskevan arviointitiedon tuottaja. Vuonna 1995 luonnosteltiin kansallista arviointia varten koulutuksen tuloksellisuuden arviointimalli, jota myöhemmin tarkennettiin (Opetushallitus 9/1995 ja 7/1998). Opetusministeriö julkaisi oman arviointistrategiansa 1997 (Opetusministeriö 1997). Kansallista oppimistulosten arviointia varten kehitettiin arviointistrategia, jota koskevat ohjeet julkaistiin vuonna 1998 (Opetushallitus 4/1998). Näissä asiakirjoissa on esitetty tähänastisen kansallisen arvioinnin kokonaissuunnitelma, arvioinnin kohde, tiedonhankintamenetelmät ja tulosten raportointitapa. Opetusministeriön julkaisema koulutuksen ja tutkimuksen kehittämissuunnitelma sekä opetusministeriön ja Opetushallituksen välinen vuosittainen tulossopimus ovat linjanneet myös arviointeja. Opetushallitus on 10

tehnyt useita ammatillisen koulutuksen arviointeja vuosina 1995 2002. Tarkastelu on tapahtunut ajankohtaisten teemojen ja ennalta sovittujen kriteerien perusteella. Suurin osa näistä arvioinneista on ollut eri alojen kokonaisarviointeja ja niihin integroituneita oppimistulosten arviointeja. Keskeiset valtakunnalliset tulokset on julkaistu raportteina, joissa tarkastellaan oppimistuloksia, koulutusjärjestelmää, oppilaitosten toimintakulttuuria, opetuksen laatua ja resursseja. Oppimistuloksia on mitattu kansallisilla kokeilla. Oppimistulosten arviointi on järjestetty opintojen päättövaiheessa. Arviointi on tällöin ollut summatiivista, kokoavaa opitun arviointia, joka osoittaa, mitä koulutuksessa on opittu jonkin pidemmän aikajakson kuluessa. (Räkköläinen 2005.) Valtakunnallisen arviointitiedon tuottamiseksi on käytetty tehtäväsarjoja, kokeita, mittareita ja testejä, jotka on toteutettu ns. kansallisina päättökokeina. Tehtävien laatimista varten on perustettu alakohtaiset asiantuntijaryhmät. Tehtävät on laadittu opetussuunnitelman perusteissa asetettujen tavoitteiden pohjalta ja tehtävät on esitestattu ennen varsinaista arviointia. Oppimistulosten arviointi on ollut kriteeriperusteista, jolloin arviointi perustuu tavoitteista johdettuihin ammatillisen osaamisen kuvauksiin. Tehtävien ja kokeiden avulla on arvioitu kunkin alan keskeisiä osaamisalueita, jotka kattavat valtakunnallisissa opetussuunnitelman perusteissa määritellyt tavoitteet. Ammatillisen peruskoulutuksen päättökokeissa on mitattu ammatillista osaamista, kaikille yhteisten opintojen osaamista ja yleiskvalifikaatioiden hallintaa. (Räkköläinen 2005.) Ammatillisen osaamisen arviointi on perustunut opetussuunnitelmien ja tutkinnon perusteissa määriteltyihin ydintavoitteisiin ja arvioinnissa on painotettu erityisesti työelämässä tarvittavaa osaamista. Kaikille yhteisten opintojen arviointi on kohdistunut laajaan ammattisivistykseen. Yleiskvalifikaatioiden hallinnan keskeisiä arvioinnin kohteita ovat olleet muun muassa oppimaan oppimisen valmiudet sekä ongelmanratkaisu- ja vuorovaikutustaidot. Pääperiaatteena on ollut, ettei kansallinen arviointi vaikuta opiskelijoiden arvosanoihin, mutta oppilaitokset ovat voineet itse päättää tämän asian. (Opetushallitus 4/1998.) Kansalliseen arviointiin liittyviä päättökokeita on järjestetty vuosittain yhdellä alalla. Tavoitteena on ollut, että oppimistuloksia arvioitaisiin kullakin alalla kerran viidessä vuodessa. Kokeet on järjestetty tietyllä alalla joko koko perusjoukolle tai otantaperustaisesti otantaan valituille oppilaitoksille. Oppilaitokset ovat lähettäneet aineistot Opetushallitukseen analysoitaviksi. Oppilaitoksille on toimitettu välittömästi kunkin omat pikapalautteet sekä kansalliset vertailutulokset. Oppilaitoskohtaiset tulokset eivät ole olleet julkisia. Kansallinen arviointiraportti on valmistunut noin vuoden kuluttua kokeiden pitämisestä. Kansallisissa arviointiraporteissa ei ole julkistettu oppilaitoskohtaisia tuloksia. (Opetushallitus 4/1998.) Vuosina 1995 2001 oppimistulokset on arvioitu metsätalousalalla, kone-, metalli- ja sähköalalla, käsi- ja taideteollisuusalalla, matkailu-, ravitsemis- ja talousalalla sekä kaupan ja hallinnon alalla. Keskeisemmäksi ongelmaksi aikaisemmassa järjestelmässä on koettu, että se on melko raskas ja hidas. Päättökokeisiin perustunut arviointimalli koettiin osittain erilliseksi järjestelmäksi, jota ei hyödynnetty osana oppilaitosten tavanomaista toimintaa, eikä se näin tukenut paikallisen tason arviointia. Arviointi koettiin irralliseksi muusta oppilaitoksen arviointitoiminnasta. Kukin ala tuli arvioinnin kohteeksi harvoin, jolloin koulutuksen järjestäjä ei saanut riittävän usein vertailutietoa toimintansa kehittämisen tueksi. Arviointeihin ei liittynyt kiinteää palautejärjestelmää. Kertaluonteiset vaikkakin hyvin kattavat ja syvälle alaan porautuvat kansalliset arvioinnit eivät näin tuottaneet systemaattista seurantatietoa kehittämistyön tueksi. (Räkköläinen 2005.) 11

2.3 Kansallinen oppimistulosten arviointi osaksi näyttöjärjestelmää Edellä kuvattu yhtenäisiin päättökokeisiin perustunut kansallinen oppimistulosten arviointi joutui muutokseen, koska ammatillisten perustutkintojen opiskelijan arviointia ryhdyttiin kehittämään näyttöperusteiseksi arvioinniksi ja kansallisen arvioinnin liittämistä näyttöjärjestelmään ryhdyttiin selvittämään. Opetusministeriön päätöksellä (212/430/98) vuosina 1999 2001 uudistettaviin perustutkintoihin päätettiin liittää näyttöön perustuva osoitus ammatillisten opintojen tavoitteiden saavuttamisesta. Opetusministeriö asetti näyttötyöryhmän (18.9.1998), joka tarkasteli yhteistyössä työmarkkinaosapuolten kanssa ammattiosaamisen näyttöjen järjestämiseen liittyviä kysymyksiä ja esitti muistiossaan ammattiosaamisen näyttöjen kehittämisperiaatteet. Näyttöryhmän muistiossa todettiin myös, että ammattiosaamisen näyttöjen ja kansallisen tason arvioinnin yhteys on selvitettävä näyttökokeilujen yhteydessä. Tavoitteena oli selvittää, voidaanko kansallisten oppimistulosten arviointiaineisto koota näyttöjärjestelmästä. Tämä mahdollistaisi työryhmän mukaan sen, ettei erillisiä kansallisia kokeita tarvita. (OPM:n työryhmien muistioita 14:1999.) Myös koulutuksen ja tutkimuksen kehittämissuunnitelmassa (KESU 2003 2008) asetettiin tavoitteeksi, että näyttöjärjestelmän vakiinnuttamisen yhteydessä kehitetään näyttöperusteinen ammatillisen koulutuksen kansallinen oppimistulosten arviointi. Näyttötyöryhmä määritteli tuolloin näytöt koulutuksen aikana työelämän kanssa yhteistyössä järjestettäviksi opinnäytteiksi, joissa opiskelija osoittaa, miten hyvin hän on saavuttanut ammatillisten opintojen tavoitteet ja työelämän edellyttämän ammattitaidon. Työryhmän muistiossa todetaan myös, että ammattiosaamisen näyttöjä kehitetään ammatillisen koulutuksen laadun varmistamiseksi ja työelämäyhteyksien kehittämiseksi. Näytöt ovat osa opiskelijan arvioinnin, opetusjärjestelyjen sekä ohjaus- ja tukitoiminnan kehittämistä. Ammattiosaamisen näyttöjen tarkoituksena on yhdenmukaistaa ja monipuolista arviointia sekä tuoda työelämän näkemys osaksi osaamisen arviointia. Tavoitteena on myös kehittää opetussuunnitelman perusteita ja koulutuksen järjestäjän opetussuunnitelmia siten, että niissä määritellään ammatilliset tavoitteet ja arviointikriteerit nykyistä täsmällisemmin työelämän edellyttämänä osaamisena. (OPM:n työryhmien muistioita 14:1999.) Näyttökokeilut aloitettiin Opetushallituksen koordinoimana vuonna 1999 muutamalla pilottiprojektilla, jotka laajenivat valtakunnalliseksi kehittämishankkeeksi. Kehittämistyötä tehtiin valtakunnallisissa näyttöaineisto- ja näyttöpilottiprojekteissa, jotka kattoivat lähes kaikki ammatilliset perustutkinnot. Kansallisen oppimistulosten arviointijärjestelmän kehittäminen aloitettiin 2002 vuoden alusta ja se oli osa ammattiosaamisen näyttöjen kehittämistyötä. Kehittämistyö rahoitettiin Euroopan sosiaalirahaston tuella. Kansallisen oppimistulosten arvioinnin ja näyttöperusteisen arvioinnin yhteensovittamisen tavoitteena on ollut, että kansallinen arviointi tukisi koulutuksen järjestäjiä ja oppilaitoksia tulevaisuudessa entistä paremmin oppimisen edellytysten parantamisessa tuottamalla palautetietoa säännöllisesti ja riittävän usein. Tavoitteeksi asetettiin myös, että arviointi tulee liittää osaksi oppilaitosten tavanomaista toimintaa, jolloin arviointitieto tuotetaan ja hyödynnetään siellä, missä se syntyykin. Tällöin kansallista arviointia varten ei luoda erillistä järjestelmää eikä arviointi pohjaudu ensisijaisesti ulkopuoliseen kontrolliin. (Räkköläinen 2005.) Kehittämisen periaatteena on ollut, että kansallisella arvioinnilla tuetaan oppilaitosten itsearviointia, jolloin sekä itsetuotetun arviointitiedon että ulkopuolisen palautteen merkitys korostuu. Näin ollen kansalliseen arviointiin tulee sisältyä palautejärjestelmä, joka tukee 12

oppilaitoksen kehittämistyötä. Lisäksi arvioinnin tulee motivoida eri osapuolia ja edistää ammattiin oppimista. Kansallisen arvioinnin pitää tukea näyttöperusteisen opiskelijaarvioinnin tavoitteita ja olla osa koulutuksen laadunvarmennusta. Tavoitteeksi asetettiin, että oppimistulosten arviointi käynnistyisi samanaikaisesti ammattiosaamisen näyttöjen käyttöönoton kanssa 1.8.2006 alkaen. (Räkköläinen 2005.) 2.4 Kansallisen arvioinnin ja näyttöjen yhteensovittamisen haasteet Kehittämishankkeessa on selvitetty kansallisen arvioinnin ja ammattiosaamisen näyttöjen yhdistämismahdollisuuksia, tehty vertailuja kansainvälisiin järjestelmiin sekä luotu malleja vaihtoehtoisista yhdistämismahdollisuuksista ja kehitetty laatuvaatimuksia arvioinnin luotettavuuden varmistamiseksi. Integrointitavoite on asettanut vaatimuksia sekä kansalliselle oppimistulosten arvioinnille että näyttöperusteisen arvioinnin kehittämiselle. Kansallisen arvioinnin ja näyttöperusteisen opiskelijan arvioinnin yhteensovittamisen haasteena on ollut, miten samaa arvioinnin välinettä eli näyttöä on mahdollista käyttää eri tarkoituksessa eli tuotetaan luonteeltaan erilaista arviointitietoa. Opiskelija-arvioinnin osana näytöt ovat ohjaavaa, formatiivista arviointia, joka auttaa seuraamaan opiskelijan oppimisprosessia ja toisaalta opettajaa kehittämään opetustaan. Arviointi liittyy tällöin oppimisen ja opetuksen sisäisiin prosesseihin, eikä sitä ole tarkoitettu julkisesti tarkasteltavaksi. Osana kansallista arviointia ammattiosaamisen näyttöjen tulee tuottaa kokoavaa opitun arviointitietoa, joka on luonteeltaan yleistettävää ja julkista. Samoin silloin, kun näytöistä annetaan arvosana ja todistus, on kysymys summatiivisesta arvioinnista. Tämä perusjännite on vaikuttanut muun muassa kehitettäessä integroidun arviointijärjestelmän standardeja ja laatuvaatimuksia. (Räkköläinen & Ecclestone 2005.) Ammattiosaamisen näyttöjen kehittämisperiaatteet (esimerkiksi jokaisen opintokokonaisuuden keskeinen osaaminen on näytettävä ja opiskelija näyttää osaamistaan koko opiskelun ajan) ovat vaikuttaneet näyttöjen ja kansallisen arvioinnin yhteensovittamiseen. Samanaikaisesti näyttöjen suunnittelun, toteuttamisen ja arvioinnin periaatteiden kanssa on täytynyt huomioida kansallisen arvioinnin luotettavuudelle ja vertailukelpoisuudelle asetettavat vaatimukset. Näihin ovat liittyneet läheisesti arvioinnin läpinäkyvyyden ja oikeudenmukaisuuden vaatimukset. Myös arvioinnin käyttökelpoisuuteen on täytynyt kiinnittää huomiota, sillä arviointitiedon tulee olla myös hyödyllistä ja tarkoituksenmukaista. (Räkköläinen & Ecclestone 2005.) Kansallisen arvioinnin kannalta keskeiset ratkaistavat yhteensovittamisen ongelmakohdat nimettiin kehittämisvaiheessa vertailtavuusongelmaksi, ajoitusongelmaksi ja päällekkäisyysongelmaksi. Nämä kehittämisen ongelmakohdat liittyvät arviointitiedon luotettavuuteen, ammattiosaamisen näyttöjen organisoinnin ja arviointitiedon kokoamisen ajoitukseen sekä kahden kehitteillä olevan järjestelmän yhteensovittamisesta johtuviin päällekkäisyyksiin ja arvioinnin eri funktioihin. (Lisätietoa kansallisen arvioinnin ja ammattiosaamisen näyttöjen yhteensovittamisen haasteista ja eduista julkaisussa: Räkköläinen, M. Kansallisen ammattiosaamisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä. Arviointi 3/2005.) 13

2.5 Kehittämishanke KOPPI Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke käynnistyi vuonna 2002. Kehittämishankkeen päätehtäviksi asetettiin oppimistulosten arviointijärjestelmän kehittäminen näyttöperusteiseen arviointiin siirryttäessä sekä arviointijärjestelmän testaaminen ja oppimistulosten arviointi valituilla aloilla. Arviointijärjestelmän kehittämistyö jakaantui kolmeen päävaiheeseen, jotka olivat I) oppimistulosten arviointistrategian ja mallien sekä laadunvarmennuksen kehittäminen, II) arviointikokeilun suunnittelu ja toteuttaminen, oppimistulosten alakohtainen arviointi ja tulosten raportointi sekä III) valtakunnallisen arviointitiedonkeruun mallin suunnitteleminen ja palaute- ja informaatiojärjestelmän kehittäminen. Koko hanke ajoittui vuosille 2002 2008 ja se rahoitettiin Euroopan sosiaalirahaston tuella. I) Oppimistulosten arviointistrategian ja mallien sekä laadunvarmennuksen kehittäminen (2002 2008) Hankkeen ensimmäisessä vaiheessa luotiin teoreettiset mallit vaihtoehtoisista arviointijärjestelmistä sekä mallien käytännön sovellutukset näyttöperusteiseen arviointiin integroimiseksi. Koko ajan arvioitiin mallien soveltuvuutta suomalaiseen koulutusjärjestelmään ja tehtiin vertailuja kansainvälisiin järjestelmiin sekä nimettiin keskeiset kehittämiskohteet ja kriittiset pisteet kansallisen arvioinnin ja ammattiosaamisen näyttöjärjestelmän kannalta. Kehittämistyön tueksi perustettiin ns. integraatiotyöryhmä, jossa jäseninä olivat näyttöjärjestelmän kehittämistyössä mukana olleet projektipäälliköt ja keskeiset vastuuhenkilöt sekä oppilaitoksista että Opetushallituksesta ja arvioitavien alojen työelämän edustajia. Kansallisen arvioinnin edellyttämää laadunvarmennusjärjestelmää ryhdyttiin kehittämään heti kehittämishankkeen käynnistyttyä. Tämä tarkoitti standardien ja kriteerien luomista koko prosessiin (opetussuunnitelman perusteista ammattiosaamisen näyttöaineistoihin, koulutuksen järjestäjän opetussuunnitelmiin ja paikallisesti toteutettuihin ammattiosaamisen näyttöihin). Laadunvarmennusjärjestelmää kehitettiin yhteistyössä oppilaitosten ja työelämän edustajien kanssa. Tätä tehtävää varten perustettiin laadunvarmennusjärjestelmän valmisteluryhmä. Tässä vaiheessa aloitettiin myös kansainvälinen asiantuntijayhteistyö englantilaisen arvioinnin asiantuntijan, professori Kathryn Ecclestonin kanssa. II) Arviointikokeilun suunnittelu ja toteuttaminen, oppimistulosten alakohtainen arviointi ja tulosten raportointi (Ensimmäinen arviointikokeilu, pilotti I, 2002 2003, toinen arviointikokeilu, pilotti II, 2004 2007) Kehittämistyön yhteydessä toteutettiin kaksi arviointikokeilua, joissa näyttöperusteista oppimistulosten arviointijärjestelmää testattiin käytännössä. Ensimmäinen arviointikokeilu (pilotti I) toteutettiin vuosina 2002 2003 ja toinen (pilotti II) 2004 2007. Syksyllä 2002 laadittiin suunnitelma arviointikokeiluksi valitun mallin testaamiseksi arvioitavilla koulutusaloilla. Arviointikokeilun arviointiasetelma suunniteltiin yhteistyössä oppilaitosten, työelämän edustajien ja muiden asiantuntijoiden kanssa (kansainvälisen asiantuntijan ja Opetushallituksen asiantuntijoiden kanssa). Pilotti I toteutettiin yhteistyössä näyttöaineisto- ja näyttöpilottiprojektissa mukana olevien oppilaitosten kanssa. 14

Ensimmäisessä arviointikokeilussa näyttöperusteista arviointimallia testattiin sosiaali- ja terveysalan, talotekniikan ja rakennusalan perustutkinnoissa. Ennen kokeilun käynnistymistä näiden alojen kokonaistilanteesta tehtiin kooste, perehdyttiin alojen opetussuunnitelmiin ja näyttöaineistojen kehittämistyöhön ja tehtiin oppilaitoskäyntejä. Myös ulkoiset arvioijat valittiin ja perehdytettiin tehtäväänsä ja toteutettiin ulkoinen laadunvarmennus. Tässä vaiheessa laadittiin myös osana laadunvarmennusta eri osapuolten, opettajien, opiskelijoiden ja työelämän edustajien taustakyselyt, joiden tarkoituksena oli tuottaa tietoa näyttöjen toteuttamisesta, arvioinnista ja vaikuttavuudesta. Pilotti I toteutettiin syksyn 2002 ja kevään 2003 aikana. Arviointikokeilussa mukana olleet oppilaitokset saivat palautteet omista tuloksista (ns. pikapalaute) ja koko kokeilun tulokset raportoitiin keväällä 2004. Ensimmäisen arviointikokeilun tulosten pohjalta käynnistettiin toinen arviointikokeilu, joka toteutettiin vuosina 2004 2007 yhteistyössä neljän valtakunnallista arviointijärjestelmää kehittävän (Sote Järkevä-, Konsensus-, Arvo- ja Arvi-projektit) projektin kanssa. Näyttöperusteista arviointimallia testattiin niissä 14 perustutkinnossa, joiden kansalliset ammattiosaamisen näyttöaineistot olivat valmiit ja laadunvarmennetut arviointikokeilun käynnistyttyä syksyllä 2004. Arviointikokeilun yhteydessä ryhdyttiin kehittämään ja testaamaan myös vertaisarviointia osana näyttöperusteisen arvioinnin laadunvarmennusta. Kokeilun aikana perehdyttiin vertaisarvioinnin periaatteisiin, kehitettiin vertaisarvioinnin valmennusohjelma, koulutettiin vertaisarvioijia ja tuotettu tukimateriaalia vertaisarvioinnin toteuttamiseen. Ensimmäiset vertaisarviointikokeilut toteutettiin 2005. Arviointikokeilun oppimistuloksista ja kyselyn tuloksista laadittiin välitulosraportti keväällä 2006. (Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II 2004 2007. Välitulosraportti oppimistuloksista ja kyselyn tuloksista 11.9.2006. Opetushallitus.) Arviointikokeilussa mukana olleet oppilaitokset saivat palautteet omista tuloksista syksyllä 2006 ja 2007 ja koko kokeilun tulokset raportoitiin keväällä 2008. (Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II. Raportti oppimistuloksista ja kyselyn tuloksista. 2004 2007. Moniste 4/2008. Opetushallitus.) Vuonna 2005 kehittämishanke laajeni kuudella näyttöperusteista arviointia kehittävillä projekteilla ja koko arviointijärjestelmän kehittämishanke sai nimekseen Koppi. III) Valtakunnallisen arviointitiedonkeruun mallin suunnitteleminen ja palauteja informaatiojärjestelmän kehittäminen (2004 2007) Vuosina 2004 2008 arviointijärjestelmän kehittämishankkeen painopisteenä oli arviointitiedon vaihtoehtoisten keruumallien suunnittelu sekä koulutuksen järjestäjiä ja oppilaitoksia ja kansallista arviointia tukevan palaute- ja informaatiojärjestelmän kehittäminen. Molemmat arviointikokeilut (pilotti I ja pilotti II) suunniteltiin siten, että sen pohjalta oli mahdollista jatkaa suoraan varsinaista oppimistulosten arviointia ja ottaa kansallinen oppimistulosten arviointi käyttöön samanaikaisesti ammattiosaamisen näyttöjen kanssa (1.8.2006). Tässä vaiheessa suunniteltiin erilaisia vaihtoehtoja kansallisen arviointitiedon kokoamiseksi näytöistä. Toisessa arviointikokeilussa testattiin kahta arviointitiedon keruumallia, niin sanottua seuranta- ja poikkileikkausmallia. 15

Tässä vaiheessa laadittiin myös ehdotus kansallisen arvioinnin palaute- ja informaatiojärjestelmästä. Tavoitteena oli kehittää järjestelmä, joka tukee koulutuksen järjestäjien ja oppilaitosten itsearviointia niin, että ne saisivat mahdollisimman nopeasti käyttöönsä kansallista vertailutietoa ja omat tuloksensa voidakseen näin tunnistaa kehittämiskohteitaan. Samalla palautetietoa tulisi voida käyttää myös kansallisella tasolla koulutuksen ohjauksessa ja kehittämisessä. Arviointikokeiluihin osallistuneiden oppilaitosten johdolle suunnattiin kysely, jolla kartoitettiin heidän näkemyksiään siitä, millaisen oppilaitoksen kehittämistyötä tukevan palautejärjestelmän tulisi olla. Arviointijärjestelmän ja palaute- ja informaatiojärjestelmän kehittämisessä hyödynnettiin myös Koppi-hankkeen ulkoisia arviointeja, joita toteutettiin yhteensä kolme. Ensimmäinen palaute saatiin vuonna 2005 kansainväliseltä asiantuntijaryhmältä Lontoon yliopistosta, toinen ulkoinen arviointi toteutettiin vuonna 2007 fokusryhmäkeskusteluina (Spangar 2008) ja kolmas ulkoinen arviointi saatiin jälleen Lontoon yliopiston asiantuntijoilta keväällä 2008. Tässä yhteydessä ryhdyttiin Koppi-hankkeessa kehittämään vertaisarviointia yhä systemaattisemmin osana näyttötoiminnan laadunvarmennusta. Koppi-hanke sai lisärahoituksen vertaisarviointikokeiluja varten 2007 2008. Vertaisarvioinnin kehittäminen ja siihen liittyneet kokeilut on kuvattu kokonaisuudessaan luvussa 5. Kansallisen arvioinnin kehittämishankkeen päävaiheet ja aikataulu on kuvattu alla olevassa kuviossa 1. KANSALLISEN NÄYTTÖPERUSTEISEN OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄN KEHITTÄMINEN PROJEKTIN TOTEUTTAMINEN JA AIKATAULU Arviointistrategian ja mallien kehittäminen, laadunvarmennusjärjestelmän kehittäminen 2002 2007 I Arviointikokeilu (Pilotti I) II Arviointikokeilu (Pilotti II) ja oppimistulosten alakohtainen arviointi, KOPPI -hanke Palaute- ja informaatiojärjestelmän kehittäminen 2002 2003 Kokeilun raportointi 2004 2004 2007 Raportti 2005 Vertaisarviointikokeilut 2005 2007 2004 2007 Välitulokset II kokeilusta 2006 Arviointikokeilun ja oppimistulosten raportointi, hankkeen ulkoinen arviointi Kehittämistyön ulkoinen arviointi ja raportointi Ehdotus arviointijärjestelmäksi Pikapalautteet oppilaitokselle 2006 2007 Pikapalautteet oppilaitokselle 2008 2008 Kuvio 1 Kehittämishankkeen vaiheet ja aikataulu 16

Koppi hankkeen kehittämisprojektit Arviointijärjestelmän kehittämishankkeen (KOPPI) yleisenä tavoitteena oli näyttöperusteisen arviointijärjestelmän sekä kansallisen arvioinnin edellyttämän laadunvarmennusjärjestelmän kehittäminen, arviointijärjestelmän testaaminen ja oppimistulosten arviointi 14 perustutkinnossa. Näiden lisäksi tavoitteena oli laatia myös suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja informaatiojärjestelmästä. Liitteessä 3 on kuvattu arviointijärjestelmän ja arviointikäytäntöjen kehittämisprojektit sekä projektien yleiset tavoitteet. Koppi hankkeeseen on kuulunut 10 valtakunnallista projektia, joista neljässä kehitettiin näyttöperusteista oppimistulosten arviointijärjestelmää ja kuudessa arviointikäytäntöjä ammattiosaamisen näytöissä. Kullakin 10 projektilla oli oma projektipäällikkö, projektiorganisaatio ja yhteistyöoppilaitokset. Koko KOPPI-hankkeen koordinoinnista vastasi Opetushallitus yhteistyössä hankkeiden projektipäälliköiden ja heidän yhteistyöoppilaitosten kanssa. Hankkeessa oli mukana noin 50 ammatillisen koulutuksen järjestäjää ja noin 60 ammatillista oppilaitosta. Arviointijärjestelmää ja arviointikäytäntöjä kehitettiin ja testattiin yhteensä 36 ammatillisessa perustutkinnossa. Arviointijärjestelmän kehittämisprojekteissa, Sote Järkevä-, Konsensus-, Arvo- ja Arvi-projekteissa kokeiltiin järjestelmää, jossa kansalliseen oppimistulosten arviointiin tarvittava tieto kerättiin ammattiosaamisen näytöistä. Projekteissa testattiin arviointimallin toimivuutta ja tuotettiin tietoa oppimistuloksista. Tavoitteena oli luoda laadunvarmennusjärjestelmä luotettavan arviointitiedon saamiseksi sekä palaute- ja informaatiojärjestelmä arviointitiedon kokoamiseksi. Koulutuksen järjestäjän arviointikäytäntöjen kehittämisprojekteissa, Blanco 1-2-3-, Amy-, Näkes-, Valmis näyttöön!-, Riihy- ja Näyttöportaali -projekteissa ammattiosaamisen näytöt liitettiin osaksi opetussuunnitelmaa yhteistyössä työelämän ja muiden koulutuksen järjestäjien kanssa. Paikallisella tasolla projektit hyödynsivät toiminnassaan kansallisia näyttöaineistoja, kehittivät opiskelijan arviointia ja arvioinnin dokumentointia ja testasivat näyttöperusteista kansallista oppimistulosten arviointimallia. Ne myös tuottivat tietoa oppimistuloksista ja hyödynsivät ammattiosaamisen näytöistä saatua palautetta itsearvioinnissa ja toimialan kehittämisessä. Arviointijärjestelmän ja arviointikäytäntöjen projektikohtaiset kuvaukset ja tavoitteet ovat liitteissä 1 ja 2. 2.6 Kehittämistyön organisointi Näyttöperusteisen arviointijärjestelmän kehittämistyössä sovellettiin prosessikeskeistä kehittämisstrategiaa, jolloin kehittämistilanne pyrittiin pitämään avoimena ja tavoitteita ja strategiaa muokattiin prosessin edetessä. Prosessikeskeiseen kehittämiseen liittyi toimintatutkimuksen kaltainen lähestymistapa, jossa kehittämistoiminnasta nousevia kysymyksiä ja ongelmakohtia tarkasteltiin, tutkittiin ja ratkaistiin yhdessä eri osapuolten kanssa. Kehittäjinä olivat kaikki, joihin toiminta kohdistui. Kehittäminen pohjautui käytännön toimintaan ja eteni kokonaisvaltaisesti koskettaen monia osapuolia. Hanke toteutettiin yhteistyössä näyttöjärjestelmän kehittäjien, ammatillisten oppilaitosten, työmarkkinajärjestöjen sekä tutkimuslaitosten ja kansainvälisten yhteistyökumppanien kanssa. (Räkköläinen 2005; Koppi-hankkeen projektisuunnitelma 2002.) Prosessinohjausta varten kehittämishankkeen aikana järjestettiin säännöllisiä, organisoituja ja yhdessä sovittuja ja nimettyjä foorumeja (mm. palavereita, kokouksia, työryhmiä, asian- 17

tuntijatiimejä, vertaisryhmiä ja seminaareja), joissa oli mahdollista ohjatusti ja tavoitteellisesti pysähtyä yhdessä tutkimaan elettyä ja tehtyä sekä jakamaan kokemuksia ja oppimaan toinen toisilta. Lisäksi yhteistyökumppaneilta pyydettiin säännöllisin väliajoin kirjallista palautetta Koppi-hankkeen tarjoamasta ohjauksesta ja koulutuksesta, projektin johtamisesta, tiedottamisesta ja yhteistyöstä (ks. liite 4. Koppi-hankkeen palautekysely). Toinen keskeinen kehittämisperiaate kehittämistyössä oli vertaisarvioinnin ja -palautteen hyödyntäminen koko kehittämisprosessin ajan. Yhteiset foorumit mahdollistivat toinen toisilta oppimisen, samoin kirjalliset palautteet. Monia kehittämishankkeen keskeisiä vaiheita kehitettiin oppilaitosten, työelämän edustajien ja asiantuntijoiden vertaisryhmissä, jolloin vertaiskumppaneista muodostunut ryhmä arvioi toistensa ehdotuksia ja teki suosituksia kehittämistyötä varten. Arviointijärjestelmän ja arviointikäytäntöjen kehittämishankkeiden projektipäälliköt tapasivat toisiaan säännöllisesti esitellen hankkeensa etenemistä ja tuoden ajankohtaisia ongelmia yhdessä ratkaistavaksi. Opetushallituksen asiantuntijoiden vertaiskumppanina oli koko hankkeen ajan arvioinnin asiantuntija, professori Kathryn Ecclestone Englannista. (Räkköläinen 2005.) Arviointijärjestelmän kehittämisprojektien projektipäälliköiden työtä tuettiin myös vuoden kestävällä koulutus- ja konsultaatio-ohjelmalla. Tämän ns. Profour-koulutuksen tavoitteena oli tukea projektipäälliköiden työskentelyä ja kehittää projektiryhmien toimintaa heidän omissa paikallistason kehittämisprojekteissaan. Koulutuksen ja konsultaation avulla kehitettiin projektien johtamista, ohjaamista sekä projektiorganisaation ja tiimityön rakentamista. Koulutus toteutettiin toiminnallisin menetelmin ja vuorovaikutteisesti osallistujien tarpeista lähtien ja siihen sisältyi noin 10 kokoontumista. (Räkköläinen 2005.) Kansallisella tasolla näyttöjärjestelmän kehittämistyötä johti opetusministeriö ja Opetushallitus koordinoi käytännön kehittämistyön. Opetushallituksessa vastuu jaettiin siten, että Opetushallituksen ammatillisen koulutuksen linja (myöhemmin Ammatillisen koulutuksen kehittäminen -toimintayksikkö) vastasi ammattiosaamisen näyttöjen ja kansallisten näyttöaineistojen kehittämisestä ja arviointiryhmä (myöhemmin Arviointi- ja seurantapalvelut -asiantuntijayksikkö) kansallisen arviointijärjestelmän kehittämisestä. Varsinainen näyttöjen käytännön kehittämistyö toteutettiin kaikki ammatilliset perustutkinnot kattavien oppilaitosten koordinoimien projektien avulla. Myös kansallista oppimistulosten arviointijärjestelmää kehitettiin oppilaitosten johtamissa projekteissa Koppi-hankkeen koordinoimana. (Räkköläinen 2005.) Hankkeen alkuvaiheessa Opetushallituksen asiantuntijoiden tukena kehittämistyössä olivat erityisesti ns. integraatio- ja standardityöryhmät. Integraatiotyöryhmä perustettiin kansallisen arvioinnin ja näyttöjärjestelmän yhteensovittamista varten. Ryhmään kutsuttiin arviointikokeiluun valittujen alojen näyttöjä valmistelevista ryhmistä projektikoordinaattorit ja alakohtaiset asiantuntijat Opetushallituksesta sekä muita vaihtuvia asiantuntijoita opetusministeriöstä, yliopistoista ja tutkimuslaitoksista. Ryhmä kokoontui useita kertoja vuosina 2002 2004. (ks. tarkemmin ryhmistä Räkköläinen 2005.) Standardityöryhmä puolestaan perustettiin laadunvarmennusjärjestelmän, laatuvaatimusten ja standardien kehittämistä varten. Ryhmään kutsuttiin jokaiselta arvioitavalta alalta työelämän edustajia, jotka olivat perehtyneet omissa tehtävissään myös ammatilliseen koulutukseen, sekä oppilaitosten edustajia, jotka olivat olleet aktiivisesti mukana näyttöjärjestelmän ja näyttöaineistojen kehittämisessä. Ryhmä kokoontui intensiivisesti ennen kokeilujen aloittamista ja testauksen jälkeen vielä arvioimaan laadunvarmennusjärjestelmän toimivuutta. (ks. tarkemmin ryhmästä Räkköläinen 2005.) 18

Arviointikokeilun ja arviointijärjestelmän kehittämistyön tukena oli myös opetusministeriön asettama näyttöjen johtoryhmä (18.9.1999), jossa oli mukana keskeisten työmarkkinajärjestöjen edustajia ja muiden sidosryhmien edustajia sekä Opetushallituksen ja opetusministeriön edustajat. Johtoryhmän tehtävänä oli ohjata ja seurata näyttöjen liittämistä ammatillisiin perustutkintoihin ja arviointijärjestelmän integroimista siihen. Arviointijärjestelmän kehittämistyötä tehtiin koko hankkeen ajan kiinteässä yhteistyössä oppilaitosten, näyttöjärjestelmän kehittäjien, työmarkkinajärjestöjen sekä tutkimuslaitosten, korkeakoulujen ja kansainvälisten yhteistyökumppanien kanssa. Tarvittaessa käytettiin eri alojen asiantuntijoita kehittämistyön konsultteina. Hankkeen aikana järjestettiin useita projektien tarpeista lähteviä ja näyttöperusteisen arviointijärjestelmän kehittämistä tukevia koulutustilaisuuksia (mm. laatu- ja vertaisarviointikoulutus). Arvioinnin asiantuntija, professori Kathryn Ecclestone Oxford Brookersin yliopistosta (aikaisemmin Newcastlen, Exeterin ja Nottinghamin yliopistosta) työskenteli Opetushallituksen arvioinnin kehittäjien kanssa hankkeen alusta lähtien vertaisarvioijana (peer evaluator). Kansainvälisen asiantuntijayhteistyön tavoitteena oli tukea Opetushallituksen asiantuntijoita näyttöperusteisen arviointijärjestelmän kehittämistyössä. Kehittämishankkeen aikana (2002 2008) järjestettiin yhteensä 13 työskentelyjaksoa, joista 10 Suomessa ja kolme Englannissa. Jokaiselle työskentelyjaksolle laadittiin erillinen työsuunnitelma ja ohjelma. Kunkin työskentelyjakson keskeiset ajatukset ja ideat raportoitiin työskentelyjakson päätteeksi. Työskentelyjaksojen aikana tutustuttiin eri maiden koulutus- ja arviointijärjestelmiin, perehdyttiin arvioinnin teoreettisiin lähtökohtiin ja erilaisiin laadunvarmennusjärjestelmiin sekä suunniteltiin arviointikokeilut ja niiden käytännön toteutus. Näiden lisäksi tehtiin vierailu- ja tutustumiskäyntejä oppilaitoksiin, työpaikkoihin ja asiantuntijaorganisaatioihin (mm. ammatilliset opettajakorkeakoulut, Awardin Bodyt (todistuksen myöntäjät) Englannissa) sekä haastateltiin lukuisia ammattiosaamisen näyttöjen ja arvioinnin kanssa tekemisissä olevia henkilöitä, kuten opettajia, työelämän edustajia, ammattijärjestöjen edustajia ja opetushallinnon edustajia, tutkijoita ja opiskelijoita. Myös kansallisen arvioinnin edellyttämää laadunvarmennusjärjestelmää ja siihen liittyvää vertaisarviointia kehitettiin ja testattiin tiiviissä yhteistyössä kansainvälisen asiantuntijan kanssa. Samoin koko hankkeen ulkoinen arviointi suunniteltiin ja toteutettiin yhteistyössä Kathryn Ecclestonin kanssa. Työskentelyjaksojen aikana laadittiin kolme raporttia (2005, 2006 ja 2008), joissa tarkasteltiin näyttöperusteisen arviointijärjestelmän vahvuuksia ja ongelmakohtia sekä tuotiin esille kehittämisehdotuksia ja suosituksia näyttöperusteiseen arviointiin siirryttäessä. Vuonna 2005 työstettiin englanninkielinen raportti siihen asti tehdystä kehittämistyöstä sekä sen keskeisistä tuloksista. Työskentelyjaksojen aikana järjestettiin myös kaksi laajaa arvioinnin kehittämisseminaaria (2006 ja 2008). Liitteessä 4 on kooste Koppi-hankkeen tapahtumista ja tilaisuuksista vuosina 2002 2008. 19

3 NÄYTTÖPERUSTEINEN OPPIMISTULOSTEN ARVIOINTIMALLI 3.1 Arviointimallin periaatteet Näyttöperusteisen oppimistulosten arviointijärjestelmän kehittämishankkeessa on kehitetty ja testattu arviointimallia, jossa lähtökohtana on kansallisen arvioinnin integrointi ammatillisten perustutkintojen näyttöihin. Integroinnin välineenä on laadunvarmennusprosessi, jonka avulla varmistetaan arviointitiedon ja arvioinnin luotettavuus, osuvuus, vertailukelpoisuus ja tarkoituksenmukaisuus. Oppimistulosten arviointi pohjautuu opiskelijan osaamisen näyttöperusteiseen arviointiin. Arviointitieto saadaan paikallisista koulutuksen järjestäjän toteuttamista näytöistä. Erillisiä tehtäviä tai näyttöjä ei kansallista arviointia varten organisoida, vaan oppilaitokset toteuttavat näytöt osana omaa opetustaan ja aikataulujaan. Arviointitieto kootaan näytöistä opintokokonaisuuksittain opiskelijan koko opiskeluprosessin ajalta. Kokoavaa jaksoa tai opintokokonaisuutta ei opetussuunnitelman perusteisiin sisälly. Lähtökohtana on myös, että kansalliset tutkintokohtaiset näyttöaineistot tai tutkinnon perusteissa olevat näytön perusteet ohjaavat ammattiosaamisen näyttöjen toteuttamista ja arviointia ja näin korvaavat aikaisemmat yhtenevät tehtävät tai kokeet. Näyttöaineistot on laadittu jokaiseen ammatillisen perustutkinnon opintokokonaisuuteen. Arviointitieto näytöistä kootaan opintokokonaisuuksittain ja arvioinnin kohteittain. Arvioinnin kohteet ja kriteerit sekä arviointitiedon tallentaminen ovat yhtenevät kaikissa tutkinnoissa, mikä yhdenmukaistaa arviointia ja mahdollistaa vertailutiedon tuottamisen. Osaaminen arvioidaan yhteisarviointina eli näytön arvioivat opettaja, työelämän edustaja (työpaikkaohjaaja) ja opiskelija. Arvosana muodostetaan yhteisen keskustelun tuloksena, jolloin myös opiskelijan itsearvioinnin merkitys korostuu. Näin osaamisen arviointi perustuu konsensukseen ja keskinäiseen luottamukseen, eikä ulkopuolisen tahon kontrolliin. Yksi keskeisistä periaatteista on myös, että näyttöperusteinen oppimistulosten arviointi on tavoitelähtöistä ja kriteeriperusteista, jolloin arvioinnin kohteet (osaaminen) ja kriteerit asetetaan ennalta, ja ne ovat kaikkien osapuolten tiedossa. Osaamista arvioidaan suhteessa asetettuihin tavoitteisiin. Kansallinen arviointi on osa koulutuksen laadunvarmennusta. Tämä edellyttää, että näyttöperusteiseen arviointijärjestelmään liitetään palautejärjestelmä, joka tuottaa säännöllisin väliajoin palautetietoa oppilaitosten kehittämistyön tueksi. Arviointitiedon tulee olla hyödynnettävissä osana koulutuksen järjestäjien ja oppilaitosten itsearviointia. Palautejärjestelmän tulee mahdollistaa seurantatietojen kerääminen sekä syväanalyysit esiin nousevista teemoista. Kuviossa 2 on kuvattu oppimistulosten arviointi osana ammattiosaamisen näyttöjärjestelmää. Näyttöjärjestelmällä tarkoitetaan tässä opetussuunnitelmaperusteisessa ammatillisessa peruskoulutuksessa toteutettavia ammattiosaamisen näyttöjä ja niiden pohjalta tehtävää kansallista oppimistulosten arviointia. 20

NÄYTTÖJÄRJESTELMÄ Näyttöjärjestelmä Oppimistulosten arviointi OPS-perusteet Paikallinen OPS Näyttö Valtakunnalliset näyttöaineistot Näyttö Näyttö Näyttö L A A D U N V A R M E N N U S I N F O R M A A T I O J Ä R J E S T E L M Ä I T S E A R V I O I N T I Oppimistulokset Kuvio 2 Näyttöjärjestelmä Yhteenveto arviointimallin periaatteista: - Kansallinen arviointi integroidaan osaksi näyttöjärjestelmää - Arviointitieto tuotetaan paikallisesti toteutetuista ammattiosaamisen näytöistä - Kansalliset näyttöaineistot tai näytön perusteet ohjaavat ammattiosaamisen näyttöjen toteuttamista ja arviointia - Toteutetaan laadunvarmennus ammattiosaamisen näyttöjen toteuttamis- ja arviointiprosessiin. - Arviointiin liittyy palautejärjestelmä, joka tukee oppilaitosten kehittämistyötä ja koulutuksen järjestäjän itsearviointia. 3.2 Arvioitava osaaminen näytössä Kansallisen näyttöperusteisen oppimistulosten arvioinnin lähtökohtana on opetussuunnitelman perusteissa määritetty työelämän edellyttämä ammattitaito. Oppimistulosten arviointi kohdistuu laaja-alaiseen ammatilliseen osaamiseen eli toiminnallisen, tiedollisen, sosiaalisen ja reflektiivisen osaamisen arviointiin. Arvioinnin kohteena on sekä osaaminen että osaamista tuottavat prosessit. Toiminnallinen eli operatiivinen osaaminen ilmentää työtehtävien ja työtoiminnan hallintaa. Kognitiiviset eli tiedolliset prosessit osoittavat kykyä soveltaa teoreettista tietoa, tiedon hallintaa ja asioiden ja prosessien välisten yhteyksien ymmärtämistä sekä työn kokonaisuuden hahmottamiskykyä. Sosiaaliset eli yhteisölli- 21

set prosessit liittyvät kykyyn toimia sekä itsenäisesti että vuorovaikutuksessa muiden kanssa ryhmän jäsenenä tai johtajana. Reflektiiviset eli arvioivat ja kehittävät prosessit liittyvät kykyyn oppia ja kykyyn arvioida ja kehittää sekä omaa että ympäristön toimintaa. (Poikela 1998; Poikela 2002; Poikela & Räkköläinen 2006.) Edellä kuvatut osaamisen ulottuvuudet saavat sisällön kunkin perustutkinnon opetussuunnitelman perusteiden yleisistä tavoitteista sekä opintokokonaisuuksien keskeisistä tavoitteista ja sisällöistä. Opetussuunnitelman perusteissa on kuvattu kunkin opintokokonaisuuden tavoitteet, keskeinen sisältö, osaamisen kiitettävä taso sekä tyydyttävän osaamisen arviointikriteerit. Kansallisessa arvioinnissa arviointitieto kootaan siten, että kaikki osaamisen ulottuvuudet on mahdollista huomioida arvioinnissa. Opiskelijan tulee voida osoittaa näytössä laaja-alaista ammatillista perusosaamista ja koulutusohjelmaopintoihin liittyvää erityisosaamista sekä kaikilla aloilla tarvittavaa ammattisivistystä ja kansalaisvalmiuksia (yhteiset painotukset) sekä yhteisiä valmiuksia (ydinosaamista). Näytössä opiskelijan tulee yhdistää käytäntö- ja teoriatietoa ja soveltaa niitä työelämän toimintakokonaisuuksiin. Myös aiemmin toteutetut kansalliset arvioinnit perustuivat laaja-alaisen ammatillisen osaamisen arviointiin. (ks. tarkemmin Räkköläinen 2005.) Näyttöperusteisessa oppimistulosten arvioinnissa yleiset arvioinnin kohteet ja kriteerit ovat kaikilla aloilla samat ja ne perustuvat opetussuunnitelman perusteisiin. Arviointi kohdistuu työtehtävän, työprosessin, työturvallisuuden ja työn perustana olevan tiedon hallintaan. Myös kaikille aloille yhteisen ydinosaamisen taitojen saavuttaminen sekä yhteisten painotusten valmiuksia arvioidaan. Ydinosaamiseen sisältyvät oppimaan oppimistaidot, ongelmanratkaisutaidot, vuorovaikutus- ja viestintätaidot, yhteistyötaidot ja eettiset ja esteettiset taidot. Yhteisiin painotuksiin sisältyvät kestävä kehitys, teknologian ja tietotekniikan hyödyntäminen, yrittäjyys ja laadukas- ja asiakaslähtöinen palvelutoiminta. (ks. tarkemmin Räkköläinen 2005.) Ennen ensimmäisen arviointikokeilun (pilotti I) käynnistymistä, kansallista arviointia varten laadittiin edellä mainituille arvioinnin kohteille, myös ydinosaamisen ja yhteisten painotusten eri osaamisalueille kuvaukset arvioitavasta osaamisesta sekä yleiset kolmiportaiset arviointikriteerit ammatilliselle osaamiselle, ydinosaamiselle ja yhteisille painotuksille. Kuvaukset johdettiin opetussuunnitelman perusteiden tavoitteista, aikaisemmin toteutettujen kansallisten arviointien kriteeristöistä sekä kansallisten näyttöaineistojen ja asiantuntijatyöskentelyn pohjalta. (ks. kuvaukset tarkemmin Räkköläinen 2005.) Arviointikokeilussa (pilotti I) yleisiä kuvauksia hyödynnettiin näyttöaineistojen laadunvarmennuksessa. Kansallisessa oppimistulosten arvioinnissa ammattiosaamisen näyttöjen yleiset arvioinnin kohteet perustuvat opetussuunnitelman perusteisiin ja ne ovat tiivistettyinä: 1. TYÖTEHTÄVÄN HALLINTA sisältää työmenetelmien, -välineiden ja materiaalin hallinnan 2. TYÖPROSESSIN HALLINTA sisältää suunnittelu-, toteuttamis-, arviointi- ja kehittämisvalmiudet 3. TYÖN PERUSTANA OLEVAN TIEDON HALLINTA sisältää teoreettisen tiedon soveltamisen ja tiedon hallinnan valmiudet 4. TYÖTURVALLISUUDEN HALLINTA sisältää työturvallisuuteen ja työoloihin ja työkykyyn liittyvän tiedon ja toiminnan hallinnan 22

5. YDINOSAAMINEN sisältää opetussuunnitelman perusteissa määritetyn kaikille aloille yhteisen ydinosaamisen - oppimaan oppimisen taidot - ongelmanratkaisutaidot - vuorovaikutus- ja viestintätaidot - yhteistyötaidot - eettiset ja esteettiset/emotionaaliset taidot 6. YHTEISET PAINOTUKSET sisältää opetussuunnitelman perusteissa määritetyt kaikille aloille yhteiset sisällölliset painotukset. Arvioidaan kaikilla aloilla tarvittavaa ammattisivistystä ja kansalaisvalmiuksia - kansainvälisyys - kestävä kehitys - teknologian ja tietotekniikan hyödyntäminen - yrittäjyys - laadukas ja asiakaslähtöinen toiminta - palvelu- ja kuluttajaosaaminen - työsuojelusta ja terveydestä huolehtiminen. Kansallisissa tutkintokohtaisissa näyttöaineistoissa on määritetty arvioitava osaaminen ja arviointikriteerit kunkin opintokokonaisuuden näyttöön. Näyttöaineistossa kullekin arvioinnin kohteelle on laadittu osaamiskuvaus sekä arviointikriteerit tyydyttävälle, hyvälle ja kiitettävälle osaamiselle. Kansalliset näyttöaineistot siis ohjaavat osaamisen arviointia näytöissä, joista kansallinen arviointitieto tuotetaan. Kansallinen näyttöaineisto on laadittu voimassa olevan opetussuunnitelman ja näyttötutkinnon perusteiden pohjalta ja se on laadittu jokaiseen ammatillisen perustutkinnon opintokokonaisuuteen. Aineisto ei ole normi, vaan tukimateriaali, jota koulutuksen järjestäjät voivat käyttää ammattiosaamisen näyttöjen suunnittelun ja toteuttamisen apuna. Aineisto ohjaa ammattiosaamisen näyttöjen paikallista toteuttamista ja yhdenmukaistaa opiskelijan arviointia. Ammattiosaamisen näyttöaineistossa on ohjeet sen käyttäjille ja opintokokonaisuuksittain laaditut osiot, jotka sisältävät näytön kuvauksen, ammattiosaamisen näyttöympäristön kuvauksen ja näytön arvioinnin sekä esimerkkejä ammattiosaamisen näyttöjen toteuttamisvaihtoehdoista. Kuviossa 3 on kuvattu oppimistulosten arviointijärjestelmän integrointi näyttöjärjestelmään ja arvioinnin kohteiden ja kriteerien määrittäminen opintokokonaisuuksien näytöissä. Yleinen arviointikriteeristö on kolmiportainen ja osaaminen kuvataan tyydyttävän hyvän kiitettävän tasoilla. Arviointiasteikko on välillä 1 5. Tyydyttävä taso kuvaa ammatillisen osaamisen vähimmäisvaatimusta, josta seuraavien hyvän ja kiitettävän osaamisen tasojen vaatimukset johdetaan. Osaaminen kumuloituu tasolta toiselle siirryttäessä. Hyvän tason kriteeristö sisältää automaattisesti kaiken sen osaamisen, mitä tyydyttävällä tasolla vaaditaan. Osaamisvaatimukset myös kasvavat ja laajenevat sisällöltään tasolta toiselle siirryttäessä. Tyydyttävä taso sisältää arvosanat 1 ja 2, ja taso hyvä sisältää arvosanat 3 ja 4. Tasokuvauksen korkeamman arvosanan saa, kun arvioitava osaaminen ylittää selvästi tasokuvauksen vähimmäisvaatimukset. Kiitettävän tason arvosana on 5. (ks. tarkemmin Räkköläinen 2005; Poikela & Räkköläinen 2006.) 23

Vuosina 2008 2010 toteutettavan opetussuunnitelmauudistuksen myötä arvioinnin kohteet tulevat vähenemään ja arvosana-asteikko muuttuu kolmiportaiseksi. Uudet opetussuunnitelman perusteet (myöhemmin tutkinnon perusteet) sisältävät näytön perusteet, jotka korvaavat aiemmin käytetyt kansalliset näyttöaineistot. OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄN INTEGROINTI NÄYTTÖJÄRJELMÄÄN Arvioinnin kohteet ja kriteerit Yleiset arviointikohteet Arviointikriteerit Opintokokonaisuus Osaamisalueet OPS 1 2 3.. 6 T H K 1 2 3. 6 T H K Opintokokonaisuuden keskeiset osaamisalueet muodostetaan ja arvioidaan arviointikohteittain. Yleiset arviointikriteerit sovelletaan opetussuunnitelman perusteiden tavoitteista ja sisällöistä. - toiminnallinen - kognitiivinen - sosiaalinen - reflektiivinen kyvykkyys Näyttö Kuvio 3 Arvioinnin kohteiden ja kriteerien määrittäminen opintokokonaisuuksien näytöissä 3.3 Laadunvarmennus ja laatuvaatimukset Kehittämishankkeessa on kehitetty ja testattu kansallisen arvioinnin edellyttämää laadunvarmennusjärjestelmää, jonka tavoitteena on varmistaa arvioinnin luotettavuus, vertailukelpoisuus ja tarkoituksenmukaisuus. Kansallinen arviointi integroidaan ammattiosaamisen näyttöihin laadunvarmennusjärjestelmän avulla. Laadunvarmennuksen avulla yhdenmukaistetaan ammattiosaamisen näyttöjen ja arvioinnin toteuttamisprosessia. Laadunvarmennusjärjestelmän kehittämistä varten perustettiin valmisteluryhmä (ns. standardiryhmä), jonka työskentelyn pohjalta nimettiin näyttöperusteisen arvioinnin kriittiset kohdat kansallisen arvioinnin kannalta. Kriittisiksi kohdiksi nimettiin opetussuunnitelman perusteet, näyttöaineisto, näytössä arvioitava osaaminen sekä arviointikriteerit, näytön suorituspaikka, näytön arvioinnin dokumentointi ja arviointikäytännöt. Kriittiset kohdat on kuvattu tarkemmin liitteessä 6. Näyttöjärjestelmän kriittisiin kohtiin laadittiin laatuvaatimukset, jotka johdettiin ammattiosaamisen näytöille asetetuista tavoitteista, säädöksistä ja annetuista suosituksista. Yleiset laatuvaatimukset ovat seuraavat: 24

Opetussuunnitelmaperusteisuus: Osaaminen, arvioinnin kohteet ja kriteerit vastaavat opetussuunnitelman perusteita Työelämälähtöisyys: Ammattiosaamisen näyttöjen suunnittelu, toteuttaminen ja arviointi toteutetaan oppilaitosten ja työpaikkojen yhteistyönä Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi: Näytön arvioinnille on asetettu ennalta arvioinnin kohteet ja kriteerit, jotka ovat kaikkien osapuolten tiedossa. Opiskelijan osaamista arvioidaan suhteessa asetettuihin tavoitteisiin ja kriteereihin Laaja-alaisen osaamisen arviointi: Näytöissä tulee arvioida laaja-alaista, toiminnallista, tiedollista, sosiaalista ja reflektiivistä osaamista Yhteisarviointi: Näyttöjen arviointiin osallistuvat opiskelija, opettaja ja työelämän edustaja Arviointitiedon tallentamisen yhdenmukaisuus ja läpinäkyvyys: Näyttöjen arviointitieto tallennetaan kaikissa tutkinnoissa yhdenmukaisella tavalla. Yleisten laatuvaatimusten pohjalta laadittiin laatu- ja arviointikriteerit koulutuksen järjestäjän opetussuunnitelmalle, näyttöaineistolle ja näyttöjen toteuttamiselle. Laatu- ja arviointikriteerit on kuvattu seuraavassa: I Koulutuksen järjestäjän opetussuunnitelma 1 Opetussuunnitelman sisältö ja rakenne Vastaavuus valtakunnalliseen opetussuunnitelmaan Vastaavuus työelämän tarpeisiin Näyttöperusteisen arvioinnin huomioiminen Kriteeriperusteisen arvioinnin huomioiminen Vastaavuus kansallisiin näyttöaineistoihin 2 Arvioinnin kohteet (osaaminen) Vastaavuus valtakunnalliseen opetussuunnitelmaan Vastaavuus alan ammattitaitovaatimuksiin Ydinosaamisen ja yhteisten painotusten huomioiminen Vastaavuus kansallisen arvioinnin yleisiin arvioinnin kohteisiin 3 Arviointikriteerit Arviointikriteerit kolmiportaiset (T H K) Vastaavuus työelämän vaatimustasoon Arviointiasteikko 1 5 Arviointikriteerien johdonmukaisuus ja erottelukyky Kriteerien ammatillisen osaamisen laaja-alaisuus Vastaavuus kansallisen arvioinnin yleisiin arviointikriteereihin 4 Arviointikäytäntö Arvioijien kouluttaminen Opiskelijoiden perehdyttäminen Yhteistyö työelämän kanssa 25

Kriteeriperusteisen arvioinnin toteutuminen Näyttöperusteisen arvioinnin toteutuminen Oppimisen ja ammatillisen kasvun tukeminen 5 Dokumentointi Dokumentoinnin selkeys ja yksiselitteisyys Dokumentoinnin välineet II Näyttöaineistot 1 Näyttöaineiston sisältö ja rakenne Vastaavuus näyttöjen kehittämisperiaatteisiin Vastaavuus valtakunnalliseen opetussuunnitelmaan Keskeisen osaamisen ja alan erityisvaatimusten huomioiminen Aineiston selkeys ja käyttökelpoisuus Käsitteiden ja määritelmien johdonmukaisuus Soveltamismahdollisuudet paikallisiin olosuhteisiin 2 Näyttöympäristö Näyttöympäristön kuvauksen sisältö Vastaavuus työelämän toimintaympäristöön Monipuolisuus ja vaihtoehdot Vastaavuus opintokokonaisuuden tavoitteisiin Laaja-alaisen ammatillisen osaamisen arvioinnin mahdollistaminen Oppimistilanteen toteutuminen 3 Arvioinnin kohteet Vastaavuus valtakunnalliseen opetussuunnitelmaan Vastaavuus työelämän toimintaympäristöön Laaja-alaisen ammatillisen osaamisen arvioinnin toteutuminen Olennaisen ammattitaitovaatimuksen kuvaus Vastaavuus kansallisen arvioinnin yleisiin arvioinnin kohteisiin Ydinosaamisen ja yhteisten painotusten huomioiminen. III Näyttöjen toteuttaminen (arviointikäynnit) 1 Näyttöympäristön arviointi Miten näyttöympäristö vastaa työelämän toimintaympäristöä? Miten näyttöympäristö vastaa opintokokonaisuuden tavoitteita? Miten näyttöympäristö mahdollistaa laaja-alaisen ammatillisen osaamisen osoittamisen ja arvioinnin? Miten näytöt ja työssäoppimisjakso yhdistetään? Miten näyttöympäristössä toteutetut näytöt ovat vertailukelpoisia eri oppilaitosten organisoimien näyttöjen kanssa? 2 Näytön arviointitilaisuuteen osallistuminen Yhteisarvioinnin toteutuminen Opiskelijan itsearvioinnin toteutuminen Arviointikriteerien käyttö ja toimivuus Arvioinnin kohteiden osuvuus Arviointi oppimistilanteena Dokumentointi Arvioinnin vertailtavuus ja luotettavuus Yhteisarvioinnin merkitys eri osapuolille 26

3 Opettajien, opiskelijoiden ja työelämän edustajien haastattelut Miten yhteinen näkemys arvosanasta syntyy? Millaisia ongelmia arvosanan muodostamisessa mahdollisesti oli (esimerkiksi ristiriitatilanteet)? Miten dokumentaatio tehtiin? Miten standardeja ja kriteerejä käytettiin? Millä tasolla opiskelijan näyttö arvioitiin? Miten kriteerit ymmärrettiin ja mitä mahdollisia ongelmia oli? Millainen merkitys näytöillä on eri osapuolille? Miten eri osapuolet kokevat yhteisarvioinnin? Toimivatko näytöt siinä tarkoituksessa, johon ne on tarkoitettu (formatiivinen ja summatiivinen arviointi, oppiminen, ammatillinen kasvu, työelämäyhteys)? Miten ulkoiseen vertaisarviointiin suhtaudutaan? Millaisia ajatuksia eri osapuolilla on näyttöjen ja niiden arvioinnin vertailukelpoisuudesta? (ks. myös Räkköläinen 2005.) Näiden edellä lueteltujen laatu- ja arviointikriteerien pohjalta toteutettiin varsinainen ulkoinen laadunvarmennus koulutuksen järjestäjän opetussuunnitelmaan, näyttöaineistoon ja näyttöjen käytännön toteuttamiseen ja arviointiin arviointikokeilussa. Ulkoinen laadunvarmennusprosessi arviointikokeilussa on kuvattu kokonaisuudessaan luvussa 4.3. Laadunvarmennusjärjestelmän kehittämistyön yhteydessä kehitettiin myös näyttöjen suunnittelua, toteuttamista ja arviointia koskevat opettajan, opiskelijan ja työelämän edustajan taustakyselyt. Kyselyt ovat osa kansallisen oppimistulosten arvioinnin edellyttämää laadunvarmistusta, jolla seurataan laatuvaatimusten toteutumista ja näyttöjärjestelmän toimivuutta. Kyselyt laadittiin edellä kuvattujen laatuvaatimusten ja -kriteerien pohjalta. Kyselyillä saadaan tietoa mm. näyttöjen suunnittelusta ja toteuttamisesta, arvioinnin osuvuudesta ja yhdenmukaisuudesta, arviointikäytännöistä, ammattiosaamisen näyttöjen integroinnista opetukseen ja opetussuunnitelmiin sekä ammattiosaamisen näyttöjen merkityksestä oppimiselle. Kyselyt ovat olleet käytössä molemmissa kehittämishankkeen arviointikokeiluissa. Eri osapuolten kyselyt ovat liitteessä 7. Myös vertaisarviointia osana näyttöperusteisen arvioinnin laadunvarmennusta kehitettiin ja testattiin kehittämishankkeen aikana. Vertaisarvioinnin tavoitteena on varmistaa näyttöjen ja arvioinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Tavoitteena on, että koulutuksen järjestäjät ja oppilaitokset toteuttaisivat tulevaisuudessa keskenään vertaisarviointia ja hyödyntäisivät toisilta opittuja hyviä käytäntöjä ammattiosaamisen näyttöjen järjestämisessä ja arvioinnissa. Hankkeen aikana perehdyttiin vertaisarvioinnin periaatteisiin, kehitettiin vertaisarvioinnin työkaluja ja valmennusohjelma, koulutettiin vertaiskehittäjiä ja tuotettiin tukimateriaalia vertaisarviointien toteuttamiseen. Vertaisarvioinnin kehittämisestä ja kokeiluista on kerrottu tarkemmin luvussa 5. 27

Seuraavassa kuviossa 4 on kuvattu laadunvarmennusjärjestelmän kehittämisprosessi. LAADUNVARMENNUSJÄRJESTELMÄN KEHITTÄMINEN KANSALLISEEEN NÄYTTÖPERUSTEISEEN ARVIOINTIIN Näyttöjärjestelmän kriittisten kohtien nimeäminen kansallisen arvioinnin kannalta 1 2 3 4 5 6 Näyttöjen yleiset laatuvaatimukset arviointikohteet Opetussuunnitelmaperusteisuus Työelämälähtöisyys Tavoitelähtöinen ja kriteeriperusteinen arviointi Laaja-alaisen osaamisen arviointi Yhteisarviointi Yhtenäinen dokumentointi Laatu- ja arviointikriteerit 1 2 3 Koulutuksen järjestäjän opsiin Näyttöaineistoon Näyttöjen toteuttamiseen ja arviointiin K y s e l y t V e r t a i s a r v i o i n t i Näytöille asetetut tavoitteet, säädökset, suositukset Kuvio 4 Laadunvarmennusjärjestelmän kehittämisprosessi 3.5 Arviointitiedon kokoaminen ja raportointi Arviointitieto näytöistä kootaan kaikissa tutkinnoissa yhdenmukaisella tavalla, jolloin yleisten arvioinnin kohteiden ja kriteerien lisäksi myös arviointitiedon tallentaminen ovat yhtenevät kaikilla aloilla. Tämä yhdenmukaistaa arviointia ja mahdollistaa vertailutiedon tuottamisen. Ammattiosaamisen näyttöjen arvosanat tallennetaan opiskelija- ja oppilaitoskohtaisesti tutkinnoittain, opintokokonaisuuksittain ja arviointikohteittain ja arviointi kirjataan yhtenäiselle opintokokonaisuuden näyttöarvosanan dokumentointilomakkeelle (ks. liite 8. Näytön arvosanan dokumentointilomake). Arviointitietoa näytöistä voidaan koota usealla eri tavalla. Kehittämishankkeessa suunniteltiin erilaisia vaihtoehtoja kansallisen arviointitiedon kokoamiseksi näytöistä. Kansallisen näyttöperusteisen arviointitiedon keruu voi perustua otantaan, jolloin tutkinnot ja näytöt valitaan kansalliseen arviointiin etukäteen. Samoin voidaan valita, seurataanko samojen opiskelijoiden oppimistuloksia koko opiskelun ajan vai kerätäänkö tieto kertaluonteisesti. Arviointitieto voidaan koota myös kaikista tutkinnon näytöistä. (ks. tiedonkeruun malleista tarkemmin Räkköläinen 2005.) Kehittämishankkeessa lähdettiin testaamaan kahta arviointitiedon keruumallia, niin sanottua seuranta- ja poikkileikkausmallia. Näitä tiedonkeruumalleja ehdotettiin Opetusministeriölle myös varsinaisen arvioinnin tiedonkeruumalleiksi vuonna 2007 käynnistyneessä arvioinnissa. Molemmat mallit ovat otospohjaisia eli niihin valitaan etukäteen tietyt tutkinnot ja näytöt. Seurantamallissa kansalliseen arviointiin valitaan tutkinnoista vain parhaimmat ja edustavimmat näytöt. Valinnan perusteena on, että ammattiosaamisen näyttö 28

on riittävän kattava, se on mahdollista tehdä työpaikalla ja siinä arvioidaan ammatillisen osaamisen kannalta keskeisiä valmiuksia. Seurantamallissa arviointitietoa kerätään samalta opiskelijalta koko hänen koulutuksensa ajalta. Arviointitiedon tuottaminen yksittäisestä tutkinnosta kestää tällöin noin kolme vuotta. Poikkileikkausmallissa kansalliseen arviointiin valitaan tutkinnoista vain parhaimmat ja edustavimmat näytöt opintojen alusta, opintojen keskivaiheilta ja opintojen lopusta. Oppilaitokset ovat samoja, mutta opiskelijat vaihtelevat näytöittäin. Tässä tiedonkeruumallissa ei siis seurata yksittäisen opiskelijan osaamisen kehittymistä, vaan se antaa yleistä tietoa oppimistuloksista tietyissä oppilaitoksissa ja tutkinnoissa. Tämä malli tuottaa arviointitiedon koko tutkinnosta nopeasti. Sekä poikkileikkaus- että seurantamallissa päätös arviointiin tulevista opintokokonaisuuksien näytöistä tehtäisiin yhteistyössä ko. alan asiantuntijoiden (opettajien, työelämän edustajien, ammatillisen koulutuksen kehittäjien) kanssa. Oppimistuloksista tuotetaan valtakunnallista vertailutietoa. Tulokset raportoidaan tutkinnoittain, opintokokonaisuuksittain ja arvioinnin kohteittain, jolloin tutkintojen välinen vertailu on mahdollista. Oppilaitokset saavat myös oppilaitoskohtaiset tulokset, mikä tukee oppilaitosten itsearviointia. Laadunvarmennusprosessin tuottama tieto raportoidaan sekä oppilaitoskohtaisina raportteina että osana valtakunnallisia tuloksia. Kansallinen arviointitieto julkaistaan siten, ettei yksittäisten oppilaitosten tuloksia ole mahdollista tunnistaa. 29

4 ARVIOINTIKOKEILUT KEHITTÄMISHANKKEESSA 4.1 Arviointikokeilujen tarkoitus ja keskeiset kysymykset Kehittämishankkeessa toteutettiin kaksi arviointikokeilua, joista ensimmäinen (pilotti I) toteutettiin vuosina 2002 2003 ja toinen (pilotti II) 2004 2007. Arviointikokeiluissa testattiin näyttöperusteista oppimistulosten arviointimallia ja kansallisen arvioinnin edellyttämää laadunvarmennusjärjestelmää käytännössä. Arviointikokeilujen avulla haluttiin saada tietoa siitä, millaista arviointitietoa näytöt tuottavat kansallista arviointia varten, millainen laadunvarmennusprosessi on tarkoituksenmukainen arviointitiedon luotettavuuden varmistamiseksi kansallisella ja paikallisella tasolla sekä millaisia käytännön ongelmia integroidun mallin toteuttamiseen liittyy. Myös arviointitiedon luotettavuuden varmistamiseksi kehitetyt yleiset laatuvaatimukset sekä ulkoiseen arviointiin perustuva laadunvarmennusprosessi testattiin arviointikokeilussa. Kokeilun tarkoituksena oli myös selvittää, miten osaamista tulisi seurata ja arviointitietoa koota näytöistä kansallista arviointia varten, kun arviointimalli otetaan valtakunnallisesti käyttöön. Ensimmäisessä arviointikokeilussa (2002 2003) tarkasteltiin erityisesti arviointitiedon luotettavuuteen ja tarkoituksenmukaisuuteen liittyviä kysymyksiä sekä sitä, millaisia jännitteitä ilmenee kansallisen arvioinnin ja paikallisesti toteutetun näyttöperusteisen arvioinnin yhteensovittamisessa. Toisessa arviointikokeilussa painopiste oli edelleen arviointitiedon luotettavuuden ja vertailukelpoisuuden kysymyksissä sekä mallin käytännön toimivuudessa. Erityistä huomiota kiinnitettiin ammattiosaamisen näyttöaineistojen toimivuuteen, arviointikäytäntöjen ja palautejärjestelmän kehittämiseen. Kokeilujen tulosten pohjalta on laadittu ehdotus kansalliseksi oppimistulosten arviointi- ja laadunvarmennusjärjestelmäksi sekä suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja informaatiojärjestelmästä. Seuraavassa on esitetty arviointikokeilujen keskeiset kysymykset. (Räkköläinen & Ecclestone 2005; Räkköläinen 2005.) I) Mikä on ammattiosaamisen näyttöjen rooli kansallisessa oppimistulosten arviointijärjestelmässä? Millaista tietoa oppimistuloksista ammattiosaamisen näyttöperusteinen arviointi tuottaa? Voiko näytöistä saatavaa tietoa käyttää kansallisessa oppimistulosten arvioinnissa? Mitä vaikutuksia kansalliseen järjestelmään on opintokokonaisuuksittain toteutettavilla näytöillä? Perustuvatko näytöt opetussuunnitelman perusteisiin? Mitkä eri sidosryhmät voivat hyödyntää näytöistä saatavaa oppimistulosten arviointitietoa? Mitkä ovat ammattiosaamisen näyttöjen vahvuudet ja heikkoudet kansallisen oppimistulosten arviointijärjestelmän perustana? 30

II) III) Millainen laadunvarmennus tarvitaan kansallista oppimistulosten arviointia varten? Millaisia standardeja ja kriteerejä tarvitaan laadunvarmennusta ja laatukontrollia varten? Millaisia vaikutuksia on yhteisarvioinnilla (internal moderation) oppimistulosten arvioinnin luotettavuuteen? Millaisia vaikutuksia on vertaisarvioinnilla (external moderation) oppimistulosten arvioinnin luotettavuuteen? Millaista koulutusta ja muuta tukea arvioitsijat oppilaitoksissa ja työelämässä tarvitsevat? Millaista dokumentointia laadunvarmennus ja laatukontrolli edellyttävät? Mikä osuus oppilaitosten itsearvioinnilla on laadunvarmennusjärjestelmässä? Mikä on Opetushallituksen tehtävä laadunvarmennuksen ja laatukontrollin toteuttamisessa? Mikä on eri sidosryhmien tehtävä laadunvarmennuksen ja laatukontrollin toteuttamisessa? Tarvitaanko jatkossa kevyt akkreditointiprosessi osana laadunvarmennusta? Millaisia käytännön ongelmia liittyy valitun oppimistulosten arviointimallin toteuttamiseen? Millaisiksi laadunvarmennuksen kriittiset kohdat osoittautuvat arviointikokeilun aikana ja millaisia uusia käytännön ongelmia niihin mahdollisesti liittyy? Millaista uutta tietoa integrointiin liittyvistä käytännön ongelmista saadaan kokeilun aikana? Vertailtavuusongelma käytännössä Ajoitusongelma käytännössä Päällekkäisyysongelma käytännössä Millaisia ratkaisuja voi löytää ongelmakohtiin? 4.2 Arviointikokeilujen toteutus Ensimmäinen arviointikokeilu toteutettiin vuosina 2002 2003 yhteistyössä näyttöaineistoja näyttöpilottiprojektissa mukana olevien oppilaitosten kanssa. Näyttöperusteista arviointimallia testattiin sosiaali- ja terveysalan, talotekniikan ja rakennusalan perustutkinnoissa. Kokeiluun osallistui 190 opiskelijaa ja seitsemän ammatillista oppilaitosta. Arviointitietoa saatiin 376 näytöstä. Tämän arviointikokeilun tulokset raportoitiin 2004. Toinen arviointikokeilu totutettiin vuosina 2004 2007 yhteistyössä arviointijärjestelmän kehittämisprojektien, Sote Järkevä-, Konsensus-, Arvo- ja Arvi-projektien ja niiden yhteistyöoppilaitosten kanssa. Arviointikokeilussa oli mukana 35 oppilaitosta, 2 346 opiskelijaa ja arviointitietoa saatiin 3 275 näytöstä 14 eri perustutkinnosta. Tämän arviointikokeilun tuloksista laadittiin raportti vuonna 2008. Kukin kokeiluun osallistunut oppilaitos sai palautteen myös omista tuloksistaan jo kehittämisvaiheen aikana. Arviointikokeiluissa oppimistulosten arviointitieto koottiin arviointimallin periaatteiden mukaisesti suoraan koulutuksen järjestäjän organisoimista ammattiosaamisen näytöistä. Arviointitiedon keruu perustui pääosin ns. poikkileikkausmalliin, jolloin arviointitietoa kerättiin kenen tahansa opiskelijan näytöistä opintojen eri vaiheilta projektien ja oppilaitosten omien suunnitelmien ja aikataulujen mukaan. Tässä tiedonkeruumallissa ei siis seurattu yksittäisen opiskelijan osaamisen kehittymistä, vaan se antoi yleistä tietoa oppimistuloksista tietyissä oppilaitoksissa ja tutkinnoissa. Kokeilussa testattiin myös ns. seuranta- 31

mallia, mutta näyttöjen määrä tässä mallissa jäi vähäiseksi, eikä seurantamallin tuloksia voitu raportoida erikseen. Arviointikokeilun käytännön toteutuksesta vastasivat Koppi-hankkeen projektipäälliköt yhdessä yhteistyöoppilaitostensa kanssa. Opetushallitus laati ohjeet näyttöjen toteuttamiseen ja arviointiin sekä arviointitiedon dokumentointiin. Näiden ohjeiden pohjalta hankkeiden projektipäälliköt perehdyttivät yhteistyöoppilaitoksensa arviointikokeiluun. Arviointikokeilua varten oppilaitoksessa nimettiin yhdyshenkilö, joka vastasi kokeilusta ko. oppilaitoksessa. Oppilaitokset toteuttivat näytöt omien suunnitelmien ja aikataulujen mukaan ja toimittavat arviointitiedot joko suoraan Opetushallitukseen tai projektipäällikölle, joka toimitti ne Opetushallitukseen. Opetushallituksen seuranta- ja arviointipalvelut -asiantuntijayksikkö vastasi tulosten analysoinnista ja raportoinnista. Ensimmäisen arviointikokeilun tulokset raportoitiin joulukuussa 2003 ja toisen arviointikokeilun tulokset keväällä 2008. Kaikki arviointikokeiluissa mukana olleet oppilaitokset saivat oppimistuloksista ja kyselyn tuloksista oppilaitoskohtaiset palauteraportit (2003, 2006 ja 2007). 4.3 Laadunvarmennus arviointikokeiluissa Arviointikokeiluissa testattiin myös kansallisen arvioinnin edellyttämää laadunvarmennusjärjestelmää, jonka tavoitteena on varmistaa arvioinnin luotettavuus, vertailukelpoisuus ja tarkoituksenmukaisuus. Laadunvarmennuksen avulla yhdenmukaistetaan myös näyttöjen toteuttamista ja arviointia. Laadunvarmennus ensimmäisessä arviointikokeilussa (pilotti I) Ensimmäisessä arviointikokeilussa kaikki arviointikokeilussa mukana olleet oppilaitokset osallistuivat ulkoiseen laadunvarmennukseen. Ulkoinen laadunvarmennus toteutettiin luvussa 3.4 esitettyjen laatu- ja arviointikriteerien pohjalta. Laadunvarmennus kohdistui koko prosessiin opetussuunnitelmista ja näyttöaineistoista näyttöjen suunnitteluun, toteuttamiseen ja arviointiin. Laadunvarmennusprosessi sisälsi kirjallisen aineiston (koulutuksen järjestäjän opetussuunnitelma ja näyttöaineisto) arvioinnin, arviointikäynnit oppilaitoksen toteuttamiin näyttöihin, vertaisarviointitilaisuudet sekä arvioinnin raportoinnin. Ulkoisina arvioijina toimivat opetuksen ja ammatillisen koulutuksen sekä työelämän asiantuntijat, jotka valittiin alakohtaisen asiantuntemuksen mukaan. Arviointi- ja laatukriteerien pohjalta koulutuksen järjestäjän opetussuunnitelmaa ja näyttöaineistoja arvioitiin suhteessa valtakunnallisen opetussuunnitelman tavoitteisiin. Koulutuksen järjestäjän opetussuunnitelmassa arviointi kohdistui arvioinnin kohteisiin ja kriteereihin sekä arviointikäytäntöön ja dokumentointiin. Näyttöaineiston arvioinnissa kiinnitettiin huomiota aineiston sisältöön ja rakenteeseen, näyttöympäristöön, arvioinnin kohteisiin ja kriteereihin sekä arviointikäytäntöön ja dokumentointiin. Arviointikäynneillä ulkoiset arvioijat tutustuivat erilaisiin näyttöympäristöihin, osallistuivat näytön arviointitilaisuuteen sekä haastattelivat opiskelijoita, opettajia ja työelämän edustajia (työpaikkaohjaajia). Näyttöympäristön arvioinnissa kiinnitettiin huomiota mm. siihen, vastaako näyttöympäristö työelämän toimintaympäristöä ja opintokokonaisuuden tavoitteita ja mahdollistaako se laaja-alaisen ammatillisen osaamisen arvioinnin. Näytön arviointitilaisuudessa havainnoitiin mm. yhteisarvioinnin, opiskelijan itsearvioinnin ja kriteeripe- 32

rusteisen arvioinnin toteutumista, arvioinnin osuvuutta ja näytön arvioinnin tallentamista. Näyttöympäristön arvioinnissa ja arviointitilaisuudesta tehtyjä havaintoja syvennettiin ja tarkennettiin eri osapuolten haastatteluissa. Haastatteluissa tiedusteltiin näyttöjen toteuttamiseen ja arviointiin liittyviä asioita kuten esimerkiksi sitä, millaisia ongelmia arvosanan muodostamassa mahdollisesti oli, miten arviointikriteerit toimivat ja miten ne ymmärrettiin sekä miten yhteisarviointi koettiin. Kirjallisen aineiston arvioinnin ja arviointikäyntien lisäksi järjestettiin myös vertaisarviointitilaisuuksia (external moderation), joissa saman alan eri oppilaitosten opettajat ja työelämän edustajat vertailivat arviointikokemuksia ja -tuloksia ja vaihtoivat näkemyksiään näytön ja arvioinnin toteutumisesta. Tällaisia keskustelu- ja kehittämistilaisuuksia järjestettiin jokaisella koulutusalalla yksi tai kaksi. Ulkoisen laadunvarmennusprosessin yhteydessä tavattiin myös oppilaitoksen johtoa, joiden kanssa keskusteltiin arviointikokeilun etenemisestä, näytöistä ja niiden toteuttamiseen ja arviointiin liittyvistä asioista ja mahdollisista ongelmakohdista sekä annettiin palautetta ulkoisesta arvioinnista. Laadunvarmennuksen jälkeen oppilaitokset saivat oppilaitoskohtaisen arviointipalautteen laadunvarmennuksesta. (ks. tarkemmin Räkköläinen 2005.) ULKOISEN ARVIOINNIN KOHTEET OPPIMISTULOSTEN ARVIOINTIKOKEILUSSA 2002 2003 I Kirjallisen aineiston arviointi Koulutuksen järjestäjän opetussuunnitelma (arvioinnin kohteet, kriteerit, arviointikäytäntö, dokumentointi) Näyttöaineistot (sisältö ja rakenne, arviointikohteet, kriteerit, näyttöympäristö, arviointikäytäntö, dokumentointi) II Arviointikäynnit Näyttöympäristön toimivuus Näytön arviointitilaisuuteen osallistuminen Opettajan, opiskelijan ja työelämän edustajan haastattelut III Vertaisarviointi (External moderation) Keskustelu ja kehittämistilaisuus Johdon tapaaminen Raportointi Ulkoisen arvioinnin tulokset oppilaitoksille Kuvio 5 Ulkoisen laadunvarmennuksen vaiheet ensimmäisessä arviointikokeilussa (pilotti I). (Räkköläinen 2005, 39.) Ulkoisen laadunvarmennusprosessin lisäksi laatuvaatimusten toteutumista seurattiin myös opiskelijan, opettajan ja työelämän edustajien taustakyselyillä. Kyselyillä saatiin tietoa laatuvaatimusten toteutumisesta kuten näyttöjen toteuttamisesta, arvioinnin osuvuudesta ja yhdenmukaisuudesta, kriteeriperusteisen arvioinnin toteutumisesta, arviointikäytännöistä 33

ja näyttöjen vaikutuksista opiskelijan oppimiseen ja oppilaitoksen ja työelämän väliseen yhteistyöhön. Laadunvarmennus toisessa arviointikokeilussa (pilotti II) Toisessa arviointikokeilussa (pilotti II) laadunvarmennus pohjautui näyttöjen minimilaatuvaatimuksiin, paikallisen tason vertaisarviointiin, arvioijien koulutukseen (ns. laatukoulutus) eri osapuolten taustakyselyihin sekä näyttöjen yleisiin laatuvaatimuksiin. Minimilaatuvaatimuksia olivat näyttöjen yhtenäiset arvioinnin kohteet ja kriteerit sekä yhdenmukainen arviointitiedon tallentaminen kaikissa tutkinnoissa. Ammattiosaamisen näyttöjen toteuttamista ja arviointi ohjattiin laadunvarmennetuilla kansallisilla näyttöaineistoilla. Vertaisarviointia syvennettiin ja laajennettiin koskemaan koko näyttötoimintaan näytön suunnittelusta näytön toteuttamiseen ja arviointiin. Vertaisarviointi sisälsi seuraavia vaiheita: näyttöympäristön arvioinnin, näytön arviointitilaisuuden havainnoin sekä opiskelijan, opettajan ja työelämän edustajien haastattelut. Vertaisarvioinnille asetettiin tavoitteeksi varmistaa näyttöjen ja arvioinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Arviointi perustui ennalta sovittuihin toiminnan kohteisiin ja kriteereihin. Vertaisarvioijina toimivat arviointijärjestelmän kehittämisprojektien projektipäälliköt sekä Opetushallituksen edustajat. Vertaisarvioinnin päätteeksi oppilaitokselle annettiin suullinen sekä myöhemmin kirjallinen palaute arvioinnista. Arviointikokeilussa toteutettiin Koppi-hankeen koordinoimana kaksi vertaisarviointikokeilua yhteistyössä arviointijärjestelmän kehittämisprojektien kanssa. Tämän jälkeen vertaisarvioinnin kehittämistä jatkettiin oppilaitosten vetämissä hankkeissa sekä myöhemmin vielä Opetushallituksen koordinoimassa vertaisarvioinnin jatkohankkeessa. Kokeiluissa perehdyttiin vertaisarvioinnin periaatteisiin, kehitettiin vertaisarvioinnin valmennusohjelma, koulutettiin vertaiskehittäjiä ja tuotettiin tukimateriaalia ja arviointityökaluja vertaisarviointien toteuttamiseen. Vertaisarvioinnin kehittämisestä ja kokeiluista on kerrottu enemmän luvussa 5. Vertaisarvioinnin lisäksi Koppi-hankkeen koordinoimana järjestettiin myös ns. laatukoulutusta (2004) kehittämishankkeiden projektipäälliköille ja heidän yhteistyökumppaneille. Koulutuksen tavoitteena oli kehittää oppimistulosten arvioinnin ja laadunvarmennuksen yhdenmukaisuutta sekä tukea projektien laadunvarmennussuunnitelmien toteuttamista. 4.4 Tuloksia arviointikokeiluista Tässä luvussa esitellään tiivistetysti ja yleisellä tasolla (sisältäen kaikkien tutkintojen tulokset) molempien arviointikokeilujen keskeiset johtopäätökset sekä tulokset oppimistuloksista ja kyselyn tuloksista. Molemmista kokeiluista on laadittu erilliset tulosraportit (Räkköläinen, M. Kansallisen ammattiosaamisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä. Arviointi 3/2005. Arviointikokeilu 2. Raportti oppimistuloksista ja kyselyn tuloksista. 2004 2007. Moniste 4/2008. Opetushallitus). Arviointikokeilut osoittivat, että näytöt ovat osuvia (valideja) ja eri osapuolia motivoivia ammatillisen osaamisen arvioinnin välineitä. Eri osapuolet tuovat esiin, että näytöt lisäävät arvioinnin osuvuutta, relevanssia ja autenttisuutta. Aikaisemmassa yhteneviin päättökokeisiin perustuvassa mallissa korostettiin enemmän arviointitiedon reliabiliteettia eli vertailta- 34

vuutta, mutta näyttöperusteisessa arvioinnissa painottuu enemmän validiteetti. Arvioinnin osuvuus ja autenttisuus lisääntyvät, koska näytöt perustuvat oppilaitosten ja työelämän paikalliselle yhteistyölle ja ne antavat mahdollisuuden yhteisarviointiin. Arvioinnissa korostetaan enemmän joustavuutta ja ammattiosaamisen näyttöjen soveltamista aitoihin työelämän tilanteisiin kuin yhdenmukaista toteuttamistapaa. Verrattuna erillisiin päättökokeisiin ammattiosaamisen näyttöihin pohjautuva malli tuo paikalliselta tasolta uudenlaista arviointitietoa oppimisen ja opetuksen laadusta. (Räkköläinen, 2005.) Kansallisen arvioinnin kannalta ammattiosaamisen näyttöjen ongelmat liittyvät nimenomaan arvioinnin reliabiliteettiin. Näytöt on suunniteltu lisäämään ennen kaikkea arvioinnin osuvuutta ja relevanssia, eikä niinkään ole korostettu niiden yhdenmukaisuutta ja toistettavuutta. Arviointikokeilut osoittivat, että näyttöjen organisointi- ja arviointikäytännöt vaihtelevat paljon tutkinnoittain, opintokokonaisuuksittain ja oppilaitoksittain. Osa laatuvaatimuksista ei toteudu lainkaan. Tarvetta laadunvarmistamiselle on olemassa jo opiskelijoiden oikeudenmukaisen arvioinnin takaamiseksi (esimerkiksi näyttötodistukset) ja opiskelija-arvioinnin laadun kehittämiseksi. Näin ollen on siis löydettävä tasapaino validiteettija reliabiliteettivaatimusten välillä. (Räkköläinen, 2005.) Arviointikokeilut osoittivat, että näytöissä on mahdollista arvioida laaja-alaista ammatillista osaamista, etenkin työpaikalla toteutettavissa, riittävän laajojen opintokokonaisuuksien (usein pitkäkestoisissa) näytöissä. Laajuudeltaan suppeissa opintokokonaisuuksissa ei kuitenkaan ole mielekästä pyrkiä arvioimaan kaikkia yleisiä arvioinnin kohteita. Kokeiluissa on tullut esiin, että kaikille aloille yhteisen ydinosaamisen arviointi sopii useimpiin ammatillisen osaamisen näyttöihin. Sen sijaan yhteisten painotusten arvioinnin tulisi olla systemaattisempaa ja arvioitavan osaamisen sisältöjä tulisi avata opetussuunnitelman perusteissa enemmän, jotta kansallisen vertailutiedon kokoaminen olisi niistä mahdollista. Myös ydinosaamisten sisältöjä tulisi avata enemmän opetussuunnitelman perusteissa, jotta niistä voisi saada luotettavaa arviointitietoa. (Räkköläinen, 2005.) Arviointikokeilut osoittivat, että kaikille aloille yhteiset yleiset arvioinnin kohteet ja yhtenäinen näytön arvosanan dokumentaatiolomakkeen käyttö mahdollistavat tutkintojen välisen vertailun. Yhtenäinen dokumentaatio mahdollistaa myös tulosten tarkastelun ja vertailun opintokokonaisuuksittain, mikä tukee oppilaitoksia erityisesti opetuksen ja opetussuunnitelman kehittämisessä. (Räkköläinen, 2005.) Nykyiset opetussuunnitelman perusteet eivät vielä tue riittävästi näyttöperusteista arviointia, joten arviointiin vaikuttaa erityisesti, miten näytöt on liitetty osaksi koulutuksen järjestäjän omaa opetussuunnitelmaa. Tällä hetkellä opetussuunnitelmat eivät myöskään anna mahdollisuutta seurata opiskelijan osaamisen kehittymistä opintojen edetessä (transfer). Kehittymisen seuraaminen on mahdollista vain hyvin yleisellä tasolla yleisten arviointikohteiden avulla ja silloinkin johtopäätösten tekeminen oppimisen siirtovaikutuksesta on epävarmaa, koska opetussuunnitelman perusteita ei ole rakennettu tämän ajattelun mukaisesti. (Räkköläinen, 2005.) Näyttöjen arvosanat, toteuttamis- ja arviointitavat Taulukossa 1 on esitetty arviointikokeilujen aineisto. Kuten taulukosta havaitaan, oli toinen arviointikokeilu (pilotti II) ensimmäistä kokeilua (pilotti I) huomattavasti laajempi. Ensimmäisessä arviointikokeilussa oli mukana 190 opiskelijaa seitsemästä oppilaitoksesta. Arviointitietoa saatiin 376 näytöstä kolmesta eri tutkinnosta. Toisessa kokeilussa oli mu- 35

kana 35 oppilaitosta, 2 346 opiskelijaa ja arviointitietoa saatiin 3 275 näytöstä 14 eri perustutkinnosta. Taulukko 1 Arviointikokeilujen aineisto arviointikokeiluissa 2002 2003 ja 2004 2007 Arviointikokeilu I 2002 2003 N Arviointikokeilu II 2004 2007 N Arviointiaineisto Koulutuksen järjestäjiä 7 32 Oppilaitoksia 7 35 Opiskelijoita 190 2 346 Perustutkintoja 3 14 Opintokokonaisuuksia 11 144 Näyttöjä 376 3 275 Opettajan vastauksia 247 696 Opiskelijan vastauksia 343 877 Työelämän edustajan vastauksia 143 605 Molemmissa arviointikokeiluissa opiskelijalle annetut arvosanat olivat hyviä. Yleisin arvosana kaikilla arvioinnin kohteilla oli H4. Myös yleisin opintokokonaisuuden näytön arvosana (näytön lopullinen arvosana) oli H4. Ensimmäisessä arviointikokeilussa annettiin 297 opintokokonaisuuden näytön arvosanaa ja toisessa arviointikokeilussa 3 275 arvosanaa. Ensimmäisessä kokeilussa valtaosa opiskelijoista (noin 75 %) sai lopulliseksi opintokokonaisuuden näytön arvosanaksi hyvän arvosanan (joko H3 tai H4) ja noin 18 % näytöistä arvioitiin kiitettävän tasoisiksi. Opiskelijoista noin 7 % sai arvosanaksi tyydyttävän. Myös toisessa arviointikokeilussa valtaosa opiskelijoista (71 %) sai lopulliseksi opintokokonaisuuden näytön arvosanaksi hyvän arvosanan ja noin 16 % opiskelijoista sai kiitettävän arvosanan. Näytöistä noin 13 % arvioitiin tyydyttävän tasoiseksi. Kuviossa 6 on esitetty opintokokonaisuuden näytöstä annettujen arvosanojen prosentuaalinen jakauma arviointikokeiluissa (pilotti I ja pilotti II). % Pilotti I Pilotti II 100 80 60 40 20 0 48,1 38,9 32,1 26,6 18,2 15,4 10,4 5,4 1,7 2,2 T1 T2 H4 H4 K5 Kuvio 6 Opintokokonaisuuden näytön arvosanojen prosentuaalinen jakauma arviointikokeiluissa (pilotti I ja pilotti II) 36

Arviointikohteittain tarkasteltuna opiskelijat saivat parhaimmat arvosanat molemmissa kokeiluissa työturvallisuuden hallinnassa, ydinosaamisessa ja yhteisissä painotuksissa. Heikoimmat arvosanat opiskelijat saivat työn perustana olevan tiedon ja työprosessin hallinnassa. Kuten kuvioista 7 havaitaan, ovat arvosanat hieman laskeneet ensimmäisestä kokeilusta. Eniten arvosanat ovat laskeneet ydinosaamisessa ja yhteisissä painotuksissa. Ydinosaamisen ja yhteisten painotusten tulosten vertailtavuutta heikentää se, että ensimmäisessä arviointikokeilussa ydinosaamisen ja yhteisten painotusten eri osaamisalueille laadittiin osaamis- ja kriteerikuvaukset ja niistä annettiin erilliset arvosanat, kun taas toisessa arviointikokeilussa ne yhdistettiin yhdeksi kokonaisuudeksi ja niistä annettiin yksi arvosana kummastakin. Osaamisalueiden yhdistäminen yhdeksi kokonaisuudeksi ja arvosanaksi johtui siitä, että ensimmäisessä arviointikokeilussa näiden valmiuksien arviointi koettiin hankalaksi ja niiden katsottiin pirstaloivan arviointia. Arvioinnin hankaluus johtui suurelta osin opetussuunnitelman perusteista, joissa ko. valmiuksien sisältöjä ei ole määritelty ja avattu kovinkaan laajasti eikä niille ole laadittu arviointikriteereitä. Tämä heijastuu myös kansallisiin näyttöaineistoihin, joissa on yleiset osaamis- ja kriteerikuvaukset ydinosaamiselle ja yhteisille painotuksille ja niistä annetaan yksi arvosana kummastakin. Ensimmäisessä arviointikokeilussa laadittuja ydinosaamisen ja yhteisten painotusten kuvauksia hyödynnettiin vasta myöhemmin opetussuunnitelmien perusteiden tarkistamisen yhteydessä. Molemmissa arviointikokeiluissa havaittiin tilastollisesti merkitseviä eroja arvosanoissa tutkintojen ja oppilaitosten välillä. Erojen syitä on tämän aineiston pohjalta vaikea määrittää, mutta ne voivat johtua esimerkiksi oppilaitosten erilaisesta arviointikulttuurista, arvioijien arviointitavoista ja arviointiosaamisesta, arviointikriteerien erilaisista tulkinnoista tai todellisista eroista opiskelijoiden osaamisessa. Pilotti I Pilotti II 4,5 4 3,5 3,57 3,51 3,7 3,54 3,52 3,37 4,09 3,85 3,99 3,65 3,91 3,65 3,76 3,57 3 2,5 2 1,5 1 0,5 0 1 2 3 4 5 6 7 1 = Työprosessin hallinta 5 = Ydinosaaminen 2 = Työtehtävän hallinta 6 = Yhteiset painotukset 3 = Työn perustana olevan tiedon hallinta 7 = Opintokokonaisuuden näytön arvosana 4 = Työturvallisuuden hallinta Kuvio 7 Arvosanojen keskiarvot arvioinnin eri kohteilla sekä opintokokonaisuuden näytön arvosanan keskiarvot arviointikokeiluissa (pilotti I ja II) 37

Arviointikokeilut osoittivat, että näyttöjen toteuttamistavat, suorituspaikat ja arviointikäytännöt vaihtelevat paljon tutkinnoittain. Molemmissa arviointikokeiluissa yli puolet näytöistä (pilotti I 57 %, pilotti II 58 %) toteutettiin oppilaitoksessa. Työpaikalla toteutettuja näyttöjä oli molemmissa kokeiluissa noin 42 % näytöistä. Alakohtaisesti tarkasteltuna näyttöpaikka jakautui jyrkästi: sosiaali- ja terveysalalla (sosiaali- ja terveysalan perustutkinto) lähes kaikki näytöt (noin 99 %) toteutettiin työpaikalla ja tekniikan ja liikenteen alan näytöistä noin 75 % tehtiin oppilaitoksessa. Näytön yhteisarviointi (opettaja, opiskelija ja työelämän edustaja) toteutui vajaassa puolessa (noin 45 %) arviointikokeilujen näytöissä. Ensimmäisessä kokeilussa noin kolmannes (30,3 %) ja toisessa kokeilussa noin 50 % näytöistä oli opettajan yksin arvioimia. Näyttöjen yhteisarviointi toteutuu parhaiten silloin, kun näyttö toteutetaan työpaikalla. Tuloksia kyselyjen pohjalta Molemmissa arviointikokeiluissa eri osapuolet kokivat osallistuneensa näytön suunnitteluun kohtalaisen aktiivisesti. Aktiivisimmin näytön suunnitteluun kokivat osallistuneen opettajat. Opiskelijoiden ja työelämän edustajien osallistuminen näytön suunnitteluun lisääntyi ensimmäisestä kokeilusta. Eri osapuolten mukaan arviointikokeiluissa toteutetut näytöt vastasivat hyvin työelämässä vaadittavaa osaamista ja ne mahdollistivat hyvin laaja-alaisen ammatillisen osaamisen näyttämisen. Myös näytön tavoitteita eri osapuolet pitivät molemmissa kokeiluissa selkeinä ja näytöissä pystyi hyvin hyödyntämään työssäoppimisjaksolla opittuja asioita. Myös näytössä arvioitava osaaminen ja arvioinnin kriteerit olivat hyvin tiedossa eri osapuolilla ennen näyttöä. Molemmissa kokeiluissa parhaiten ne olivat opettajien ja työelämän edustajien tiedossa, heikoiten opiskelijoiden. Eri osapuolet pitivät opiskelijoille annettuja arvosanoja hyvinkin oikeudenmukaisina molemmissa kokeiluissa. Erityisesti opettajat ja työelämän edustajat pitivät näyttöjä myös vertailukelpoisina eri opiskelijoiden ja oppilaitosten kesken. Opiskelijat kokivat arvosanojen vertailukelpoisuuden kohtalaiseksi. Kaikkien osapuolten mukaan näyttöjen arvosanojen vertailtavuutta heikentää erityisesti se, että näyttöpaikat ja näytöissä suoritettavat tehtävät vaihtelevat liian paljon opiskelijoiden välillä. Kaikki osapuolet pitivät näytön yhteisarviointia erittäin tarpeellisena. Kummassakin kokeilussa kaikkien osapuolten mielestä näytöt antoivat hyvin palautetta opiskelijoiden vahvuuksista ja kehittämistarpeista. Lisäksi niiden katsottiin tukevan hyvin opiskelijoiden oppimista ja ammatillista kasvua. Ylipäätään opiskelijat pitivät näyttöjä hyödyllisinä ja tarpeellisina. Myös työelämän edustajat ja erityisesti opettajat pitivät näyttöjä melko hyödyllisinä oman työn ja sen kehittämisen kannalta. Näyttöjen katsottiin myös edistäneen oppilaitoksen ja työelämän välistä yhteistyötä varsin hyvin. Molemmissa kokeiluissa näyttöjen keskeisimmäksi kehittämistarpeeksi eri osapuolet mainitsivat arviointikriteerien selkiyttämisen ja yksinkertaistamisen. Opettajat ja opiskelijat toivoivat myös ajallisesti pidempikestoisempaa, ns. jatkuvaa näyttöä, jossa työssäoppiminen ja näyttö liittyisivät kiinteämmin yhteen, niin ettei erillisiä näyttöpäiviä tarvittaisi jakson loppuun. 38

Oppilaitoskohtaisten palauteraporttien hyödyllisyys Arviointikokeilussa mukana olleet oppilaitokset saivat oppimistuloksista ja kyselyjen tuloksista oppilaitoskohtaiset palauteraportit keväällä 2003 ja syksyllä 2006 ja 2007. Ensimmäisessä kokeilussa oppilaitokset saivat oppimistulosten ja kyselyjen lisäksi palautteen myös ulkoisesta laadunvarmennuksesta. Liitteessä 8 on esimerkki oppilaitoskohtaisesta palauteraportista. Ensimmäisen arviointikokeilun jälkeen kokeilussa mukana olleilta opettajilta, rehtoreilta ja näyttöaineistojen kehittäjiltä kerättiin palautetta arviointikokeilusta ja sen yhteydessä toteutetusta ulkoisesta laadunvarmennuksesta sekä oppilaitoskohtaisista palauteraporteista (ns. pikapalautteet). Opettajat ja oppilaitosten johto kokivat erityisesti oppilaitoskohtaiset palauteraportit kaikkien mielenkiintoisimpina ja hyödyllisimpinä oman työn kannalta. Myös laadunvarmennukseen liittyneet arviointikäynnit ja niistä saatu vuorovaikutteinen palaute olivat olleet hyödyllisiä. Arviointikokeilussa saatua palautetta aiottiin käyttää omien opetussuunnitelmien kehittämisessä, näyttöjen toteuttamisessa ja arviointikäytäntöjen kehittämisessä. Palautetta voitiin hyödyntää myös osana oppilaitoksen laatujärjestelmän ja henkilöstön kehittämistä. Opettajat kokivat saaneensa ulkoisesta laadunvarmennuksesta henkilökohtaisestikin hyötyä oman opetuksensa kehittämiseksi. (Räkköläinen 2005.) Ensimmäisen arviointikokeilun palautekyselyn lomake ja tulosten yhteenveto on liitteessä 9. Toisessa arviointikokeilussa oppilaitokset saivat palauteraportit omista tuloksistaan ensin syksyllä 2006 ja toisen kerran syksyllä 2007. Ensimmäisten palauteraporttien jälkeen arviointikokeiluun osallistuneiden oppilaitosten johdolta pyydettiin palautetta oppilaitoskohtaisten palautteiden sisällöstä, käyttökelpoisuudesta, rakenteesta ja ulkoasusta. Lisäksi heiltä tiedusteltiin, millaisista asioista tietoa tulisi kerätä, jotta sitä voisi hyödyntää oppilaitoksen itsearviointi- ja muussa kehittämistyössä. Oppilaitoksen johto piti oppilaitoskohtaisia palautteita pääosin luotettavina, selkeinä ja hyödyllisinä. Erityisesti oppilaitoskohtaiset tulokset oppimistuloksista ja kyselyjen tuloksista suhteutettuna kansalliseen tulokseen koettiin hyödyllisenä ja käyttökelpoisena. Tulosten luotettavuutta ja sitä kautta vertailtavuutta epäiltiin jonkin verran, koska arviointiosaaminen ja arviointikriteerien tulkinta vaihtelevat yksilöittäinen. Saatua palautetta aiottiin hyödyntää muun muassa opiskelijoiden ohjauksen ja näyttöjen ohjeistuksen kehittämisessä, näyttöjen ja työssä oppimisen kehittämisessä sekä opetussuunnitelman, opetuksen ja arvioinnin kehittämisessä. Palautteissa tuli esille, että oppilaitokset kaipaavat nopeaa ja systemaattista palaute- ja vertailutietoa kehittämistyön pohjaksi. Palaute tulisi saada sähköisessä muodossa tutkinto- ja opintokokonaisuuskohtaisesti. Varsinaisten tulosten lisäksi kaivataan myös analysoitua tietoa tulosten syistä. Oppimistulosten lisäksi palautetta tulisi johdon mukaan kerätä myös opiskelijoiden sijoittumisesta, koulutuksen läpäisystä, kansallisten näyttöaineistojen hyödynnettävyydestä sekä eri oppilaitosten esimerkkejä samaan opintokokonaisuuteen laadituista näyttötehtävistä ja näyttöympäristöistä sekä niiden suorittamiseen ja seurantaan käytetystä ajasta. Yhteenveto kyselyn tuloksista on liitteessä 10. 39

5 VERTAISARVIOINNIN KEHITTÄMINEN OSAKSI NÄYTTÖPERUSTEISEN ARVOINNIN LAADUN- VARMENNUSTA 5.1 Vertaisarvioinnin kehittäminen Koppi-hankkeessa Vertaisarviointia osana näyttöperusteisen arvioinnin laadunvarmennusta kehitettiin ja testattiin ensimmäisestä arviointikokeilusta (vuodesta 2002) lähtien. Vertaisarvioinnin kehittäminen lähti liikkeelle ns. External moderation -tilaisuutena, jossa alakohtaisesti eri oppilaitosten ja työelämän edustajat vertailivat keskustellen kokemuksiaan näyttöjen toteuttamisesta ja arvioinnista. Tämän jälkeen vertaisarviointia syvennettiin ja laajennettiin koskemaan koko näyttötoimintaa näytön suunnittelusta näytön toteuttamiseen ja arviointiin, sillä arviointikokeilut osoittivat, että riittävän luotettavan ja käyttökelpoisen arviointitiedon tuottaminen edellyttää näyttötoiminnan laadun varmentamista. Hyvät kokemukset vertaisarvioinnista ja näyttöjen laadunvarmennuksesta johtivat Koppi-hankkeessa ajatuksiin pysyvästä yhdessä oppimisen toimintamallista. (ks. lisää vertaisarvioinnin kehittämisestä Räkköläinen & Stenvall 2008.) Kehittämishankkeen toisessa arviointikokeilussa (vuosina 2004 2007) ryhdyttiin laajemmin kehittämään neuvotteluun perustuvia ja eri osapuolten osallistumista tukevia menetelmiä. Näin Koppi-hankkeessa syntyi ajatus vertaisarvioinnista näyttötoiminnan laadunvarmennuksen menetelmänä. Vertaisarvioinnin yleiseksi tavoitteeksi asetettiin näyttöjen ja arvioinnin laadun varmistaminen. Tavoitteena oli myös saada palautetta arviointikäytäntöjen kehittämiseksi. Tavoitteena oli myös, että koulutuksen järjestäjät toteuttaisivat tulevaisuudessa keskenään vertaisarviointia ja hyödyntäisivät toisilta opittuja hyviä käytäntöjä ammattiosaamisen näyttöjen järjestämisessä ja arvioinnissa. Vertaisarvioinnille ei ole olemassa yksiselitteistä määritelmää eikä yhtä tapaa toteuttaa sitä. Koppi-projektissa vertaisarviointi määriteltiin väljästi painottaen oppimisen ja arvioinnin näkökulmia. Vertaisarvioinnilla tarkoitettiin saman tehtävän, ongelman tai haasteen parissa työskentelevien opettajien ja muiden opetus- ja ammattialan asiantuntijoiden työn ja oman osaamisen kehittämistä. Vertaisarvioinnin keskeisintä toimintaa on vertaisten tekemät järjestelmälliset ja kriittiset arvioit toisten toiminnasta. Koppi-hankkeessa lähdettiin liikkeelle siitä, että vertaisarviointi tehdään aina ennalta sovittuihin toiminnan kohteisiin tai aihealueisiin kuten ammattiosaamisen näyttötoiminta ja opiskelijoiden työssäoppiminen. Vertaisarvioinnin on myös perustuttava ennalta sovittuihin kriteereihin ja kokeneen kollegan tai muun asiantuntijan ammattitaitoon. Vertaisarvioinnin kehittämisessä olivat alusta pitäen mukana Koppi-projektiin kuuluvat projektipäälliköt. Mukana vertaisarvioinnissa oli useita oppilaitoksia, opettajia, työelämän edustajia, työpaikkoja ja opiskelijoita. Projektissa keskusteltiin paljon siitä, miten ammattiosaamisen näyttöjärjestelmään kohdistuva vertaisarviointi tulisi toteuttaa ja mikä on sen tarkoitus. Lähtökohtana oli, että vertaisarvioinnin tulisi tukea ammattiosaamisen näyttöjärjestelmän kehittämistä. Koppi-hankkeessa luotiin vertaisarviointiin yhteinen toimintamalli ja sovittiin periaatteet vertaiskäynnille. Samalla määriteltiin näyttötoiminnan arvioinnin kohteet. Arvioinnin perustaksi tehtiin arviointikriteerit koulutuksen järjestäjän näyttötoimintaa varten. Lisäksi kehitettiin palauteraportti vertaisarvioinnin vastaanottavalle or- 40

ganisaatiolle. Palautteen oli oltava suullinen ja kirjallinen. Sovittiin myös, että vertaisarvioinnissa on annettava kehittämissuosituksia vertaiskumppanille toiminnan parantamiseksi. Näin Koppi-hankkeessa lähdettiin toteuttamaan vertaisarviointikokeiluja. Ensin työ tehtiin osana projektia ja sitten myöhemmin oppilaitosten toteuttamina omina hankkeina. Ensimmäiset vertaisarvioinnin kokeilut tehtiin Opetushallituksen koordinoimana vuonna 2005. Niissä arviointi kohdistui nimenomaan näyttöjen käytännön toteuttamiseen. Ennen käyntejä vertaisarvioitsijat perehtyivät vertaisarvioinnin periaatteisiin ja ammattiosaamisen näyttöjärjestelmään sekä laadukkaasti toimivan järjestelmän kriteereihin. Ennen ensimmäisiä käyntejä projektissa järjestettiin myös vertaisarvioinnin valmennusohjelma, koulutettiin vertaisarvioijat ja laadittiin tukimateriaalia käyntien toteuttamiseen. Yhteisiä, kokeilevia vertaisarviointikäyntejä toteutettiin Opetushallituksen koordinoimana kaksi. Molemmista käynneistä annettiin vastaanottavalle koulutusorganisaatiolle päivän päätteeksi suullinen palaute. Kirjallinen palaute käynnistä lähetettiin vertaiskumppanille myöhemmin. Kokemukset vertaisarvioinnin kokeiluista olivat erittäin myönteisiä. Vertaiskäyntien aikana Koppi-projektin projektipäälliköt saivat mahdollisuuden syventää omaa asiantuntijuuttaan näyttöjen toteuttamisesta käytännössä. Samalla omakohtainen kokemus vertaisarvioinnista ja arvioijana toimimisesta vahvistui. Käynnit antoivat tietoa myös opiskelijan arvioinnin toteutumisesta. Opetushallituksen koordinoimien kokeilujen jälkeen vertaisarvioinnin kehittämistä jatkettiin oppilaitosten johtamissa Konsensus-, Blanco 1-2-3-, Arvoja Sote Järkevä -projekteissa, joiden projektipäälliköt ottivat vastuun vertaisarviointikäyntien suunnittelusta ja toteutuksesta ja sovelsivat yhteisiä periaatteita omiin hankkeisiinsa. Konsensus- ja Blanco 1-2-3 -projektit järjestäytyivät alueelliseksi yhteistyöverkostoksi ja tekivät yhteisen vertaisarviointikokeilun tekniikan ja liikenteen alalla. Sote Järkevä -projektissa vertaisarvioinnit tehtiin oppilaitosten välisinä valtakunnallisina kokeiluina, joissa pääpaino oli ammattiosaamisen näyttöjen laadunvarmennuksessa. Vertaisarviointikokeilut tehtiin sosiaali- ja terveysalalla sekä kolmella muulla alalla, samoin vertaisarvioijat olivat usean eri alan edustajia. Arvo-projektissa vertaisarviointia kehitettiin erityisesti oman näyttötoiminnan arviointiin pintakäsittely-, verhoilu- ja veneenrakennusalalla. Oppilaitosten johtamat vertaisarviointikokeilut toteutettiin Koppi-projektissa saatujen kokemusten pohjalta, sen periaatteita noudattaen ja siinä laadittuja materiaaleja hyödyntäen. Jokaisessa projektissa vertaisarvioinnit tehtiin kuitenkin omalla tavallaan soveltaen ja kehittäen työmenetelmiä, arviointilomakkeita ja palautetta. Projektien omissa hankkeissakin vertaisarviointi on tarkoittanut vertaisten toisistaan tekemää arviointia, jonka tavoitteena on yhteisesti kehittää oppilaitoksen toimintaa, havainnoida ja määritellä toiminnan vahvuuksia ja keskustella kehittämiskohteista. Kokeilut johtivat Koppi-projektissa vertaisarvioinnin jatkohankkeeseen, jonka koordinoinnista vastasi Opetushallitus. Jatkohankkeen 1 tavoitteena oli selvittää, miten vertaisarvioinnin voisi tulevaisuudessa liittää osaksi näyttöjärjestelmää ja sen laadunvarmennusta. Lisäksi jatkohankkeessa tuli tehdä opetusministeriölle esitykset siitä, miten ver- 1 Koppi-hankkeen jatkohankkeessa (1.1.2008 30.4.2008) kokoontui Opetushallituksen johtama vertaisarvioinnin kehittämisryhmä, jonka jäseninä olivat lehtori Taru Dorra (Hämeen ammattikorkeakoulu, ammatillinen opettajakorkeakoulu), koulutussuunnittelija Esko Hirvonen (Altia Corporation), projektisuunnittelija Laura Jauhola (Opetushallitus), lehtori Petri Kallionpää (Helsingin palvelualojen oppilaitos), lehtori Erja Kotimäki (Oulun seudun ammattiopisto), kehitysjohtaja Pia Lagercrantz (Turun ammatti-instituutti), opetusneuvos Mari Räkköläinen (Opetushallitus), erikoissuunnittelija Kirsti Stenvall (Opetushallitus) sekä koulutuspäällikkö Tarja Vartiainen (Lindström Oy). 41

taisarviointia voitaisiin jatkossa toteuttaa osana kansallista arviointitiedon tuottamista. Lähtökohtana tuli olla, että vertaisarviointi tukee ammattiosaamisen näyttöjen toteuttamista, laadun varmistamista ja parantamista sekä kansallista seurantatiedon tuottamista ammattiosaamisen näytöistä. Jatkohankkeessa tuotettiin myös Arvioi, opi ja kehity. Näyttötoiminnan laadunvarmennusta vertaisarvioinnilla -julkaisu (Räkköläinen & Stenvall 2008) vertaisarvioinnin soveltamisesta näyttötoiminnan kehittämiseen ja laadun varmistamiseen. Julkaisussa on case -kuvaukset projektien vertaisarviointikokeiluista. Taulukossa 2 on esitetty vertaisarvioinnin kehittämistyön vaiheet Koppi-hankkeessa. Taulukko 2 Vertaisarvioinnin kehittäminen KOPPI-hankkeessa Ajankohta Toteuttaja Toiminta 2002 2003 OPH External moderation: saman alan eri oppilaitosten opettajat ja työelämän edustajat vertailivat arviointikokemuksia ja -tuloksia ja vaihtoivat näkemyksiään näytön ja arvioinnin toteutumisesta. Sovellettiin ensimmäisessä arviointikokeilussa (pilotti I). 2005 OPH Kaksi vertaisarviointikokeilua. Perehtyminen vertaisarvioinnin periaatteisiin, arviointikriteeristön ja -lomakkeen laadinta, arviointikäynnit näyttötilanteisiin, arviointipalautteen antaminen oppilaitokselle suullisesti ja kirjallisesti, vertaisarvioinnin toimintamallin luominen. 2006 2007 Blanco-, Arvo-, ja Sote Järkevä -projektit Projektien vertaisarviointikokeilut Perehdytty vertaisarvioinnin periaatteisiin, koulutettu vertaisarvioijia, kehitetty vertaisarvioinnin arviointityökaluja ja tukimateriaalia, tehty useita arviointikäyntejä näyttötilanteisiin. 2007 2008 OPH Kehitetty vertaisarvioinnin valmennusohjelma ja toimintamalli, järjestetty vertaisarviointiin liittyviä koulutustilaisuuksia sekä vertaisarvioinnin levittämisseminaari, laadittu opas vertaisarvioinnin toteuttamiseen. Julkaisu vertaisarvioinnista. 5.2 Vertaisarviointikokeilut Koppi-hankkeessa Koppi-hankkeessa vertaisarvioinnin kohteeksi päätettiin rajata koulutuksen järjestäjän toteuttama ammattiosaamisen näyttöjen käytännön suunnittelu, toteuttaminen ja arviointi. Arvioinnin kohteille laadittiin näyttöjen laatuvaatimusten pohjalta yhteinen arviointikriteeristö. Vertaisarvioinnin toteutti arviointiryhmä, jossa olivat mukana arvioitavan alan/tutkinnon opettajia ja muun koulutusalan edustaja. Ryhmään kuuluivat myös projektipäälliköt ja Opetushallituksen arviointiryhmän edustaja. Koko ryhmä osallistui kahden päivän mittaiseen valmennusohjelmaan. Tämän lisäksi Opetushallitus järjesti palautepäivän vertaisarvioinnin kokemusten jakamiseksi. (Räkköläinen & Stenvall 2008.) Vertaisarviointikäynnin ohjelma suunniteltiin yhdessä vertaiskumppanin kanssa. Vertaiskumppani oli vastuussa vierailupäivän käytännön järjestelyistä. Vertaisarviointiryhmä vastasi arvioinnin sisällöllisestä toteuttamisesta. Kaikilla käynneillä tutustuttiin ja arvioitiin näyttöjen käytännön toteuttamista ja tehtiin käynti näyttöpaikkoihin. Ryhmä osallistui lisäksi näyttöjen arviointitilaisuuteen ja haastatteli koulutuksen järjestäjän edustajia, oppilaitoksen johtoa, opettajia, opiskelijoita ja työpaikkaohjaajia. Havainnointia ja haastatteluja 42

käynnillä ohjasivat yhdessä laaditut arviointilomakkeet ja haastattelukysymykset. (ks. liite 8. Arvioinnin kohteet ja kriteerit vertaisarviointikäynnillä.) Koulutuksen järjestäjältä pyydettiin ennakkoon ammattiosaamisen näyttöjä koskevaa materiaalia. Tällaista aineistoa ovat esimerkiksi koulutuksen järjestäjän opetussuunnitelma, jossa on esitettynä opiskelijan arvioinnin ja ammattiosaamisen näyttöjen toteuttamisen periaatteet. Arvioinnin kannalta kiinnostavaa näyttöjä koskevaa materiaalia on myös toimielimen hyväksymä ammattiosaamisen näyttöjen toteuttamista ja arviointia koskeva suunnitelma sekä näyttöjä koskevat esitteet ja perehdytysmateriaali. Vertaisarvioinnista annettiin palaute vertaiskumppanille. Palaute annettiin suullisesti heti käyntipäivän päätteeksi ja myöhemmin vertaiskumppanille toimitettiin kirjallinen palauteraportti. Palaute kohdistui koko näyttötoimintaan, ja se annettiin ennalta sovituista arviointikohteista. Palaute perustui arviointikriteereihin sekä vertaiskumppanin lähettämään materiaaliin. Samoin se perustui niihin haastatteluihin ja havaintoihin, jotka arvioijat kirjasivat käynnin aikana arviointilomakkeisiin. Lopullinen palauteraportti tehtiin arviointiryhmän yhteisen näkemyksen pohjalta. Taulukko 3 Vertaisarviointikäynnin toteuttaminen (Räkköläinen & Stenvall 2008, 19) Ammattiosaamisen näytöistä vastaavien henkilöiden sekä johdon haastattelut Vertaisarvioijat haastattelevat näytöistä vastaavia henkilöitä ja oppilaitoksen johtoa (esim. rehtori, koulutusalavastaava, laatu-, kehittämispäällikkö) näyttöjen toteuttamiseen ja arviointiin liittyvistä aiheista. Kuhunkin haastatteluun varataan aikaa noin tunti. Näyttöympäristöön (ja näyttöön) tutustuminen Vertaisarvioijat tutustuvat näyttöympäristöön näytöstä vastaavan opettajan ja/tai työpaikan edustajan opastamana. Heitä pyydetään kertomaan näytöstä (näytön kuvaus) ja näyttöjen arviointitilanteesta. Myös opiskelijoita voi osallistua esittelykierrokselle. Tässä yhteydessä voidaan keskustella näytön tavoitteista ja arvioitavista osaamisalueista. Ammattiosaamisen näytön arviointitilaisuuteen osallistuminen Vertaisarvioijat osallistuvat näyttöjen arviointitilaisuuteen mahdollisuuksien mukaan. He eivät ota osaa varsinaiseen opiskelijan arviointikeskusteluun. Arviointitilaisuudessa katsotaan mm. arviointikriteereiden toimivuutta, eri osapuolten antamia arviointiperusteita sekä arvioinnin dokumentointia. Ammattiosaamisen näytön arviointiin osallistuneen opiskelijan, opettajan ja työelämän edustajan haastattelut Vertaisarvioijat haastattelevat eri osapuolia näyttöjen toteuttamiseen ja arviointiin liittyvistä aiheista. Opiskelijaa, työelämän edustajaa ja opettajaa haastatellaan erikseen, kunkin haastattelun kesto on noin 45 minuuttia. Palautteen antaminen Vertaisarvioinnin päätteeksi annetaan suullinen palaute yhteisessä keskustelutilaisuudessa. Tilaisuudessa voivat olla mukana kaikkia vierailupäivään osallistuneet. Tilaisuuteen varataan aikaa noin 45 minuuttia. Myöhemmin oppilaitokselle toimitetaan kirjallinen yhteenveto arviointikäynnistä. 43

Kehittämistyön yhteydessä järjestettiin myös Opetushallituksen johdolla useita vertaisarviointiin liittyviä koulutustilaisuuksia ja seminaareja sekä koulutettiin vertaisarvioijia. Kehittämistyön päätteeksi järjestettiin vielä vertaisarvioinnin levittämisseminaari, jossa esiteltiin vertaisarviointikokeiluissa kehitettyjä työvälineitä ja muuta materiaalia vertaisarvioinnin toteuttamiseen. 5.3 Vertaisarvioinnin kehittämistyön ja kokeilujen tuloksia Koppi-hankkeessa mukana olleet projektipäälliköt ja opettajat pitivät vertaisarviointia sopivana ja kehittämisen arvoisena työmenetelmänä ammattiosaamisen näyttötoiminnan arviointiin. Vertaisarvioinnin aikana oli mahdollista tutustua näyttöihin vertaisorganisaatiossa ja samalla peilata työssäoppimisen käytännön järjestelyjä oman organisaation vastaaviin järjestelyihin. Näyttöjen seuraaminen ja vertailu antoivat tietoa työelämän näyttöympäristöistä, työssäoppimisen ja näyttöjen yhteensovittamisesta, opiskelijan arvioinnista, palautteen antamisesta opiskelijalle ja arviointikeskusteluista. Vertaisarvioinnissa tarkasteltiin vertaisorganisaation näkemyksiä siitä, miten ammattiosaamisen näyttöjärjestelmää kehitetään seuraavina vuosina. Käynnin aikana keskusteltiin organisaatioiden edustajien kanssa näyttöjärjestelmän vahvuuksista ja niistä kehittämistarpeista, joita organisaatio itse oli tuonut esille. Vertaisarvioijat puolestaan kertoivat omista havainnoistaan ja toivat esille omia kehittämisehdotuksiaan. Vertaisarvioijien palautteet annettiin kumppanille suullisena ja kirjallisena. Vertaisarvioinnissa ammattiosaamisen näyttöjärjestelmää tarkasteltiin kriteerejä vasten. Kriteerit laadittiin ja työstettiin nimenomaisesti ammattiosaamisen näyttötoiminnan arviointiin. Kriteerien tarkoituksena hankkeessa oli varmistaa vertaisarvioinnin yhdenmukaisuus. Kriteerit tukivat myös vertaisarvioijien työtä. Niiden avulla vertaisarvioijat pohtivat, miten ammattiosaamisen näyttöjen ja työssäoppimisen toteutuminen vastaavat koulutuksen lainsäädännön ja koulutuksen järjestäjän niille asettamia tavoitteita. Projektissa mukana olleet projektipäälliköt ja opettajat keskustelivat vertaisarvioinnin tuloksista ja vertaiskäynteihin liittyvistä kokemuksista. Useissa keskusteluissa tuli esille paljon yhteisiä näkemyksiä, jotka vahvistivat kaikkien osaamista ja asiantuntijuutta. Yhdessä todettiin, että vertaisarviointi on oivallinen työmenetelmä oman toiminnan kehittämisessä ja itsearvioinnissa. Menetelmä on yhteensopiva muiden oman organisaation kehittämiseen tarkoitettujen laadunhallintamenetelmien kanssa. Vertaisarviointi ei ole sidoksissa mihinkään laadunhallinnan menetelmään, vaan organisaatiot voivat käyttää sitä muiden laadunhallintamenetelmien rinnalla. Vertaisarvioinnin vaikuttavuus Tavoitteena oli, että vertaisarviointia voidaan käyttää ammattiosaamisen näyttötoiminnan laadunvarmennusmenetelmänä. Kokeiluissa onkin tuotettu runsaasti kokemusperäistä tietoa vertaisarvioinnista työmenetelmänä osana ammattiosaamisen näyttöjen kehittämistä. Esiin nousi seuraavia vertaisarviointia ja ammattiosaamisen näyttöjä koskevia tuloksia: (ks. tarkemmin vertaisarvioinnin julkaisusta Räkköläinen & Stenvall 2008). 44

Vertaisarvioinnin pedagoginen hyödyllisyys Vertaisarviointi tukee opettajan asiantuntijuutta ja oppimista. Vertaisarvioinnista saatu tieto sulautuu osaksi omaa kokemus- ja tietoperustaa ja oman organisaation toiminnan suunnittelua. Vertaisarviointi parhaimmillaan jäsentää ja selkiyttää opettajan omaa työtä ammattiosaamisen näyttöjen suunnittelussa ja arvioinnissa. Vertaisarvioinnin dialogisuus Vertaisarviointi perustuu avoimeen vuoropuheluun. Hyvä vuorovaikutus on vastavuoroista ja kollegiaalista keskustelua. Vertaisarviointi edellyttää, etteivät arvioijat ratko ongelmia kumppanien puolesta, vaan auttavat heitä tunnistamaan oman toiminnan parantamiskohteet. Haasteena on, että vertaisarvioijat osaavat antaa palautetta havaitsemistaan kehittämiskohteista, puutteista tai jopa virheistä. Ammattiosaamisen näytöt ja työssäoppiminen Vakiintunut vertaisarviointi edellyttää, että koulutuksen järjestäjä on julkilausunut toiminnan kehittämisen ja arvioinnin prosessit, joihin vertaisarvioinnin kokemukset voidaan liittää. Vertaisarviointi tuo hyvin esille ammattiosaamisen näyttöjen sekä työssäoppimisen vahvuuksia ja kehittämistarpeita. Ammattiosaamisen näyttöjen kriteerit Vertaisarvioinnissa arvioinnin on oltava kriteeriperusteista. Kriteerit varmistavat arvioinnin kohdistumisen olennaisiin asioihin. Kriteerit tekevät arvioinnista yhdenmukaisen ja avoimen. Arvioijan eettisyys, oikeudenmukaisuus ja vastuullisuus Vertaisarvioijien omat arvostukset, näkemykset ja jopa ennakkoasenteet saattavat vaikeuttaa arviointikäyntiä ja käynnin aikana tehtäviä haastatteluja. Tämän vuoksi vertaisarvioijien ja kumppanin valinta tulee tehdä huolellisesti ja arvioijat on valmennettava tehtäväänsä. Arvioijille tulisi järjestää myös mahdollisuus jakaa kokemuksiaan luottamuksellisissa palautekeskusteluissa. Opettajan arviointiosaaminen Parhaimmillaan vertaisarviointi kasvattaa opettajien arviointiosaamista. Arviointiryhmän jäsenenä opettaja saa kokemuksia ulkopuolisesta arvioinnista, arvioijana toimimisesta ja palautteen antamisesta. Myös arvioinnin kohteena oleminen ja palautteen vastaanottaminen vahvistavat opettajan ammatillista osaamista. Suullisen ja kirjallisen palautteen yhteinen käsittely on hyödyllistä koko työyhteisölle. Tulosten yhteenvetoa Vertaisarvioinnin kokeilujen tuloksia voi vielä tiivistää seuraavasti: Vertaisarvioinnista kehitettiin työväline ammattiosaamisen näyttötoiminnan arviointiin 45

Vertaisarviointi toimintamallina ja työvälineenä kuvattiin ja toteutettiin hankkeissa selkeästi: - Vertaisarvioijille järjestettiin koulutuspäivät ja perehdytysmateriaali - Vertaiskäynnin valmistelut käytiin läpi valmentautumispäivän aikana - Vertaisarvioijien roolit ja tehtävät määriteltiin - Vertaiskäynnille tehtiin päiväohjelma, sovittiin arvioijien työnjaosta ja päivän vetovastuusta - Käyntiorganisaatiossa vertaisarvioinnista tiedotettiin eri osapuolille, erityisesti arviointiin osallistuville opettajalle, opiskelijalle ja työelämän edustajalle - Vertaisarviointikäynnistä annettiin kumppanille suullinen ja kirjallinen palaute. Vertaisarviointikäynnit nostivat esille muun muassa seuraavia tulevaisuuden kehittämistarpeita: Vertaisarviointitietoa tulisi voida käyttää kansallisen oppimistulostiedon rinnalla Vertaisarvioijakoulutus tulisi vakiinnuttaa valtakunnallisesti Ammattiosaamisen näyttöjärjestelmään kohdistuvia arviointikriteereitä tulisi edelleen kehittää Vertaisarvioinnin tuloksia tulisi hyödyntää valtakunnallisesti, ja tiedot tulisi tuottaa sähköiseen muotoon. Vertaisarvioinnin katsottiin hyödyttävän koulutuksen järjestäjiä, oppilaitoksia ja opettajia seuraavasti: Ammattiosaamisen näytön merkitys oppimisessa avautuu oppilaitoksen toimijoille ja työelämän edustajille Ammattiosaamisen näyttöjen arviointiperiaatteisiin kiinnitetään huomiota; tärkeitä ovat muun muassa arvosanan muodostuminen, oikaisuvaatimusten käsittely, arvosanan korottaminen, ammattiosaamisen näytön uusiminen sekä suunnitelma ammattiosaamisen näyttöjen toteuttamisesta ja arvioinnista Opiskelija-arvioinnin taidot vahvistuvat Opetussuunnitelman perusteet avautuvat syvällisemmin Työssäoppimisen arviointikriteereihin kiinnitetään paremmin huomiota Ammattiosaamisen näyttöjen dokumentointiin kiinnitetään paremmin huomiota. 5.4 Suosituksia ja näkökulmia tulevaisuuteen Vertaisarvioinnin tarkoituksena on ollut varmistaa ammattiosaamisen näyttöjen ja arvioinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Tavoitteena hankkeessa on ollut, että koulutuksen järjestäjät ja oppilaitokset toteuttaisivat tulevaisuudessa keskenään vertaisarviointia ja hyödyntäisivät toisilta opittuja hyviä käytäntöjä ammattiosaamisen näyttöjen järjestämisessä ja arvioinnissa. Tarkoituksena on ollut selvittää, millä tavalla vertaisarviointi voitaisiin vakiinnuttaa osaksi näyttötoiminnan kehittämistä ja kansallista oppimistulostiedon tuottamista. Vertaisarvioinnin painopisteen tulisi siirtyä palvelemaan enemmän myös työelämää. 46

Seuraavien suositusten perustana ovat vertaisarvioijien kokemukset ja hankkeessa mukana olleiden projektipäälliköiden ja asiantuntijoiden palautteet vertaisarviointikäynneiltä sekä vertaisarvioinnin kehittämisryhmän pohdinnat. Vertaisarvioinnin käyttäminen ammattiosaamisen näyttöjärjestelmän ja oppimistulosten arvioinnin kehittämisessä. - Vertaisarvioinnin tulee perustua koulutuksen järjestäjien ja työelämän tarpeisiin ja ammattiosaamisen näyttöjärjestelmän kehittämiseen - Oppimistulosten kansalliseen arviointiin on hyvä sisällyttää laadullista vertaisarviointitietoa näytöistä - Koulutuksen järjestäjät päättävät vertaisarvioinnin käytöstä tai sen osuudesta oman toimintansa arvioinnissa - Mikäli vertaisarvioinnista saatavia tietoja käytetään osana näyttöjärjestelmän laadunvarmennusta ja apuna ammattiosaamisen näyttöjen oppimistulostietojen tuottamisessa, tulee opetushallinnon vastata sen linjaamisesta, käyttötarkoituksesta ja ohjaamisesta valtakunnallisesti - Erityistä huomiota on kiinnitettävä vertaisarviointien laadukkaaseen toteuttamiseen; vertaisarvioinnin läpinäkyvyys ja avoimuus tulee säilyttää sekä varmistaa arvioinnin ja palautteen kriteeriperusteisuus ja arvioijien kouluttaminen - Vertaisarvioinnin kehittäminen työvälineeksi vahvistamaan koulutuksen työelämäyhteyksiä, ammattiosaamisen näyttöjärjestelmää ja oppimistulosten arviointia - Koulutuksen työelämäyhteistyössä vahvistetaan vertaisoppimista ja tavoitteellista vuoropuhelua eri toimijoiden kesken - Vertaisarvioinnin kansallisessa toteutuksessa on tuotava esille ammattiosaamisen näyttöjärjestelmän kehittämistarpeet - Koulutuksen järjestäjän työelämän kehittämis- ja palvelutehtävää tuetaan vertaisarvioinnilla - Kehittämis- ja palvelutehtävän toteuttamiseksi lisätään vertaisarviointia ja vertaisoppimista tukevaa koulutusta sekä vahvistetaan yhteisellä osaamisella koulutuksen paikallista ja alueellista työelämäyhteistyötä - Työelämän edustajien tulisi osallistua ammattiosaamisen laatuvaatimusten muokkaamiseen ja kirjoittamiseen - Työelämäyhteistyön toteutumista tulisi painottaa näyttöjen suunnittelussa ja arvioinnissa. Työpaikkaohjaajille tarjottavaa koulutusta tulisi edelleen kehittää ja varmistaa koulutusten laatu - Vertaisarviointia tulisi käyttää työelämäyhteistyön ja työelämälle tarjottavan koulutuksen seurannan välineenä valtakunnallisesti ja alueellisesti. Ammatillisen koulutuksen oppimistuloksia ammattiosaamisen näytöistä tulisi seurata siten, että koulutuksen järjestäjien ja opetushallinnon yhteistyötä tiivistetään ja ammattiosaamisen näytöistä saatavaa palautetietoa hyödynnetään vertaisarvioinnin avulla osana koulutuksen järjestäjän oman toiminnan arviointia - Vertaisarvioinnin voisi liittää osaksi oppimistulostietojen tuottamista niihin tutkintoihin, jotka kulloinkin ovat mukana kansallisessa näyttöperusteisessa arvioinnissa 47

- Opetushallitus voisi ylläpitää vertaisarviointipankkia, johon kerättäisiin koulutettujen ja kokeneiden vertaisarvioijien tiedot sekä tiedot vertaisarvioinnista kiinnostuneista koulutuksen järjestäjistä ja oppilaitoksista - Opetushallituksen tehtävänä olisi koordinoida toiminta ja saattaa eri tahot yhteen sekä koota hyvät käytännöt vertaisarviointikokemusten pohjalta ammattiosaamisen näyttöjen, työpaikalla tapahtuvan oppimisen ja opiskelijan arvioinnin kehittämiseksi - Vertaisarviointia tulisi laajasti käyttää ammatillisen koulutuksen valtakunnallisten kehittämishankkeiden laadunvarmennuksessa ja samalla tukea hankkeiden tulosten levittämistyötä. Vertaisarvioinnin voisi liittää näin osaksi projektia ja sen ulkoista laadunvarmennusta. Vertaisarvioinnin palauteraportit voisivat toimia tällöin projektin seurantaraportteina. Vertaisarvioinnille on tyypillistä avoin vuoropuhelu ja dialogi arviointiin osallistuvien tahojen kanssa. Vertaisarviointi toimiikin oivallisena työvälineenä vaihdettaessa kokemuksia ja siirrettäessä osaamista organisaatiolta ja henkilöltä toiselle. Hyvä vertaisarvioija joutuu arvottamaan toisten työtapoja. Hän tarkastelee myös omia työtapojaan ja peilaa niitä toisiin. Ammattiosaamisen näytöissä vertaisarviointi avaa mahdollisuuksia kehittää työssäoppimista ja opiskelijan arviointia. Samalla saadaan tietoa oppimisen tuloksista ja kehittämistä kaipaavista osaamisen alueista. 48

6 KEHITTÄMISHANKKEEN TULOKSET Arviointijärjestelmän kehittämishankkeen (KOPPI) päätavoitteena oli laatia ehdotus kansallisesta näyttöperusteisesta oppimistulosten arviointijärjestelmästä sekä sen edellyttämästä laadunvarmennusjärjestelmästä. Tämän lisäksi tavoitteena oli myös laatia ehdotus ja suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja informaatiojärjestelmästä sekä tuottaa raportti 14 perustutkinnon oppimistuloksista. Tässä luvussa on esitelty tiivistetysti ehdotukset kansallisesta arviointi- ja laadunvarmennusjärjestelmästä sekä suunnitelma palaute- ja informaatiojärjestelmästä. Ehdotukset perustuvat arviointikokeilujen, laadunvarmennuksen ja vertaisarviointikokeilujen tuloksiin sekä Koppihankkeiden toimintaan ja tuotoksiin sekä hankkeen ulkoisen arvioinnin tuloksiin. Luvun lopussa on esitelty Koppi-hankkeessa tuotetut materiaalit ja julkaisut. Oppimistuloksista ja kyselyjen tuloksista on laadittu erillinen raportti. (Arviointikokeilu 2. Raportti oppimistuloksista ja kyselyn tuloksista. 2004 2007. Moniste 4/2008. Opetushallitus). 6.1 Ehdotus arviointijärjestelmäksi Kehittämistyön ja arviointikokeilujen pohjalta päädyttiin siihen, että kansallinen arviointitiedon tuottaminen integroidaan ammatillisten perustutkintojen näyttöihin. Erillisiä tehtäviä tai näyttöjä ei kansallista arviointitiedon tuottamista varten järjestetä, vaan arviointitieto tuotetaan suoraan koulutuksen järjestäjän toteuttamista ammattiosaamisen näytöistä. Tietoa kootaan sekä oppimistuloksista että ammattiosaamisen näyttöjen toteuttamisesta. Kansalliset tutkintokohtaiset ammattiosaamisen näyttöaineistot tai tutkinnon perusteet ohjaavat näyttöjen toteuttamista ja korvaavat näin aikaisemmat yhtenevät tehtävät tai kokeet. Keskeinen arviointia ohjaava periaate on, että oppimistulosten arviointi on tavoitelähtöistä ja kriteeriperusteista. Arvioinnin perustana ovat opetussuunnitelman perusteissa (myöhemmin tutkinnon perusteet) määritetyt tavoitteet. Oppimistulosten arviointi kohdistuu laaja-alaisen ammatillisen osaamisen arviointiin eli toiminnallisen osaamisen, tiedollisen osaamisen, sosiaalisen osaamisen ja reflektiivisen osaamisen arviointiin. Arvioinnin kohteena on sekä osaaminen että osaamista tuottavat prosessit. Arvioinnin kohteet näytössä ovat kaikissa tutkinnoissa samat ja ne ovat: työprosessin hallinta, työtehtävän hallinta, työn perustana olevan tiedon hallinta, työturvallisuuden hallinta, ydinosaaminen ja yhteiset painotukset. Näiden arvioinnin kohteiden sisällöt määrittyvät kunkin ammatillisen perustutkinnon opetussuunnitelman perusteiden yleisistä tavoitteista, opintokokonaisuuksien tavoitteista ja keskeisistä osaamisalueista. Tutkintokohtaisissa ammattiosaamisen näyttöaineistoissa on kuvattu opintokokonaisuuksien ammattiosaamisen näytöissä arvioitava osaaminen arviointikohteittain sekä arviointikriteerit kolmelle eri osaamisen tasolle. Vuosina 2008 2010 toteutettavan opetussuunnitelmauudistuksen myötä, näytön perusteet tulevat osaksi tutkinnon perusteita ja näin korvaavat kansalliset näyttöaineistot. Myös arvioinnin kohteet ja arvosana-asteikko tulevat opetussuunnitelmauudistuksen myötä muuttumaan. Ammattiosaamisen näytön arviointi tallennetaan yhtenäisesti kaikissa oppimistulostiedon tuottamisessa mukana olevissa tutkinnoissa. Arviointitieto tallennetaan näytöistä tutkinnoittain, opintokokonaisuuksittain ja arviointikohteittain opiskelija- ja oppilaitoskohtaises- 49

ti. Arviointitieto kootaan ns. seurantamallilla kaikista opiskelijan suorittamista opintokokonaisuuksien näytöistä. Arviointitietoa kerätään opiskelijoilta koko koulutuksen ajan tutkinnon suorittamisen loppuun saakka. Näin saadaan kattava kuva kunkin tutkinnon opiskelijoiden näytöistä, osaamisesta ja valinnoista valtakunnallisella tasolla. Vaihtoehtoisesti kansallinen arviointitieto voidaan koota etukäteen valikoiduista näytöistä. Valinnan perusteena olisi, että näyttö on riittävän kattava, se on mahdollista tehdä työpaikalla ja siinä arvioidaan ammatillisen osaamisen kannalta keskeisiä valmiuksia. Päätös arviointiin otettavista näytöistä tehtäisiin yhteistyössä alan asiantuntijoiden kanssa. Tässä vaihtoehdossa on mahdollista joko seurata samoja opiskelijoita koko opintojen ajan tai valita opintojen eri vaiheessa olevia opiskelijoita otokseen, jolloin koko tutkintoa koskevat tulokset on mahdollista raportoida nopeammin. Sen sijaan tiedon kokoaminen seurantamallilla samojen opiskelijoiden näytöistä koko opintojen ajan kestää noin kolme vuotta. Tämä edellyttää kansallisten ja oppilaitoskohtaisten tulosten raportointia säännöllisin väliajoin, jotta palautetta voidaan hyödyntää koulutuksen kehittämisessä paikallisella ja kansallisella tasolla. Vaikka arviointitieto kerättäisiinkin kaikista opiskelijan suorittamista näytöistä, voidaan varsinainen tulosten analysointi ja raportointi sekä kansallinen ja oppilaitoskohtainen palaute tehdä vain tietyistä valikoiduista näytöistä. Kansallisen arvioinnin lähtökohtana on, että oppimistulostiedon tuottamisessa ovat mukana kaikki opiskelijat ja kaikki koulutuksen järjestäjät, jotka tarjoavat arvioitavaa tutkintoa opetussuunnitelmaperusteisena. Oppimistulosten lisäksi näytöistä voidaan koota myös muuta tietoa, joka koskee ammattiosaamisen näytöille asetettujen laatuvaatimusten toteutumista ja näyttöjärjestelmän toimivuutta. 6.2 Ehdotus laadunvarmennusjärjestelmäksi Arviointikokeilut osoittivat, että luotettavan ja vertailukelpoisen arviointitiedon saaminen edellyttää näyttötoiminnan laadunvarmennusta. Laadunvarmennus edellyttää valintaa sitovien normien ja suositusten välillä. Kansallisen arvioinnin tulee perustua näyttötoiminnan yleisiin laatuvaatimuksiin, jotka ovat kansallisen arvioinnin minimilaatuvaatimuksia. Yleiset laatuvaatimukset on johdettu ammattiosaamisen näytöille asetetuista tavoitteista ja näyttöjen toteuttamista ohjaavista säädöksistä ja määräyksistä ja näyttötoiminnalle annetuista suosituksista. Laatuvaatimukset ohjaavat näyttöjen suunnittelua, toteuttamista ja arviointia ja ne ovat: Opetussuunnitelmaperusteisuus: Osaamisen, arvioinnin kohteet ja kriteerit vastaavat opetussuunnitelman perusteita Työelämälähtöisyys: Näyttöjen suunnittelu, toteuttaminen ja arviointi toteutetaan oppilaitosten ja työpaikkojen yhteistyönä Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi: Näytön arvioinnille on asetettu ennalta arvioinnin kohteet ja kriteerit, jotka ovat kaikkien osapuolten tiedossa Laaja-alaisen osaamisen arviointi: Näytöissä tulee arvioida laaja-alaista, toiminnallista, tiedollista, sosiaalista ja reflektiivistä osaamista Arvioinnin ja dokumentoinnin yhdenmukaisuus ja läpinäkyvyys: Osaamisen arvioinnin kohteet ja kriteerit ovat yhtenevät kaikissa tutkinnoissa ja näyttöjen arviointi tallennetaan kaikissa tutkinnoissa yhdenmukaisella tavalla. 50

Yleisten laatuvaatimusten lisäksi arviointikokeilujen pohjalta ehdotetaan seuraavia suosituksia kansalliseen arviointiin: Näytöt toteutetaan mahdollisimman aidoissa työelämän tilanteissa, työpaikalla. Arviointikokeilut osoittivat, että työpaikalla toteutettavat näytöt mahdollistavat oppilaitosnäyttöjä paremmin laaja-alaisen ammatillisen osaamisen näyttämisen Näytön arviointi toteutetaan yhteisarviointina opettajan, opiskelijan ja työelämän edustajan kanssa. Yhteisarvioinnilla varmistetaan kriteeriperusteisen, luotettavan ja oikeudenmukaisen arvioinnin toteutuminen. Minimilaatuvaatimusten ja suositusten lisäksi kansallisen arvioinnin laadunvarmennukseksi ehdotetaan vertaisarviointia sekä arviointikokeiluissa kehitettyjä ja testattuja opettajan, opiskelijan ja työelämän edustajien taustakyselyjä. Kyselyiden avulla seurataan näyttöjärjestelmälle asetettujen tavoitteiden ja laatuvaatimusten toteutumista sekä näyttöjen käytännön toteuttamista. Tieto näyttökäytännöistä auttaa koulutuksen järjestäjiä omien näyttötoimintaa koskevien ratkaisujen tekemisessä ja tuo esiin ns. hyviä käytäntöjä. Kyselyn teemat ja painopisteet voivat vaihdella ja ne voidaan valita oppimistulosten seurannan tulosten ja esille tuomien kehittämiskohteiden mukaan. Teemoissa voidaan myös painottaa koulutuspoliittisesti merkittäviä asioita (esimerkiksi erityisopiskelijat, pienet alat/ tutkinnot, opiskelijakadosta kärsivät, opintojen keskeyttäminen). Myös työelämäyhteistyön toteutumista paikallisella tasolla voidaan seurata kyselyiden avulla. Vertaisarvioinnin tavoitteena on varmistaa ammattiosaamisen näyttöjen ja arvioinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Vertaisarviointi tuo tietoa erityisesti paikalliseen näyttötoiminnan ja työelämäyhteistyön kehittämiseen. Seuraavassa kuviossa on ehdotus kansallisen arvioinnin laadunvarmennusjärjestelmäksi. KANSALLISEN NÄYTTÖPERUSTEISEN ARVIOINNIN LAADUNVARMENNUS Näyttöjen yleiset laatuvaatimukset arviointikohteet 1 2 3 4 5 6 Opetussuunnitelmaperusteisuus Työelämälähtöisyys Tavoitelähtöinen ja kriteeriperusteinen arviointi Laaja-alaisen osaamisen arviointi Yhteisarviointi Yhtenäinen dokumentointi Näyttöjen suunnittelu, toteuttaminen ja arviointi K y s e l y t V e r t a i s a r v i o i n t i Luotettava, vertailu- ja käyttökelpoinen kansallinen arviointitieto Näytöille asetetut tavoitteet, säädökset, suositukset Kuvio 8 Ehdotus kansallisen arvioinnin laadunvarmennusjärjestelmäksi 51

6.3 Ehdotus oppimistulostiedon palautejärjestelmäksi Näyttöperusteisen oppimistulosten arviointijärjestelmän kehittämishankkeen (Koppihanke) yhtenä tavoitteena oli myös laatia suunnitelma ja ehdotus kansallisesta oppimistulostiedon palautejärjestelmästä, jolla tuetaan koulutuksen kehittämistä kansallisella ja koulutuksen järjestäjän tasolla. Näyttöperusteiseen oppimistulosten arviointijärjestelmään integroitavan palautejärjestelmän tavoitteena on tuottaa tietoa oppimistuloksista sekä ammattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Tämän tiedon avulla voidaan seurata opetussuunnitelman perusteissa asetettujen tavoitteiden toteutumista ja työelämän edellyttämän ammattiosaamisen saavuttamista sekä edistää koulutuksen laadun kehittämistä kansallisella ja koulutuksen järjestäjän tasolla. Palautejärjestelmän yhtenä keskeisimpänä tavoitteena on tukea koulutuksen järjestäjiä oman toiminnan arvioinnissa ja kehittämisessä. Tämä edellyttää, että näyttöperusteiseen arviointijärjestelmään liitetään sähköinen palautejärjestelmä, joka mahdollistaa nopean ja systemaattisen vertailutiedon saamisen kehittämistyön tueksi. Tavoitteena on, että oppimistulostiedon kerääminen on kiinteä osa koulutuksen järjestäjien toimintaa. Arviointikokeiluissa mukana olleilta oppilaitosten johdolta ja opettajilta pyydettiin palautetta oppilaitoskohtaisten palautteiden sisällöstä, käyttökelpoisuudesta, rakenteesta ja ulkoasusta. Lisäksi heiltä tiedusteltiin, millaisista asioista tietoa tulisi kerätä, jotta sitä voisi hyödyntää oppilaitoksen itsearvioinnissa ja muussa kehittämistyössä(ks. loppuraportin liite 10 palautekysely ja yhteenveto kyselyn tuloksista). Palautteissa tuli esille, että oppilaitokset toivovat järjestelmää, joka tuottaa nopeaa ja systemaattista palaute- ja vertailutietoa kehittämistyön tueksi. Oppilaitokset toivovat omien tulosten lisäksi kansallista vertailutietoa ensisijaisesti omalta alalta tutkinto- ja opintokokonaisuuskohtaisesti. Tämän lisäksi vertailutietoa toivotaan myös muilta aloilta. Varsinaisten oppimistulosten lisäksi tietoa halutaan myös opiskelijoiden sijoittumisesta, koulutuksen läpäisystä, eri oppilaitosten esimerkkejä samaan opintokokonaisuuteen laadituista näyttötehtävistä, niiden suorittamiseen ja seurantaan käytetystä ajasta. 6.3.1 Kansallisen seurantatiedon tuottaminen Oppimistulostiedon palautejärjestelmä sisältää tiedot oppimistuloksista ja näyttöjen laatuvaatimusten toteutumisesta. Oppimistulostiedot sisältävät näyttöjen arvosanatiedot arviointikohteittain, opintokokonaisuuksittain (myöhemmin tutkinnon osittain) ja tutkinnoittain. Oppimistulostiedot sisältävät tiedot myös näyttöjen suorituspaikoista ja näytön arviointiin osallistuneista osapuolista. Arviointitieto näytöistä kootaan kaikissa tutkinnoissa yhdenmukaisella tavalla, jolloin yleisten arvioinnin kohteiden ja kriteerien lisäksi myös arviointitiedon tallentaminen ovat yhtenevät kaikilla aloilla. Tämä yhdenmukaistaa arviointia ja mahdollistaa vertailutiedon tuottamisen. Kansalliseen seurantaan koulutuksen järjestäjiltä pyydettävät tiedot perustuvat arvioinnista annettuun määräykseen (M 32/011/2005), näyttötodistuksessa vaadittaviin tietoihin sekä näyttötoiminnan yleisiin laatuvaatimuksiin. Kansallista seurantaa varten koulutuksen järjestäjän tulee tallentaa opiskelijahallintajärjestelmiin seuraavat opiskelijaa ja ammattiosaamisen näyttöä koskevat tiedot: 52

1. Koulutuksen järjestäjän nimi, oppilaitoksen nimi ja nro (Tilastokeskuksen numerointi) 2. Opiskelijan suku- ja kaikki etunimet 3. Opiskelijan henkilökohtainen tunniste (opiskelijahallintojärjestelmissä käytetty ID) 4. Opintojen aloituspäivä tässä oppilaitoksessa (pp.kk.vvvv) 5. Opintojen aloituspäivä tässä tutkinnossa (pp.kk.vvvv) 6. Opiskelijan sukupuoli (1 = mies, 2 = nainen) 7. Perustutkinto (Tilastokeskuksen käyttämä numerointi) 8. Opintokokonaisuuden ammattiosaamisen näyttö: käytetään Opetushallituksen opintoluokitusta. Mikäli niitä ei ole oppilaitoksen järjestelmissä käytössä, annetaan täydellinen opetussuunnitelman perusteissa käytetty opintokokonaisuuden nimi. 9. Ammattiosaamisen näytön arvosanat arviointikohteittain (arvosana-asteikko 1 5) 10. Opintokokonaisuuden ammattiosaamisen näytön arvosana (arvosana-asteikko 1 5) 11. Opintokokonaisuuden näytön arvosanasta päättämisen ajankohta (pp.kk.vvvv) 12. Suoritettiinko näyttö työssäoppimisjakson yhteydessä: kyllä = 1, ei = 13. Ammattiosaamisen näyttöpaikka: 1 = työpaikka, 2 = oppilaitos 14. Organisaation/yrityksen/oppilaitoksen nimi/nimet, jossa /joissa ammattiosaamisen näyttö on toteutettu. 15. Lyhyt kuvaus opiskelijan suorittamasta ammattiosaamisen näytöstä. Teksti vastaa näyttötodistuksen kuvausta. (Opiskelijahallintojärjestelmään vietävä kuvaus tai kuvaukset eroteltuna pilkulla, jos opintokokonaisuuden näyttö muodostuu osanäytöistä.) 16. Arviointikeskusteluun osallistuivat: 1 = opiskelija ja opettaja, 2 = opiskelija ja työelämän edustaja 3 = opiskelija, opettaja ja työelämän edustaja, 4 = opettaja ja työelämän edustaja, 5 = arviointikeskustelua ei pidetty. (Jos opintokokonaisuuden näyttö muodostuu osanäytöistä, valitaan vaihtoehto, jossa ovat kaikki eri vaiheissa mukana olleet osapuolet.) 17. Ammattiosaamisen näytön arvosanasta päätti: 1 = opettaja, 2 = työelämän edustaja, 3 = opettaja ja työelämän edustaja. 18. Tiedot täyttäneen henkilön suku- ja etunimi. 19. Tietojen täyttämisen päivämäärä (pp.kk.vvvv). Yllä luetelluista tiedoista kohdat 3, 4, 5, 6, 11, 12, 13, 16, 17, 18 ja 19 ovat tietoja, jotka kerätään kansallista seuranta-arviointia varten. Muut kohdat perustuvat arvioinnista annettuun määräykseen ja näyttötodistuksessa vaadittaviin tietoihin. Näyttöjen oppimistulostietojen lisäksi palautejärjestelmä sisältää tietoja myös näyttöjen laatuvaatimusten toteutumisesta, jota tuotetaan opiskelijan, opettajan ja työelämän edustajien taustakyselyillä. Kyselyillä saadaan tietoa mm. näyttöjen suunnittelusta ja toteuttamisesta, arvioinnin osuvuudesta ja yhdenmukaisuudesta, arviointikäytännöistä, ammattiosaamisen näyttöjen integroinnista opetukseen ja opetussuunnitelmiin sekä ammattiosaamisen näyttöjen merkityksestä oppimiselle. Eri osapuolten taustakyselyitä testattiin molemmissa arviointikokeiluissa (pilotti I ja II) ja ne osoittautuivat käyttökelpoisiksi välineiksi saada hyödyllistä tietoa ammattiosaamisen näyttöjen kehittämiseksi. Myös koulutuksen järjestäjien keskinäisellä vertaisarvioinnilla saadaan tietoa näyttöjen laatuvaatimusten toteutumisesta. Oppimistulostiedon kokoaminen toteutetaan Opetushallituksen ja koulutuksen järjestäjien yhteistyönä. Koulutuksen järjestäjä vastaa kansalliseen seurantaan vaadittavien tietojen tallentamisesta opiskelijahallintojärjestelmiin sekä arviointitiedon toimittamisesta Opetushallitukseen. Opetushallitus puolestaan vastaa kokonaisuudessaan kansallisen seurantatiedon tuottamisesta, analysoinnista ja raportoinnista. 53

6.3.2 Seurantatiedon analysointi ja raportointi Oppimistuloksista ja ammattiosaamisen näyttöjen toteuttamisesta kerättävää tietoa voidaan hyödyntää koulutuksen kehittämisessä kansallisella ja koulutuksen järjestäjän tasolla. Tämä edellyttää koottavan tiedon analysointia ja raportointia. Oppimistuloksista tuotetaan valtakunnallista vertailutietoa. Kansalliset tulokset raportoidaan säännöllisin väliajoin tutkinnoittain, tutkinnon osittain ja arvioinnin kohteittain, jolloin tutkintojen välinen vertailu on mahdollista. Kansallista arviointitietoa voidaan käyttää kehittävässä merkityksessä, kun koulutuksen järjestäjillä on käytettävissä sekä kansalliset seuranta- ja vertailutiedot että omat oppilaitoskohtaiset tulokset. Näin ollen tiedon tuottamiseen osallistuneille koulutuksen järjestäjille annetaan säännöllisin väliajoin palautetta omista tuloksista suhteessa kansalliseen tulokseen. Tällöin oppilaitokset voivat itse tunnistaa omia kehittämiskohteitaan ja hyödyntää palautetietoa oman toiminnan itsearvioinnissa ja kehittämisessä. Palaute annetaan tutkinnon osittain ja arviointikohteittain sähköisenä tietojärjestelmän kautta, jolloin koulutuksen järjestäjät ja oppilaitokset voisivat muokata ja analysoida sitä vaivattomasti omiin tarpeisiin. Oppilaitoskohtaiset palautteet ja kansallinen palaute voidaan antaa joko kaikista näytöistä tai tietyistä valikoiduista näytöistä esimerkiksi sillä perusteella, että näytöt ovat kattavia, ne ovat toteutettu työpaikoilla ja niitä on toteutettu riittävästi ja laajalta koko maassa. Palautteen luonne on riippuvainen seurantaan kertyneestä aineistosta ja sen määrästä. Oppilaitoskohtaisia tuloksia ei julkaista kansallisissa raporteissa, vaan mukana olleille koulutuksen järjestäjille toimitetaan erilliset raportit niiden omista tuloksista. Kansallisen seuranta-arvioinnin tuottama tieto on luonteeltaan sekä numeerista että laadullista. Kansallinen seuranta ja pidemmän ajan tiedon tuottaminen mahdollistavat kehitystrendien seuraamisen, erilaiset syväanalyysit ja teema-arvioinnit aineistosta. Esimerkiksi arvosanojen suhteen parhaimpaan neljännekseen ja huonoimpaan neljännekseen kuuluvien oppilaitosten oppimistuloksia ja taustakyselyn tuloksia voidaan selvittää tarkemmin. Samoin merkittävät arvosanapoikkeamat keskiarvoista sekä usein toistuvat ilmiöt ja trendit voidaan ottaa tarkasteltavaksi. Syväanalyysia voidaan toteuttaa esimerkiksi tarkastelemalla taustamuuttujia erilaisista näkökulmista, vertaisarvioinnilla ja haastatteluluilla. Myös erilaisilla fokusryhmillä, joissa on mukana arvioitavan alan asiantuntijoita (opetuksen ja työelämän edustajia) voidaan tarkastella ja analysoida tuloksia. Syväanalyysin tarkoituksena on analysoida, mitkä tekijät ovat yhteydessä tuloksiin ja millaisia näyttötoiminnan kehittämistarpeita nousee esille. Syväanalyysissä voidaan hyödyntää myös vertaisarvioinnin tuottamaa tietoa. Syväanalyysin avulla voidaan löytää niin sanotut hyvät käytännöt näyttöjen toteuttamisessa ja arvioinnissa. Seuranta-arvioinnin aineisto mahdollistaa myös arviointitutkimuksen, joka voidaan liittää syväanalyyseihin. Tutkimuksen aiheet voivat nousta teema-arviointien pohjalta tai seurattaessa jonkin tietyn tutkinnon tai vaikkapa osaamisalueen (arvioinnin kohteen) kehitystä. Teema-arviointi ja arviointitutkimus voidaan myös yhdistää toisiinsa. Teema-arviointi voi kohdistua joihinkin arvioinnin kohteisiin, esimerkiksi elinikäisen oppimisen avaintaitoihin tai ammatillisen osaamisen arviointiin. Analysointia varten ja tulosten ymmärtämiseksi tietoa tarvitaan myös olennaisista taustatekijöistä ja -muuttujista. Tärkeää on löytää ne taustamuuttujat, jotka saattaisivat selittää eroja arvosanoissa, arviointikäytännöissä ja eri osapuolten kokemuksissa. Taustatietoa tarvitaan: 54

koulutuksen järjestäjästä ja oppilaitoksesta ammattiosaamisen näytöstä opiskelijasta alueen elinkeinoelämästä ja työpaikoista Taustatiedoilla voidaan selvittää, miten esimerkiksi opiskelijan lähtötaso, ohjauksen määrä, näyttöpaikan mahdollisuudet, ohjaajien ja opettajien koulutus ja perehdyttäminen sekä oppilaitoksen työelämäyhteistyö vaikuttavat arvosanoihin ja osaamiseen. Kansallisella tasolla onkin ratkaistava, mistä taustamuuttujista tietoa tulisi kerätä. Koulutuksen järjestäjää ja opiskelijaa koskevien taustatietojen kerääminen voidaan liittää syväanalyysien yhteyteen. Näyttöä koskevat taustatiedot (näyttöpaikka, tiedot näytön arvosanasta päättäneestä, arviointikeskusteluun osallistuneista jne.) saadaan suoraan arvioinnin dokumentointilomakkeesta. Myös valmiita tilastoja (esimerkiksi rahoitustiedot ja opiskelijavalintarekisterit (yhteishaku), Wera) voidaan hyödyntää tulosten analysoinnissa. Palautejärjestelmä mahdollistaa myös erilaisten indikaattorien, kuten esimerkiksi työelämäyhteistyön laatua kuvaavan indikaattorin kehittämisen. 6.3.3 Seurantatiedon hyödyntäminen ja haasteet Kansallisen seuranta-arvioinnin tuottamaa tietoa voidaan hyödyntää monipuolisesti koulutuksen laadun arvioinnissa ja kehittämisessä. Systemaattinen tiedonkeruu ja säännölliset palautteet mahdollistavat seurantatiedon tuottamisen, trendien seuraamisen, esimerkiksi näyttöpaikkojen vaihtelut tutkinnoittain sekä pitkäjänteisen kehittämistyön. Pysyvä kansallinen palautejärjestelmä tuottaa käyttökelpoisempaa tietoa pitkäjänteisen koulutuspoliittisen päätöksenteon ja koulutuksen ohjauksen käyttöön kuin kertaluonteiset arvioinnit. Palautejärjestelmän tuottamaa tietoa voidaan hyödyntää ajankohtaisten arviointiaiheiden määrittämisessä ja kansallisen arviointisuunnitelman laadinnassa. Tietoa voidaan hyödyntää myös ammattiosaamisen näyttöjen ja opetussuunnitelman perusteiden kehittämisessä sekä käynnistettäessä erilaisia ammatillisen koulutuksen kehittämishankkeita. Koulutuksen järjestäjät voivat hyödyntää palautetietoa muun muassa näyttöjen, opetuksen ja opiskelijan arvioinnin kehittämisessä sekä yleisemmin oman toiminnan arvioinnissa liittämällä näytöistä ja laadunvarmennuksesta saadun tiedon osaksi omia arviointi- ja seurantajärjestelmiä. Kansallinen seuranta-arviointi palautejärjestelmineen mahdollistaa myös kansallisen osaamisrekisterin syntymisen. Osaamisrekisteri sisältäisi niin yksilön todennetun osaamisen kuin kansallista osaamista kuvaavan tietokannan. Rekisteri olisi useiden tahojen hyödynnettävissä oleva, sähköinen osaamisen ja opintosuoritusten hallinta- ja arkistointijärjestelmä, johon on koottu opiskelijan todennetun osaamisen lisäksi opintojen tavoite- ja sisältökuvaukset: opinto- ja tutkintosuoritukset, kompetenssit ja kvalifikaatiot sekä muut tarvittavat osaamista kuvaavat dokumentit. Kansallista osaamispääomarekisteri -hanketta on luonnosteltu osana tietoyhteiskuntapolitiikkaohjelmaan kuulunutta Tietoyhteiskuntakehityksen yhteisten menettelytapojen ja koordinoinnin kehittäminen opetustoimessa (OpetusTIME). Kansallisesta osaamispääomarekisteristä muotoutuu pidemmällä aikavälillä yhdenmukainen kansallinen tietokanta, joka kuvaa suomalaista osaamista. Osaamishistoria mahdollistaa eri opintojen ja tutkintojen tuottaman osaamisen vertailun sekä suomalaisten tutkintojen ja kvalifikaatioiden vertailun muihin EU-alueen tutkintoihin osana eurooppalaista osaamisen ja tutkintojen viitekehystä (European Qualifications Framework EQF). 55

Näin ollen systemaattisesti tuotettua oppimistulostietoa voidaan käyttää myös koulutusta koskevana indikaattoritietona. Kansallisen seuranta-arvioinnin yhtenä keskeisimpinä haasteina ovat henkilöpohjaisen tiedonkeruuseen ja tietosuojaan liittyvät asiat. Vaikka tarkoitus ei ole tarkastella yksilötason osaamista ja suorituksia, syntyy opiskelijahallintojärjestelmistä kerättävistä tiedoista rekisteri, jonka ylläpitäminen saattaa edellyttää erityislupaa tai jopa säädösmuutoksia. Haasteena on myös kansallisen ja oppilaitoskohtaisen palautteen laadinta ja sen ajankohta: on ratkaistava, milloin ja mistä arviointidatasta palaute laaditaan, mihin tietoja verrataan ja mikä on riittävä tiedon (datan) määrä, jotta voidaan tehdä koko tutkintoa koskevia yleistyksiä. Ongelma syntyy siitä, kun koulutuksen järjestäjät toteuttavat näyttöjä omien suunnitelmien ja aikataulujen mukaan ja tallentavat oppimistulostiedot opiskelijahallintojärjestelmiinsä eri aikaan. Haasteena on myös opiskelijahallintojärjestelmien yhteensovittaminen kansallisen seurannan kanssa. Tärkeä on myös huomioida, miten kansallisen seuranta-arvioinnin tiedonkeruu yhteen sovitetaan muuhun kansalliseen tietotuotantoon ja olemassa oleviin rekistereihin. Haasteena on myös, miten paikallisella tasolla toteuttava vertaisarviointi ja sen tuottama arviointitieto saadaan osaksi kansallista arviointia ja raportointia niin, että tietoa voidaan hyödyntää kansallisen tason koulutuksen kehittämisessä. Tällä hetkellä vertaisarviointi palvelee ennen kaikkea koulutuksen järjestäjiä näyttöjen ja arviointikäytäntöjen kehittämisessä. Analysoinnin haasteena on myös, miten vertaisarvioinnin tuottama arviointiaineisto dokumentoidaan, raportoidaan ja yhdistetään oppimistulostietoon. Myös kytkentä kehittämistyöhön on ratkaistava: miten palautejärjestelmän tuottamaa tietoa voidaan aidosti hyödyntää opetussuunnitelman perusteiden ja yleisesti koulutuksen laadun kehittämisessä. Haasteena on myös, miten syväanalyysin tuottamat hyvät käytännöt näyttöjen toteuttamis- ja arviointikäytännöistä dokumentoidaan ja raportoidaan sekä miten palautejärjestelmä saadaan palvelemaan myös työelämän tarpeita. Edellä esitetty ehdotus palautejärjestelmästä on kuvattu alla olevassa kuviossa. 56

Oppimistulostieto tuotetaan paikallisesti, kootaan tietokantaan. Raportointijärjestelmä tuottaa oppimistulostiedon pohjalta raportteja, joita koulutuksen järjestäjät, kolmikantainen toimielin, Opetushallitus ja opetusministeriö voivat seurata ja kehittää näyttöjen ja yleisemmin ammatillisen koulutuksen laatua. Syntyy kansallinen, osaamisen tietokanta. Kuvio 9 Ehdotus kansallisen arviointitiedon palautejärjestelmäksi 6.4 Sähköisen ammattiosaamisen näyttöjen oppimistulostiedon raportointi- ja seurantajärjestelmän (AMOP) toteuttaminen Tässä luvussa kuvataan aikaisempien arviointikokeiluiden sekä keväällä 2007 käynnistyneen kansallisen oppimistulostiedon tuottamisen kokemusten perusteella verkkopohjaisen ammattiosaamisen näyttöjen oppimistulostiedon raportointi- ja seurantajärjestelmän toteuttaminen. Järjestelmä, josta käytetään myöhemmin myös työnimeä AMOP-järjestelmä, tulee kattamaan kaikki 53 perustutkintoa vuoteen 2011 mennessä, jolloin uudet tutkinnon perusteet ovat voimassa kaikissa tutkinnoissa. Järjestelmän rakenne luodaan yhteensopivaksi uusien tutkinnon perusteiden kanssa. Järjestelmä tuottaa kansalliseen vertailutietoon perustuvia raportteja, joita niin koulutuksen järjestäjät, Opetushallitus ja opetusministeriö voivat seurata ja kehittää ammattiosaamisen näyttöjen ja yleisemmin koulutuksen laatua. 6.4.1 Toimijat ja heidän roolinsa Tieto koulutuksen järjestäjille ja viranomaisille tarkoitettuun internetissä toimivaan raportointi- ja seurantajärjestelmään tuotetaan suoraan koulutuksen järjestäjien ja oppilaitosten opiskelijahallintojärjestelmistä. Tiedonkulkua voi yksinkertaistetusti kuvata seuraavasti: Oppimistulostieto ja näyttöjen laatuvaatimusten toteutumiseen liitetyt tiedot siirretään koulutuksen järjestäjien opiskelijahallintojärjestelmien kautta Opetushallituksen hallinnoimaan tietokantaan, josta verkkopohjaisen raportointi- ja seurantajärjestelmän kautta tuotetaan raportteja eri tahoille. Ehdotuksessa Opetushallitus toimii ammattiosaamisen näyttöjen arviointi- ja seurantatiedon tuottamisen toimeenpanija, jolloin Opetushallituksen tehtäviin kuuluu käyttäjätunnuksien hallinnointi, yhteyshenkilönä toimiminen järjestelmätoimittajan ja oppilaitosten 57

välillä. Lisäksi Opetushallituksen vastuulle jää mm. koulutuksen järjestäjien ohjeistaminen ja tukipalveluiden tarjoaminen. Opetusministeriöllä on ohjaava ja valvova rooli. Koulutuksen järjestäjät toimivat niin tiedontuottajina kuin raporttien hyödyntäjinä. Lisäksi oppilaitokset toimivat järjestelmän kehittäjinä antamansa palautteen kautta. Koulutuksen järjestäjiltä pyydetään säännöllisesti palautetta järjestelmän tuottamien raporttien hyödynnettävyydestä ja järjestelmän toimivuudesta. Järjestelmän käyttäjähallinnassa tulee huomioida erilaiset käyttöoikeudet eri toimijoille. Koulutuksen järjestäjän tulee nimetä järjestelmän yhdyshenkilö, jonka kanssa viranomaistaho asioi. Sen lisäksi koulutuksen järjestäjällä tulee olla eritasoisia käyttäjäoikeuksia mm. raporttien tarkastelua varten. 6.4.2 Tiedonkeruu ja raportointi Koulutuksen järjestäjiä velvoitetaan tuottamaan tietoja näytöistä järjestelmään ennalta määriteltyinä aikoina, esimerkiksi puolen vuoden välein. Jaksottaminen on mielekästä, sillä jatkuva tiedon syöttäminen opiskelijahallintojärjestelmistä ulkoiseen tietokantaan vaatii henkilöresursseja ja valvontaa oppilaitoksissa sekä viranomaisen taholta. Lisäksi jatkuva yhteys ulkoiseen tietokantaan vaatii henkilöpohjaisen tiedon siirron yhteydessä paljon järjestelmien tietosuojalta. Jaksotettua tiedonsiirtoa tukee myös aineiston vertailupohjan kerryttäminen: Oppilaitoksissa opintokokonaisuuksien arvosanatiedot tuotetaan usein lukukausien lopussa omiin opiskelijahallintojärjestelmiin. Siten vertailutietoa kertyy samana ajanjaksona toteutetuista ammattiosaamisen näytöistä kattavammin kuin satunnaisten tiedonsyöttöjen myötä. Aikataulutus mahdollistaa myös järjestelmän valvonnan ja tukipalvelujen tarjoamisen. Tarkemmassa toteutussuunnitelmassa tulee huomioida koulutuksen järjestäjiin kohdistuvan muun valtakunnallisen tiedonkeruun yhteensovittaminen (mm. Tilastokeskus, OPH:n indikaattorituotanto, rahoitustiedot). Opiskelijahallintojärjestelmien kehittäjiä kuullaan suunnittelutyön jokaisessa vaiheessa, sillä tekninen toteutus vaikuttaa koulutuksen järjestäjien käyttämiin järjestelmiin, yhtenäiseen termistöön ja sitä myötä myös käytäntöihin. Oppimistulostietojen yhdistelyn ja tiedon kattavan hyödyntämisen mahdollistamiseksi sekä analyysimenetelmien kannalta tiedonkeruun tulee olla henkilöpohjaista. Henkilöpohjainen tiedonkeruu mahdollistaa opintopolkujen seurannan, jolloin myös päällekkäisen koulutuksen seuranta sekä opintojen keskeyttämisen seuranta tulevat mahdollisiksi. Henkilöpohjainen seuranta antaa kattavan kuvan kunkin tutkinnon opiskelijoiden näytöistä ja valinnoista kansallisella tasolla. Järjestelmässä käsitellään henkilötietoja, joten järjestelmän on oltava tietoturvallinen. Henkilötason tietojen näkyvyyttä voidaan rajoittaa erikseen käyttäjäkohtaisesti, käyttäjäryhmäkohtaisesti tai vastuualueittain. Siirrettäessä tietoja eri järjestelmien välillä tulee varmistaa, että tiedot eivät joudu kolmansille osapuolille. Sähköisestä seuranta- ja raportointijärjestelmästä tietoja tulee voida tarkastella monipuolisesti usean eri toimijan näkökulmasta. Opetusministeriön ja Opetushallituksen raportit koskevat koko palauteaineistoa valtakunnallisella tasolla. Vakiomuotoisen, kaikille raportin lukijoille yhteiset raporttimallien tulee pitää sisällään vähintään koulutuksen järjestäjän oppilaitoskohtaiset ja tutkintokohtaiset tulokset suhteessa kansalliseen keskiarvoon (kou- 58

lutuksenjärjestäjittäin, koulutusohjelmittain, perustutkinnoittain, tutkinnon osittain, arvioinnin kohteittain ja alueittain). Tietoja tulee voida tarkastella myös manuaalisesti järjestelmän työkalujen avulla ja tuottaa niistä erimuotoisia tulostiedostoja, joita voidaan siirtää järjestelmän ulkopuolelle jatkokäsittelyä varten. Tuloksia tulee olla mahdollista seurata myös aikasarjoittain. Raporttipohjien suunnittelu toteutetaan yhteistyöryhmässä, jonka päätettäväksi jää mm. kuinka monen vertailuajanjakson tiedot tarjotaan raporttipohjiin. 6.5 Oppimistulostiedon laadunvarmennuksen sähköinen palautejärjestelmä AMOS ja sen toteuttaminen Ammatillisen koulutuksen palautejärjestelmä voidaan toteuttaa vuonna 2008 käyttöön otetun aikuiskoulutuksen palautejärjestelmä AIPAL pohjalta. AIPAL-järjestelmän tarkoituksena on seurata sekä näyttötutkintoon valmistautuvan henkilön saaman koulutuksen että varsinaisen näyttötutkinnon suorittamisen laatua. Ammatillisen peruskoulutuksen puolelle sovelluksesta käytetään työnimeä AMOS. AMOS-järjestelmässä palaute on mahdollista kerätä otospohjaisesti ammattiosaamisen näyttöihin osallistuvilta opiskelijoilta, opettajilta ja työelämän edustajilta. Järjestelmä tuottaa palauteaineiston pohjalta raportteja, joita koulutuksen järjestäjät, Opetushallitus ja opetusministeriö voivat hyödyntää seuratessa ja kehittäessä koulutuksen laatua. Alla on yhteenveto ja kuvio Amos-järjestelmästä osana kansallista seuranta-arviointia (suunnitelma) AMOS toimii kansallisesti ammattiosaamisen näyttöjen laadunvarmennuksen välineenä Tuottaa tietoa näytöille asetettujen laatuvaatimusten toteutumisesta Tuottaa tietoa oppimistulostiedon analysoinnin ja tulosten tulkinnan tueksi Tarjoaa mahdollisuuden myös muun toiminnan (esim. työssäoppimisen) arvioimiseen kansallisella ja paikallisella tasolla AMOS voi syntyä AIPALin sivutuotteena, sillä AIPAL-järjestelmä on mahdollista laajentaa koskemaan myös ammatillisia perustutkintoja Ei todennäköisesti lanseerata "jokapäiväiseen" käyttöön, sillä ammatillisen peruskoulutuksen järjestäjillä on käytössä maksullisia, (yleensä) opiskelijahallintojärjestelmiin liitettyjä palautejärjestelmiä. Koulutuksen järjestäjille voidaan antaa mahdollisuus AIPALin tavoin sisäiseen käyttöön ja lisäkysymyksiin. 59

6.6 Koppi-hankkeessa tuotetut materiaalit ja julkaisut Koppi-hankkeessa toimi kymmenen valtakunnallista projektia vuosina 2004 2007, joista osa kehitti kansallista arviointijärjestelmää (Sote Järkevä, Konsensus, Arvo ja Arvi) ja osa näyttöjen arviointikäytäntöjä (Riihy, Valmis näyttöön!, Näyttöportaali, Blanco 1-2-3, Näkes ja Amy). Kehittämishankkeen (KOPPI) yleisenä tavoitteena oli näyttöperusteisen arviointijärjestelmän sekä kansallisen arvioinnin edellyttämän laadunvarmennusjärjestelmän kehittäminen, arviointikäytäntöjen kehittäminen, arviointijärjestelmän testaaminen ja oppimistulosten arviointi 14 perustutkinnossa. Näiden lisäksi tavoitteena oli laatia myös suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja informaatiojärjestelmästä. Näiden yleisten tavoitteiden lisäksi projekteilla oli myös omia projektikohtaisia tavoitteita, jotka on esitelty liitteessä 3. Projekteissa tuotettiin materiaalia muun muassa näyttöjen perehdyttämiseen, työkaluja näyttötoiminnan itsearviointiin ja vertaisarviointiin sekä tukimateriaalia ammattiosaamisen näyttöjen oppimistulostietojen analysoimiseen. Eräässä hankkeessa laadittiin myös opas erityistä tukea tarvitsevan opiskelijan ohjaamiseksi näytöissä. Liitteessä 10 on kooste projektien tuotoksista. Osa tuotteista löytyy verkossa osoitteesta http://www.oph.fi/subpage.asp?path=1,444,27512,77298a. Kirjallisten tuotosten, työkalujen ja muun materiaalin lisäksi Koppi-hankkeessa tuotettiin kehittämishankkeen aikana Opetushallituksen toimesta useita julkaisuja. Lista julkaisuista on liitteessä 11. Kehittämishankkeen ensimmäinen julkaisu The implications of using skills tests as basis for a national evaluation system in Finland (Räkköläinen & Ecclestone 2005) ilmestyi vuonna 2005 ja se laadittiin yhteistyössä kansainvälisen asiantuntijan Kahtryn Ecclestonin kanssa. Julkaisussa tuodaan esille arvioinnin teoreettisia lähtökohtia, esitellään 60