Kansallisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin

Transkriptio

1 Mari Räkköläinen Kansallisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin Arviointikokeilusta kohti käytäntöä Arviointi 3/2005

2 Opetushallitus ISBN (nid.) ISBN (pdf) ISNN Hakapaino Oy, Helsinki 2005

3 ALKUSANAT Ammatillisiin perustutkintoihin liitetään näyttöön perustuva osoitus ammatillisten opintojen tavoitteiden saavuttamisesta. Samassa yhteydessä kehitetään myös kansallista oppimistulosten arviointijärjestelmää ja koulutuksen järjestäjän arviointikäytäntöjä. Oppimistulosten arviointikokeilu on osa tätä valtakunnallista kehittämishanketta. Arviointikokeilussa on testattu mallia, jossa kansallinen oppimistulosten arviointi integroidaan näyttöperusteiseen arviointiin ja arviointitieto kootaan suoraan oppilaitosten organisoimista näytöistä. Arviointikokeilun pohjalta kehitetään oppimistulosten arviointimallia edelleen ja laaditaan suunnitelma valtakunnallisen arviointitiedon kokoamiseksi näyttöperusteisesta arvioinnista. Raportti on yhteenveto arviointikokeilun tähänastisista tuloksista vuosilta Raportin tarkoitus on tukea näyttöperusteisen arvioinnin kehittämistä. Raportti on kehittämishankkeen kuvaus ja väliarviointia ja tarkoitettu kaikille kokeiluun osallistuneille palautteeksi ja hyödynnettäväksi oman toiminnan kehittämisessä. Monet heistä jatkavat näiden arvioinnin haasteiden parissa uusissa kehittämishankkeissa kokeilun seuraavassa vaiheessa. Haastava, mutta mielenkiintoinen ja innostava työ jatkuu. Raportti soveltuu virikkeeksi myös yleensä arvioinnin kehittämisestä kiinnostuneille ja sen parissa työskenteleville. Toivomme laajaa ja vilkasta keskustelua. Hankkeen käynnisti opetusneuvos Anu Räisänen ja hänen innovatiiviset ideansa ovat kantaneet hyvin pitkälle. Asiantuntijana ja vertaisarvioijana kehittämistyössä on toiminut tohtori Kathryn Ecclestone Exeterin yliopistosta Englannista. Hän on tuonut arvokasta ulkopuolista näkemystä ja arvioinnin asiantuntemusta jäsentäessämme arvioinnin teoreettisia ja käytännöllisiä haasteita. Kehittämistyöhön on osallistunut suuri joukko opettajia, opiskelijoita, työpaikkaohjaajia sekä eri alojen asiantuntijoita tutkimuslaitoksista, työmarkkinajärjestöistä ja opetushallinnosta. Kiitämme kaikkia osapuolia arviointijärjestelmän kehittämiseen liittyvästä arvokkaasta panoksesta. Erityiset kiitokset saavat kaikki ne projektipäälliköt, jotka johtivat kokeiluja oppilaitoksissa sekä kehittämistyöryhmien jäsenet, jotka innostuneina jaksoivat pohtia integroinnin ongelmakohtia kokouksesta toiseen. Myös opetusministeriö ja sen asettama näyttöjen johtoryhmä ovat tukeneet projektin etenemistä monin eri tavoin; meillä kehittäjillä on ollut mahdollista toteuttaa aito kehittämishanke. Arviointiryhmän esimies Pentti Yrjölä on solmukohdissakin tukenut ja kannustanut meitä jatkamaan eteenpäin. Projektisuunnittelija Paula Mäkihalvari on vastannut kokeilun oppimistulosten ja kyselyn tilastollisesta analyysista yhdessä 3

4 erikoistutkijamme Jari Metsämuurosen kanssa, ja projektisihteeri Ritva Saurio on taittanut raportin sen lukuisine kuvioineen ja taulukkoineen. Kiitos heille arvokkaasta yhteistyöstä. Kaikki palaute ja kommentit tähänastisesta työstä otetaan mielihyvin vastaan. Pääsiäisenä maaliskuussa 2005 Mari Räkköläinen Erikoissuunnittelija, projektipäällikkö Opetushallitus 4

5 SISÄLTÖ ALKUSANAT JOHDANTO ARVIOINNIN LÄHTÖKOHTIA Arviointinäkemyksen muotoutuminen Koulutuksen arvioinnin tavoite Arvioinnin käsitteestä OPPIMISTULOSTEN KANSALLINEN ARVIOINTI Tavoitteet Aikaisempien arviointien toteuttamistapa Arviointien luotettavuus Arviointien hyödyntäminen Ongelmakohtia KANSALLINEN OPPIMISTULOSTEN ARVIOINTI NÄYTTÖJÄRJESTELMÄSSÄ Oppimistulosten arvioinnin kehittäminen Ammattiosaamisen näytöt Yhteensovittamisen edut Yhteensovittamisen haasteita Kehittämishanke Kehittämistyön organisointi UUSI NÄYTTÖPERUSTEINEN ARVIOINTIMALLI Arviointimallin periaatteet Arviointitiedon tuottaminen Arvioinnin kohde...31 Laadunvarmennus ja laatuvaatimukset Tulosten raportointi ARVIOINTIKOKEILU Arviointikokeilun tarkoitus ja keskeiset kysymykset...35 Arviointikokeilun asetelma ja arvioinnin toteuttaminen Tulokset arviointikokeilussa Arviointikokeilun hyödyllisyys YHTEENVETO ARVIOINTIKOKEILUSTA Näytöt kansallisessa arvioinnissa Laadunvarmennus ja laatukontrolli näyttöperusteisessa arvioinnissa Käytännön ongelmia näyttöperusteisessa arvioinnissa

6 8 JOHTOPÄÄTÖKSET ARVIOINTIKOKEILUN POHJALTA Ratkaistavia asioita kansallisen arvioinnin kannalta Vaihtoehtoja kansallisen arviointiedon kokoamiseksi näytöistä Ehdotus kansallisen arviointitiedon palautejärjestelmäksi Kehittämistyön jatkosuunnitelmat LOPUKSI...55 LÄHTEET...56 LIITTEET...59 Liite 1 Luettelo aikaisemmista ammatillisen koulutuksen arvioinneista...60 Liite 2 Yhteensovittamisen kriittiset pisteet...64 Liite 3 Kehittämisryhmien kokoonpanot...68 Liite 4 Vertaisarvioinnin työskentelyjaksot...70 Liite 5 Arviointikokeilun periaatteet ja laatuvaatimukset...76 Liite 6 Yleiset arvioinnin kohteet...86 Liite 7 Ulkoisen laadunvarmennuksen kohteet arviointikokeilussa...87 Liite 8 Näyttöjen dokumentointilomake arviointikokeilussa...90 Liite 9 Palaute arviointikokeilun hyödyllisyydestä...92 Liite 10 Raportti arviointikokeilun tuloksista

7 1 JOHDANTO Ammatillisiin perustutkintoihin liitetään näyttöön perustuva osoitus ammatillisten opintojen tavoitteiden saavuttamisesta (Opetusministeriön päätös 212/430/98). Näyttöjärjestelmä kehittää ammatillisen koulutuksen laatua. Uudistuksella pyritään lähentämään ammatillista koulutusta ja työelämää toisiinsa ja varmistamaan, että koulutus täyttää sille asetetut tavoitteet ja tuottaa työelämän edellyttämää osaamista. Näyttöperusteisen arvioinnin avulla halutaan myös yhtenäistää ja monipuolistaa opiskelijan arviointia. Valtakunnalliset näyttöjen kehittämisprojektit aloitettiin Opetushallituksen koordinoimana vuonna Kehittämistyö toteutetaan pääasiassa Euroopan sosiaalirahaston tuella. Opiskelijan arvioinnin lisäksi tavoitteena on luoda kansallinen oppimistulosten arviointijärjestelmä. Tarkoituksena on selvittää, onko mahdollista liittää kansallinen oppimistulosten arviointi näyttöperusteiseen arviointiin. Aikaisemmin kansallinen arviointitieto on koottu valtakunnallisesti yhtenevillä kokeilla. Kansallisen arvioinnin liittäminen näyttöjärjestelmän osaksi mahdollistaisi sen, ettei erillisiä kansallisia kokeita tarvita. (OPM:n työryhmien muistioita 14:1999.) Opetusministeriön strategisten linjausten pohjalta ryhdyttiin vuoden 2002 alusta Opetushallituksessa kehittämään uudenlaista kansallista oppimistulosten arviointia ja laadittiin suunnitelma kehittämishankkeeksi. Kehittämishanke jatkuu vuoteen Hanke on toteutettu yhteistyössä näyttöjärjestelmän kehittäjien, ammatillisten oppilaitosten, työnantaja- ja työntekijäjärjestöjen sekä tutkimuslaitosten ja kansainvälisten yhteistyökumppanien kanssa. Näyttöperusteiseen arviointiin perustuva oppimistulosten arviointimallia testattiin arviointikokeilussa Arviointikokeilussa kerättiin usealla eri tavalla tietoa arviointitiedon luotettavuudesta ja testattavan mallin toimivuudesta käytännössä. Tämä raportti on yhteenveto arviointikokeilusta ja sen tuloksista. Raportissa kuvataan kehittämistyön eteneminen arviointikokeilun ensimmäisessä vaiheessa. Raportissa valotetaan arviointiuudistuksen lähtökohtia ja tuodaan esiin integrointiin liittyvät keskeiset kehittämishaasteet, aikaisempi arviointitapa sekä testattavan arviointimallin periaatteet, arviointikokeilun tulokset ja johtopäätökset kansallisen näyttöperusteisen oppimistulosten arvioinnin kehittämiseksi. Raportissa on erillisenä liitteenä (liite 10) yhteenveto arviointikokeilun näyttöjen oppimistuloksista ja näyttöjen yhteydessä toteutetusta kyselystä sekä ulkoisesta laadunvarmennuksesta ja asiantuntija-arvioinneista. Hanke on kuvattu mahdollisimman kattavasti ja yksityiskohtaisesti, jotta myös muilla kuin arviointikokeilussa mukana olleilla on mahdollisuus seurata kehittämistyön etenemistä. Raporttia voidaan myös hyödyntää uusissa näyttöjen ja arvioinnin kehittämisprojekteissa. Raportti monine liitteineen antaa myös mahdollisuuden saada eri tahoilta palautetta jatkotyöskentelyn tueksi. Tarkoituksena on arviointikokeilun tulosten ja kokemusten pohjalta tehdä tarvittavat muutokset ja kehittää jat- 7

8 8 kohankkeissa mallia edelleen siten, että se on mahdollista ottaa käyttöön samanaikaisesti näyttöjen kanssa eli alkaen.

9 2 ARVIOINNIN LÄHTÖKOHTIA 2.1 Arviointinäkemyksen muotoutuminen Opetustoimen ohjauksessa on painopiste siirtynyt normiohjauksesta informaatio-ohjaukseen, jolloin arviointitiedon merkitys ohjauksen välineenä entisestään vahvistuu. Arvioinnin sinällään tulee myös tuottaa oppimista ja osaamista. Arvioinnin tuleekin olla tietoa tuottavaa prosessiarviointia, jolloin saadaan tietoa myös hyvään lopputulokseen vaikuttavista tekijöistä. Oppimisen ja osaamisen tuottamiseen perustuva arviointijärjestelmä antaa mahdollisuuden tarkastella koko koulutus- ja oppimisprosessia ja siinä tarvittavia muutoksia. (Poikela 2002.) Arvioinnin kehittäminen on sidoksissa oppimis- ja tietokäsityksissä tapahtuneisiin muutoksiin. Arviointinäkemyksen muuttuessa lopputuloksen arvioinnin rinnalla painotetaan oppimista tuottavien prosessien arvioinnin tärkeyttä. Mekaanisten kausaalisuhteiden etsiminen ei ole mielekästä, vaan huomio kiinnittyy toimintaprosesseihin ja toimijoiden ratkaisuihin prosessin eri vaiheissa. Oppimisen arvioinnissa on ryhdytty painottamaan itseohjautuvuutta, yksilöllisyyttä ja valinnanvapautta. Tällainen arviointinäkemys painottaa osallistavaa arviointia, jolloin korostuu toimijoiden subjektiivisuus ja vastuu arviointitiedon tuottamisessa. Arvioinnissa on tärkeää oikeudenmukaisuutta ja tasa-arvoa edistävät tavoitteet, jolloin arviointi pohjautuu yhdessä neuvoteltuun arvoperustaan ja luottamukseen eri osapuolten välillä. Kehitys on edennyt teknisestä mittaamisesta ja testaamisesta vuorovaikutukseen ja luottamukseen perustuvaan arviointiajatteluun. (Crooks 2002 ja 2003; Guba & Lincoln 1989; House 1993 ja 1997; Linnakylä 2002; Nonaka & Takeuchi 1995; Poikela 2002.) Arviointitieto tulisi tuottaa ja hyödyntää siellä, missä se syntyykin. Guba ja Lincoln (1989, 27 45) korostavat, että arviointi, erityisesti evaluointi, on sosiaalista, poliittista ja arvosidonnaista luonteeltaan, siksi sen tarkastelu on aina kontekstuaalista, jolloin arvioinnin toteuttamisessa ja tulosten tulkinnassa huomioidaan myös inhimilliset ja kulttuuriset näkökulmat sekä fyysinen, psyykkinen ja sosiaalinen ympäristö. Mittaamiseen, kuvailuun tai johtopäätöksiin perustuvasta arvioinnista siirrytään neuvotteluun pohjautuvaan arviointiin. Arvioinnissa ei näin ole vain yhtä totuutta, vaan arvioinnissa huomioidaan moniarvoisuus ja konteksti, jossa arviointia tehdään. Arvioitsijan tehtävänä on olla neuvotteluprosessin organisoija. Neuvottelussa syntyy konsensus niiden kesken, jotka jakavat saman kontekstin. Arvioinnin tulee olla myös toiminnallista ja kaikkia osapuolia sitouttavaa. Kriteeriperusteisella arvioinnilla lisätään arvioinnin oikeudenmukaisuutta ja luotettavuutta. Kriteeriperusteisessa arvioinnissa arviointi toteutetaan suhteessa asetettuihin tavoitteisiin, ja kriteeri on peruste, johon nojautuen arvioiva johtopäätös tehdään. Opiskelijoita, suorituksia tai tuloksia ei verrata toisiinsa, kuten suhteellisessa tai normiperusteises- 9

10 2 ARVIOINNIN LÄHTÖKOHTIA 10 sa arvioinnissa (vrt. engl. norm-referenced), vaan suorituksia verrataan ennalta sovittuihin ja julkaistuihin standardeihin. Kriteeriperusteisuus tukee tavoiteasettelua ja lisää eri osapuolten mahdollisuuksia osallistua omien tulosten ja suoritusten arviointiin. Arviointikriteerien julkisuus lisää myös arvioitavien oikeusturvaa. (Crooks 2002; Ecclestone 1996, 1999 ja 2005, Virta 1999.) 2.2 Koulutuksen arvioinnin tavoite Arvioinnin tavoitteena on tuottaa tietoa valtakunnallisen ja paikallisen koulutuspoliittisen päätöksenteon ja koulutuksen kehittämisen pohjaksi sekä tukea opiskelijoiden oppimista, opetustoimen henkilöstön työtä ja koulutuksen kehittämistä. Koulutuksen järjestäjä on itse velvollinen arvioimaan antamaansa koulutusta ja sen vaikuttavuutta sekä osallistumaan toimintansa ulkoiseen arviointiin. Arvioinnin keskeiset tulokset on myös julkistettava. Ulkoista arviointia varten on opetusministeriön yhteydessä erillinen koulutuksen arviointineuvosto, joka organisoi arviointitoiminnan yliopistojen, Opetushallituksen ja muiden arviointiasiantuntijoiden verkostona. Opetusministeriön yhteydessä olevan Korkeakoulujen arviointineuvoston tehtävänä on muun muassa avustaa korkeakouluja ja opetusministeriötä korkeakoulujen arviointia koskevissa asioissa (A 1320/1995). Koulutusta tulee arvioida suunnitelmallisesti ja kattavasti. Arvioinnin tulee olla monipuolista, avointa ja oikeudenmukaista sekä arviointitiedon luotettavaa ja vertailukelpoista (L 630/1998, 24 ). Koulutuksen arvioinnin tavoitteena on (A 150/2003, 2 ): - hankkia ja analysoida tietoa valtakunnallisen koulutuspoliittisen päätöksenteon ja koulutuksen kehittämisen pohjaksi; - hankkia ja analysoida tietoa koulutuksen paikallisen kehittämistyön ja päätöksenteon pohjaksi; sekä - tukea opiskelijoiden oppimista, opetustoimen henkilöstön työtä ja oppilaitoksen kehittämistä. Arvioinnin merkitys ammatillisen koulutuksen kehittämisen ja ohjauksen välineenä on lisääntynyt, koska koulutuksen järjestäjien paikallista päätösvaltaa on lisätty ja koulutuksen järjestämiseen liittyvää valtakunnallista ohjausta on samanaikaisesti vähennetty. Arviointijärjestelmien halutaan entistä tehokkaammin tukevan koulutuksen järjestäjiä ammatillisen opetuksen kehittämisessä ja oppilaitosten laadunhallinnassa. Ulkoisen arvioinnin lisäksi korostetaan oman toiminnan arviointitiedon merkitystä kehittämistyössä. Kansallinen arviointi on kehittävää arviointia silloin, kun määrällistä ja laadullista arviointitietoa käytetään rakentavasti ja rohkaistaan eri toimijoita parantamaan laatua tavalla, joka on paikallisesti tarkoituksenmukaista. Arvioinnin tarkoituksena voi myös olla vertailutiedon tuottaminen suorituksista tai tuloksista. Myös vertailutietoa voidaan käyttää

11 kehittävässä merkityksessä. Kansallinen arviointi voi keskittyä myös ennalta sovittujen teemojen tai alojen arviointiin tai se voi olla kriteeriperusteista, jossa valtakunnalliset kriteerit on määritetty ennalta tai ne asetetaan esimerkiksi oppilaitoksissa aikaisempien suoritusten perusteella. (Ecclestone 1996, 14 16; Räkköläinen & Ecclestone 2005, ) Julkisin varoin tuotettuun toimintaan liittyy aina myös tuloksellisuuden seuranta, jolloin arvioidaan, vastaako toiminta sille asetettuja tavoitteita. Eri tahoille tuotetaan tietoa siitä, millaisia tuloksia on saavutettu. Ammatillisen koulutuksen tuloksissa on kysymys siitä, millaista osaamista koulutus tuottaa ja millaisin panoksin. Koulutus on tehokasta, kun se on tarkoituksenmukaista ja laatu on hyvää. Koulutus on taloudellista, kun resurssit on kohdistettu koulutuksen tavoitteiden kannalta optimaalisesti. Oppimistulosten arviointi puolestaan on koulutuksen vaikuttavuuden tarkastelua; koulutuksen tulee tuottaa yksilön ja yhteiskunnan kannalta hyödyllisiä valmiuksia. Vaikuttavuuden julkinen tarkastelu on kansalaisten oikeutta saada tietoa opetustoimen tuloksista. Se antaa myös mahdollisuuden vaikuttaa koulutuspalveluihin. Julkinen arviointi tukee päätöksentekoa ja kehittämistyötä sekä kannustaa itsearviointiin ja tuottaa oppimista. Arvioinnilla varmistetaan koulutuksen laatua. Suomessa kansallinen ammatillisen koulutuksen arviointi ja seuranta muodostuu oppimistulosten kansallisesta arvioinnista, määrällisiin indikaattoreihin perustuvasta tuloksellisuusrahoitusjärjestelmästä, laatupalkintokilpailuista ja muusta ulkoisesta arvioinnista ja auditoinnista. Opetushallituksen antamat opetussuunnitelmien ja tutkintojen perusteet, joissa määrätään opintojen tavoitteista ja keskeisestä sisällöstä, ovat keskeinen ohjauksen väline ja valtakunnallinen normi. Oppimistulosten kansallisissa arvioinneissa on seurattu, miten hyvin nämä opetussuunnitelman perusteiden tavoitteet on saavutettu. Koulutuksen määrällisten indikaattorien avulla tuotetaan vuosittain analysoitua tietoa opetuksen ja koulutusjärjestelmän kehittämisen tueksi. Tiettyjen mittareiden pohjalta laaditut indikaattorit ovat ennalta tiedossa ja tulosindeksit saadaan koulutuksen järjestäjäkohtaisesti. Laatupalkinnot puolestaan perustuvat laadulliseen arviointiin ja sen pohjana käytetään Euroopan laatupalkinnon kriteeristöä ja arviointialueita (EFQM). Näiden lisäksi Opetushallitus on tarjonnut koulutuksen järjestäjille maksullisia arviointi- ja auditointipalveluja. (Kumpulainen 2004; Opetushallitus 9/1995 ja 7/1998; Räisänen & Korpi 2002). 2.3 Arvioinnin käsitteestä Suomen kielessä samaa arviointi -termiä käytetään sekä puhuttaessa opiskelijan arvioinnista (assessment) että julkisesta tuloksellisuuden arvioinnista (evaluoinnista), jota muun muassa kansallinen oppimistulosten arviointi on. Arvioinnilla on erilaisia tehtäviä. Opiskelijan arviointi on ohjaavaa ja kehittävää formatiivista arviointia, joka tukee opiskelijan oppimisprosessia ja auttaa opettajaa kehittämään omaa opetustaan. Arviointia voidaan käyttää myös diagnostisessa merkityksessä osoitta- 11

12 2 ARVIOINNIN LÄHTÖKOHTIA 12 maan opiskelijan osaamisen tasoa ja ohjauksen tarvetta. Formatiivinen ja diagnostinen arviointi liittyvät tällöin oppimisen ja opetuksen sisäisiin prosesseihin, eikä sitä ole tarkoitettu julkiseen tarkasteluun. Tulosvastuulla tai tilivelvollisuudella (accountability) puolestaan tarkoitetaan kansalaisten ja toimeksiantajien oikeutta saada tietoa koulutukselle asetettujen tavoitteiden saavuttamisesta ja koulutuksen tuloksista. Arviointitiedon tuottaminen on tällöin myös vastaamista tilivelvollisuusvaatimuksiin (tilivelvollisuusevaluaatio), mikä on yleensä julkista arviointia. (Chelimsky 1997; Laukkanen 1998, ; Vuorenmaa 2001, ) On olemassa paljon arviointimenetelmiä, joita voidaan käyttää sekä formatiivisesti että summatiivisesti, jolloin ero syntyy sen perusteella, missä tarkoituksessa arviointia tehdään. Arviointitietoa voidaan esimerkiksi koota prosessin kuluessa loppuarviointia varten. Kansallisessa arvioinnissa tuotetaan summatiivista, kokoavaa opitun arviointitietoa, joka on luonteeltaan yleistettävää ja julkista. Myös muodolliset arvosanat, esimerkiksi arvosanat todistuksissa ovat summatiivista. Summatiivista arviointitietoa voidaan käyttää kehittävässä tarkoituksessa. Arviointiin liittyy aina kysymys arviointitiedon luotettavuudesta eli arviointien osuvuudesta ja vertailtavuudesta sekä ylipäätänsä arvio tuotetun tiedon luonteesta ja laadusta. Arvioinnilta edellytetään sekä toistettavuutta, pysyvyyttä, ei-sattumanvaraisuutta (reliabiliteetti) että osuvuutta, pätevyyttä (validiteetti) eli on tuotettava tietoa siitä, mistä on ollut tarkoituskin. Erityisesti laadullisessa arvioinnissa tarkastellaan arvioinnin mielekkyyttä ja asianmukaisuutta (relevanssi) sekä arviointitiedon käyttökelpoisuutta. Arvioinnin on oltava vertailukelpoista ja kohdealueen kattavaa sekä tuotetun tiedon käyttökelpoista eri tarkoituksissa. Luotettavuuden tarkasteluun liitetään myös usein kysymykset arvioinnin oikeudenmukaisuudesta ja tasavertaisuudesta. Luotettavuutta voidaan tarkastella sekä opiskelijan arvioinnin että kansallisen arvioinnin kannalta. Arvioinnin luotettavuutta voidaan lisätä asettamalla erilaisia standardeja arviointia varten. Kriteeriperusteisessa arvioinnissa suorituksia verrataan sovittuihin sekä selvästi ja avoimesti ilmaistuihin standardeihin. Standardit yhdenmukaistavat arviointia, mutta toisaalta vaarana on kontrollin lisääntyminen ja arvioinnin kaventuminen. Standardilla tarkoitetaan tietyn suorituksen vaatimustasoa. Se on toistuvaan käyttöön tarkoitettu vaikkakin aikojen kuluessa muuttuva tunnustetun elimen hyväksymä normatiivinen asiakirja. Se voi olla normi, periaate, hyväksytty malli tai esimerkki. Standardilla ilmaistaan päämäärää sekä kasvatus- ja opetustavoitteita, jotka on saavutettava. Sisällölliset standardit voidaan laatia sille, mitä opiskelijoiden tulisi oppia ja mitä heille tulisi opettaa, suoritusstandardit puolestaan liittyvät osaamisen, tekemisen ja taitojen tason kuvaamiseen. Oppimisen mahdollisuuksien standardit asetetaan esimerkiksi niille ehdoille, jotka oppilaitoksen on täytettävä, jotta opiskelijat voivat saavuttaa asetetut tavoitteet. Kysymys on riittävän hyvästä opetuksen tasosta. On huomattava, että standardit ilmentävät aina myös arvoja ja uskomuksia niiden taustalla. Opetussuunnitelmien peruste on standardi. (Opetushallitus 1999, 45; Räisänen, 1998, 9 20; Virta 1999, )

13 Laadunvarmennus ja laatukontrolli liittyvät moniin seuranta- ja arviointijärjestelmiin. Laadunvarmennus liittyy usein koulutusorganisaatioiden ja -järjestelmien sisäisiin prosesseihin tai paikallisiin olosuhteisiin. Ne liitetään esimerkiksi alusta lähtien opetusohjelmiin varmistamaan tavoitteiden mukainen toiminta. Laadunvarmennus voidaan liittää myös opiskelijan arviointiin varmistamaan arvioinnin osuvuutta, validiteettia. Laadunvarmennuksen avulla kehitetään opetuksen laatua ja seurataan toiminnan edistymistä. Laadunvarmennukseen voidaan liittää erilaista tuki- ja ohjausmateriaalia sekä koulutusta. Laatukontrolli voi olla joko ulkoista tai sisäisiin prosesseihin liittyvää, mutta sen painopiste on summatiivisessa arvioinnissa ja sen tarkoituksena on esimerkiksi kontrolloida, että arvioinnin luotettavuudelle asetetut vaatimukset toteutuvat. (Ecclestone 1996, 15 16; Räkköläinen & Ecclestone 2005, ) Vertaisarviointi tarkoittaa samaan ammattiryhmään kuuluvien tai saman tehtävän parissa työskentelevien kesken tapahtuvaa työn tai toiminnan kehittämistä, jossa he arvioivat kriittisesti ja systemaattisesti toistensa toimintaa ja antavat siitä palautetta. Tavoitteena on vastavuoroinen oppiminen. Kysymyksessä on vuorovaikutteinen laadun kehittämismenetelmä. (Arnkil ym. 2000; Forsén 1996; Helsingin kaupunki 2003.) Kohtuullistaminen (moderation) on yksi tapa yhdenmukaistaa arviointia. Sen avulla pyritään lähentämään esimerkiksi eri arvioijien tulkintoja ja johtopäätöksiä toisiinsa. Apuna yhteisymmärryksen löytämisessä voidaan käyttää ulkopuolista välittäjää (moderator) tai se voidaan toteuttaa arvioijien välisenä yhteisarviointina. Moderation voi olla opettajia ja muita arvioijia tukevaa ja toinen toisilta oppimiseen kannustavaa. Sitä voidaan käyttää myös, kun halutaan tarkistaa, että arviointi toteutetaan standardien tai sovittujen ohjeiden mukaisesti. Ulkopuoliset arvioijat voivat arvioida saman suorituksen myös uudelleen. (Ecclestone 2005, 90 91, 112.) Näyttöperusteinen arviointi on autenttista arviointia tai suoritusarviointia, jolloin arviointi kohdistuu siihen, miten tietoja ja taitoja käytetään ja sovelletaan, ja suoritus itsessään on osoitus oppimisesta. Arvioinnin kohteena voi olla suoritusprosessi tai sen tuotos. Autenttinen tarkoittaa samaa kuin aito, todellinen, realistinen, väärentämätön. Ajatuksena on, että noviiseja koulutetaan aitojen ja elämänläheisten tehtävien avulla kohti asiantuntijuutta ja ammattilaisuutta. Näyttöperusteisessa arvioinnissa arvioidaan toteennäytettyä osaamista (demonstrated competence). Näyttö on suoritus tai esitys (performance-based) oikeassa elämässä, jossa arvioinnin kriteerit on johdettu todellisista (työ)elämän vaatimuksista. Autenttisessa arvioinnissa hyödynnetään usein monipuolisia ja laadullisia arviointiaineistoja ja -menetelmiä. Suoritus on myös mahdollista arvioida yhteisarviointina, jolloin arviointitieto syntyy neuvottelun tuloksena. (Virta 1999; Wolf 1996.) 13

14 3 OPPIMISTULOSTEN KANSALLINEN ARVIOINTI 3.1 Tavoitteet 14 Kansallisen arvioinnin tavoitteena on tuottaa arviointitietoa koulutuksen laadusta ja tuloksista. Oppimistulosten arvioinnin avulla saadaan tietoa erityisesti koulutuksen vaikuttavuudesta. Tällöin arvioidaan, miten hyvin opetussuunnitelman perusteissa asetetut tavoitteet on saavutettu. Arviointia tapahtuu sekä määrällisesti että laadullisesti. Oppimistulosten arviointitietoa käytetään luonnollisesti myös koulutusta koskevassa ohjauksessa ja päätöksenteossa. Tietoa tuotetaan koulutuksen järjestäjille itsearviointia varten, jotta ne voivat jatkuvasti kehittää toimintaansa oppimistulosten parantamiseksi. Arvioinnin avulla tuetaan oppilaitoksia ja opettajia opetuksen kehittämistyössä. Työelämä puolestaan tarvitsee tietoa siitä, millaista osaamista koulutus tuottaa ja mitä opiskelijat osaavat työelämään siirtyessään. Myös opiskelijoiden jatko-opintovalmiuksista tarvitaan tietoa. Oppimistulosten arvioinnin perimmäisenä tavoitteena on koulutuksen laadun parantaminen ja oppimistulosten jatkuva kehittäminen. Tämä edellyttää, että arvioinnin avulla lisätään koulutuksen läpinäkyvyyttä tuottamalla oppimistuloksista luotettavaa, vertailukelpoista ja riittävän monipuolista tietoa, joka perustuu systemaattiseen ja analyyttiseen arviointijärjestelmään ja jota hyödynnetään myös oppilaitosten itsearvioinnissa. Viime aikoina on korostettu erityisesti, että arvioinnin tulee johtaa sekä valtakunnalliseen että paikalliseen kehittämistyöhön. Suomalaisessa arviointikulttuurissa korostuvat moniarvoisuus sekä demokraattiset ja humanistiset piirteet. Lähestymistapa on kokonaisvaltainen sekä opiskelijoiden ja sidosryhmien, erityisesti työelämän osallistumista korostavaa. (Opetushallitus 9/1995; 4/1998 ja 7/1998.) 3.2 Aikaisempien arviointien toteuttamistapa Suomessa Opetushallitus on ollut keskeinen ammatillista peruskoulutusta koskevan arviointitiedon tuottaja. Vuonna 1995 luonnosteltiin kansallista arviointia varten koulutuksen tuloksellisuuden arviointimalli, jota on myöhemmin tarkennettu (Opetushallitus 9/1995 ja 7/1998). Opetusministeriö julkaisi oman arviointistrategiansa 1997 (opetusministeriö 1997). Kansallista oppimistulosten arviointia varten kehitettiin arviointistrategia, jota koskevat ohjeet julkaistiin vuonna 1998 (Opetushallitus 4/1998). Näissä asiakirjoissa on esitetty tähänastisen kansallisen arvioinnin kokonaissuunnitelma, arvioinnin kohde, tiedonhankintamenetelmät ja tulosten raportointitapa. Opetusministeriön julkaisema kou-

15 lutuksen ja tutkimuksen kehittämissuunnitelma sekä opetusministeriön ja Opetushallituksen välinen vuosittainen tulossopimus linjaavat myös arviointeja. Myös maamme tutkimuslaitokset tuottavat tutkimustoiminnallaan tärkeää arviointitietoa, ja luonnollisesti oppilaitosten itsearvoinneissa syntyy arviointitietoa opetuksen kehittämiseksi. Opetushallitus on tehnyt useita ammatillisen koulutuksen arviointeja vuosina Tarkastelu on tapahtunut ajankohtaisten teemojen ja ennalta sovittujen kriteerien perusteella. Suurin osa näistä arvioinneista on ollut eri alojen kokonaisarviointeja ja niihin integroituneita oppimistulosten arviointeja. Keskeiset valtakunnalliset tulokset on julkaistu raportteina, joissa tarkastellaan oppimistuloksia, koulutusjärjestelmää, oppilaitosten toimintakulttuuria, opetuksen laatua ja resursseja. Oppimistuloksia on mitattu kansallisilla kokeilla. Oppimistulosten arviointi on järjestetty opintojen päättövaiheessa. Arviointi on tällöin ollut summatiivista, kokoavaa opitun arviointia, joka osoittaa, mitä koulutuksessa on opittu jonkin pidemmän aikajakson kuluessa. Valtakunnallisen arviointitiedon tuottamiseksi on käytetty tehtäväsarjoja, kokeita, mittareita ja testejä, jotka on toteutettu ns. kansallisina päättökokeina. Tehtävien laatimista varten on perustettu alakohtaiset asiantuntijaryhmät. Tehtävät on laadittu opetussuunnitelman perusteissa asetettujen tavoitteiden pohjalta ja tehtävät on esitestattu ennen varsinaista arviointia. Oppimistulosten arviointi on ollut kriteeriperusteista, jolloin arviointi perustuu tavoitteista johdettuihin ammatillisen osaamisen kuvauksiin. Tehtävien ja kokeiden avulla on arvioitu kunkin alan keskeisiä osaamisalueita, jotka kattavat valtakunnallisissa opetussuunnitelman perusteissa määritellyt tavoitteet. Ammatillisen peruskoulutuksen päättökokeissa on mitattu ammatillista osaamista, kaikille yhteisten opintojen osaamista ja yleiskvalifikaatioiden hallintaa. Ammatillisen osaamisen arviointi on perustunut opetussuunnitelmien ja tutkinnon perusteissa määriteltyihin ydintavoitteisiin ja arvioinnissa on painotettu erityisesti työelämässä tarvittavaa osaamista. Kaikille yhteisten opintojen arviointi on kohdistunut laajaan ammattisivistykseen. Yleiskvalifikaatioiden hallinnan keskeisiä arvioinnin kohteita ovat olleet muun muassa oppimaan oppimisen valmiudet sekä ongelmanratkaisu- ja vuorovaikutustaidot. Pääperiaatteena on ollut, ettei kansallinen arviointi vaikuta opiskelijoiden arvosanoihin, mutta oppilaitokset ovat voineet itse päättää tämän asian. (Opetushallitus 4/1998.) Kansalliseen arviointiin liittyviä päättökokeita on järjestetty vuosittain yhdellä alalla. Tavoitteena on ollut, että oppimistuloksia arvioitaisiin kullakin alalla kerran viidessä vuodessa. Oppimistulokset on arvioitu metsätalousalalla, kone-, metalli- ja sähköalalla, käsi- ja taideteollisuusalalla, matkailu-, ravitsemis- ja talousalalla sekä kaupan- ja hallinnon alalla. Tämän lisäksi on tehty useita muita arviointeja. Luettelo aikaisemmista ammatillisen koulutuksen arvioinneista on liitteessä 1. Kokeet on järjestetty tietyllä alalla joko koko perusjoukolle tai otantaperustaisesti otantaan valituille oppilaitoksille. Oppilaitokset ovat lähettäneet aineistot Opetushallitukseen analysoitaviksi. Oppilaitoksille on toimitettu välittömästi kunkin omat pikapalautteet sekä kansalli- 15

16 3 OPPIMISTULOSTEN KANSALLINEN ARVIONTI set vertailutulokset. Oppilaitoskohtaiset tulokset eivät ole olleet julkisia. Kansallinen arviointiraportti on valmistunut noin vuoden kuluttua kokeiden pitämisestä. Kansallisissa arviointiraporteissa ei ole julkistettu oppilaitoskohtaisia tuloksia. (Opetushallitus 4/1998.) 3.3 Arviointien luotettavuus Arviointien luotettavuus, erityisesti kokeiden, vertailukelpoisuus on pyritty varmistamaan eri tavoin. Samaa osaamisaluetta on mitattu useammassa kuin yhdessä tehtävässä, jotta vähennetään arvioinnin sattumanvaraisuutta. Osaamista on pyritty mittaamaan monipuolisesti. Tehtävät sisältävät sekä kirjallisia osioita että toiminnallisia ammattityötehtäviä käytännön tilanteissa. Arviointi on ollut aina myös kriteeriperusteista. Tehtävistä ja niiden kriteereistä on pyydetty lausunnot asiantuntijoilta, alan tutkintotoimikunnilta ja työelämän edustajilta. Kaikki tehtävät on myös esitestattu ennen varsinaista arviointia. Päättökokeet on arvioitu kolmikantaperiaatteella eli arvioijina ovat arvioitavan alan opettajat oppilaitoksista sekä työnantajien ja työntekijöiden edustajat. Opiskelijaryhmän oma opettaja ei ole voinut osallistua kokeiden arviointiin. Arviointia varten on laadittu tarkat ohjeet ja arvioijat on koulutettu tehtäväänsä. Oppilaitoksen tehtävänä on ollut perehdyttää kaikki arviointiin osallistuvat käytännön järjestelyihin, arviointiin ja tehtävien kriteeristöön. Arvioijien valintaan on kiinnitetty erityistä huomiota. Saatujen oppimistulosten luotettavuutta on tarkasteltu vielä ns. sensoriarvioinnilla eli rinnakkaismittauksilla, jolloin osan kokeista arvioi uudelleen kaksi ulkopuolista asiantuntijaa. On jopa tehty niinkin, että ulkopuoliset arvioijat ovat tarkkailleet ammattityötehtävien toteuttamista oppilaitoksissa ja antaneet suorituksista oman arviointinsa, jota on verrattu varsinaisten arvioijien palautteeseen. Yhtenevien kokeiden lisäksi on arviointitietoa kerätty haastattelemalla oppilaitosten opettajia, muuta henkilökuntaa, johtoa ja opiskelijoita sekä työelämän edustajia oppilaitosten yhteistyöyrityksissä ja organisaatioissa. Ulkoisen arvioinnin avulla on haluttu täydentää saatua arviointitietoa ja tulkita oppimistuloksissa ilmeneviä eroja. Ulkoisina arvioijina ovat olleet koulutuksen ja työelämän asiantuntijat, jotka ovat toimineet muun muassa haastattelijoina. Oppilaitokset ovat tuottaneet myös itsearviointiaineistoa, joka on analysoitu osana kokonaisarviointia. Taustakyselylomakkeiden avulla on kerätty yleistietoa oppilaitosten toiminnasta (esimerkiksi oppilaitoksen koko, sijainti) ja opettajista (kelpoisuus, työvuodet). Myös opiskelijoiden taustatiedot on selvitetty (esimerkiksi pohjakoulutus, koulumenestys). Määrällinen aineisto on analysoitu tilastollisin menetelmin, joihin liittyy omat luotettavuuden varmistamiseen liittyvät menetelmät. Otantatekniikan avulla on varmistettu opiskelijoiden ja oppilaitosten mahdollisimman monipuolinen edustus. Tavoitteena on ollut arviointien yleistettävyys koko alaa koskeviksi. 16

17 3.4 Arviointien hyödyntäminen Kansalliset arvioinnit ovat tuottaneet varsin kattavia raportteja, joissa arviointitietoa on kerätty usealla eri tavalla. Useimmat arvioinneista ovat eri alojen kokonaisarviointeja ja niihin liitettyjä oppimistulosten arviointeja. Arvioinnit on julkaistu kirjallisina raportteina, joissa on oppimistulosten lisäksi tarkasteltu koko koulutusjärjestelmää, oppilaitosten toimintakulttuuria, opetusta ja resursseja. Raportit ovat sisältäneet paljon ajankohtaista tietoa koko alasta ja sen kehityksestä sekä tulevaisuuden haasteista. Vaikka kirjalliset loppuraportit valmistuvat noin vuoden kuluttua arvioinnin päätyttyä, ovat oppilaitokset saaneet nopeasti tietoon omat tuloksensa ns. pikapalautteina, joita on voinut verrata valtakunnallisiin tuloksiin. Näin oppilaitoksilla on saamansa palautteen pohjalta ollut mahdollista heti ryhtyä tarkastelemaan oman toimintansa kehittämiskohteita. Osassa raporteista on annettu myös toimenpidesuosituksia kehittämistyön pohjaksi. Arviointiraporttien julkistamisen yhteydessä on järjestetty useita informaatio- ja koulutustilaisuuksia eri puolilla maata. Oppilaitoksilla on ollut mahdollisuus erikseen ostaa arviointipalveluja Opetushallitukselta. Toteutetut kansalliset arvioinnit ovat olleet keskeinen osa ammatillisen peruskoulutuksen seuranta- ja ohjausjärjestelmää ja tuloksellisuuden arviointia. Kansallinen arviointitieto on ollut eri tahojen käytettävissä. Mikään muu taho kuin Opetushallitus ei ole tuottanut vastaavanlaisia kokonaisvaltaisia arviointeja, joiden tulokset ovat yleisesti hyödynnettävissä ammatillisen koulutuksen kehittämisessä. Kansallista arviointitietoa tarvitaan, jotta eri intressitahot voivat omalta osaltaan hyödyntää koulutuksen arviointituloksia ja osallistua koulutuksen kehittämiseen. Myös kansalaisilla on oikeus tietää, millaisia tuloksia ammatillinen koulutus tuottaa. 3.5 Ongelmakohtia Tavoitteeksi kansallisessa arviointistrategiassa määritettiin, että oppimistuloksia arvioitaisiin kaikissa tutkinnoissa joka viides vuosi, mutta tämä tavoite ei ole toteutunut mm. koejärjestelyiden kalleuden ja arviointijärjestelyiden työläyden vuoksi. Myös kansallisten tehtävien suunnittelu ja muu arvioinnin valmistelutyö vie aikaa. Koulutusala tai tutkinto on voinut tulla arvioinnin kohteeksi harvoin, samoin yksittäinen oppilaitos, jolloin koulutuksen järjestäjä ei ole saanut riittävän usein vertailutietoa toimintansa kehittämisen tueksi. Kertaluonteisiin arviointeihin ei ole voinut liittää systemaattista palautejärjestelmää, joka tukisi jatkuvaa kehittämistyötä. Motivointiongelmia on syntynyt siitä, että arviointi on koettu irralliseksi muusta oppilaitoksen (arviointi)toiminnasta; se ei ole tukenut riittävästi opiskelijan arviointia eikä oppilaitoksen itsearviointia. Erilliset testit eivät aina motivoi opiskelijoita, etenkin jos ne eivät vaikuta opiskelijan todistuksen arvosanaan. 17

18 3 OPPIMISTULOSTEN KANSALLINEN ARVIONTI 18 Eri alojen kansalliset arvioinnit on suunniteltu erikseen kuhunkin arvioitavaan alaan sopivaksi, mikä toisaalta lisää arviointien luotettavuutta, mutta eri alojen arviointitulosten vertailu keskenään ei tällöin ole suoraan mahdollista. Taustamuuttujat on kerätty eri tavoin eri arvioinneissa. Yleisiä johtopäätöksiä taustamuuttujien vaikutuksesta koulutuksen laatuun ei voi tehdä, vaan ne on selvitettävä jokaisen arvioinnin kohdalla erikseen. Taustamuuttujia on saatettu koota runsaastikin, mutta eri muuttujien yhteyksiä ei ole aina kuitenkaan kyetty liittämään saatuihin oppimistuloksiin, jolloin tulosten raportointi on kuvailevaa ja on toisinaan jäänyt melko yleiselle tasolle. Toki joitakin selviä yhteisiä selittäviä tekijöitä on löydettävissä (esimerkiksi monipuoliset työelämäyhteydet parantavat oppimistuloksia kaikilla aloilla, samoin ylioppilastutkinnon suorittaneiden opiskelijoiden oppimistulokset ovat parempia kuin peruskoulun suorittaneiden opiskelijoiden). (ks. tarkemmin Räisänen & Frisk 2002.) Kansalliset arvioinnit ovat myös olleet kullakin alalla kertaluonteisia, vaikka ne pohjautuvatkin yhteiseen arviointistrategiaan. Kertaluonteiset, joskin hyvin kattavat ja syvälle alaan porautuvat, kansalliset arvioinnit eivät välttämättä tuota riittävän systemaattista seurantatietoa kehittämistyön tueksi. Tiedon tuottaminen kehitystrendien seuraamiseksi ei ole ollut mahdollista. Aikaisempi arviointitoiminta on siis jäänyt osittain erilliseksi järjestelmäksi, jota ei ole hyödynnetty osana oppilaitosten tavanomaista toimintaa, eikä se ole tukenut paikallisen tason arviointia riittävästi. Ulkoisia arviointeja hyödynnetään ylipäätänsä vähän. Koulutuksen järjestäjiltä on myös puuttunut itsearvioinnin toteuttamisen välineitä tai niitä ei ole käytetty. Tämä tulee esille koulutuksen paikallisen arvioinnin tilaa koskevasta selvityksestä. (Rajanen 2000.) Myös uudempi, parhaillaan toteutettava selvitys paikallisesta arviointitoiminnasta antaa samansuuntaisia tuloksia (Löfström, Metsämuuronen, Niemi, Salmio ja Stenvall 2005). Myös arviointien luotettavuuteen liittyy ongelmia huolimatta siitä, että kansallisissa arvioinneissa on pyritty huolella ja riittävän monipuolisesti varmistamaan arviointien laatua. Arvioinnin objektiivisuutta on ajateltu lisättävän sillä, ettei opiskelijan oma opettaja ole voinut olla arvioijana, mutta tämän järjestelyn hyödyllisyyttä ei ole täysin pystytty osoittamaan, eikä se ole poistanut arvioitsijoista johtuvia eroja. Rinnakkaisarvioinnit ovat osoittaneet, että arvioijat soveltavat ja tulkitsevat arviointikriteerejä hyvin eri tavoin. Myös opiskelijoiden tietoja ja taitoja tulkitaan eri tavoin. Rinnakkaisarvioijien uusinta-arviot ovat olleet pääsääntöisesti tiukempia kuin ensimmäiset arviot. Erityisesti käytännön ammattityötehtävissä oppilaitosten arvioijat antavat korkeampia arvosanoja kuin muut asiantuntijat. On havaittu myös, että erot oppilaitosten arviointikulttuureissa aiheuttavat tasoeroja opiskelijan arvioinneissa. Toiset oppilaitokset ovat kriittisempiä oman toimintansa suhteen kuin toiset, mikä näkyy myös opiskelijan arvioinneissa. Kriittisimmät oppilaitokset antavat rinnakkaisarvioijien kanssa samantasoisia arviointeja. Myös suoranaista väärinymmärrystä ja vilpillistä toimintaa on havaittu koejärjestelyissä. (Nuotio ym. 2001; Räisänen & Frisk 2002.)

19 On huomattava kuitenkin, että vertailukelpoisuuteen ja arvioinnin osuvuuteen liittyvät ongelmat liittyvät kaikkeen arviointiin ei vain kansalliseen arviointiin, vaan myös opiskelijan arviointiin. 19

20 4 KANSALLINEN OPPIMIS- TULOSTEN ARVIOINTI NÄYTTÖJÄRJESTELMÄSSÄ 4.1 Oppimistulosten arvioinnin kehittäminen 20 Aikaisempi yhtenäisiin päättökokeisiin perustuva kansallinen oppimistulosten arviointi on nyt muutoksessa, koska ammatillisten perustutkintojen opiskelijan arviointia kehitetään näyttöperusteiseksi arvioinniksi ja kansallinen oppimistulosten arviointi liitetään osaksi näyttöjärjestelmää. OPM:n päätöksellä (212/430/98) vuosina uudistettaviin perustutkintoihin liitetään näyttöön perustuva osoitus ammatillisten opintojen tavoitteiden saavuttamisesta. Opetusministeriö asetti näyttötyöryhmän ( ), joka tarkasteli yhteistyössä työmarkkinaosapuolten kanssa näyttöjen järjestämiseen liittyviä kysymyksiä ja esitti muistiossaan näyttöjen kehittämisperiaatteet. Näyttöryhmän muistiossa edellytettiin myös, että näyttöjen ja kansallisen tason arvioinnin yhteys on selvitettävä näyttökokeilujen yhteydessä. Tavoitteena on selvittää, voidaanko kansallisten oppimistulosten arviointiaineisto koota näyttöjärjestelmästä. Tämä mahdollistaisi työryhmän mukaan sen, ettei erillisiä kansallisia kokeita tarvita. (OPM:n työryhmien muistioita 14:1999.) Myös koulutuksen ja tutkimuksen kehittämissuunnitelmassa (KESU ) on asetettu tavoitteeksi, että näyttöjärjestelmän vakiinnuttamisen yhteydessä kehitetään näyttöperusteinen ammatillisen koulutuksen kansallinen oppimistulosten arviointi. Näyttötyöryhmä määritteli tuolloin näytöt koulutuksen aikana työelämän kanssa yhteistyössä järjestettäviksi opinnäytteiksi, joissa opiskelija osoittaa, miten hyvin hän on saavuttanut ammatillisten opintojen tavoitteet ja työelämän edellyttämän ammattitaidon. Näyttöjä kehitetään ammatillisen koulutuksen laadun varmistamiseksi ja työelämäyhteyksien kehittämiseksi. Ne ovat osa opiskelijan arvioinnin, opetusjärjestelyjen sekä ohjaus- ja tukitoiminnan kehittämistä. Näyttöjen tarkoituksena on yhdenmukaistaa ja monipuolista arviointia sekä tuoda työelämän näkemys osaksi osaamisen arviointia. Tavoitteena on myös kehittää opetussuunnitelman perusteita ja koulutuksen järjestäjän opetussuunnitelmia siten, että niissä määritellään ammatilliset tavoitteet ja arviointikriteerit nykyistä täsmällisemmin työelämän edellyttämänä osaamisena. (OPM:n työryhmien muistioita 14:1999.) Näyttökokeilu aloitettiin Opetushallituksen koordinoimana vuonna 1999 muutamalla pilottiprojektilla, minkä jälkeen se on laajentunut valtakunnalliseksi kehittämishankkeeksi. Kehittämistyötä on tehty valtakunnallisissa näyttöaineisto- ja näyttöpilottiprojekteissa, jotka kattavat

21 miltei kaikki ammatilliset perustutkinnot. Kehittämistyö rahoitetaan Euroopan sosiaalirahaston tuella. Kansallisen oppimistulosten arviointijärjestelmän kehittäminen ja siihen liittyvä arviointikokeilu on osa tätä kehittämistyötä. Kehittämistoiminta jatkuu vuoden 2007 loppuun. 4.2 Ammattiosaamisen näytöt Näyttöjärjestelmällä tarkoitetaan ammatillisen osaamisen näyttöjä opetussuunnitelmaperusteisessa ammatillisessa peruskoulutuksessa ja niiden pohjalta tehtävää kansallista oppimistulosten arviointia. Näyttöjärjestelmän tavoitteena on parantaa ammatillisen koulutuksen laatua ja vaikuttavuutta sekä edistää opiskelijoiden siirtymistä koulutuksesta työelämään. Näyttöjen tarkoituksena on yhtenäistää opiskelijan arviointia ja tuottaa tietoa oppimistuloksista sekä opetussuunnitelman perusteiden, koulutuksen järjestäjän opetussuunnitelmien, opetusjärjestelyjen sekä ohjaus- ja tukitoimien toimivuudesta. Näyttöjärjestelmän tuottamaa tietoa hyödynnetään koulutuksen kehittämisessä kansallisella ja koulutuksen järjestäjän tasolla. Kansallinen oppimistulosten arviointi tukee koulutuksen järjestäjien itsearviointia ja opetuksen kehittämistä tuottamalla tulos- ja vertailutietoa. (Näyttölinjaukset, luonnos ja hallituksen lakiesitys ) Ammatillisen perustutkintojen näytöt sijoittuvat koko opintojen ajalle ja ne ovat osa koulutusprosessia. Merkittävä linjaus kehittämisen alusta lähtien on ollut, että jokaisen ammatillisen opintokokonaisuuden keskeinen osaaminen tulee osoittaa ja arvioida näytössä. Näytöt ovat osa opiskelijan arviointia, jonka suorittavat koulutuksen järjestäjä ja työelämän edustajat yhdessä. Näyttöjen järjestämistä ohjaavat kansalliset näyttöaineistot, jotka sisältävät ohjeet näyttöjen suunnittelusta, toteuttamisesta ja arvioinnista paikallisella tasolla. Näyttöaineistot on laadittu jokaiseen perustutkintoon opintokokonaisuuksittain. Näyttöjen suunnittelun, toteuttamisen ja arvioinnin lähtökohtana ovat opetussuunnitelman perusteiden tavoitteet. Näytöillä arvioidaan sekä ammatillista perusosaamista että koulutusohjelmakohtaista erikoisosaamista. Näytöt tulee järjestää siten, että kaikilla opiskelijoilla on mahdollisuus suorittaa näytöt joustavasti koulutuksen aikana. Ohjeena on ollut, etteivät näytöt saa lisätä opintojen keskeyttämistä. (Opetushallitus 2000; OPM:n työryhmien muistioita 14:1999; Pohjolainen & Vesaaja 2001.) Uusimmissa linjauksissa näyttö on määritelty seuraavasti: Ammatillisen osaamisen näyttö on koulutuksen järjestäjän ja työelämän yhdessä suunnittelema, toteuttama ja arvioima työtilanne tai työprosessi. Siinä opiskelija osoittaa tekemällä käytännön työtehtäviä, miten hyvin hän on saavuttanut opetussuunnitelman perusteiden ammatillisten opintojen tavoitteissa määritellyn työelämän edellyttämän ammattitaidon (Näyttölinjaukset, luonnos ). Myöhemmin ammatillisen perustutkintojen näytöstä käytetään nimitystä ammattiosaamisen näyttö (hallituksen lakiesitys ). 21

22 4 KANSALLINEN OPPIMISTULOSTEN ARVIOINTI NÄYTTÖJÄRJESTELMÄSSÄ Yhteenveto ammattiosaamisen näyttöjä koskevista kehittämislinjauksista: Näyttö on osa opiskelijan arviointia Jokaisen ammatillisen opintokokonaisuuden keskeinen osaaminen tulee osoittaa ja arvioida näytössä Näytöt liitetään osaksi opintoja koko koulutuksen ajalle Näytöt suunnitellaan, toteutetaan ja arvioidaan koulutuksen järjestäjän ja työelämän edustajien yhteistyönä Tavoitteena on opiskelijan arvioinnin yhtenäistäminen ja työelämän edustajien osallistuminen arviointiin Näyttöjärjestelmä tuottaa tietoa oppimistuloksista sekä opetussuunnitelman perusteiden, koulutuksen järjestäjän opetussuunnitelmien ja ohjaus- ja tukitoimien toimivuudesta. 4.3 Yhteensovittamisen edut On tarkoituksenmukaista, että kansallista arviointia ja opiskelijan arviointia kehitetään rinnakkain. Opiskelijan arvioinnin ja kansallisen arvioinnin taustalla olevan arviointinäkemyksen ja keskeisten periaatteiden tulee olla sopusoinnussa keskenään. Yhdenmukaisuus arviointinäkemyksessä vahvistaa arvioinnin vaikuttavuutta ja tukee sekä kansallisen että opiskelijan arvioinnin kehittämistä. Kansallisen arvioinnin tulee edistää opiskelijan arvioinnille asetettuja tavoitteita ja olla sen lähtökohtien kanssa yhdenmukaista ja päinvastoin. Toisaalta opiskelijan arvioinnin yhdenmukaisuus yleisten kansallisten arviointiperiaatteiden kanssa on osa koulutuksen laadunvarmennusta. Kansallisen arvioinnin ja opiskelijan arvioinnin periaatteita on sovitettu yhteen laadittaessa hallituksen esitystä näyttöjä koskevista laeista ja yleisiä näyttölinjauksia sekä erilaisia ohjeita ja säännöksiä näyttöjen toteuttamiseksi, mikä tulee vähentämään päällekkäisyyttä ja ristiriitaisuuksia järjestelmän käyttöönottovaiheessa. Integroinnin tavoitteena on luoda yhtenäinen ja motivoiva arviointijärjestelmä, joka on osa oppilaitosten tavanomaista toimintaa. Kansallista arviointia varten ei luoda erillistä järjestelmää, vaan arvioinnilla tuetaan oppilaitosten itsearviointia, jolloin sekä itse tuotetun arviointitiedon (sisäinen arviointi) että palautteen (ulkoinen arviointi) merkitys korostuu. Näin näyttöjärjestelmästä on mahdollista luoda kiinteä osa ammatillisen koulutuksen laadunvarmennusta. Integrointi voi vähentää edellä esitettyjä aikaisemman kansallisen arviointimallin epäkohtia kuten irrallisuutta ja ulkokohtaisuutta sekä poistaa motivointiongelmia, päällekkäistä toimintaa ja ohjeistusta. Yhteensovittaminen voi vähentää myös kansallisesta arvioinnista aiheutuvia kustannuksia. 22

23 Integroinnin edut - Ei erillistä järjestelmää - Vähemmän päällekkäisyyttä - Arviointi osa oppilaitoksen tavanomaista toimintaa - Arviointitiedon tuottavat ja hyödyntävät varsinaiset toimijat - Kansallinen arviointi edistää opiskelijan arvioinnille asetettuja tavoitteita - Kansallinen arvioinnin palautejärjestelmä tukee oppilaitosten itsearviointia - Näyttöjärjestelmä tulee osaksi koulutuksen laadunvarmennusta. Uuden arviointimallin luominen vasta kehitteillä olevaan järjestelmään antaa todellisen mahdollisuuden integroinnin onnistumiselle. Kysymyksessä on aito kehittämishanke, jossa luodaan uutta. Arviointikokeilussa toimi oppilaitoksista aktiivisia näyttöjen kehittäjiä, joten näytöistä saatuja kokemuksia on voitu hyödyntää alusta lähtien arviointikokeilun suunnittelussa ja kokeilu voitiin toteuttaa nopeassa aikataulussa. 4.4 Yhteensovittamisen haasteita Kansallinen oppimistulosten arviointi ja näyttöjärjestelmä voidaan liittää toisiinsa kokonaan, osittain tai kehittää erilliset järjestelmät. Erilaisia vaihtoehtoisia integrointimalleja analysoimalla on päädytty tavoittelemaan näiden järjestelmien täydellistä integraatiota, jotta voitaisiin hyödyntää synergiaetua ja vältyttäisiin päällekkäisiltä toiminnoilta ja erilaisilta arviointikriteereiltä. Kansallisen arvioinnin ja näyttöperusteisen opiskelijan arvioinnin yhteensovittamisen haasteena on, miten samaa arvioinnin välinettä eli ammattiosaamisen näyttöä käytetään eri tarkoituksessa eli tuotetaan luonteeltaan erilaista arviointitietoa. Opiskelijan arvioinnin osana näytöt ovat ohjaavaa, formatiivista arviointia, joka auttaa seuraamaan opiskelijan oppimisprosessia ja toisaalta tukee opettajaa kehittämään opetustaan. Arviointi liittyy tällöin oppimisen ja opetuksen sisäisiin prosesseihin, eikä sitä ole tarkoitettu julkisesti tarkasteltavaksi. Osana kansallista arviointia näyttöjen tulee tuottaa kokoavaa opitun arviointitietoa, joka on luonteeltaan yleistettävää ja julkista (evaluointia). Tämä perusjännite vaikuttaa muun muassa kehitettäessä integroidun arviointijärjestelmän standardeja ja laatuvaatimuksia. Toisaalta on huomattava, että opiskelijan arviointi on summatiivista, kun siitä annetaan todistus (esimerkiksi näyttötodistus). Näyttöjen kehittämisperiaatteet (ks. edellä luku 4.2) vaikuttavat näyttöjen ja arvioinnin yhteensovittamiseen. Samanaikaisesti näiden periaat- 23

24 4 KANSALLINEN OPPIMISTULOSTEN ARVIOINTI NÄYTTÖJÄRJESTELMÄSSÄ teiden kanssa on huomioitava kansallisen arvioinnin luotettavuudelle ja vertailukelpoisuudelle asetettavat vaatimukset, joihin liittyvät läheisesti arvioinnin läpinäkyvyyden ja oikeudenmukaisuuden vaatimukset. Myös arvioinnin käyttökelpoisuus on huomioitava; arviointitiedon tulee olla hyödyllistä ja tarkoituksenmukaista. Integrointitavoite asettaa uusia vaatimuksia sekä kansalliselle oppimistulosten arvioinnille että opiskelijan arvioinnille. Kansallisen arvioinnin kannalta keskeiset yhteensovittamisen ongelmakohdat nimettiin kehittämisvaiheessa vertailtavuusongelmaksi, ajoitusongelmaksi ja päällekkäisyysongelmaksi sekä käytännön ongelmiksi. Nämä kehittämisen ongelmakohdat liittyvät arviointitiedon luotettavuuteen, näyttöjen organisoinnin ja arviointitiedon kokoamisen ajoitukseen, arvioinnin eri funktioihin sekä kahden kehitteillä olevan järjestelmän yhteensovittamisesta johtuviin päällekkäisyyksiin. Vertailtavuus: Vaikka tutkinnoittain ja opintokokonaisuuksittain laaditut kansalliset näyttöaineistot ohjaisivatkin näyttöjen toteuttamista, oppilaitokset voivat toteuttaa samankin opintokokonaisuuden näyttöjä hyvin eri tavoin oman opetussuunnitelmansa pohjalta ja paikalliset olosuhteet huomioiden. Tällainen joustavuus on monesta näkökulmasta, mm. työelämälähtöisyyden ja paikallisten olosuhteiden huomioimisen kannalta tavoiteltava asia, mutta se asettaa arviointitiedon vertailukelpoisuudelle haasteita. Ajoitus: Näyttöjä toteutetaan koko opiskelun ajan, jolloin koko tutkintoa koskevan arviointitiedon kokoaminen näyttöperusteisesti vie kauan aikaa, kolme vuotta. Valtakunnallisten arviointien tiedonkeruumallien ja otosten suunnittelulle tämä on iso haaste. Ajoitusongelma liittyy myös siihen, että saman tutkinnon näyttöjä toteutetaan oppilaitoksissa eri aikoina ja eri vaiheessa opiskelua, mikä saattaa pitkittää tiedonkeruuta ja on haasteellista opiskelijoiden oppimisen siirtovaikutuksen (transferin) seuraamisen kannalta. Päällekkäisyys: Päällekkäisyyttä ja hämmennystä aiheutuu siitä, että näyttöjen kehittämistyö oli jo meneillään ja osa näyttöjärjestelmän kehittämisen peruslinjaukset oli tehty, kun kansallista arviointia ryhdyttiin integroimaan siihen. Paikallisen tasolla toteutettavan opiskelijan arvioinnin ja kansallisen arvioinnin edellytysten yhteensovittaminen yksittäisessä näytössä saattaa aiheuttaa jännitteitä, koska näytön tuottamaa arviointitietoa käytetään eri tarkoituksissa. Vaatimukset voivat olla osittain päällekkäisiä ja osittain ristiriitaisia keskenään. 24