NÄYTTÖTUTKINTOJÄRJESTELMÄN KOKONAISARVIOINTI

Transkriptio

1 Pentti Yrjölä, Jaakko Ansaharju, Petri Haltia, Raimo Jaakkola, Anu Järvinen, Matti Taalas, Tim Lamminranta NÄYTTÖTUTKINTOJÄRJESTELMÄN KOKONAISARVIOINTI Arviointi 12/2000 OPETUSHALLITUS

2 Opetushallitus Taitto: Sirpa Ropponen ISBN ISSN Yliopistopaino, Helsinki 2001

3 Tiivistelmä TIIVISTELMÄ Arviointi kohdistuu näyttötutkintojärjestelmän toimivuuteen, siihen miten järjestelmän keskeiset osat toteuttavat tehtäviään ja millaisia ovat järjestelmän tuotokset. Arvioinnin suorittaminen perustuu valtioneuvoston hyväksymiin koulutuksen ja tutkimuksen kehittämissuunnitelmiin sekä opetusministeriön ja Opetushallituksen väliseen tulossopimukseen. Arvioinnissa kuvataan aikuisten ammatillisen tutkintojärjestelmäajattelun kehitystä, järjestelmän käynnistysvaihetta sekä sen kehitystä vuodesta Tarkemmin analysoidaan näyttötutkintojärjestelmän toimintaa vuosina 1999 ja Arvioinnissa käytetty materiaali hankittiin lähinnä erilaisista opetushallinnon aineistoista, Tilastokeskuksen tilastoista sekä toteuttamalla kyselyjä, haastatteluja ja tapaustutkimuksia. Näyttötutkintojärjestelmän määrällinen kehitys on ollut merkittävä, koska vuonna 1999 koko tutkinnon suoritti ja osatutkinnon aikuista, ja tutkintotilaisuuksiin osallistui kaikkiaan henkilöä. Esim. vuonna 1996 koko tutkinnon suoritti vain aikuista. Tutkintorakenteessa oli syksyllä yhteensä 388 tutkintonimikettä, joista ammatillisia perustutkintoja 95, ammattitutkintoja 174 ja erikoisammattitutkintoja 119. Samaan aikaan 342:lle tutkintonimikkeelle oli voimassa tutkinnon perusteet. Opetusministeriö vastaa tutkintorakenteesta. Opetushallitus päättää tutkintojen perusteista ja asettaa tutkintotoimikunnat. Tutkinnon perusteissa määritellään tutkinnossa edellytetty ammattitaito, ja tämä ajatustapa poikkeaa perinteisestä tavasta säädellä koulutusta opetussuunnitelman perusteilla.tutkintotoimikunnat vastaavat tutkintojen järjestämisestä ja valvonnasta ja tutkintojen järjestäjät puolestaan toimeenpanevat tutkintotilaisuuksia. Yksittäisten tutkintotilaisuuksien määrästä ei ole käytettävissä tietoa, mutta vuonna tutkintotoimikuntaa on tehnyt järjestämissopimuksen 422 laitoksen kanssa, ja eri tutkinnoista on kaikkiaan sopimusta. Järjestämissopimuksia on melko tasaisesti ympäri maan. Järjestelmän yhtenä keskeisenä lähtökohta-ajatuksena oli tarjota aikuisille mahdollisuus osoittaa oma ammattitaito ammattitaidon hankkimistavasta riippumattomissa tutkinnoissa. Toisena keskeisenä lähtökohtana oli lisätä työelämän ja ammatillisen aikuiskoulutuksen välistä yhteistyötä. Tutkintojärjestelmän toimeenpanon vaikutukset ammatillisen koulutuksen kenttään ovat ylipäätään olleet myönteiset. Työelämän tarpeiden huomioon ottaminen on lisääntynyt, ja työelämän mukaantulo tutkintosuoritusten arviointiin ja erityisesti tutkintotoimikuntiin on lähentänyt eri tahoja toisiinsa. Myös valta- 3

4 Näyttötutkintojärjestelmän kokonaisarviointi kunnallisella tasolla ovat työelämän järjestöt olleet vaikuttamassa järjestelmän rakentamiseen ja tutkintojen perusteiden laatimiseen. Yksityisen sektorin työnantajille näyttötutkintojärjestelmä on nimikkeenä melko tuttu, mutta vain harvoilla on konkreettista tietoa ja kokemuksia järjestelmästä. Lähes kaikki tutkinnon suorittaneet ovat hankkineet valmistavaa koulutusta selvitäkseen tutkinnosta. Järjestelmän alkuperäinen idea ei siis sellaisenaan ole toteutunut. Koulutuksen merkitys tutkintoon valmistavana väylänä on yllättävän suuri. Tämä selittyy osittain sillä, että oppilaitosten rahoitus perustuu edelleen koulutussuoritteisiin eikä tutkintojen määriin. Tutkintoon valmistavassa koulutuksessa olleiden määrä oli vuonna 1999 noin ja edellisenä vuonna noin , mutta tutkintotilaisuuksiin osallistui vuonna 1999 vain runsas aikuista. On vaikea ymmärtää sitä, että monet kymmenet tuhannet opiskelijat eivät osallistu tutkintotilaisuuksiin vaikka, koulutuksessa nimenomaan valmistaudutaan näyttöön. Tutkintojärjestelmän rakentamisen tärkeänä tavoitteena oli tarjota ilman ammatillista koulutusta työssä oleville aikuisille mahdollisuus tutkinnon suorittamiseen. Tutkinnon suorittaneiden joukossa kuitenkin on yllättävän paljon henkilöitä, jotka ovat melko nuoria taikka joilla on jo jokin ammatillinen koulutus. Ainoastaan naisvaltaisten alojen tutkintojen suorittaneissa on runsaammin yli 45-vuotiaita sekä heikosti koulutettuja. Tutkintotoimikuntien toiminnassa oli arviointitiedon perusteella jonkin verran puutteita. Epäselvyyksiä oli lähinnä tehtävissä ja toimivallassa. Tutkintotilaisuuksien toimeenpano oli kirjavaa, vaikka sekä tutkinnon suorittajat että tutkinnon toimeenpanoon osallistuneet työelämän edustajat pitivät tilaisuuksissa suoritettua ammattitaidon arviointia asianmukaisena. Kuitenkin monessa tapauksessa tutkintotilaisuuden järjestäminen, näyttötehtävät että suoritusten arvioinnit vastasivat vain osin ko. Tutkinnon perusteet -asiakirjaa. Vaikka tulokset kertovat osin epämääräisistä toimintatavoista, on kuitenkin muistettava, että järjestelmä on vasta tulossa kouluikään ja että keskitettyä ohjantaa on koulutuspoliittisten linjausten mukaisesti vältetty. Monasti ovat kaikki kukat saaneet kukkia ja on luotettu siihen, että kaikki eri tasojen toimijat tekevät parhaansa ja että tämä on riittävää. Avainsanat: Näyttötutkinto, ammattitutkinto, ammattitaidon arviointi, ammatillinen aikuiskoulutus. 4

5 Sammandrag SAMMANDRAG Utvärderingen gäller systemet med fristående examina, dvs. hur systemet fungerar, hur dess centrala delar fyller sin funktion och vilka resultaten är. Utvärderingen grundar sig på utvecklingsprogrammen för utbildning och forskning samt på resultatavtal mellan undervisningsministeriet och Utbildningsstyrelsen. Utvärderingen beskriver hur man kom fram till ett system med examina för vuxna och förklarar hur systemet togs i bruk och hur det utvecklats sedan En närmare analys av systemet med fristående examina har gjorts för år 1999 och Systemet med fristående examina har utvecklats kvantitativt på ett betydande sätt. År 1999 avlades fullständig examen av vuxna och delexamen av vuxna. I examensprov deltog allt som allt personer. Som jämförelse kan nämnas att 1996 avlades examen av endast vuxna. Hösten 2000 fanns det sammanlagt 388 examensbeteckningar, dvs. 95 yrkesinriktade grundexamina, 174 yrkesexamina och 119 specialyrkesexamina. Antalet fastställda examensgrunder var 342. Undervisningsministeriet ansvarar för examensstrukturen medan Utbildningsstyrelsen fastställer examensgrunderna och tillsätter examenskommissionerna. I examensgrunderna definieras den yrkesskicklighet som en examen förutsätter och detta tänkesätt avviker från det traditionella sättet att reglera utbildningen med hjälp av läroplansgrunder. Examenskommissionerna ser till att examina ordnas och examensarrangörerna svarar för ordnandet av examenstillfällena. Uppgifter saknas om antalet examenstillfällen men 170 examenskommissioner har avtalat med 422 läroanstalter om ordnande av examina och avtal gällande olika examina har ingåtts. Avtal gällande rätt att ordna examina har varit rätt jämt fördelad över landet. Ett av systemets syften var att erbjuda vuxna en möjlighet att påvisa yrkeskunskap i examina som är oberoende av hur kunskaperna har skaffats. Ett annat viktigt syfte var att öka samarbetet mellan arbetslivet och den yrkesinriktade vuxenutbildningen. Införandet av examenssystemet har i regel haft positiva följder för den yrkesinriktade utbildningen. Arbetslivets behov beaktas mer än tidigare och olika parter har kommit närmare varandra eftersom representanter för arbetslivet deltar i bedömningen av examensprestationerna och i examenskommissionerna. Olika organisationer inom arbetslivet har även påverkat på nationell nivå när det har gällt att utarbeta strukturer och examensgrunder. Systemet med fristående examina är som begrepp rätt bekant för mången enskild arbetsgivare men bara ett fåtal har konkret kännedom om eller erfarenheter av systemet. 5

6 Näyttötutkintojärjestelmän kokonaisarviointi I praktiken har de flesta genomgått förberedande utbildning för att klara sig vid examenstillfället. Systemets ursprungliga idé har inte förverkligats. Utbildning som förbereder för examen spelar en förvånansvärt stor roll. Detta förklaras till en del av att finansieringen av läroanstalterna fortfarande grundar sig på antalet utbildningar och inte på antalet examina. I utbildning som förbereder för examen deltog 1999 ca och året innan personer, men 1999 deltog endast drygt vuxna i examensprov. Bortfallet av flera tiotalastusen studerande är svårt att förstå eftersom man i utbildningen uttryckligen förbereder sig för att avlägga fristående examen. Ett viktigt syfte med arbetet med examenssystemet har varit att erbjuda möjligheter för yrkesverksamma personer utan yrkesutbildning att avlägga examen. Bland dem som avlagt examen finns emellertid överraskande många som är rätt unga eller som redan har något slags yrkesutbildning. Personer över 45 år och lågutbildade personer har avlagt examina i större utsträckning endast i kvinnodominerade branscher. Resultaten från utvärderingen visar att det har funnits brister i examenskommissionernas verksamhet. Oklarheter har förekommit främst i fråga om uppgifter och befogenheter. Arrangemangen vid examenstillfällena har varierat men både de studerande och arbetslivets representanter har ansett bedömningen av yrkesskicklighet saklig. I många fall har det dock varit så, att de praktiska arrangemangen, yrkesproven och bedömningen av prestationerna bara delvis motsvarat kraven i examensgrunderna. Även om utvärderingsresultaten i vissa fall berättar om oklara tillvägagångssätt så bör man minnas att systemet är rätt ungt. Det håller på att uppnå skoleålder och man har lyckats undvika central styrning enligt vedertagen praxis inom utbildningsförvaltningen. Ofta har man låtit alla blommor blomma och litat på att alla gör sitt bästa på olika nivåer. Nyckelord: fristående examen, yrkesexamen, bedömning/utvärdering av yrkesskicklighet, yrkesinriktad vuxenutbildning. 6

7 SUMMARY Summary The evaluation focused on the efficacy of the system of competence-based qualifications, on how its core elements accomplish their tasks and on the results yielded by the system. The evaluation was carried out on the basis of training and research development plans and on an agreement on results concluded between the Ministry of Education and the National Board of Education. The evaluation describes the development of the system of competence-based qualifications for adults, the actual implementation phase of the system and its development since The activity of the competencebased qualification system in 1999 and 2000 is analysed in greater detail. The quantitative development of the competence-based qualification system has been considerable, since, in 1999, an entire qualification was taken by 12,815 adults and a partial qualification by 9,221, and a total of 23,395 people took part in examinations. In 1996, for example, only 2,645 adults took the qualification. In autumn 2000, there were a total of 388 qualification titles in the qualification structure, including 95 vocational qualifications, 174 further qualifications and 119 specialist qualifications. Correspondingly, 342 bases for qualifications were in force. The Ministry of Education is responsible for the qualification structure, the National Board of Education decides on the requirements for the qualifications and appoints the Qualification Committees. The Qualification Committees are responsible for organising the qualifications, and the arrangers of the qualifications conduct the examinations. No information is available on the number of individual examinations, but 170 Qualification Committees have concluded an agreement on their arrangement with 422 educational establishments, and there are a total of 2,198 agreements on the various examinations. Generally, rights to arrange examinations are spread fairly evenly throughout the country. One basic idea behind the system is to provide adults with an opportunity to demonstrate their own skills in qualifications that are independent of the manner in which that skill has been obtained. The other idea was to increase the collaboration between working life and vocational adult education. The effects of the implementation of the qualification system on the field of vocational training have generally been positive. Consideration for the needs of working life has increased, and the involvement of working life in the assessment of qualification performances and in particular in the Qualification Committees has brought the various bodies closer together. At national level, too, organisations participating in working life have had an influence on the construction of the system and on the drawing up of the bases of the qualifications. The bases of the qualifications defines the skills required in each qualification. In this way of thinking differs from the traditional way 7

8 Näyttötutkintojärjestelmän kokonaisarviointi of regulating training and education on the basis of National Curriculum. Although many individual employers are fairly familiar with the competencebased qualification system as a title, only a few possess concrete knowledge and experiences of the system. In practice, virtually all graduates have undergone preparatory training in order to be able to cope with the examination. The idea behind the system has not been achieved as such. However, training plays a surprisingly important role as a channel preparing students for the qualification. This is to be explained partly by the fact that the funding of the educational establishments is still based on the study performances rather than on the numbers of qualifications. In 1999, some 72,000 people took part in training to prepare themselves for a qualification, and around 67,000 in the previous year, but only just over 23,000 adults took part in examinations in This absence of many tens of thousands students from the examination is difficult to comprehend because their training prepares them specifically for a demonstration. An important objective behind the construction of the qualification system was to provide working people without vocational training with an opportunity to take a qualification. However, the graduates include a surprising number of people who are quite young or who possess some kind of vocational training. It is only graduates in sectors dominated by women that include a greater number of people over the age of 45 and who are poorly qualified. The study indicates that there were some defects in the work of the Qualification Committees. There was some confusion mainly with regard to tasks and authority. The examinations themselves were implemented in a variety of ways, but both the students and representatives of working life regarded the skill assessed in the examinations to be appropriate. However, in many cases, the arrangement of the examination, the demonstration tasks and assessments of performances corresponded only in part to the requirements of the qualification in question. Even though the results are sometimes indicative of poorly defined approaches, it must, however, be recalled the system is barely out of its infancy, and centralised control according to the National Board of Education s general practices has been avoided. Often, diversity has been tolerated and all the players at different levels have been trusted to do their best. Key words: Competence-based qualification, vocational qualification, assessment of professional skill, vocational adult education. 8

9 ESIPUHE Esipuhe Tässä raportissa kuvataan lähes kaksi vuotta kestänyt näyttötutkintojärjestelmän arviointi. Arvioinnin tarkoituksena oli selvittää miten hyvin asetetut tavoitteet on saavutettu, miten hyvin järjestelmä ylipäätään toimii ja missä on kehittämistarpeita. Raporttia luettaessa on muistettava, että kyse on vain kuusi vuotta toimineesta järjestelmästä, jonka rahoitus on ollut muuttuvassa tilassa. Myös järjestelmän keskeiset ulottuvuudet - työelämän ammattitaitovaatimukset ja aikuisten ammatillinen osaaminen - muuttuvat koko ajan, ja tutkintojärjestelmä on tässä prosessissa vasta etsimässä asemaansa. Tämä on monen kirjoittajan yhteisjulkaisu, mutta allekirjoittanut kantaa päävastuun sekä rakenteesta että johtopäätöksistä. Tämä noin puolentoista vuoden yhteinen taipaleemme ohjausryhmän kanssa on ollut mielenkiintoinen ja näkökulmia avartava. Keskusteluja on käyty, ongelmia ratkaistu, mutta lähtökohtana on pidetty näyttötutkintojärjestelmän kehittämistä. Vilpitön kiitos ohjausryhmälle, kirjoittajille sekä vielä Jari Metsämuuroselle, joka eräässä kriittisessä vaiheessa toi ammattitaitonsa käyttöömme. Sirpa Ropponen Opetushallituksesta sekä Tilastokeskuksen asiantuntijat ovat taustalla tuottaneet tarpeellisia aineistoja. Tämä raportti on Opetushallituksen verkkosivulla ( ja eräät perustilastot ovat samalla verkkosivulla. Helsingissä 15. joulukuuta 2000 Pentti Yrjölä projektipäällikkö 9

10 Näyttötutkintojärjestelmän kokonaisarviointi TIIVISTELMÄ SAMMANDRAG SUMMARY ESIPUHE SISÄLTÖ 1 NÄYTTÖTUTKINTOJÄRJESTELMÄN ARVIOINNIN LÄHTÖKOHDAT JA TOTEUTUS Arvioinnin tarkoitus ja kohteet Arviointiprosessin kuvaus Arvioinnin lähestymistapa Arvioinnin luotettavuus Ammattitaidon teoreettista tarkastelua NÄYTTÖTUTKINTOJÄRJESTELMÄN TAUSTAA Näyttötutkintojärjestelmä mietinnöissä ja muistioissa Aikuiskoulutuskomitea Aikuiskoulutuksen väliaikainen kehittämisorganisaatio Tutkintoajattelun eteneminen 1980-luvun jälkipuoliskolla Käytännön suunnittelutoimet Järjestelmän syntyvaiheen vaikuttajien haastattelut NÄYTTÖTUTKINTOJÄRJESTELMÄN TOIMINTA Järjestelmän toimeenpano Opetushallinnon toimenpiteet Toimeenpanoon liittyneet erillisprojektit Kehittämisen rahoitus Koulutusprojektit ALVAR Tutkintojen tasoluokitus Käsitteiden vakiintumattomuus Näyttötutkintojärjestelmän nykytila Tutkintorakenne, tutkinnot ja tutkintonimikkeet, Petri Haltia Tutkintojen perusteet Tutkintotoimikunnat Tutkintojen järjestämissopimukset Valmistava koulutus ja suoritetut tutkinnot Valmistavaan koulutukseen osallistuminen Valmistavan koulutuksen kesto Valmistavasta koulutuksesta tutkintoon Tutkintoon johtavat väylät Tutkinnon suorittaneiden määrä Osatutkinnon suorittaneiden määrät

11 Sisältö Tutkintoja, joista ei ole suorituksia Tutkintojärjestelmän sisäiset, alakohtaiset erot Näyttötutkinnon suorittaneiden tausta Tutkinnon suorittaneiden ikä Tutkinnon suorittaneiden sukupuoli Tutkinnon suorittaneiden koulutustausta Näyttötutkintojärjestelmän rahoitus ja kustannukset Näyttötutkintojen rahoitusjärjestelmä Näyttötutkintoon valmistavan koulutuksen osana suoritetun näyttötutkinnon kustannukset Erillisten tutkintotilaisuuksien kustannukset Tutkintotoimikuntien kustannukset Näyttötutkintojärjestelmän toteuttamisen ja kehittämisen kustannukset Rahoituksen toimivuus Näyttötutkinnot ja työelämä Yritysten johdon tiedot ja kokemukset näyttötutkinnoista Näyttötutkintojen vaikutus työehtoihin Näyttötutkintojärjestelmän nykytila järjestelmän syntyvaiheen vaikuttajien arvioimana Näyttötutkintojärjestelmän vaikutukset väestön koulutustasoon TUTKINTOTILAISUUKSIEN TOIMEENPANO Tutkintotilaisuuksien arvioinnin kohteiden valinta ja arvioinnin lähtökohdat Kirjallisten aineistojen ja tapaustutkimusaineistojen kuvaukset Arviointivierailujen - tapaustutkimusten toteuttaminen Näyttötutkintojen toimeenpanon arviointi, osaraportti I, Jaakko Ansaharju Arviointitutkimuksen perustiedot Yleistä Arvioinnin suorittajat Näyttötilaisuuksien kuvaus opintoaloittain ja tutkinnoittain Rakennusala Paperi- ja kemianteollisuuden ala Kone- ja metalliala Auto- ja kuljetusala Sähköala (tietotekniikan perustutkinto) Arviointituloksia yleisellä tasolla Tutkintotilaisuuksien yleiset järjestelyt Näyttötilaisuuksien organisointi ja hallinnointi Yhteistyö muiden alan arvioijaorganisaatioiden kanssa Näyttötutkintojen vaatimustasojen yhdenmukaisuuden varmistaminen Miten pätevyys on tutkintosuoritusten arvioinnissa käsitetty Näytön arvioinnin kohteet ja menetelmät

12 Näyttötutkintojärjestelmän kokonaisarviointi Tutkintosuoritusten arvioijien ja tutkinnon suorittajien mielipiteitä Näyttöä koskevat arviointipäätökset Näyttötutkintojen toimeenpanon arviointi,osaraportti II, Matti Taalas Tutkinnot Arviointityön asiantuntijat Tutkintotilaisuuksien kuvaus Tutkintotilaisuuksien yleiset järjestelyt Tutkintotilaisuuksien yksityiskohdat Ammatillisen pätevyyden ja ammattitaidon sisältö Tutkintosuoritusten arvioinnin menetelmät Tutkintosuoritusten arvioijien ja tutkintoon osallistuvien näkemyksiä Yhteenveto eri tutkinnoista Näyttötutkintojen toimeenpanon arviointi, osaraportti III, Raimo Jaakkola & Anu Järvinen Tutkinnot Arvioidut tutkintotilaisuudet Tutkintotilaisuuksien yleiset järjestelyt ja organisointi Tutkintojen toimeenpano kirjallisen aineiston perusteella arvioituna Tutkinnon osien toteutus tapaustutkimuksien perusteella Tutkintotoimikunnan rooli Tutkintosuoritusten arviointi ja arvioijien pätevyys Käsitys pätevyydestä, näytön arvioinnin kohteet ja arviointipäätös Tutkinnon suorittajien ja tutkintosuoritusten arvioijien mielipiteitä Tutkinnon järjestämisen arviointia Osaraporttien arvioivat johtopäätökset Riippumattomuus Työelämän tarpeet Aikuisväestön tarpeet Toimeenpanon ja vaatimustasojen yhdenmukaisuus Tulosohjaus Tutkintotoimikuntien toiminta NÄYTTÖTUTKINNOT NIIHIN OSALLISTUNEIDEN JA TUTKINTO- TOIMIKUNTIEN ARVIOIMINA, Petri Haltia Kysely osallistujille Kohdejoukko ja vastaajien taustat Näyttöihin valmistautuminen ja näyttötilaisuuksien organisointi Arviot näyttöihin liittyvistä tekijöistä ja osaamisalueiden painotuksesta Tutkintosuoritusten vaikutukset suorittajien kannalta Kyselyt tutkintotoimikunnille

13 Sisältö Tutkintotoimikuntien toiminta sihteereiden/puheenjohtajien mukaan Tutkintotoimikuntien jäsenet ja heidän näkemyksensä Tutkintotoimikuntien jäsenten taustat Tutkintojen järjestäjien valinta Tutkintotoimikuntien jäsenten muu toiminta ja näkemykset näyttötutkintojärjestelmästä Johtopäätökset KATSAUS ERÄIDEN MAIDEN NÄYTTÖJÄRJESTELMIIN, Petri Haltia Alankomaat Ranska Saksa Iso-Britannia Yhteenveto ARVIOIVAT JOHTOPÄÄTÖKSET Ovatko näyttötutkintoina suoritettavat tutkinnot ammattitaidon hankkimistavasta riippumattomia? Miten näyttötutkintojärjestelmä vastaa työelämän tarpeisiin ja miten työelämäyhteydet toimivat näyttötutkintojärjestelmässä Miten näyttötutkinnoissa otetaan huomioon aikuisväestön tarpeet Ovatko tutkintotilaisuudet toimeenpanoltaan ja vaatimustasoiltaan yhdenmukaisia Miten ammatillisen aikuiskoulutuksen tulosohjaus toteutuu tutkintojen avulla? Miten tutkintotoimikunnat toteuttavat tehtävänsä? Järjestelmän tehokkuus ja vaikuttavuus LÄHTEET LYHENTEET LIITTEET LIITETAULUKOT TAULUKKOLUETTELO LIITELUETTELO

14 1 Näyttötutkintojärjestelmän arvioinnin lähtökohdat ja toteutus 1 NÄYTTÖTUTKINTOJÄRJESTELMÄN ARVIOINNIN LÄHTÖKOHDAT JA TOTEUTUS Näyttötutkintojärjestelmän keskeiset tavoitteet on määritelty hallituksen esityksessä (HE 286/1993) ammattitutkintoja koskevaksi lainsäädännöksi, ammattitutkintolaissa (L 306/1993) ja laissa ammatillisesta aikuiskoulutuksesta (L 631/1998). Hallituksen esityksen mukaan uutta ammattitaitoa vaativat tehtävät on tulevaisuudessa kyettävä hoitamaan keskimääräistä iäkkäämmällä työvoimalla, ja siksi tarvitaan aikuisväestön ammattitason jatkuvaa ylläpitämistä ja kohottamista. Aikuisten monenlaisten kokemusten kautta hankkima ammattitaito ja valmiudet saadaan tutkintojärjestelmässä otettua huomioon. Sekä ammattitutkintolain että ammatillisesta aikuiskoulutuksesta annetun lain ensimmäinen pykälä sisältää saman perusajatuksen: kyse on ammattitaidon hankkimistavasta riippumattomista tutkinnoista. Ammatillisesta aikuiskoulutuksesta säädetyn lain 2 :n mukaan tarkoituksena on ylläpitää ja kohottaa aikuisväestön ammatillista osaamista, antaa opiskelijoille valmiuksia itsenäisen ammatin harjoittamiseen, kehittää työelämää ja edistää työllisyyttä ja tukea elinikäistä oppimista. Lain tarkoituksena on lisäksi edistää tutkintojen tai niiden osien suorittamista. Sekä ammatillisesta aikuiskoulutuksesta annetun lain että asetuksen keskeinen sisältö käsittelee nimenomaan näyttötutkintoja ja niiden järjestämistä. Näyttötutkintoja tulee suunnitella ja järjestää yhteistyössä työelämän kanssa (3 ). Raporttia luettaessa on huomattava, että jo ammattitutkintolaissa, joka oli voimassa , säädettiin kolmesta tutkintotasosta vaikka yksi tutkintotaso oli nimeltään ammattitutkinto. Laissa ammatillisesta aikuiskoulutuksesta ( ) on selkeänä kokoavana käsitteenä ammattitaiton hankkimistavasta riippumattomat näyttötutkinnot, joita ovat ammatillinen perustutkinto, ammattitutkinto ja erikoisammattitutkinto. 1.1 Arvioinnin tarkoitus ja kohteet Näyttötutkintojärjestelmä, jota vuosina toteutettiin ammattitutkintolain (L 306/1994) mukaan ja jota alkaen on toteutettu ammatillisesta aikuiskoulutuksesta annetun lain (L 631/1998) mukaan, saavutti keväällä 2000 kuuden vuoden iän. Tämä pitkään suunniteltu järjestelmä on nyt vakiintumassa. Valtioneuvoston vuosien koulutuksen ja korkeakouluissa harjoitettavan tutkimuksen kehittämis- 15

15 Näyttötutkintojärjestelmän kokonaisarviointi suunnitelman mukaan ammattitutkintojärjestelmän toimivuus työelämän muutosten kannalta arvioidaan suunnittelukauden loppupuolella. Vuosille hyväksytyn Koulutuksen ja tutkimuksen kehittämissuunnitelman mukaan näyttötutkintojärjestelmää laajennetaan kattamaan kaikki koulutusalat ja järjestelmää kehitetään Opetushallituksen tekemän arvioinnin jälkeen. Opetusministeriön ja Opetushallituksen välisessä tulossopimuksessa näyttötutkintojärjestelmän (ammattitutkintojärjestelmän) arviointi sovittiin toteutettavaksi Opetushallituksen pääjohtaja vahvisti arviointisuunnitelman Suunnitelman mukaan arviointiprojektin tarkoituksena on arvioida ammattitutkintojärjestelmän (näyttötutkintojärjestelmän) kehittymistä ja nykytilaa. Kyseessä on näyttötutkintojärjestelmän kokonaisarviointi, jossa kuvataan järjestelmän synty ja sen eri osien tehtävät. Lähtökohtana on järjestelmälle asetetut tavoitteet ja niiden saavuttaminen. Tavoitteiden saavuttamista arvioidaan ammatillisen aikuiskoulutusjärjestelmän, työelämän ja opiskelijoiden näkökulmasta. Erityisesti arvioidaan tutkintotilaisuuksien toimeenpanoa ja ammattitaidon arviointimenettelyjä. Arvioinnin lähtökohtana oli kuusi näyttötutkintojärjestelmän keskeistä tarkoitusta, jotka määriteltiin arviointikysymyksiksi. Arviointikysymykset olivat: 1. Ovatko näyttötutkintoina suoritettavat tutkinnot ammattitaidon hankkimistavasta riippumattomia? 2. Miten näyttötutkintojärjestelmä vastaa työelämän tarpeisiin ja miten työelämäyhteydet toimivat näyttötutkintojärjestelmässä? 3. Miten näyttötutkinnoissa otetaan huomioon aikuisväestön tarpeet? 4. Ovatko tutkintotilaisuudet toimeenpanoltaan ja vaatimustasoiltaan yhdenmukaisia? 5. Miten ammatillisen aikuiskoulutuksen tulosohjaus toteutuu tutkintojen avulla? 6. Miten tutkintotoimikunnat toteuttavat tehtävänsä? Opetushallituksen koulutuksen tuloksellisuuden arviointimallin (Opetushallitus 1998) määrittelyjen mukaan tarkasteltuna tässä arvioinnissa on kyse (koulutus)järjestelmän tila-arvioinnista, jossa selvitetään mahdollisimmin laajasti tarkasteltavana olevan järjestelmän toimintaa, tuloksia sekä sitä, miten hyvin se tyydyttää tarvetta, toteuttaa tehtäväänsä ja millainen on sen yhteiskunnallinen merkitys. Tehokkuuden arviointi kohdistuu tutkintojen tarjontaan, ajankohtaisuuteen ja reagointikykyyn, käytännön järjestelyihin, laatuun ja yhteistyötahoihin ja pituuksiin. Vaikuttavuutta selvitetään tutkintojen tarpeen ja tarjonnan vastaavuudella, 16

16 1 Näyttötutkintojärjestelmän arvioinnin lähtökohdat ja toteutus tutkintojen suorituksilla sekä suoritusten hyödyllisyydellä. Taloudellisuuden osalta kiinnitetään huomiota järjestelmän valtiolle aiheuttamiin ammatillisen aikuiskoulutuksen kustannuksiin sekä tutkintotilaisuuksien rahoitukseen. Arvioinnin keskeinen kriteeriperusta on lainsäädännössä, opetusministeriön päätöksissä ja Opetushallituksen päättämissä tutkintojen perusteissa. Myös lakiesityksien HE 286/1993 (hallituksen esitys eduskunnalle ammattitutkintoja koskevaksi lainsäädännöksi) ja HE 86/1997 (hallituksen esitys eduskunnalle koulutusta koskevaksi lainsäädännöksi) ja näihin esityksiin liittyviä sivistysvaliokunnan mietintöjä ja eduskunnan lausumia sekä valtioneuvoston yleisistuntojen esittelymuistioita on käytetty arvioinnin lähtökohta-aineistona. Mikäli tavoitepohjaista arvioinnin kriteeriperustaa ei ole löydetty, arviointi on toteutettu vertailemalla tai tarkastelemalla kehitystrendejä. Tässä arvioinnissa näyttötutkintojärjestelmää tarkastellaan kokonaisuutena, jossa on määriteltyjä osia ja niiden välisiä vuorovaikutussuhteita. Ihmisten muodostamille järjestelmille on aina ominaista tehtävien määriteltävyys, tavoitteisuus, resurssien rajallisuus ja jonkinmoinen hallintotoiminta. (Ahlstedt ym. 1986, 20 21). Järjestelmää tarkasteltaessa kyse on edellytyksistä, panoksista, rakenteesta, osien vastuusta ja toimivallasta, prosesseista, informaatiosta, suoritteista, tuloksista ja suhteista läheisimpiin rajaorganisaatioihin (vrt. Raivola 2000, 14 15). Opetushallituksen tuloksellisuuden arviointimallin (1998) mukaan arviointi voidaan toteuttaa neljällä eri tasolla seuraavasti: 1. kuvataan, mitä on tapahtunut ja mikä on asiain tila 2. tehdään arvioivia johtopäätöksiä siitä, miten hyvin toiminta on saavuttanut asetetut tavoitteet 3. määritellään heikkouksia ja vahvuuksia, haittoja ja hyötyjä sekä arvoa 4. kuvataan asiain toivottu tila ja etsitään selityksiä huonoille ja hyville tuloksille. Näyttötutkintojärjestelmän arviointi toteutetaan kolmella ensimmäisellä tasolla kiinnittäen erityistä huomiota asetettujen tavoitteiden saavuttamiseen. Lisäksi pyritään löytämään toiminnan heikkouksia ja vahvuuksia, mutta niiden syitä ja selityksiä ei etsitä. 17

17 Näyttötutkintojärjestelmän kokonaisarviointi 1.2 Arviointiprosessin kuvaus Opetushallituksen vuoden 1999 tuote- ja palvelusuunnitelmassa tästä arviointiprojektista vastaamaan nimettiin opetusneuvos Pentti Yrjölä. Lisäksi Opetushallituksesta projektin toteutukseen tuli mukaan suunnittelija Tim Lamminranta. Arviointiprojektin hahmoa ryhdyttiin rakentamaan maaliskuussa 1999 tutustumalla näyttötutkintojärjestelmästä (ammattitutkintojärjestelmästä) julkaistuun tutkimus- ja muuhun kirjalliseen materiaaliin sekä kansainvälisiin aineistoihin, lähinnä CEDEFOP:n julkaisuihin sekä Englannin NVQjärjestelmästä tehtyihin tutkimuksiin. Lisäksi keskusteltiin järjestelmän rakentamisessa mukana olleiden henkilöiden kanssa. Kirjallisen arviointiaineiston kokoaminen aloitettiin. Alkuvaiheen keskusteluissa nousi esiin mahdollisiksi arviointikohteiksi mm. seuraavia asioita: tutkintojen työelämälähtöisyys/-vastaavuus, järjestelmän yleinen tunnettuus, tutkintojen suorittamisen merkitys työelämän kannalta, tutkintojen toimeenpanon kustannukset ja suoritusten vaatimustaso. Samalla selvitettiin mahdollisia henkilöitä ja organisaatioita, jotka voisivat osallistua kansalliseen näyttötutkintojärjestelmän arviointiin. Koska koko näyttötutkintoajattelu oli laajemmalti vain runsaat viisi vuotta vanha, oli vaikea löytää tahoja, jotka tuntisivat järjestelmän, mutta eivät olisi olleet mukana sen kehittämisessä. Päädyttiin sellaiseen arviointistruktuuriin, jossa eri organisaatioilta tilattiin arviointipalveluja. Kevään 1999 aikana keskusteltiin mahdollisten arviointikumppaneiden kanssa ja kehitettiin arviointisuunnitelmaa. Arvioinnin ohjausryhmään päätettiin kutsua edustajat seuraavista yksiköistä: Helia - Ammatillinen opettajakorkeakoulu (Helsinki), Hämeen ammattikorkeakoulu - OsaamisTawast (Hämeenlinna), Jyväskylän ammattikorkeakoulun Kehitysja palveluyksikkö ja Turun yliopiston Koulutussosiologian tutkimuskeskus (RUSE). Tämän pohjalta ohjausryhmässä ovat eri aikoina toimineet seuraavat henkilöt: Heliasta Marja Brandtberg, Kauko Hämäläinen, Raimo Jaakkola ja Anu Järvinen, Jyväskylän ammattikorkeakoulusta Riitta Skyttä, Matti Taalas, Piia Kolho ja Tiina Sutinen, Hämeen ammattikorkeakoulusta Jaakko Ansaharju ja Arja Wahlberg sekä RUSE:sta Petri Haltia. Opetushallitus teki kunkin em. organisaation kanssa sopimuksen osaprojektista, josta tämä oli vastuussa. Tässä yhteydessä sovittiin mm. siitä, että jokainen kohdaltaan vastaa siitä, että kehittämistoiminta (esim. näyttötutkintomestarikoulutus) ja osallistuminen kansalliseen arviointiin eivät sekoitu ja että arviointitulokset ovat julkisia vasta, kun kansallinen 18

18 1 Näyttötutkintojärjestelmän arvioinnin lähtökohdat ja toteutus arviointiraportti on julkinen ja että muutoinkin noudatetaan opetusministeriön päätöstä (19/011/98), joka koskee koulutuksen ulkopuolisen arvioinnin toimeenpanoa. Opetushallituksen tilaamien osaprojektien pohjalta tehdyt raportit ovat osa kansallisen arvioinnin raporttikokonaisuutta niin, että ne ovat kirjattu ao. sopimusosapuolten vastuuttamien kirjoittajien nimiin. Pääosa arviointiprojektin yhteistyöstä hoidettiin sähköpostitse. Yritettiin myös käyttää Opetushallituksen avaamaa yhteistä sähköistä sivustoa, mutta sen käyttö ei toteutunut toivotulla tavalla. Arvioinnin aikataulu pidettiin ohjausryhmän ensimmäinen kokous, jossa käytiin yleiskeskustelu arviointihankkeesta ja hahmotettiin aikataulua sekä arvioinnin kohteita ja tasoja. Päädyttiin siihen, että arviointi kohdistetaan valtakunnalliseen tasoon, alue- eli tutkintotoimikuntien tasoon sekä itse tutkintotilaisuuksien järjestämisen ja - mikäli mahdollista - tutkintojen hyödyllisyyden arviointiin. Ohjausryhmä kokoontui vuoden 1999 aikana viisi kertaa. Kokouksissa käsiteltiin arvioinnin lähestymistapoja, arviointisuunnitelmaa, arviointikysymyksiä sekä arviointitiedon hankintatapoja sekä valittiin tarkemmin analysoitavat tutkinnot. Syksyllä 1999 kuultiin OPH:n virkamiehiä arviointisuunnitelmasta ja analysoitavista tutkinnoista. Marrasjoulukuussa lyötiin lukkoon em. tutkinnot, allekirjoitettiin sopimukset osaprojekteista ja ryhdyttiin kokoamaan kirjallisia aineistoja järjestetyistä tutkintotilaisuuksista. Helmikuussa 2000 valmistui kirjallisten aineistojen arviointilomake. Tavoitteena oli saada aineistot 75 tutkintotilaisuudesta, mutta seitsemästä aineisto jäi saamatta. Samanaikaisesti valmisteltiin kyselylomakkeet kohteena oleviin tutkintoihin osallistuneille ja näiden tutkintojen tutkintotoimikuntien jäsenille. Maalis-huhtikuussa TE-keskusten ja Opetushallituksen HANKI -rekisterin avulla etsittiin keväällä ja kesällä 2000 järjestettäviä tutkintotilaisuuksia. Arviointivierailut tehtiin kymmenen tutkinnon kolmeen eri tilaisuuteen, eli yhteensä näistä kertyi 30 tapaustutkimusta. Maaliskuussa valmistui tutkintotilaisuuksien kirjallisen aineiston tilastoanalyysi ja huhtikuussa valmistui arviointivierailujen/tapaustutkimusten arviointiohjeisto. Huhtikuussa aloitettiin myös näyttötutkintojärjestelmän syntyvaiheen keskeisten vaikuttajien haastattelut. 19

19 Näyttötutkintojärjestelmän kokonaisarviointi Ensimmäinen arviointivierailu oli toukokuussa ja viimeinen elokuussa. Lokakuussa ensimmäiset osaraporttien tekstit olivat valmiit ja lopullinen raportti valmistui joulukuun alussa. 1.3 Arvioinnin lähestymistapa Arvioinnin metodinen lähestymistapa on monitahoarviointi, jossa käytetään sekä kvantitatiivista että kvalitatiivista tutkimusotetta ja arviointikohteita tarkastellaan eri tavoin eri näkökulmista. Arviointisuunnitelmaan kirjatut kuusi keskeistä arviointikysymystä (arviointikohdetta) ositettiin alakysymyksiksi. Lähtökohtana oli arviointimatriisi, jossa arvioinnin pääkysymykset olivat toisena ulottuvuutena ja toisena mahdolliset arviointitiedon lähteet. Informantteja alustavissa suunnitelmissa olivat: valmiit kirjalliset ja tilastoaineistot, erilaiset henkilöryhmät, työelämä, tutkintotoimikunnat, oppilaitosten johto, tutkintotilaisuuksien organisointi, tutkintotilaisuuksien toteuttaminen ja tutkintosuoritusten arviointi. Lopullinen arviointiasetelma muodostui sellaiseksi, että kuhunkin kuuteen arviointikysymykseen etsittiin vastauksia kolmelta eri tasolta, jotka olivat: valtakunnan -, tutkintotoimikuntien - ja tutkintotilaisuuksien taso. Arviointiaineistot kullakin tasolla koottiin seuraavasti: Valtakunnallinen taso - Tilastokeskuksen ja opetushallinnon tilastot (OPTI, HANKI, AMTU) - Säädökset ja hallinnolliset päätökset ja muu kirjallinen viranomaisaineisto - Tutkimusaineistot - Asiantuntijahaastattelut - Taloustutkimus Oy:ltä tilatut haastatteluaineistot - Toimikuntakysely Toimikuntien taso - Tilastokeskuksen ja opetushallinnon tilastot (OPTI, HANKI, AMTU) - Säädökset ja hallinnolliset päätökset ja muu kirjallinen viranomaisaineisto - Toimikuntakysely - Tutkimusaineistot - Asiantuntijahaastattelut - Tutkintoja organisoivien haastattelut 20

20 1 Näyttötutkintojärjestelmän arvioinnin lähtökohdat ja toteutus Tutkintotilaisuuksien taso - Tilastokeskuksen ja opetushallinnon tilastot (OPTI, HANKI, AMTU) - Säädökset ja hallinnolliset päätökset ja muu kirjallinen viranomaisaineisto - Tutkimusaineistot - Toimikuntakysely - Tutkinnon suorittajien postikysely - Tutkintojen järjestäjien kirjalliset aineistot - Tutkintoja organisoivien haastattelu - Tutkinnon suorittajien haastattelu - Työelämän edustajien haastattelu - Havainnointi Arviointiasetelmaa rakentaessaan ohjausryhmä piti erittäin tärkeänä järjestelmän ydintoiminnan eli tutkintotilaisuuden ja siinä tapahtuvan ammattitaidon arvioinnin uskottavuuden selvittämistä. Lähtökohtana oli joidenkin tutkintotilaisuuksien toimeenpanon tavoitteenmukaisuuden ja yhteismitallisuuden (suoritusten arvioinnin yhdenmukaisuuden) selvittäminen maan eri osissa eli tutkintotilaisuuksien luotettavuuden analyysi. Myös pohdittiin sen selvittämistä, mikä on tutkinnon läpäisseiden osaamisen taso. Päätettiin valita tarkemmin tarkasteltavaksi muutamien opintoalojen tutkintosuorituksia ja käytettyjä suoritusten arviointiperusteita (kohteet ja kriteerit). Päätettiin mahdollisesti selvittää myös saman opintoalan perustutkintojen, ammattitutkintojen ja erikoisammattitutkintojen vaatimustasojen eroja. Tarkempaan tarkasteluun valittiin tutkintoja, jotka mahdollisimman hyvin kuvaavat koko järjestelmää. Tarkoituksena oli analysoida ko. tutkinnon perusteet ja niiden tavoitteet siten, että analyysin pohjalta voitaisiin arvioida, kuinka hyvin tutkinnon toimeenpano vastaa perusteita Arvioinnin luotettavuus Arvioinnin, kuten tutkimuksenkin, luotettavuus muodostuu koko prosessista, jolla tieto arvioinnin kohteesta hankitaan. Tämän arvioinnin prosessi alkoi suunnittelusta (arviointisuunnitelma) ja päättyy tähän raporttiin, jossa on kuvattu arvioinnin kohteet, tavoitteet, menettelyt, löydökset ja johtopäätökset. Arvioinnissa käytetyt mittarit ja niiden ominaisuudet kuvaavat koko arvioinnin luotettavuutta. Tavoitteena on, että aineistossa ei ole virheitä ja että samaa kohdetta on käsitelty eri näkökulmista eri menetelmillä. 21