PsT Timo Spangar Spangar Negotiations Koppi maaston raivaamisesta vertaisarviointiin. Ammatillisen osaamisen kansallisen arviointijärjestelmän rakentaminen ammattiosaamisen näyttöihin perustuen. Ulkoisen arvioinnin loppuraportti 31.12.2007
Tekijät ja Opetushallitus ISBN 978-952-13-3656-0 (nid.) ISBN 978-952-13-3657-7 (pdf) ISSN 1238-4453 ARVIOINTI 1/2008 Painopaikka: Edita Prima Oy, Helsinki 2008
TIIVISTELMÄ: KESKEISET HAVAINNOT JA JOHTOPÄÄTÖKSET Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke Koppi on kokonaisuutena vuosille 2002 2008 ajoittuva ESR-hanke. Varsinaista Koppi-hanketta edelsi pilotointivaihe vuosina 2002 2003. Hankkeen tavoite on rakentaa nuorisoasteen ammatillisen koulutuksen oppimistulosten kansallinen arviointijärjestelmä pohjautuen ammattiosaamisen näyttöihin. Käsillä oleva raportti on hankkeen ulkoisen arvioinnin loppuraportti. Koppi-projektilla, sen tuloksilla ja kehityshistorialla on nyt erityistä mielenkiintoa kansallisen arviointijärjestelmän tulevan kehittämisen näkökulmasta. Kopin kehitysprosessista on mielekästä ottaa tulevan kehittämistyön perustaksi projektin kokemukset, jotka voidaan tunnistaa keskeisiksi kansallisen ammattiosaamisen näyttöihin perustuvan järjestelmän rakentamisessa myös tulevaisuudessa. Ulkoinen arviointi pyrkii osaltaan tukemaan tätä tunnistamistyötä. Ulkoisen arvioinnin pääkysymykseksi muotoutui siten kysymys: Mitkä kriittiset tekijät on otettava huomioon Koppi-projektin kokemusten valossa kehitettäessä osaamisen näyttöihin perustuvaa kansallista arviointia? Seuraavassa on esitetty tiivistetysti ulkoisen arvioinnin keskeiset havainnot ja johtopäätökset, joita kutakin tarkastellaan konkreettisemmin raportin asianomaisissa kohdissa.
AMMATILLISEN OSAAMISEN ARVIOINNIN RAKENTAMINEN PAIKALLISILLE NÄYTÖILLE Keskeisiä lähtökohtia ammatillisen osaamisen kansallisen arvioinnin kehittämiselle on ollut Opetusministeriön työryhmän linjaus vuodelta 1998 1 siitä, että Suomessa kansallinen ammatillisen osaamisen arviointi rakennetaan itse oppilaitosten toimintaan ja niiden tuottaman tiedon varaan. Kansallista arviointia ei ryhdytä toteuttamaan erillisen ja ulkoistetun arviointijärjestelmän kautta. Kuitenkin debattia käytiin ja käydään siitä, onko näin rakennettava arviointijärjestelmä riittävän luotettava, jotta tulokset olisivat oikeudenmukaisia ja vertailukelpoisia eri oppilaitosten kesken, maan eri osien välillä ja viime kädessä luonnollisesti eri opiskelijoiden kesken. Toinen keskustelun aihe on ollut kysymys siitä, voidaanko ammatillista osaamista arvioida riittävän pätevästi näyttöjen kautta. Tämän arvioinnin havaintoja tulkitaan niin, että Kopin aikana hankitut kokemukset, tietämys ja erilaiset kokeilutulokset antavat riittävän varmuuden siitä, että kansallinen arviointi voidaan rakentaa paikallisten koulutuksen järjestäjien organisoimien näyttöjen yhteyteen yhdessä paikallisen työelämän kanssa. Paikallisesta ja kontekstuaalisesta tiedosta voidaan tehdä johtopäätöksiä kansallisen päätöksenteon tueksi. Tähän johtopäätökseen arvioinnissa tullaan sen tulkinnan kautta, että kysymystä arvioinnin sisällöllisestä pätevyydestä (validiteetista) ja sen luotettavuudesta ja vertailukelpoisuudesta (reliabiliteetti) ei voida ratkaista vain teoreettisesti tai akateemisesti, vaan sen ratkaiseminen tapahtuu aina historiallisesti ja suhteessa kulloiseenkin tietämykseen. Kansallisen arvioinnin kehittämisen näkökulmasta relevantimpi kysymys onkin: Onko paikallisista näytöistä koottava tieto riittävän reliaabelia, jotta kansallisia johtopäätöksiä voidaan ja rohjetaan tehdä? Kopin tulosten ja aineistojen perusteella vastaus on siis perusteiltaan myönteinen. Kuitenkin näyttöjen pätevän ja luotettavan arvioinnin ja kansallisen arviointitiedon jännitteinen suhde ei ole jätettävissä huomiotta. Sen vuoksi olisi ehkä suositeltavaa, että kansallisen arvioinnin sisältöä ja luotettavuutta arvioitaisiin aika ajoin ulkopuolisten toimesta. 1 OPM (1999). Opetusministeriön näyttötyöryhmän muistio 18.9.1998. Opetusministeriön muistioita 14:1999.
Kansallisen arvioinnin keskeisiä piirteitä Kansallisen arvioinnin tiedon tuottamisen edellytyksiä on ammattiosaamisen näyttöjen toimivuus paikallistasolla. Hyvä ammattiosaamisen näyttöjen toimivuus edellyttää puolestaan oppilaitoksen, työelämän, opettajien ja opiskelijoiden motivoitumista niihin. Kopin arvioinnin havainnot kertovat, että pääsääntöisesti ammattiosaamisen näytöt on otettu oppilaitoksissa vastaan hyvin, mutta oppilaitosten välillä on eroja valmiudessa niiden toteuttamiseen. Opettajien asenne ammattiosaamisen näyttöihin on kehittynyt myönteiseen suuntaan. Ammatillisen osaamisen näytöt haastavat kuitenkin opettajien osaamisen kehittämiseen ja ylipäätään työelämäsuuntautuneisuuden lisäämiseen. Opettajien keskuudessa olisi toivottavaa pedagogisen keskustelun voimistuminen oppimisen ja näyttöjen välisestä suhteesta. Opiskelijat näkevät näytöissä positiivisen mahdollisuuden omien työllistymismahdollisuuksiensa lisäämisen osalta, mutta ovat kriittisiä sen suhteen, että näytöt sinänsä olisivat tehokas keino opiskelumotivaation lisäämiseen ja siten esimerkiksi keskeyttämisen vähentämiseen. Kopin kokeilu- ja kehittämistyö osoittaa, että arvioitava osaaminen voidaan määritellä opetussuunnitelmaperusteisesti siten, että osaamisen alakohtaiset ydintekijät ja toisaalta yhteiset oppimisalueet voidaan identifioida ja että niitä voidaan arvioida näytöin. Kyse on alakohtaisesti vaativasta ja laajasta tehtävästä. Arviointiasteikkojen kvantitatiivisen ja kvalitatiivisen kehittämisen haasteena on pitää kerättävä tieto sellaisessa muodossa, että se tuottaa riittävän eriytynyttä tietoa kansallisen kehittämisen perustaksi. Kopin kehittämän kansallisen arviointijärjestelmän perustalta voidaan saada ammatillisen osaamisen tilasta varsin monipuolista ja rikasta tietoa. Se merkitsee lähes on-line -tilaisuutta ammatillisen ja yhteisen osaamiseen yleiseen, ammattiala-, oppilaitos- ja opintojakso-kohtaiseen arviointiin. Haasteeksi näyttääkin muodostuvan potentiaalisti kerättävän tiedon määrä. Jotta informaatio olisi mahdollisimman käyttäjäystävällistä, tulevaisuudessa olisi kehitettävä erityisesti tietoteknisiä ratkaisuja, jotka edistävät vuorovaikutteisuutta käyttäjän ja tietopankin välillä. Kyseeseen tulevat tällöin erilaiset Web 2.0 -tekniikat. Keskeinen johtopäätös onkin, että on kehitettävä kansallista tietojärjestelmää teknisesti mahdollisimman hyvälaatuiseksi tietopankiksi. Tuohon kehittämiseen on ehkä vielä korostetummin liitettävä eri toimijoiden
muodostaman sosiaaliseen vuorovaikutusjärjestelmän kehittäminen. Tuon vuorovaikutusjärjestelmän laadukkuudesta riippuu tuotetun tiedon ja informaation tulkinta ja sille rakentuvat toimintaa ohjaavat johtopäätökset. Kansallisen arvioinnin tulevaisuus? Kopin ulkoisen arvioinnin tulkinta on, että ammatillisen osaamisen näyttöjen arviointien toteuttaminen tapahtuu varsin moniulotteisessa kokonaisuudessa. Arvioitavan kohteen ja sen toteuttamisen kompleksisuus haastavat kehittämään sellaista kansallista arviointijärjestelmää, joka kykenisi olemaan riittävän herkkä ja muuntumiskykyinen myös tulevaisuudessa. Nykyisen kansallisen ja kansainvälisen kehittämis- ja arviointikeskustelun teemoista myös ammatillisen osaamisen kansallisen järjestelmälle relevantit teemat nousevat esiin. Ulkoisessa arvioinnissa todetaan, että Jotta kansallinen arviointijärjestelmä olisi toimiva, on rakennettava ajanmukainen empiirinen arvioinnin ja seurannan tietokanta. Jotta tuosta tietokannasta saataisiin ulos tietämystä ja osaamista on kansallisen arviointijärjestelmän eri osien ja eri tasojen välisen vuorovaikutuksen oltava mahdollisimman hyvälaatuinen eli autenttisen dialoginen siten, että arviointijärjestelmän piiriin kuuluvien toimijoiden rikas kokemus ja käytännön viisaus tulee mahdollisimman kattavasti esille ja huomioon otetuksi. Koppi-projektin jatkohankkeessa vuosille 2007 2008 kehitetään vertaisarviointia ja sen menetelmiä ja toteuttamismalleja sekä koulutetaan vertaisarvioitsijoita. Ulkoisessa arvioinnissa vertaisarviointi nähdään kehittämisaskeleena, joka rikastaa koottavaa informaatiojärjestelmää ja tuo siihen vuorovaikutteisuutta ja informaation käytettävyyden edellyttämän tulkintajärjestelmän. Vertaisarvioinnin kehittäminen on keskeinen väline Kopin kehittämän alustavan kansallisen arviointijärjestelmän mallissa mainittujen hyvien käytäntöjen tunnistamisessa ja levittämisessä. Arviointijärjestelmän mallin kautta voidaan myös työstää varsin problemaattista kysymystä siitä, mikä on hyvä käytäntö ja tulisiko ottaa huomioon myös kiinnostavat käytännöt, lupaavat käytännöt tai kestävät käytännöt.
Tuota levittämistyötä ja kansallisen kokonaisuuden tunnistamista, hallintaa ja ohjausta voidaan vuorovaikutteisten tietojärjestelmien lisäksi tukea ehkä jollakin Clearinghouse of Practice -tyyppisellä (mekanismilla, jossa seulotaan tai puidaan hyviä käytäntöjä) toiminnalla. Tällöin ammatillisen osaamisen kansallinen arviointijärjestelmä olisi jotakin laajempaa ja joustavampaa kuin vain todisteiden keräämistä kansallista päätöksentekoa varten. Viisaasti toteutettuna ammatillisen osaamisen suomalainen Clearinghouse of Practice tukisi Opetushallituksen itsensäkin kehittämistä taitavampana strategisena ammatillisen koulutuksen ohjajana Suomessa.
SISÄLTÖ TIIVISTELMÄ: KESKEISET HAVAINNOT JA JOHTOPÄÄTÖKSET... 3 AMMATILLISEN OSAAMISEN ARVIOINNIN RAKENTAMINEN PAIKALLISILLE NÄYTÖILLE... 4 Kansallisen arvioinnin keskeisiä piirteitä... 5 Kansallisen arvioinnin tulevaisuus?... 6 1 Arviointitehtävä ja arviointimetodologia... 11 1.1 Arviointitehtävä... 11 1.2 Arviointimetodologia ja arviointimenetelmät... 12 2 KOPPI kehittämishankkeena...15 2.1 Lähtökohdat... 15 2.2 Kopin tulemia... 16 3 Arvioinnin keskeiset havainnot...21 3.1 Liittyminen aiempaan... 22 3.2 Kopin koulutuspoliittinen syntymä... 23 3.3 Koppi kehittämishankkeena... 24 3.4 Koppi oppilaitosten, opettajien ja opiskelijoiden näkökulmasta... 26 3.5 Muut projektit, tutkijayhteisö ja kansainvälinen yhteistyö... 27 3.6 Työelämä... 28 3.7 Koppi, OPM/OPH ja koulutuspolitiikka... 28 3.8 Yhteenveto... 29 4 Kansallinen arviointijärjestelmä ja sen hyödyntäminen huomenna?... 30 Lähteet... 36 Muu kirjallinen aineisto... 37 Liitteet... 38
10
1 Arviointitehtävä ja arviointimetodologia 1.1 Arviointitehtävä Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke Koppi on vuosille 2002 2008 ajoittuva ESR-hanke. Hankkeen tavoite on rakentaa nuorisoasteen ammatillisen koulutuksen oppimistulosten kansallinen arviointijärjestelmä pohjautuen ammattiosaamisen näyttöihin ja niihin liitettyinä. Käsillä oleva raportti on hankkeen ulkoisen arvioinnin raportti. Koppi-hankkeen ulkoiselle arvioinnille asetettiin alun perin kahtalaiset tavoitteet. Ensinnäkin, arvioida Koppi-hankkeen kehittämistyötä ja kehittämisprosessin vaikuttavuutta eli tuottaa tietoa. tulosten saavuttamista ja prosessin vaikuttavuudesta. Toiseksi, tavoitteeksi asetettiin tuottaa tietoa arviointikokeilussa testattavan arviointijärjestelmän soveltuvuudesta ammatillisen koulutuksen arviointiin. 2 Tarjouspyynnön kahtalainen tematiikka onkin rakenteistanut tehtyä arviointityötä. Arviointitehtävä muotoiltiin kuitenkin uudestaan arvioinnin aikana tapahtuneiden kansallista arviointijärjestelmää koskeneiden uusien OPM:n määräysten myötä. Koulutuksen järjestäjien tuli ottaa ammattiosaamisen näytöt käyttöön elokuusta 2006 alkavasta koulutuksesta. Opetusministeriö teki helmikuussa 2007 päätöksen, että Opetushallituksessa käynnistetään kansallisten oppimistulosten kokoaminen ammattiosaamisen näyttöjen yhteydessä 3. Kehittäminen alkaa sosiaali- ja terveysalan, hotelli- ja ravintola-alan, logistiikan ja kone- ja metallitekniikan perustutkinnoista ja niiden määritellyistä opintokokonaisuuksista. Säännöllisen väliarviointiprosessin kautta uudistuksen toimivuutta arvioidaan vuonna 2009. Koulutuspoliittisen ympäristön muuttuessa myös Kopin ulkoisen arvioinnin mielekkyyttä tarkennettiin, jotta arvioinnilla voisi olla aitoa lisäarvoa myös raportin ilmestyessä, kun OPH:ssa ja/tai OPM:ssä pohditaan ammatillisen osaamisen kansallisen arvioinnin kehittämistä. Koppia ammattiosaamisen näyttöjen ja kansallisen arvioinnin kehittämishankkeena eräänlaisena sosiaalisena eksperimenttinä voidaan 2 Koppi-projektin ulkoisen arvioinnin tarjouspyyntö Opetushallitus 80/021/2006. 3 Opetushallitus (2007). Ammattiosaamisen näyttöjen kehittäminen: oppimistulostiedon tuottaminen. Dnro 3/502/2007. 11
pitää mielenkiintoisena sen tarjoamien opetusten ja kehittämiskokemusten näkökulmasta. Millaisia haasteita kohdataan, kun kansallinen oppimistulosten arviointi yhdistetään ammattiosaamisen näyttöihin? Ulkoisen arvioinnin kysymyksenasettelu muotoiltiin arvioinnin edetessä uudestaan: Mitkä kriittiset tekijät on otettava huomioon Koppi-projektin kokemusten valossa kehitettäessä osaamisen näyttöihin perustuvaa kansallista arviointia? Tätä peruskysymystä tarkennettiin kysymällä 1) Millainen on hyvä kansallinen ammattiosaamisen näyttöihin perustuva tiedontuottamisjärjestelmä? 2) Mitä Kopin valossa voidaan sanoa hyvästä järjestelmän kehittämisestä? 4 1.2 Arviointimetodologia ja arviointimenetelmät 12 Kopin ulkoisen arvioinnin tavoitteena on ollut etsiä vastauksia arvioinnille asetettuun tehtävään mahdollisimman kontekstuaalisella tavalla, toisin sanoen tavoite on ollut ymmärtää Koppi sen omissa yhteyksissään. Tämän vuoksi Kopin arviointi suunniteltiin toteutettavaksi 7 eri vaiheen kautta (ks. Liite 1), joille kullekin asetettiin omat tavoitteensa, arviointikysymyksensä ja alustava aikataulu. Seitsemän suunniteltua vaihetta koostuivat Kopin tuottaman aineiston sekundaarianalyysista, avaintoimijoiden haastatteluista, projektitoimijoiden ja projektijohtajan haastatteluista, kolmesta dialogisesta työpajasta, joiden työotsikot olivat Koppi kehittämishankkeena, projektitoimijoiden itsearviointi ja strateginen työpaja, tarvittavien lisähaastatteluiden suorittamisesta ja loppuraportin kirjoittamisesta. Ulkoinen arviointi toteutettiin arviointisuunnitelman mukaisesti lukuun ottamatta sitä, että Koppi kehittämishankkeena ja itsearviointityöpaja toteutettiin yhtenä työpajana 5. Siten Kopin ulkoinen arviointi oli vuorovaikutteinen prosessi, jossa erimuotoiset aineistot, havainnot ja evidenssi opettivat toisiaan kumulatiivisena prosessina. Prosessina tavoitteena oli kehittää arvioitsijan ymmärrystä Kopista tavalla, jossa saavutettaisiin eräänlainen saturaatopiste, vaihe jossa lisähavaintojen tekeminen ei tuo oleellisesti uutta tietoa. Saturaatiopisteen saavuttaminen tekee mahdolliseksi riittävän (saturaa- 4 Muistio (julkaisematon) Ammattiosaamisen näyttöjen käyttö kansallisen arviointitiedon tuottamisessa. Koppi -projektin tulosten merkitys -työpaja 15.05.2007. 5 Spangar, T. (2006). Tarjous Koppi-hankkeen ulkoisen arvioinnin toteuttamiseksi (Opetushallitus 80/021/2006). 30.10.2006. (julkaisematon).
tiopisteen määrittämien on aina suhteellista) holistisen ja kypsän käsityksen muodostamisen Koppi-projektista arviointikysymysten valossa. Tavoitteena on ollut luoda näin kokonaisymmärrys Koppi-projektin sisällöstä ja tavoitteista, projektista kehittämishankkeena ja Kopin aihepiirille relevantista koulutuspoliittisesta kontekstista. Kopin ulkoisessa arvioinnissa ei noudatettu deduktiivisesti, yleisistä lähtökohdista johdettuna tai tulkittuna, mitään tiettyä arvioinnin suuntausta tai koulukuntaa. On kuitenkin ilmeistä, että arvioitsijan aiempi arviointikokemus ja arviointimetodologian kehittelyt vaikuttivat arvioinnin toteuttamistapaan. Siten käsitteet, kuten dialogisuus ja emergoituminen ovat olleet avainkäsitteitä myös Kopin arvioinnissa 6. Täsmällisin tapa kuvata käytettyä arviointimetodologiaa on käsitteellistää se tulkitsevaksi arvioinniksi. Tulkitsevan arvioinnin oleellisin ominaisuus kiteytyy Shotterin (1992) 7 käsityksessä kaksisuuntaisesta vuorovaikutteisesta tutkimuksesta (Shotter, emt., 61). Kyse on Shotterin mukaan syklisestä prosessista empiirisen maailman ja käsitteellistämisprosessin välillä, missä empiirinen maailma avautuu tutkijalle mahdollisuutena käsitteellistää maailma sellaisena kuin se todella on. Prosessia empiirisestä maailmasta tutkijan käsitteellistyksiin Shotter kutsuu empiriasta nousevasta vastaavuudeksi tutkijaan päin ( world-to-agent direction of fit ), hänen käsitteellistämisiinsä ja tulkintoihinsa. (Shotter, emt., 62). Suunnaltaan vastakkaista prosessia tutkijan tulkinnoista takaisin empiirisen maailmaan Shotter kutsuu tuottamisen prosessiksi ( making ). hermeneuttisen ja tulkitsevan ajattelutavan mukaisesti... on yhtä lailla oikein sanoa, että millaisena maailmaa pidämme, riippuu siitä, millä tavalla puhumme siitä. Puhumistapamme määrittävät (ja legitimoivat) ulkoisen maailman rakennetta ja merkitystä ja näin ulkoisen merkitys meille on määrittynyt sen kautta, millaisena sen tuotamme. (Shotter, emt., 62). 6 Arnkil, R. & Spangar, T. (2003). Emergent evaluation and learning in Multi-stakeholder Situations. Paper presented at the Fifth European Conference on Evaluation of the Structural Funds, Budapest 26 27 June. 7 Shotter, J. (1992). Getting in touch. The meta-methodolgy of a postmodern science of mental life. In Kvale, S. (Ed.). Psychlogy and Postmodernism. London: Sage. 13
Koppi-projektin ulkoisessa arvioinnissa siirtymät empiirisen maailman ja tulkintojen välillä koostui empiirisen aineiston jatkuvan uudelleentulkinnan prosessista. Empiirisenä materiaalina olivat Kopin tuottama runsas julkaistu ja julkaisematon kirjallinen aineisto, kaksi dialogista työpajaa, joihin osallistui kaikkiaan 26 osallistujaa edustaen koulutusinstituutioita, työmarkkinaosapuolia, OAJ:ä, Opetushallitusta ja Opetusministeriötä ja projektia itseään ja 17:stä haastattelusta 8. Arviointiin kuuluneisiin työpajoihin pyrittiin kutsumaan työpajan tematiikan näkökulmasta relevantit toimijat. Itsearviointi- ja kehittämiskonsepti- työpajan osallistujat olivat keskeisesti projektitoimijoita ja Kopin aktivisteja. Strategisen työpajan osallistujat koostuivat Näyttöjen ohjausryhmän kokoonpanon mukaisesti eri intressiryhmiä (työnantajat, OAJ, opiskelijat) edustaen. Lisäksi Kopin strategiseen arviointiin kutsuttiin edustajia alhaalta oppilaitoksista ja Kopin yläpuolelta eli Opetusministeriöstä. Työpajat toteutettiin dialogisina työpajoina hyödyntäen ns. tulevaisuuden muistelu -menetelmää 9. Työpajoissa osallistujat siirtyivät mielessään ajassa vuoteen 2010, josta käsin heitä pyydettiin muistelemaan mennyttä eli tätä päivää ja kehitystä nykyhetken ja vuoden 2010 välillä, jolloin asiat ovat hyvin. Hyvän tulevaisuuden tavoite on korostaa osallistujien positiivisia voimavaroja (unohtamatta kehittämisessä esille tulevia vaikeuksia ja huolia) ja tarjota kullekin osallistujalle tasavertainen mahdollisuus olla työpajassa yksi ääni. Dialogisessa työpajassa puhuminen ja kuunteleminen erotetaan toisistaan: Kun yksi osallistuja esittää oman muistelunsa, häntä ei keskeytetä, vaan kommentoinnin mahdollisuus tulee vasta omalla vuorolla. Näin pyritään edistämään puhujien näkökulmien esille tuloa mahdollisimman autenttisena ja myös mahdollistamaan tavallisesta arkikeskustelusta poikkeava kommunikointitapa, joka voisi edesauttaa myös yhteisön kommunikaatiota laajemminkin. Arviointityön yhteydessä tulevaisuusdialogin tavoite ei kuitenkaan ole olla pelkästään terapeuttinen kokemus osallistujille, vaan mahdollistaa arvioitavan asian mahdollisimman monipuolinen, rikas ja syvä arviointi ja kehittäminen. 8 Työpajoihin ja haastatteluihin osallistujat on lueteltu liitteessä 2. 9 Esim. Arnkil, R. & Spangar, T. & Mäki, M. (2005). Verkoston kutsu: Kokemuksia Oulun seudun ammatinvalinnanohjauksen arvioinnista ja kehittämisestä. AVO-vuosikirja. Helsinki: Työministeriö. 14
2 KOPPI kehittämishankkeena 2.1 Lähtökohdat Kopin olemassaololle tärkeä keskustelu ammatillisen koulutuksen ja työelämän välisistä suhteista joka sinänsä on yksi ammatillisen koulutuksen ikuisuuskysymyksiä oli erityisen vilkasta 1990-luvun puolivälissä. Oltiin huolissaan siitä, miten herkästi ammatillinen koulutus kykenee reagoimaan työelämän ja yhteiskunnan muutoksiin ja tarjoamaan samalla nuorille aikuisuuden rakennusaineksia. Taustalla oli 1990-luvun alun syvä lama ja siitä seurannut työelämän rakennemuutos, erityisesti siirtyminen teollisesta jälkiteolliseen talouteen 10. Keskustelu heijastui myös koulutuspolitiikan sisälle. Yksi ilmentymä tästä oli, että Opetusministeriö asetti vuonna 1998 työryhmän, jonka tehtävänä oli tehdä ehdotus näyttöjen toteuttamisessa kolmella koulutusalalla, tutkia näyttöjen järjestämismalleja ja arvioida uudistuksen kustannukset. Työryhmän lähtökohta oli näyttötutkintotoiminnan yhtenäisyys yli ikärajojen ja työryhmä totesi oppimistulosten arvioinnin yhdenmukaistamisen ja kehittämisen olleen esillä eri tavoin koko 1990-luvun ajan. Kehittämiskeskustelu tässä suhteessa kävi hyvin pitkälti päättökokeiden ympärillä, jonka suhteen oli käynnistetty kokeiluita ja kehittämistoimia. Opetushallituksen arviointistrategia oli, että eri alojen ammatillista osaamista tarkastellaan viiden vuoden välein ja tuo arviointi tapahtuu päättökokeisiin perustuen 11. Työryhmä esitti, että näytöt otettaisiin käyttöön kaikilla aloilla jo 1.8.2001. Tuosta utopistiseksi osoittautuneesta ajankohdasta huolimatta työryhmän muistiota voidaan Koppi-hankkeen sisällön ja problematiikan kannalta pitää varsin merkittävänä asiakirjana. Muistiossa keskusteltiin näyttöjen määrittelystä, niiden alasta, tavoitteista, organisoinnista, näytöistä ja todistuksista, näyttöjen käytännön toteutuksesta ja näyttöaineistoista. Työryhmässä tehtiin merkittävä linjapäätös siitä, että oppimisen arviointi säilyy koulujen vastuulla eikä sitä ulkoisteta. Ulkoistamisvaihtoehtona pohdittiin näyttöjen organisointivastuun siirtämistä erillisille toimikunnille. Tämän vaihtoehdon toteuttamiseste on opiskelijoiden suuri määrä ammatillisessa peruskoulutuksessa. Työryhmä piti myös tärkeänä peri- 10 Väärälä, R. (1995). Ammattikoulutus ja kvalifikaatiot. Acta Universitatis Lapponiensis nro 9. 11 Opetusministeriön näyttötyöryhmän muistio 18.9.1998. Opetusministeriön muistioita 14:1999. 15
aatteellisena linjauksena, että vastuu opiskelija-arvioinnista säilyy koulutuksen järjestäjällä. Kopin kannalta on oleellista, että työryhmä piti tärkeänä, että näyttöjen ja kansallisen tason arvioinnin yhdistämismahdollisuuksia selvitetään. Työryhmä piti kuitenkin toistaiseksi parempana valtakunnallisten ja yhtenäisten kokeiden käyttämistä kansallisen arvioinnin perustana. Työryhmän näkökantaa voi pitää siten varsin ambivalenttina: horjuttiin sen välillä, voidaanko vai ei näyttöjä pitää kansallisen arvioinnin perustana. Tämän problematiikan myös Koppi peri kehittämistyöhönsä. Siten 1990-luvun jälkipuolisko näyttää olleen aikaa, jolloin ammatillisen peruskoulutuksen kehittämiskeskustelussa siirrytään keskustelemaan niistä keinoista, joilla koulutuksen yhteyksiä työelämään voidaan parantaa ja tiivistää. Tähän kehittämiseen liitettiin myös kansallisen oppimistulosten arviointijärjestelmän kehittäminen. Kuvaavaa tuolloiselle tilanteelle ehkä on, että vuoden 1998 työryhmän muistiossa esiintyy vielä rinnakkain vanha ajattelu kansallinen arviointi perustetaan standardoiduille kokeille (päättökokeille) ja uusi ajattelu kansallinen arviointi rakennetaan näytöille. Jälkimmäinen vaihtoehto nähdään toki eri tavoin problemaattisena, mutta kehittämisen ja kokeilujen arvoisena. 2.2 Kopin tulemia 16 Koppi on 10:stä valtakunnallisesta osahankkeesta koostuva projektikokonaisuus. Näistä hankkeista 6 kehittää ammattiosaamisen näyttöjen arviointikäytäntöjä ja 4 kansallista arviointijärjestelmää. Hankkeessa on mukana noin 50 ammatillisen koulutuksen järjestäjää ja noin 60 ammatillista oppilaitosta. Arviointijärjestelmää ja arviointikäytäntöjä kehitetään noin 36 perustutkinnossa. Koppia on luonnehtinut sen varsin runsas julkaisutoiminta 12. Tämän arvioinnin näkökulmasta on tässä yhteydessä syytä nostaa esiin kaksi julkaisua. Koppi teki varsin laajan kyselytutkimuksen oppimistuloksista ja niiden arvioinneista vuosilta 2004 2006 13. Kyselyyn vastasi 603 opiskelijaa, 689 opettajaa ja 316 työelämän edustajaa. Keskusteluun siitä, voidaanko kansallinen arviointi perustaa näyttöjen arvioinnille, kysely antaa suhteellisen 12 Muita keskeisiä julkaisuja ovat suomen- ja englanninkieliset raportit Pilotti I:stä, raportti toimielinten toiminnasta, projektipäälliköiden testamentti kuusipaikkamalli, Pilotti II 2006. Ks. lähdeluettelo. 13 Opetushallitus (2006). Arviointikokeilu 2004 2007. Välitulosraportti oppimistuloksista ja kyselyn tuloksista 11.9.2006.
selkeän positiivisen vastauksen. Eri osapuolet suhtautuivat myönteisesti näyttöihin, opettajat hyödynsivät kansallista näyttöaineistoa, arvosanoja pidettiin pääsääntöisesti oikeudenmukaisina ja vertailukelpoisina jne. Tulosten kannalta epäluotettavuutta aiheuttavana tekijänä pidetään sitä, ettei ole täyttä varmuutta, millaisia arvioinnin kohteita ja kriteereitä on näytöissä käytetty. (emt., 33). Keskeisin Kopin julkaisu on sen väliraportti 14, jossa kootaan yhteen hankkeen keskeiset lähtökohdat, kehittämisvaiheet ja tehdään ehdotus kansallisen arviointitiedon palautejärjestelmäksi, joka voidaan esittää visuaalisesti seuraavasti: Näytöt Data OPPIMISTULOSTEN ARVIOINTITIETO Oppilaitos Data Data PIKAPALAUTE Oppilaitoksen oma tulos Kansallinen vertailutieto Laadunvarmennukset tulokset Taustatekijät ja -muuttujat opiskelija, opettaja, oppilaitos näyttöprosessi toimintaympäristö Tietoverkko (OPH) (Koulutuksen järjestäjät ym.) KANSALLINEN TULOS Koonti Analyysi Palaute Seuranta (trenditiedot) Parhaat käytännöt Kehittämistoiminnot SYVÄANALYYSI teemat poikkeamat kehittämiskohteet Arviointitutkimus Palaute Kuvio 1 Kansallisen arviointitiedon palautejärjestelmä. 14 Räkköläinen (2005) ja Opetushallitus (2006). Ammattiosaamisen näytöillä kansallista arviointitietoa. Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke Koppi 2002 2007. Moniste 2/2006. 17
Kuvion avulla hahmottuu kehitteillä olevan järjestelmän joitakin keskeisiä piirteitä. Ensinnäkin palautejärjestelmä on vuorovaikutteinen. Se sisältää tiedon ja muun vuorovaikutuksen kulun paikalliselta tasolta keskustasolle ja päinvastoin. Toiseksi järjestelmä kokonaisuudessaan on aikajänteeltään eritasoinen. Se sisältää hyvin erilaisia aikajänteitä pikapalautteesta syväanalyyseihin ja arviointitutkimukseen. Kolmanneksi järjestelmä on yhdistelmä empiiristä faktatietoa ja niiden käsittelyyn ja tulkintaan liittyviä kommunikaatio- ja vuorovaikutussuhteita. Neljänneksi palautejärjestelmä koostuu erisyvyisistä palautemuodosta. Viidenneksi järjestelmässä pyritään identifioimaan parhaita käytäntöjä kehittämistyön tuloksena ja kehittämistyön tueksi. Kaikkiaan kyse on siten varsin kompleksisesta järjestelmästä, jossa on useita tasoja ja ulottuvuuksia. Ehdotus on vielä keskeneräinen ja se tultaneen kirjoittamaan auki ja muovaamaan selkeämmäksi projektin loppuvaiheissa. Eräs keskeinen näkökulma, jossa tällaista selkiyttämistä kaivataan, on millainen tulkintamekanismi kansallisella tasolla faktatietojärjestelmän ympärille tullaan rakentamaan. Miten tiedosta ( informaatio, data ) tulee tietämystä ( knowledge ) ja osaamista? Tiedetään 15, että tiedon kehittyminen tietämykseksi ja osaamiseksi edellyttää välitysmekanismikseen kommunikaatiota, sitä että eri toimijoiden keskinäinen vuorovaikutus eri tasoilla ja eri tasojen (paikallinen. alueellinen, keskushallinto/kansallinen) välillä organisoidaan riittävän systemaattiseksi ja aitoa dialogia edistäväksi. Tällöin kysytään Ketkä ja miten tulkintoja tekevät, Miten tunnistetaan hyviä käytäntöjä ja miten ne saatetaan muidenkin käyttöön, Millaiseksi muodostuvat keskustason ja paikallistason ohjausmekanismit? Joitakin keskeisiä Kopin haasteita ja dilemmoja Koppi-projekti on olemassaolonsa aikana kohdannut haasteita ja dilemmoja 16, joiden identifiointi on tärkeää silloin kun pohditaan, mikä on hyvä ammatillisen osaamisen oppimistulosten kansallinen arviointijärjestelmä. Kopin itsensä identifioimat dilemmat voidaan koota seuraavaan taulukkoon. 15 Esim. Nonaka & Takeuchi (1995). The knowledge-creating company. How Japanese companies create the dynamics of innovation. USA: Oxford University Press. 16 Opetushallitus (2006). Ammattiosaamisen näytöillä kansallista arviointitietoa. Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke Koppi 2002 2007. Moniste 2/2006. 18
Taulukko 1 Kansallisen arviointijärjestelmän haasteita ja dilemmoja. (Räkköläinen 2005; Räkköläinen & Ecclestone 2005a). Dilemma Kokeilujen mukaan näytöt ovat valideja, mutta reliabiliteetti ongelma Näyttöjen organisointi, arviointikäytännöt sekä osaamisen arvioinnin kohteet ja kriteerien tulkinta vaihtelevat paljon. Tarvitaan minimilaatuvaatimuksia, suositusten tarkentamista, osapuolten koulutusta jne. Tasapaino yhdenmukaistamisvaatimusten ja paikallisen joustavuuden välillä. Yhdenmukaisuuden ja oikeudenmukaisuuden turvaaminen vs. kontrolli. Haaste Löytää reliabiliteettiongelmaan riittävän hyvä ratkaisu, joka ei uhkaa koko arviointijärjestelmän käytettävyyttä. Miten estää liika ohjaaminen, tarkentaminen tai ohjeistus? Keskustason/kansallisen ja paikallisen riittävä keskustelevuus? Keskustason/kansallisen ja paikallisen riittävä keskustelevuus? Kopissa on siten käsitelty teemoja ja dilemmoja, jotka ovat luonteeltaan varsin hankalia sikäli, että ne koskettavat tiedonhankinnan ja kehittämisen keskeisiä kysymyksiä ja ulottuvuuksia. Eräs tällainen keskusteluaihe on ollut dilemma validiteetista ja reliabiliteetista. Koppi-hanke itse pitää alustavia tuloksia valideina eli kyetään todella arvioimaan ammatillista osaamista ja sen eri osakomponentteja. Arviointien luotettavuus ja siten vertailukelpoisuus herättävät sen sijaan huolta. Yleisesti ja teoreettisesti käsitettynä validiteetin ja reliabiliteetin välinen suhde tuskin koskaan tulee ratkaistuksi absoluuttisesti. Kansallisen arviointijärjestelmän kehittämisessä on hedelmällistä kuitenkin etsiä jotain kultaista keskitietä, jotta toiminnan kehittäminen olisi ylipäätään mahdollista. Toisaalta Kopin ansio on, että se nostaa näkyviin ja pohdittavaksi tämän dilemman, mitä normaalisti kehittämistyössä ei tehdä. Eräs johtopäätös voisikin olla, että kansallisen arviointijärjestelmän kehittämisessä on tietoisesti tavalla tai toisella aika ajoin tarkasteltava kriittisesti kysymyksiä siitä, mitä mitataan ja arvioidaan (validiteettinäkökulma), ovatko havainnot luotettavia ja vertailukelpoisia (reliabiliteettinäkökulma) ja itse mittaamis- ja tiedonkäsittelytapoja (kuten kysymyksiä käytettävistä asteikoista jne). Kopin kohtaamat dilemmat nostavat esille myös kysymyksen, miten keskitettyä/valtakunnallista tai paikallista/seudullista/maakunnallista kan- 19
sallisen arviointijärjestelmän tulisi olla. Tässäkään joko-tai -asettelut eivät voine olla lähtökohta, vaan keskustelua on järkevää käydä siitä, miten hyvin kansallinen/keskitetty näkökulma ottaa huomioon alueellisuuden/ paikallisuuden ja miten paikallinen/alueellinen/seudullinen ottaa huomioon kokonaisuuden, keskittämisen ja keskusjohtoisuuden tarpeen. Kaikkiaan vaikuttaa perustellulta todeta, että Kopin kohtaamien dilemmojen ratkaisut näyttävät edellyttävän hyvää vuoropuhelua sekä vertikaalissa suunnassa että horisontaalissa suunnassa. Hyvän kansallisen arviointijärjestelmän rakentamisen onnistuminen on nyt aiempaa selvemmin riippuvainen tuon vuorovaikutuksen laadusta ja siihen panostetusta tietoisesta investoinnista. 20