JOHDATUS KOULUTUKSEN UUDISTUVAAN ARVIOINTIKULTTUURIIN

1 JOHDATUS KOULUTUKSEN UUDISTUVAAN ARVIOINTIKULTTUURIIN Ritva Jakku-Sihvonen Sari Heinonen Arviointi2/2001

2 Taitto Pirjo Hilkku ISBN 952 13 1038 3 ISSN 1238 4453 Yliopistopaino Oy

3 Sisällys LUKIJALLE... 7 1. ARVIOINNIN KEHITTYMINEN OSAKSI JULKISHALLINTOA JA KOULU- TUKSEN OHJAUSJÄRJESTELMÄÄ (R. J-S.)... 9 1.1. Koulutusjärjestelmässä ja hallinnossa tapahtuneet muutokset... 9 1.2. Koulutuksen arvioinnin juuret tarkastustoiminnassa ja kansainvälisessä tutkimusyhteistyössä... 11 1.3. Arviointi osaksi koulutuksen ohjausjärjestelmää... 12 1.4. Opetustoimen arviointistrategia arviointitiedon tuottamiseksi... 14 1.5. Kansainvälisen yhteistyön merkitys arvioinnin kehittymiselle... 19 1.6. Yhteenvetoa... 20 1.7. Pohdittavaksi... 20 2. ARVIOINNIN TEOREETTISIA LÄHTÖKOHTIA (S. H.)... 21 2.1. Johdatusta arviointiin... 21 2.1.1. Arvioinnin käsitteistöä... 21 2.1.2. Arviointi, tutkimus ja arviointitutkimus... 25 2.1.3. Arvioinnin logiikka... 27 2.1.4. Sidosryhmät arvioinnissa... 29 2.1.5. Osallistava arviointi... 31 2.2. Arvioinnin lähestymistapoja... 32 2.3. Yhteenvetoa... 44 2.4. Pohdittavaksi... 46 3. ARVIOINTI KOULUTUKSEN ERI TASOILLA (S. H.)... 48 3.1. Arvioinnin tarkoitus... 48 3.1.1. Tilivelvollisuuden osoittaminen... 48 3.1.2. Toiminnan kehittäminen... 51 3.1.3. Tiedon tuottaminen... 51 3.2. Koulutuksen arvioinnin tasot ja kohteet... 51 3.2.1. Kansainvälinen koulutusjärjestelmien vertailu... 53 3.2.2. Koulutusjärjestelmäarviointi... 53

4 3.2.3. Koulutuspoliittisten toimintalinjausten arviointi... 54 3.2.4. Koulutusmuotokohtainen arviointi... 55 3.2.5. Koulutuksen arviointi paikallistasolla ja yksilötasolla... 57 3.3. Esimerkkejä arvioinnin toteutuksesta... 57 3.3.1. Koulutusjärjestelmien vertailua... 58 3.3.2. Tapauskuvaus koulutusjärjestelmäarvioinnista... 59 3.3.3. Tapauskuvaus koulutuspoliittisten toimintalinjausten arvioinnista 60 3.3.4. Tapauskuvaus koulutusmuotokohtaisesta arvioinnista... 61 3.4. Yhteenvetoa... 63 3.5. Pohdittavaksi... 63 4. PAIKALLISTASOLLA TAPAHTUVA KOULUTUKSEN ARVIOINTI (R. J-S. & S. H.) 64 4.1. Koulutuksen ylläpitäjän tekemä arviointi... 64 4.2. Oppilaitoksien itsearviointi... 67 4.3. Yhteenvetoa ja lisätietoa... 76 4.4. Pohdittavaksi... 77 5. OPISKELIJA-ARVIOINTI (R. J-S. & S. H.)... 78 5.1. Oppimiskäsitysten kehitys ja yhteys oppimisen arviointiin... 78 5.2. Oppijalähtöinen arviointi... 80 5.3. Opiskelija-arvioinnin käytänteitä... 82 5.3.1. Oppilasarviointi perusopetuksessa... 84 5.3.2. Opiskelija-arviointi lukiossa... 86 5.3.3. Opiskelija-arviointi ammatillisessa koulutuksessa... 88 5.3.4. Opiskelija-arviointi aikuiskoulutuksessa... 89 5.4. Esimerkkejä tehtävätyypeistä... 90 5.5. Yhteenvetoa... 94 5.6. Pohdittavaksi... 94 6. KOULUTUKSEN ARVIOINNIN ETIIKKA (S. H. & R. J-S.)... 95 6.1. Mitä arvioinnin etiikalla tarkoitetaan?... 95 6.2. Eettiset periaatteet ja standardit koulutuksen arvioinnissa... 99 6.3. Koulutuksen arvioijan monet roolit ja ammatillinen etiikka... 103 6.4. Yhteenvetoa... 109

6.5. Pohdittavaksi... 109 7. ARVIOINTITIEDON LUOTETTAVUUDEN OSOITTAMINEN (R. J-S.) 111 7.1. Validiteetti-käsitteen määrittelyä... 111 7.2. Arvioinnin läpiviennin luotettavuus... 114 7.2.1. Arvioijan asema... 114 7.2.2. Koulutuksen arviointityypit luotettavuuden kannalta... 116 7.2.3. Kriteeriperustaisuus luotettavuuden kannalta... 119 7.2.4. Arvioinnin raportointi... 120 7.3. Tutkimusmenetelmällisten valintojen yhteys validiteettiin... 122 7.3.1. Kvantitatiiviseen aineistoon perustuvien tulosten luotettavuuden arvioinnista... 125 7.3.2. Kvalitatiiviseen aineistoon perustuvien tulosten validiuden arvioinnista 126 7.4. Arvioivien johtopäätösten luotettavuus... 128 7.4.1. Arvioivien johtopäätösten evidenssiperustaisuuden osoittaminen 130 7.4.2. Arvioivien johtopäätösten hyötyarvon osoittaminen... 132 7.5. Yhteenvetoa... 134 7.6. Pohdittavaksi... 135 8. ARVIOINNIN HYÖDYNTÄMINEN (S. H. & R. J-S.)... 136 8.1. Arviointitiedon käyttö... 136 8.1.1. Arviointitiedon käyttötavat... 136 8.1.2. Arviointitiedon käytön edistäminen... 139 8.1.3. Arviointitiedon väärinkäyttö... 141 8.2. Arviointitieto koulutuksen kehittämisessä... 142 8.3. Arviointitiedon käyttö koulutuksen ohjausjärjestelmässä... 144 8.4. Yhteenvetoa... 145 8.5. Pohdittavaksi... 146 9. KOULUTUKSEN UUDISTUVA ARVIOINTIKULTTUURI (S. H. & R. J-S.) 147 9.1. Yhteenvetoa... 147 9.2. Koulutuksen uudistuvan arviointikulttuurin haasteet... 151 LÄHTEET... 153 LIITE... 170 5

6

7 Lukijalle Tämä kirja on tarkoitettu johdatukseksi koulutuksen uudistuvaan arviointikulttuuriin. Teoksessa luodaan yleiskuvaa koulutuksen arvioinnista, sen nykytilasta ja tulevaisuuden haasteista, arvioinnin teoreettisista perusteista, yhteiskunnallisista kytkennöistä ja käytännön arviointitoimintaan liittyvistä kysymyksistä. Kirja tarjoaa sekä teoreettista että käytännöllistä tietoa koulutuksen arvioinnista. Kirja soveltuu oppimateriaaliksi esimerkiksi opettajankoulutukseen sekä muuhun opetus- ja koulutusalan perus- ja täydennyskoulutukseen. Kirja sisältää yhdeksän lukua. Jokaisen luvun alussa on tiivistelmä luvun sisällöstä. Kunkin luvun loppuun olemme laatineet tehtäviä, joiden tarkoituksena on edistää koulutuksen arviointia koskevan ajattelun syventymistä ja sitä kautta myös arvioinnin toimintamallien kehittymistä. Lähdeluettelosta lukija voi löytää virikkeitä jatko-opiskeluun. Lisäksi olemme koonneet liitteeseen luettelon kansainvälisistä arviointialan yhdistyksistä ja järjestöistä. Opetusneuvos Ritva Jakku-Sihvonen on kirjoittanut kansallisen arviointitoiminnan kehitystä analysoivan luvun sekä arvioinnin luotettavuuskysymyksiä pohtivan luvun. Arviointikonsultti Sari Heinonen on kirjoittanut arvioinnin teoreettisia lähtökohtia analysoivan luvun ja arvioinnin käytänteitä koulutuksen eri tasoilla käsittelevän luvun. Paikallistasolla tapahtuvaa koulutuksen arviointia, opiskelija-arviointia ja arvioinnin eettisiä kysymyksiä sekä arviointitiedon hyödyntämistä ja käyttöä tarkastelevat luvut olemme kirjoittaneet yhdessä. Kirjan viimeisessä luvussa teemme yhteenvetoa koulutuksen arvioinnin nykytilasta ja pohdimme koulutuksen arviointikulttuurin kehittymisen edellytyksiä. Olemme pyrkineet kartoittamaan sekä kansallisessa että kansainvälisessä koulutuksen arviointiin liittyvässä keskustelussa esille nousseita teemoja. Toivomme kirjamme avaavan myös uusia näkökulmia ja hyödyntävän erityisesti opettajaksi opiskelevia sekä kaikkia koulutuksen arvioinnista kiinnostuneita, sen parissa työskenteleviä tai koulutuksen arviointitietoa muutoin tarvitsevia. Helsingissä, joulukuussa 2000 Tekijät

8

9 1. Arvioinnin kehittyminen osaksi julkishallintoajakoulutuksen ohjausjärjestelmää Ritva Jakku-Sihvonen Tässä luvussa käsitellään niitä keskeisiä suomalaisen julkishallinnon kehityspiirteitä, jotka ovat johtaneet arviointitoiminnan vilkastumiseen. Opetustoimessa arviointitoiminnan asema on vahvistunut viime vuosina. Vuoden 1999 alusta voimaan tullut uusi koululainsäädäntö on merkinnyt arviointitoiminnan aseman voimistumista opetustoimen ohjausjärjestelmän osana. 1.1. Koulutusjärjestelmässä ja hallinnossa tapahtuneet muutokset Koulutuksen merkitys suomalaisessa yhteiskunnassa on viime vuosina tullut entistä selvemmäksi. Useimmat ammatit edellyttävät systemaattista ammatin tietoperustan hallintaa. Tieteellinen ja taiteellinen toiminta samoin kuin niissä tarpeellinen luovuus edellyttävät laajaa perussivistystä, johon koulutuksen on tarkoitus valmentaa. Myös arkielämässä tarpeellisen perhettä ja yhteiskunnan eri palvelutoimintoja koskevan tiedon omaksuminen edellyttää asiantuntevaa opetusta. Kaikkea opetusta ei kuitenkaan ole järkevää tai mahdollistakaan organisoida koulutusjärjestelmän kautta. Entistä enemmän joukkotiedotusvälineet ja sähköiset viestimet kykenevät välittämään sellaista tietoa, joka toimii itsenäisen opiskelun ja yksilöllisen tieto-taidon kehittymisen virikkeenä. Näidenkin toimintojen organisoinnissa on koulutuksen asiantuntemuksella tärkeä merkitys. Yhteiskuntakehitykseen kiinteästi kuuluva koulutuksen kehittäminen on vaikuttanut eri koulutusmuotojen tehtävien muotoutumiseen monin tavoin. Erityisesti 1980-luvun lopulla kasvanut ammattitaitoisen työvoiman tarve on aikaansaanut kehityksen, joka näkyy 1990-luvulla tapahtuneena koulutusmuotojen toimintastrategioiden päällekkäistymisenä. Aikuiskoulutus on laajentunut ja monimuotoistunut. Aiemmin puhtaasti vapaan sivistystyön tarpeisiin suuntautuneet oppilaitokset, esimerkiksi kansanopistot ja kansalaisopistot ovat ottaneet hoitaakseen ammatillisen koulutuksen tehtäviä. Korkeakoulujen täydennyskoulutuskeskuksissa on tuotettu akateemisen tutkinnon suorittaneille ammatillisesti orientoitunutta täydennyskoulutusta. Erityisesti vaikeasti työllistyville

10 yhteiskuntatieteellisen ja humanistisen koulutuksen saaneille maistereille koulutusta on kustannettu valtion varoin. Aikuiskoulutuksen työelämäperustaiset vaatimukset ovat lisänneet aikuiskoulutuskeskuksissa ja ammatillisten oppilaitosten täydennyskoulutuskeskuksissa vieraiden kielten ja kulttuurien opetusta. Peruskouluun vastaava kehitys on heijastunut pyrkimyksenä lisätä valinnaisten opintojen mahdollisuutta. Kouluja on myös kannustettu profiloitumaan paikallisten toiveiden ja tarpeiden mukaan. Jopa lukiokoulutukseen kehittyneen kurssimuotoisuuden, nimenomaan valinnaisuuden ja painottamismahdollisuuksien lisääntymisen, voidaan nähdä liittyvän tähän kehitystrendiin. Yleissivistävässä koulutuksessa yksilöllisten, valinnaisuuteen perustuvien koulutusohjelmien mahdollisuudet ovat olleet käytännössä kuitenkin suhteellisen rajallisia. Niiden ideologinen merkitys on ollut tärkeä koulutuspolitiikan mahdollisuuksien 1990- luvulla. Yksilöllisten ohjelmien mahdollisuutta on korostettu myös ammatillisessa peruskoulutuksessa lisäämällä joustavuutta ja valinnaisuutta. Ammatillisessa aikuiskoulutuksessa sama kehitys näkyy äärimmilleen vietynä; säädettynä oikeutena henkilökohtaiseen opiskelusuunnitelmaan ja järjestelmätasolla uutena näyttöperustaisena ammatillisen pätevyyden osoittamisen mahdollisuutena. Opetustoimen hallintokulttuurin muutokset ovat myötäilleet ja tukeneet 1990- luvulla muun yhteiskuntakehityksen toimintaa. Päätösvallan delegoiminen paikallisille toimijoille on opetustoimessa tapahtunut rinta rinnan muiden julkisen sektorin toimintojen kanssa. Vuoden 1999 alusta voimaan astunut uudistunut koululainsäädäntö on kirjannut koko vuosikymmenen aikana tapahtuneen kehityksen. Jos 1970- ja 1980- lukuja voisi luonnehtia suomalaisessa koulutuspolitiikassa suunnittelun ja normiohjauksen vuosikymmeniksi, voisi 1990-lukua hyvin luonnehtia yksilöllisten mahdollisuuksien koulutuspolitiikan vuosikymmeneksi. Julkisen vallan toimintapolitiikan muutos paikallisten päättäjien mahdollisimman suuren toimintavaltuuden kasvattamiseksi on johtanut siihen, että valtiovallan mahdollisuudet ohjata ja valvoa julkisten palvelujen laatua ovat siirtyneet toimintaohjeilla säätelystä toiminnan tuloksellisuuden seuraamiseen. Tämä kehitystrendi näkyy 1990- luvulla Suomen koko valtionhallinnossa. Konkreettinen osoitus tästä on valtiovarainministeriön Tuottavuusprojektin suositus Julkisen sektorin toiminnan tuloksellisuuden arvioinnissa käytettävä toimintamalli (Valtiovarainministeriö 1991). Toinen merkittävä linjaus on kirjoitettu valtionvarainministeriön käynnistämään hallinnon toiminnan laadun kehittämishankkeeseen, jonka raportti Julkisen sektorin laatulinjauksia (1998) sisältää strategian ja suosituksia palvelujen laadun parantamiseksi. Kyseisten raporttien merkitys koko julkisen sektorin toimintatapojen muuttamisessa kohti tuloskeskeistä ajattelutapaa hallinnon toiminnan suunnittelussa ja seurannassa on ollut hyvin merkityksellinen. Opetustoimessa tulosohjauskulttuuriin siirtyminen on toteutunut hallinnon toimintatapojen uudistamisena. Tämä kehitys näkyy myös uuden lainsäädännön toiminnan tavoitteellisuutta korostavassa kirjoittamistavassa.

11 1.2. Koulutuksen arvioinnin juuret tarkastustoiminnassa ja kansainvälisessä tutkimusyhteistyössä Suomessa kuten muuallakin Euroopassa koulutuksen arviointiin on läheisesti liittynyt tarkastustoiminta ja tieteellinen tutkimus. Perimmältään arviointitiedon tuottamistarve perustuu siihen, että arvioinnilla on toimintana ainakin kolme keskeistä funktiota: 1) kontrollointi, 2) motivointi ja 3) valikointi. Kontrollin tehtävänä on todeta, miten hyvin toiminta vastaa asetettuja tavoitteita ja noudattaa voimassaolevia sääntöjä. Motivoinnin tehtävänä on nimenomaan tuottaa kannustavaa tai kriittistä tietoa toiminnan jatkon kannalta: miten kannattaa toimia ja millaiset piirteet ovat hyödyllisiä ja arvokkaita. Valikointitehtävä tarkoittaa sitä, että arviointitietoon perustuen suositaan niitä toiminnallisia tavoitteita ja menettelytapoja, jotka osoittautuvat tuloksellisimmiksi. Tarkastuksella ja valvonnalla on hallinnossa hyvin samansuuntaiset tavoitteet. Tarkastustoimintaa on edelleen myös opetussektorilla kaikissa Euroopan maissa Suomea lukuun ottamatta. Esimerkiksi Englannissa, Skotlannissa ja Hollannissa arvioinnin ja tarkastuksen välinen yhteistyö on saumatonta. Suomessa oli 1990-luvulle saakka hyvin monipuoliseksi kehittynyt koulujen tarkastustoiminta. Tarkastustoiminnasta vastasivat keskushallinnon ylitarkastajat sekä läänien koulutoimentarkastajat ja ammattikasvatustarkastajat. Vuonna 1991 toimintansa aloittanutta Opetushallitusta edelsi kaksi keskusvirastoa, Ammattikasvatushallitus ja Kouluhallitus, joiden tehtävänä oli opetussuunnitelman laatiminen, koulutuksen kehittäminen ja tarkastustoiminta. Keskusvirastojen lisäksi oli kaikissa silloisissa lääneissä jokaisessa oma kouluosastonsa, jonka tehtävänä oli läänin sivistystoimen tarkastaminen. Läänien koulutoimentarkastajat ja ammattikasvatustarkastajat kiersivät kouluissa nimenomaan valvomassa toiminnan laatua. Heidän arvioivat kertomuksensa toimivat palautteena sekä oppilaitoksille että keskushallinnolle. Tarkastustoiminnan tavoitteena oli paitsi laillisuusvalvonta myös toiminnan ohjaaminen. Vuodelta 1968 olevassa laissa Kouluhallituksesta sen tehtäväksi määrättiin oppivelvollisuudesta johtuvien toimenpiteiden, yleissivistävien oppilaitosten, opettajainvalmistuslaitosten, kirjaston ja vapaan sivistystyön valvominen (Laki 534/1968 2). Vielä vuodelta 1970 olevassa Lääninhallitusten kouluosastoja koskevassa asetuksessa tarkastuksen osalta jäivät voimaan kansakoulujen tarkastajille määrätyt valvontaja tarkastustehtävät, jotka on määritelty kansakouluasetuksessa vuodelta 1958 ( 183). Kansakoululaissa vuodelta 1957 määriteltiin valtion tehtäväksi koulujen valvonta. Tarkastajien tehtävänä oli (Kansakouluntarkastajan) tulee jatkuvasti valvoa ja ohjata koulun opetustointa ja tarkkailla koulun taloudenhoitoa. Mikäli asetuksella ei ole toisin säädetty, hänellä on oikeus olla läsnä johtokunnan ja kansakoululautakunnan kokouksissa sekä osallistua niissä keskusteluun, mutta ei äänestyksiin. Jos (kansakouluntarkastaja) on todennut, että kunta kansakoulutointa hoitaessaan on menetellyt lain,

12 asetuksen tai ohjesäännön vastaisesti, hänen on pyydettävä lääninhallituksen virkatoimenpidettä kunnan velvoittamiseksi korjaamaan menettelynsä. (Laki 247/1957 88). Tarkastustoiminta on edelleen olennainen osa opetustointa kaikissa muissa Euroopan maissa paitsi Suomessa. Toiminnan tuloksien arvioinnin alueella opetustoimi on ollut monella tapaa edelläkävijä. Oppimisen tuloksia ryhdyttiin arvioimaan osana kansainvälistä yhteistyötä jo 1950- luvulla. Laukkanen (1998) pitää suomalaisen arviointikulttuurin merkittävimpänä virstanpylväänä Suomen osallistumista ensimmäiseen kansainväliseen matematiikan oppimissaavutusten tutkimusprojektiin 1960-luvulla. Jyväskylän yliopiston kasvatustieteiden tutkimuslaitos (nykyinen Koulutuksen tutkimuslaitos) vastasi tutkimuksen toimeenpanosta Suomessa. Sen teoreettinen kehittäminen tapahtui kansainvälisen IEAyhteisön (International Association for the Evaluation of Educational Achievement) toimesta. (Kuusinen 1967 ja Laukkanen 1998.) Tämän jälkeen alkoi tietoisuus kansainvälisen vertailun ja koulusaavutuksien arvioinnin tarpeellisuudesta levitä tutkijoiden ja hallinnon piirissä. Suuri hanke, jossa Suomi oli mukana oli moniaineinen koulusaavutustutkimus 1970 1971. Tässä hankkeessa vertailtiin koulusaavutuksia lukutaidossa, kirjallisuudessa, luonnontieteissä, englannissa vieraana kielenä ja kansalaistaidoissa (civics). Seuraavassa merkittävässä arvioinnissa 1980-luvun alussa suomalaisten peruskoululaisten lukutaito osoittautui parhaaksi mukana olleista maista (Linnakylä 1993 ja 1995). Esikouluun liittyvä vertaileva arviointi tehtiin 1990-luvun taitteessa. OECD:n aktiivinen arviointitoiminnan kehittämispyrkimys on heijastunut myös Suomen opetustoimen hallinnon arviointitoimintaan. Suomessa on toteutettu OECD:n nimeämien ulkomaisten asiantuntijoiden tekemä koulutuspolitiikan arviointi vuonna 1981 ja korkeakoulupolitiikan arviointi vuonna 1994. Vuoden 1981 arvioinnilla on ollut tärkeä merkitys suomalaisen koulutusjärjestelmän kehitykselle. Esiopetukseen liittyvä selvitys on raportoitu (Ojala) 1993. Näiden arviointien merkitys paitsi koulutuksen kehittämiselle myös toimintapolitiikka-arviointien menetelmille on ollut tärkeä. Nykyisen kaltainen arviointitoiminta on sidoksissa koko hallintokulttuurin muutokseen. Arviointi on kehittynyt nimenomaan kansainvälisen yhteistyön myötävaikutuksella. Varsinainen toimintatapojen arviointi on tullut opetustoimeen lähinnä OECDyhteistyön kautta. 1.3. Arviointi osaksi koulutuksen ohjausjärjestelmää Kansallisen opetustoimen arviointistrategian kehittymisen tarpeellisuus tiedostettiin opetustoimen keskushallinnossa jo 1970-luvulla. Merkittävä oli Leimun ja Saaren toimittama muistio Arviointi- ja koulukoetoiminnan kehittäminen Suomessa vuodelta 1976, missä kartoitettiin nimenomaan sitä, miten arviointitietoa tulisi tuottaa ja hyödyntää peruskoulun kehittämisessä.

13 Valtionhallinnossa tavoitejohtaminen ja tulosjohtaminen suuntasivat keskustelua toiminnan tuloksiin 1980-luvulla. Silloisessa Kouluhallituksessa perustettiin työryhmiä selvittämään, millaista tietoa koulutuksen tuloksista ja opetustoimen vaikuttavuudesta oli käytettävissä ja miten arviointitietoa tuottava järjestelmä voisi toimia. Työstä on laadittu raportti nimellä Kouluhallituksen alaisen koulutoimen ja vapaan sivistystyön tuloksellisuutta käsittelevän työryhmän raportti 1986. Samoihin aikoihin julkaistiin kokoomaraportti, jossa tutkijat kartoittivat koulutuksen tuloksellisuutta tutkimuksiin perustuen (Hämäläinen 1986). Nämä raportit ovat asiallisesti ottaen opetustoimen tilan selvityksiä, vaikkakaan ne eivät muodollisesti ehkä kaikilta osin sisällä arvioinnin keskeisenä tuntomerkkinä pidettyä toiminnan hyödyn ja arvon puntarointia. Siihen, että arviointi on muodostunut osaksi poliittisen ohjauksen järjestelmää on johtanut yleinen, kaikkea julkista hallintoa koskenut päätäntävallan delegoimispolitiikka. Ulkoapäin katsoen julkishallinnon kehittyminen on ollut viime vuosikymmeninä tempoilevaa, tiukasti taloudellisten perusratkaisujen ohjailemaa. Erityisesti 1970-luvulla voimakas julkisen hallinnon paisuminen alkoi hiipua jo 1980-luvulla ja taittui taloudellisen laman vaikutuksesta 1990-luvun alussa. Julkishallinnossa koko 1990-luvun loppupuoli oli leimallisesti toiminnan sopeuttamista taloudellisiin raameihin. Julkishallinnon palveluja on supistettu ja toimintaa pyritty tehostamaan keventämällä hallinnon normiohjausta. Käsitteet tulosvastuu, tilivelvollisuus, kehysbudjetointi ja organisaatioiden sisäinen kehittäminen kuvastavat hyvin sitä toimintaa, jolla hallinto pyrki eroon raskaista ja aikaa vievistä ylemmän viranomaisen ohjaus- ja valvontamenettelyistä. Ohjausjärjestelmän keventämisen strategisesta johtamisesta on valtioneuvoston tehtäväjaon mukaan vastannut valtiovarainministeriö, joka on panostanut tulosohjauskulttuuriin juurruttamiseen ja palvelujen laadun kehittämistä tukevaan toimintaan. Arviointi on julkishallinnon toimintaa, joka on saanut merkittävän aseman valvonnan ja tarkastuksen rinnalla. Julkisten palvelujen laatustrategian laatineen työryhmän julkaisu määrittelee arvioinnin asemaa seuraavasti: Valvonnalla, tarkastuksella ja arvioinnilla on tärkeä osa julkisen hallinnon taloudellisuuden, tuloksellisuuden, vaikuttavuuden ja tehokkuuden edistämisessä. Valvonta- ja tarkastustoimi ovat julkisissa palveluissa kohtalaisen tuttuja kysymyksiä, mutta sen sijaan arviointi on uusi tulokas palvelujen laadun kehittämisvälineenä. (Julkisen sektorin laatulinjauksia 1998, 50.) Julkisen sektorin laatulinjauksia -kirjasessaan valtiovarainministeriö ottaa kantaa siihen, millaisia arvostuksia julkishallinnon palvelujen järjestäjältä edellytetään ja millaisin käytännön toimin laatua voidaan kehittää. Hyvin keskeinen asema tässä toiminnassa on arvioinnilla. Julkisen sektorin laatustrategiana todetaan olevan muun muassa se, että julkisten palvelujen (mukaan lukien koulutus, kirjoittajan huom.), tuottavuuden ja tulosten mittaaminen ja seurannan kehittäminen edellyttävät laadun työkalujen, arviointimenetelmien ja -mittareiden käyttöä. Edelleen todetaan, että laatua toteutetaan asiakaslähtöisesti mutta laatutyöllä ei tavoitella uutta keskitettyä normijärjestelmää. (Emt., 42.) Arvioinnin asema korostuu monella tapaa ohjausjärjestelmän tärkeimpänä mekanismina, jolla tuotetaan poliittiseen päätöksentekoon tarvittavaa julkisten palvelujen tuloksellisuutta koskevaa tietoa.

14 Mainitun kirjasen laatineen työryhmän mukaan arviointitoiminta on: arviointikriteerien valintaa tietojen hankintaa päätöksenteon tueksi asiantilan vertaamista tiettyyn kriteeriin arvioivan päätelmän toteuttamista (arvottaminen) soveltavaa ja tuloksia välittömästi hyväksikäyttävää käytännönläheistä toimintaa, jossa voidaan hyväksikäyttää tutkimuksen menetelmiä ensisijaisesti toiminnan ohjauksen ja kehittämisen väline osa toiminnan ja tuloksellisuuden tarkastamista. (Emt., 50.) Erityistä huomiota määritelmässä kiinnittää se, että arviointi nähdään osana tuloksellisuuden tarkastustoimintaa. Laatujohtamisen korostaminen ja sekä yksityisen että julkisen sektorin piirissä lamavuosien jälkeen virinnyt keskustelu palvelujen laadusta on entisestään tuonut esiin arvioinnin merkitystä. Arvioinnista on tullut koulutuksen laadun kehittämiseksi välttämätöntä. Arviointitoiminnan vilkastuminen on johtanut myös entistä kriittisempään keskusteluun arviointien hyödyllisyydestä. Opetustoimessa arviointitoiminnan kehittämisen keskeisin periaate on ollut se, että arviointijärjestelmän tulee olla mahdollisimman tehokas tuottamaan kehittämistä palvelevaa, hyödyllistä ja uskottavaa tietoa (vrt. House 1980 ja Patton 1997). Arviointitiedon merkitys opetustoimessa voidaan kiteyttää seuraavasti: arviointitieto on käytännön kehittäjää, opettajaa ja poliittishallinnollista prosessia palvelemaan tuotettua laadukasta ja monipuolista tietoa, jonka tarkoituksena on toimia evidenssinä kehittämistarpeiden määrittämisessä. 1.4. Opetustoimen arviointistrategia arviointitiedon tuottamiseksi Opetustoimessa varsinainen toiminnan tuloksellisuuden aktiivinen arviointi alkoi 1990- luvulla. Vuodelta 1991 olevaan lakiin (182/1991) perustuen Opetushallituksen tehtäviin on kuulunut koulutuksen tuloksellisuuden edistäminen ja koulutuksen järjestämisen seuranta. Opetushallituksessa käynnistyi vuoden 1992 alusta opetustoimen arviointistrategian valmistelu. Lähtökohtana oli tuottaa koulutuksen arviointia varten toimiva, valtiohallinnon yleisen tuloksellisuuden arviointikulttuurin mukainen viitekehys ja järjestelmä, jolla opetustoimen tuloksellisuudesta tuotetaan tietoa kansallisiin tarpeisiin. Kehittämistyön tuloksena syntyi vahvistettu Koulutuksen tuloksellisuuden arviointimalli, joka julkaistiin vuonna 1996 ja tarkistetussa muodossa vuonna 1998. Siinä määritellään opetustoimen käyttöön tuloksellisuuden arvioinnissa käytetyt käsitteet vaikuttavuus, taloudellisuus ja tuottavuus siten, että viime mainitusta käytetään käsitettä tehokkuus.

15 TULOKSELLISUUS TEHOKKUUS VAIKUTTAVUUS TALOUDELLISUUS koulutustarjonta koulutustarpeen ja tarjonnan vastaavuus koulutuksen vaihtoehtoiset tuotantotavat ajankohtaisuus ja reagointikyky pedagogiset järjestelyt opetuksen laatu ja yhteistyötahot koulutuspituudet keskeyttäminen/ koulutuksen läpäisy oppimistulosten saavuttaminen oppimaan oppimisvalmiudet kommunikaatiovalmiudet elinikäinen oppiminen koulutusresurssien määrä, kohdentuminen ja käytön tehokkuus koulutuksen rahoitusjärjestelmät ja rahoituslähteet moninkertainen koulutus ja hyväksilukeminen henkilöstö voimavarana tilat ja laitteet säädökset ja sopimukset oppilaitoksen johtamiskulttuuri Kuvio 1. Koulutuksen tuloksellisuuden arviointimalli.

16 Arviointimalli määrittelee tuloksellisuuden arvioinnin tehtävät taloudellisuuden, tehokkuuden ja vaikuttavuuden arvioimiseksi ulottuvuuksina ja sisältää kuvauksen ja määrittelyt siitä, millaista tietoa arviointia varten tarvitaan ja mitä keskeisillä käsitteillä tarkoitetaan. Arviointimallissa kuvataan myös arviointikohteittain se, millaisiin seikkoihin kunkin kohteen käytännön arvioinnissa voidaan keskittyä. Koulutuksen tuloksellisuuden arviointimallin mukaan koulutus on tuloksellista silloin, kun se samaan aikaan on vaikuttavaa, tehokasta ja taloudellista. Tuloksellisuus on siis yläkäsite, joka määritellään seuraavasti: Tuloksellista koulutus on silloin, kun kansallisesti ja kansainvälisesti koulutusjärjestelmän kullekin organisaatiomuodolle, oppilaitokselle ja yksilön oppimistoiminnalle asetetut tavoitteet on saavutettu. Vaikuttavaa koulutus on silloin, kun sen tuottamat valmiudet laadullisesti ja määrällisesti edistävät yksilön henkistä kasvua sekä yhteiskunnan, kulttuurin ja työelämän kehitystä. Vaikuttavuuden arviointikohteet ovat: koulutustarpeen ja tarjonnan vastaavuus oppiainekohtaisten oppimistulosten saavuttaminen oppimaan oppimisvalmiudet kommunikaatiovalmiudet motivaatio elinikäiseen oppimiseen. Tehokasta koulutus on silloin, kun koulutusjärjestelmän, opetushallinnon ja opetusjärjestelyn toimivuus, joustavuus ja ajoitus ovat mahdollisimman tarkoituksenmukaiset ja opetuksen laatu hyvä. Tehokkuuden arviointikohteina arvioidaan: koulutustarjonta ajankohtaisuus ja reagointikyky pedagogiset järjestelyt, opetuksen laatu ja yhteistyötahot koulutuspituudet keskeyttäminen/koulutuksen läpäisy moninkertainen koulutus ja hyväksi lukeminen henkilöstö voimavarana tilat ja laitteet säädökset ja sopimukset oppilaitoksen johtamiskulttuuri. Taloudellista koulutus on silloin, kun koulutusresurssit on kohdistettu koulutukselle asetettujen tavoitteiden kannalta optimaalisesti ja resurssien määrä on tarkoituksenmukainen tuotettujen koulutuspalveluiden määrän ja palvelutuotannon rakenteen ja organisoinnin kannalta.

17 Taloudellisuuden kohteina arvioidaan: koulutuksen vaihtoehtoiset tuotantotavat koulutusresurssien määrä, kohdentuminen ja käytön tehokkuus koulutuksen rahoitusjärjestelmät ja rahoituslähteet. Koulutuksen tuloksellisuuden arviointimalli perustuu toisaalta valtionhallinnossa käytettyyn tuloksellisuuskäsitteistön tulkintaan, toisaalta käsitteiden sisällölliseen kuvaukseen on saatu runsaasti vaikutteita tilivelvollisuussuuntauksesta (accountability) (esim. Wagner 1989) ja ennen kaikkea kasvatustieteen piirissä käydystä keskustelusta ymmärtää koulutuksen vaikuttavuus toisaalta yksilön ja toisaalta ympäröivän yhteiskunnan kannalta (esim. Vaherva 1983, 173). Arviointimalliin perustuen Opetushallituksessa käynnistyi hankemuotoinen arviointitoiminta ja sen rinnalle kehitetty oppimistulosten kansallinen arviointijärjestelmä. (Kansallinen oppimistulosten arviointijärjestelmä 1998). Opetushallitus on julkaissut ammatillisen koulutuksen laadunhallintaa koskevan suosituksen, joka on tarkoitettu ohjaamaan ammattioppilaitosten laadun kehittämistä ja sitä edistävän toiminnan arviointia (Opetushallitus, Arviointi 4/1999). Arviointitoiminta sai ratkaisevan tärkeän aseman opetustoimen ohjausjärjestelmässä vuoden 1999 koululakien tultua voimaan. Lain perusteella kaikkien oppilaitosten tulee itse arvioida omaa toimintaansa ja antaa tietoja arviointia varten opetusministeriön valtuuttamalle arvioijalle. Myös koulutuksen ylläpitäjiä koskee sama velvoite. Opetushallituksesta tuli merkittävä kansallinen arviointien toimeenpanija. Myös yliopistot ja tutkimuslaitokset ovat säädöksien mukaan merkittäviä arviointitiedon tuottajia. Etenkin kansainvälisissä arviointitutkimuksissa Jyväskylän yliopiston Koulutuksen tutkimuslaitoksella on ollut keskeinen rooli. Koordinoinnista ja arviointia koskevista perustepäätöksistä sekä kansallisella ja kansainvälisellä tasolla vastaa opetusministeriö. Samanaikaisesti koululakien valmistelun kanssa valmisteltiin opetustoimeen kansallinen arviointistrategia tuloksellisuuden arvioinnin järjestämistä varten. Opetustoimen arviointistrategia astui voimaan vuonna 1997. Arviointistrategian lähtökohtana on sittemmin laissa vahvistettu ministeriöjohtoinen verkostoyhteistyöhön pohjautuva malli, jossa monipuolista laadullista ja määrällistä arviointitietoa tuotetaan siten, että keskushallinto, paikallinen koulutuksen järjestäjä ja oppilaitos arvioivat toimintaa. Arviointistrategian mukaan arviointitietoa tuotetaan seuraavista lähteistä: kansalliset ja kansainväliset indikaattorit arviointitutkimukset kansallinen oppimistulosten arviointijärjestelmä laajat koulutuksen tilan arvioinnit temaattiset arvioinnit sekä kansainväliset arviointihankkeet. Arviointitiedon merkityksestä keskusteltiin hallinnossa laajasti uusien koululakien

18 käsittelyn yhteydessä. Keskustelussa painotettiin arviointitietoon kohdistuvia suuria laatuvaatimuksia. Erityisesti nykyisenlaisessa ohjausjärjestelmässä, jossa poliittishallinnollinen ohjaus perustuu laajasti paikallistasolle painottuvaan delegoituun ja luottavaan päätöksentekojärjestelmään, ovat kansallisen päätöksenteon tueksi tarkoitetun arviointitiedon laatuvaatimukset korkeat. Nykyisin arviointitietoa tuotetaan opetustoimessa kansallisella tasolla lähinnä kolmella tapaa. Opetusministeriö tekee tulossopimuksia arviointitiedon tuottamiseksi Opetushallituksen, Korkeakoulujen arviointineuvoston ja lääninhallitusten kanssa. (Lakiuudistus määrää läänien tehtäväksi peruspalvelujen arvioinnin.) Opetusministeriö voi tilata tutkimuslaitoksista, vapailta tutkijoilta tai yksityisistä arviointiyrityksistä tietoa omaan käyttöönsä. Suomi osallistuu myös kansainvälisiin arviointeihin opetusministeriön päättämällä tavalla. Kansallisen arviointitiedon tuottamisen lisäksi koulutuksen järjestäjät tuottavat tietoa myös omasta toiminnastaan, jota ne voivat omien halujensa mukaan saattaa myös opetusministeriön tietoon. Koulutuksen ylläpitäjillä (siis käytännössä kunnilla ja kuntayhtymillä) ja oppilaitoksilla on vuoden 1999 alusta voimaan tulleiden koululakien perusteella velvollisuus itsearviointiin, mutta niillä ei ole velvoitetta raportoida siitä valtiohallinnolle. Itsearvioinnista onkin tullut opetustoimessa merkittävä uusi toimintamuoto, jonka tukemiseksi keskushallinto ja monet opetusalan toimijat ja täydennyskoulutusorganisaatiot ovat tuottaneet erilaista tukimateriaalia ja koulutusta. Arviointipolitiikkaa maassamme johtava opetusministeriö on lainsäädännön valtuuttamana antanut määräyksen Opetusministeriön määräys koulutuksen ulkopuolisen arvioinnin toimeenpanon ja arvioinnin kehittämisen perusteista 30.12.1998. Näissä perusteissa kiinnitetään huomiota ainakin kolmeen arvioinnin kannalta oleelliseen asiaan, muiden muassa seuraaviin: Koulutusta tulee arvioida säännöllisesti ja koulutuksen tavoitteisiin nähden kattavasti. Arvioinnin tulee olla menetelmiltään monipuolista ja arvioinnin kohteisiin nähden oikeudenmukaista ja tasapuolista. --- Arviointityö tulee järjestää siten, etteivät ne henkilöt, jotka ovat osallistuneet tavoitteiden ja sisältöjen valmisteluun, toimi saman koulutuksen arvioijina. --- Arvioinnin tulosten julkistaminen tulee toteuttaa siten, ettei arviointi vahingoita arvioinnin piirissä olevaa koulutuksen järjestäjää, oppilaitosta, henkilöstöä tai muita tahoja. Korkeakoulujen arviointineuvoston toimintaa koskevat toiminnan perusteet sisältyvät lakiin ja asetukseen (465/1998) sekä johtosääntöön, jonka Korkeakoulujen arviointineuvosto on itse valmistellut. Korkeakoulujen arviointitoiminta on perustunut toisaalta korkeakoulujen tekemiin itsearviointeihin ja ulkopuolisten arvioitsijoiden yhteistyöhön.

19 1.5. Kansainvälisen yhteistyön merkitys arvioinnin kehittymiselle Koulutuksen ja koko Suomen julkishallinnon arviointitoiminnan kehittymisen kannalta on OECD:n merkitys ollut tärkeä. Erityisesti PUMA-projekti (Public Management) on tähdentänyt arvioinnin merkityksellistä osuutta julkisen hallinnon kehittämistyössä. Arvioinnin tarkoituksena on PUMA:n mukaan päätöksentekoedellytysten parantaminen, budjetoinnin ja resurssien allokoinnin tukeminen ja julkisen hallinnon tilivelvollisuuden eli tulosvastuun vahvistaminen (OECD 1997, 6). Koulutuksen alueella merkittävimpiin saavutuksiin on yltänyt INES-projekti (International Education Indicators Programme), joka on koulutuksen indikaattorituotantoa varten luotu hanke. Sen laaja kansainvälinen asiantuntijaverkosto on johtanut suureen määrään vertailevia arviointihankkeita, joiden perustalta ilmestyvä Education at a Glance -julkaisu sisältää monipuolista koulutukseen liittyvää vertailutietoa. Raportteja on julkaistu vuodesta 1994 lähtien ja niiden sisältö on koko ajan laajentunut. Suomi on mukana PISA-hankkeessa (Program for International Student Assessment), jossa arvioidaan kolmessa syklissä 15-vuotaiden oppimistuloksia luonnontieteissä, matematiikassa ja äidinkielessä. Tämä hanke on suunniteltu kestämään kymmenen vuotta ja siinä on mukana 34 maata. Myös aikuisväestöä koskien on OECD:n johdolla toteutettu funktionaalisen lukutaidon arviointi, johon Suomikin osallistui. (Raportti: Linnakylä, Malin-Blomqvist ja Sulkunen: Lukutaito työssä ja arjessa 2000). Euroopan unionin piirissä virisi aktiivinen kiinnostus koulutuksen arviointiyhteistyöhön juuri siinä vaiheessa, kun Suomi liittyi Euroopan unioniin. Sekä korkeakoulujen että lasten- ja nuorten koulutuksen alueella toimivat EU-jäsenmaiden yhteistyöverkostot (ks. European Network of Quality Assurance, www.enqa.net). Euroopan unionin piirissä on myös kehitetty menetelmiä ennen muuta ohjelmaarviointien käyttöön. Kirjasarja on julkaistu nimellä Evaluating socio-economic programmes 1999. Yhdessä kehitettyjä periaatteita noudatetaan laajasti erilaisten jäsenmaiden yhteisten tai EU:n rahoittamien ohjelmien arvioinnissa. Suomen puheenjohtajakaudella syksyllä 1999 Euroopan unionin opetusministerikokous käsitteli koulutuksen laatua ja siinä yhteydessä myös arviointia (Hämäläinen ja Jakku-Sihvonen 1999). Arviointia ja seurantaa varten on suunnitteilla jäsenmaiden käyttöön myös määrällisiä ja laadullisia koulutusindikaattoreita, joiden tarkoituksena on lisätä eri maiden koulutusjärjestelmiä koskevaa avointa tiedonvaihtoa. Merkittävän yleissivistävän koulutuksen alueella tehty yhteistyöprojekti on ollut Pilot Project on the Quality of Education, johon osallistui 101 eurooppalaista koulua. Projektin tarkoituksena oli kerätä itsearvioinnin parhaita käytänteitä ja levittää niistä tietoa eurooppalaisiin kouluihin. Projektin loppuraportti on ilmestynyt vuonna 1999.

20 Korkeakoulujen välinen arviointiyhteistyö on ollut vilkasta. Arvioijakuntaa on kielitaitoiseen korkeakoulumaailmaan helppo saada ja arvioitavien instituutioiden määrä on siinä määrin kohtuullinen, että ulkomaisilla arvioijilla on mahdollisuus tutustua henkilökohtaisesti arvioinnin kohteena olevaan korkeakouluun tai sen ohjelmaan. Pohjoismainen arviointiyhteistyö on selvästi vilkastumassa. Pohjoismaiden kesken on laadittu muun muassa arvioiva katsaus koulun johtajien työoloihin, jonka tarkoituksena on toimia virikkeenä nimenomaan itsearviointikulttuurin kehittämisessä (Skolledelse i Norden 2000). Yhteistyössä on valmistunut myös OECD:tä varten kerättyyn indikaattoritietoon perustuva syventävien artikkeleiden sarja (Nordisk utbildning i fokus) ja Suomen ja Ruotsin ammatillisen koulutuksen ennakointikäytänteitä kuvaileva selvitys (Dimensionering för vem). Liitteessä on tietoja alan kansainvälisistä yhteisöistä. 1.6. Yhteenvetoa Koulutuksen arviointi on nykyisellään osa julkisen hallinnon ohjausjärjestelmää. Kehitys alkoi kulkea tähän suuntaan 1980-luvulla. Siihen asti suunnittelua korostava hallintokulttuuri alkoi osoittaa liiallisesta normistosta johtuvia kankeuden merkkejä. Hallinnon hajauttaminen hyväksyttiin 1990-luvulla kaikilla hallinnon aloilla tavoiteltavaksi periaatteeksi. Kansalaisten saamien palvelujen laatu nousi huomion kohteeksi paikallishallinnon poliittisten päättäjien keskuudessa. Nykyisin Suomen opetushallinnossa arviointitietoa tuotetaan kansallisena arviointituotetuotantona, josta vastaavat pääasiassa Opetushallitus, Korkeakoulujen arviointineuvosto, lääninhallitukset sekä yliopistot ja tutkimuslaitokset ministeriön määräämällä tavalla. Paikallistasolla arviointitietoa tuottavat koulutuksen ylläpitäjät ja oppilaitokset. Kansainvälisellä yhteistyöllä on arviointitietotuotannossa ja menetelmäkehityksessä keskeinen merkitys. 1.7. Pohdittavaksi 1. Mitkä yhteiskunnan kehityspiirteet ovat yhteydessä arviointikulttuurin kehitykseen? 2. Miten voimassa olevat säädökset vaikuttavat arvioinnin käytäntöjen kehittymiseen? 3. Etsi tietoa kansainvälisten arviointiyhdistysten toiminnasta kirjan liitteessä esitettävien Internet-sivustojen kautta (Liite 1). Millä tavoin hyödyntäisit tätä kautta saatavaa tietoa koulutuksen kehittämisessä?