KOULUTUKSEN TULOKSELLISUUDEN ARVIOINTIMALLI

KOULUTUKSEN TULOKSELLISUUDEN ARVIOINTIMALLI Arviointi 7/98 OPETUSHALLITUS 1998

Opetushallitus Graafinen suunnittelu ja taitto: Layout Studio Oy/Marke Eteläaho ISBN 952-13-0271-2 ISSN 1238-4453 Yliopistopaino, Helsinki 1998

Saatesanat Koulutuksen arviointi on kehittynyt Suomessa viime vuosina koko opetustoimen alueella. Koulutuksen ja opetuksen alueella tapahtuneet kehittämistoimet ovat lisänneet koulutuksen ylläpitäjän vastuuta koulutuksen käytännön toteutuksesta. Hallinnon ohjausjärjestelmää on kevennetty kaikilla opetustoimen alueilla. Arvioinnin avulla halutaan tuottaa poliittishallinnollista ohjausta varten sellaista tietoa, jota voidaan käyttää hyväksi koulutuksen kehittämisessä. Paikallishallinto ja oppilaitokset tuottavat omaa kehittämistyötään varten arviointitietoa. Huoli koulutuksen laadukkuudesta onkin innostanut useimpia kuntia, ylläpitäjiä ja oppilaitoksia panostamaan voimavarojaan arviointiin. Opetushallitus on keskeisin kansallisen arviointitiedon tuottaja. Opetushallituksessa on haluttu kehittää arviointitiedon kansallista tuotantoa varten järjestelmä, joka tuottaisi mahdollisimman monipuolista informaatioa päättäjien ja kehittäjien käyttöön. Arviointijärjestelmän peruspilarit ovat koulutusindikaattorit, oppimistulosten arviointijärjestelmä ja hankkeet, joilla tarkoitetaan kokonaisarviointeja eri koulutusmuodoista tai temaattisia arviointeja tärkeiltä koulutuksen alueilta. Koulutuksen tuloksellisuuden arviointia varten on kehitetty malli, jota käytetään toteutettaessa arviointeja. Tuloksellisuuden arvioimiseksi on määritelty kohteita toiminnan vaikuttavuuden, tehokkuuden ja taloudellisuuden alueelta. Käsillä olevassa julkaisussa kuvataan tuloksellisuuden arvioimisessa käytettävää mallia ja kuvataan arvioinnin asemaa ja toteuttamista opetustoimessa. Julkaisun loppupuolella on tiivis kuvaus koulutuksen arviointijärjestelmästä. Vaikka julkaisussa esiteltävä tuloksellisuuden arviointimalli on kehitetty ensisijaisesti kansallisiin tarpeisiin, sitä on menestyksellisesti käytetty myös oppilaitoksien itsearvioinnissa. Siksi julkaisun viimeisessä luvussa on tiiviisti tarkasteltu oppilaitoksen itsearviointia ja esitetty virikkeeksi joukko kysymyksiä, joita voidaan käyttää itsearvioinnin suunnittelun lähtökohtana peruskoulussa, lukiossa sekä nuorten ja aikuisten ammatillisessa koulutuksessa. Tuloksellisuuden arviointimallin kehittämiseen on osallistunut Opetushallituksen väen lisäksi asiantuntijoita yliopistoista ja oppilaitoksista.

Oppilaitoksien edustajat ovat kokeilleet mallin toimivuutta käytännössä ja antaneet arvokkaan panoksensa vaikuttavuuden, tehokkuuden ja taloudellisuuden kohteiden määrittelyyn. Kiitän sydämellisesti kaikkia arviointiseminaareihin ja käytännön kokeiluun osallistuneita opettajia, rehtoreita ja koulutoimenjohtajia sekä oppilaita. Erityisen kiitoksen haluan osoittaa apulaisprofessori Airi Hautamäelle, professori Reijo Raivolalle, pääsihteeri Kauko Hämäläiselle ja professori Pirjo Linnakylälle osallistumisesta mallin kehittämisprojektiin. Dosentti Vesa Niskasta kiitän luvun 4.2 ja liitteen laadinnasta. Opetushallituksesta mallin kehittämiseen ovat viime vaiheessa osallistuneet merkittävällä panoksella opetusneuvokset Esko Korkeakoski, Anu Räisänen ja Pentti Yrjölä. Raportin laatimisessa ovat avustaneet KK Riku Lehtovuori ja KM Aulikki Etelälahti. Sydämelliset kiitokset heille kaikille. Tuloksellisuuden arviointimallia ja arvioinnissa käytettäviä tiedonhankinta ja -käsittelymalleja kehitellään edelleen. Kaikki kommentit tähänastisesta työstä otetaan mielihyvin vastaan. Helsingissä kesäkuussa 1998 Ritva Jakku-Sihvonen Arviointimallia kehittäneen projektin johtaja

Sisältö 1 JOHDANTO... 7 2 KOULUTUKSEN TULOKSELLISUUDEN ARVIOINNIN TAUSTAA... 11 2.1 Painopiste koulutuksen laadun arvioinnissa... 11 2.2 Arvioinnin erilaisia lähestymistapoja... 12 2.3 Arvioinnin toteuttamismuotoja... 14 2.4 Arvioinnin lajeja... 16 2.5 Koulutuksen tuloksellisuuden arviointia kansainvälisessä yhteistyössä... 17 3 KANSALLINEN KOULUTUKSEN TULOKSELLISUUDEN ARVIOINTI... 19 3.1 Koulutuksen tuloksellisuuden keskeiset käsitteet... 19 3.2 Tuloksellisuuden arvioinnin periaatteet... 21 3.3 Arviointiprosessin yleinen kuvaus... 22 3.4 Arvioinnin kohteet, indikaattorit ja kriteerit... 24 3.5 Tehokkuuden arvioinnin kohteet... 28 3.5.1 Koulutustarjonta... 29 3.5.2 Koulutuksen ajankohtaisuus ja reagointikyky... 29 3.5.3 Pedagogiset järjestelyt, opetuksen laatu ja yhteistyötahot... 29 3.5.4 Koulutuspituudet... 31 3.5.5 Keskeyttäminen/koulutuksen läpäisy... 32 3.5.6 Moninkertainen koulutus ja hyväksilukeminen... 32 3.5.7 Henkilöstö... 32 3.5.8 Tilat ja laitteet... 32 3.5.9 Säädökset ja sopimukset... 33 3.5.10 Oppilaitoksen johtamiskulttuuri... 33 3.6 Vaikuttavuuden arvioinnin kohteet... 33 3.6.1 Koulutustarpeen, tutkintojen ja koulutuksen tavoitteiden vastaavuus... 35 3.6.2 Oppimistulosten ja opetuksen tavoitteiden vastaavuus... 37 3.6.3 Oppimaan oppimisvalmiudet... 38 3.6.4 Kommunikaatiovalmiudet... 38 3.6.5 Motivaatio elinikäiseen oppimiseen... 39 3.7 Taloudellisuuden arvioinnin kohteet... 40 4 TULOKSELLISUUSTIEDON TUOTTAMINEN... 45 4.1 Valmiit arviointiaineistot... 46 4.1.1 Tilastot, koulutusindikaattorit ja OPTI... 46 4.1.2 Asiantuntija-arviot ja -lausunnot... 46 4.1.3 Tutkimustieto... 46 4.1.4 Taloudelliset analyysit... 46 4.1.5 Ylioppilastutkinto-, päättökoe- ja näyttökoeaineistot... 46 4.1.6 Koepankki... 47

4.2 Kyselyaineistot arvioinnin tiedonhankinnassa... 47 4.3 Arviointiaineistojen analysointi ja johtopäätösten raportointi... 49 4.4 Arvioinnin luotettavuus... 50 5 OPETUSHALLITUKSEN ARVIOINTITOIMINNAN PIIRIIN KUULUVAT OPPILAITOKSET... 51 6 KANSALLINEN OPETUSTOIMEN ARVIOINTIJÄRJESTELMÄ... 53 6.1 Kansalliset koulutusindikaattorit... 55 6.2 Oppimistulosten arviointijärjestelmä... 55 6.2.1 Arvioinnit peruskoulussa... 57 6.2.2 Arvioinnit lukiossa... 58 6.2.3 Arvioinnit ammatillisessa koulutuksessa... 58 6.3 Arviointihankkeet... 60 7 VIRIKKEITÄ OPPILAITOKSEN ITSEARVIOINNIN TOTEUTTAMISEEN... 61 7.1 Tehokkuuden arviointi... 62 7.1.1 Tehokkuuden arviointi peruskoulussa ja lukiossa... 62 7.1.2 Tehokkuuden arviointi nuorten ja aikuisten ammatillisessa koulutuksessa... 64 7.2 Vaikuttavuuden arviointi... 66 7.2.1 Vaikuttavuuden arviointi peruskoulussa ja lukiossa... 66 7.2.2 Vaikuttavuuden arviointi nuorten ja aikuisten ammatillisessa koulutuksessa... 67 7.3 Taloudellisuuden arviointi... 67 LÄHTEET... 68 LIITE Aineiston keruu kysely- ja haastattelututkimuksessa... 70 6

Opetushallituksessa asetettiin vuoden 1994 alussa Opetustoimen tuloksellisuuden arvioinnin metodisen kehittämisen projekti (ARMI-projekti). Sen tehtäväksi annettiin opetustoimen arviointistrategian ja painoalueiden, indikaattorikuvausten ja arviointikriteeristön sekä tietotarvekuvauksen tuottaminen. Keväällä 1994 opetushallituksen johtokunta vahvisti opetustoimen tuloksellisuuden arvioinnin strategiset linjaukset ja painoalueet vuosille 1994 ja 1995. Tammikuussa 1997 opetusministeriö julkaisi raportin Koulutuksen arviointistrategia. Tämä raportti kuvaa Opetustoimen tuloksellisuuden arvioinnin metodisen kehittämisen projektin työn tuloksia keväältä 1998. Raportissa käsitellään koulutuksen tuloksellisuuden arvioinnin yleistä merkitystä ja projektin linjauksia opetushallituksessa toteutettavan koulutuksen tuloksellisuuden arvioinnista. Tämä raportti noudattaa pitkälle vuonna 1995 julkaistun raportin rakennetta ja sisältöä. 1 Johdanto Julkisessa hallinnossa toiminnan perustana olevat arvot heijastuvat säädöksissä ja normeissa. Arvioinnissa näillä lähtökohdilla on keskeinen merkitys. Nykyinen hallintokulttuuri edellyttää aktiivisuutta arviointimenetelmien kehittämisessä. Opetustoimella on hoidettavanaan tiettyjä tehtäviä ja julkisia varoja niiden hoitamiseen. Sekä poliittiset päättäjät että kansalaiset ovat kiinnostuneita siitä, mitä koulutukseen ohjatuilla varoilla saadaan aikaan. Julkisessa hallinnossa toteutettu hajauttaminen ja keskitetyn ohjausjärjestelmän purkaminen ovat muuttaneet erityisesti julkisten hyvinvointipalvelujen tuotannon säätelyjärjestelmiä. Opetustoimessa siirtyminen normiohjauksesta informaatio-ohjaukseen on lisännyt nimenomaan arviointitiedon tarvetta. Poliittishallinnollista päätöksentekoa varten tarvitaan entistä enemmän tietoa koulutuksen tuloksellisuudesta, koska oppilaitokset ja kunnat voivat vapaammin painottaa opetuksen sisältöjä ja valita omia opetuksen toteutustapoja. Koulutuksen tuloksellisuuden arvioinnin keskeisenä tehtävänä on ajantasaisen ja valtakunnallisesti tarpeellisen arviointitiedon tuottaminen kaikilla tasoilla tapahtuvaa koulutuksen kehittämistä varten. Tuloksellisuuden arvioinnissa ei enää riitä pelkästään tieto oppimistuloksista, vaan tarvitaan myös ajankohtaista tietoa oppilaitoksista oppimisympä- 7

1. JOHDANTO ristönä sekä osana koulutusjärjestelmää ja ympäröivää yhteiskuntaa. Oppilaitoksen tarkastelu taloudellisena yksikkönä on tärkeää taloudellisen ohjauksen vuoksi. Arvioinnilla tarkoitetaan yleensä tarkasteltavan kohteen tai toiminnan tulkinnallista analyysiä ja toiminnan tuottaman hyödyn tai arvon määrittämistä. Arviointi voi koskea kaikkea inhimillistä toimintaa, yksilöstä organisaatioihin. Arvioinnille on ominaista pyrkimys mahdollisimman luotettavaan lopputulokseen käytettävissä olevan tiedon ja arviointityötä tekevien asiantuntemuksen perusteella. Analyysiä tehtäessä esitetään arviointityön lähtökohdat, käytettävissä olevat tiedot ja käytetyt menetelmät. Arvioivat johtopäätökset nojaavat määrällisiin ja laadullisiin kriteereihin. Nämä kriteerit muodostavat perustan toiminnan tilan tai tason, heikkouksien ja vahvuuksien sekä etujen ja haittojen arvioinnille. Työssä korostuvat arvioijan arviointikohteen tuntemus, arvioijan etiikka sekä laaja tieto ja ymmärrys koulutuksen yhteiskunnallisten ja inhimillisten vaikutusten luonteesta. Arvioinnin päämääränä on tuottaa toiminnan kehittämistä palvelevaa tietoa. Arviointi-termi on kielessämme monimerkityksinen. Arkikielessä arvioimme silloin, kun emme täsmällisesti tiedä, vaan joudumme esittämään summittaisen käsityksen. Nykyisin hallinnon piirissä ja julkisessa keskustelussa arviointi-käsitettä käytetään suorituksen tason määrittelyn, mittaamisen tai palautetiedon hankinnan merkityksissä. Tätä arviointi-termin käyttöä vastaa ruotsin kielen termi bedömning ja englannin assessment. Hallinnon tutkimuksen ja hallinnollisen ohjauksen piirissä arvioinnilla on myös merkitys, joka tarkoittaa arvottavaa tulkinnallista analyysiä. Ruotsin kielen termi on tällöin utvärdering ja englannin kielen termi evaluation. Perimmäisenä tarkoituksena tällöin evaluaatiossa eli arvioinnissa on analysoida toiminnan arvoa, hyötyä ja haittoja, heikkouksia ja vahvuuksia. Evaluaatio- eli arviointikulttuuri on meillä ollut vaatimatonta. Opetushallinnossa arviointitoiminnan historiallinen tausta voidaan löytää kansakouluntarkastajien työstä, joka oli säädösten noudattamisen valvonnan ohella paljolti ohjaavaa, neuvovaa ja kehittämisehdotuksia tekevää. Vuodesta 1970 lähtien lääninhallitusten kouluosastot ovat hoitaneet tarkastustoiminnan, jota myöhemmin on kutsuttu ohjaus- ja seurantatoiminnaksi. Lääninhallitusten ohjaus- ja seurantatyö laajeni 1980- luvulla ammatilliseen koulutukseen, ja sitä on tehty keskushallinnon johdolla. Monilla hallinnon aloilla johtamista tukeva evaluaatiotoiminta aktivoitui 1970-luvun hallinnon kehittämistoimissa. Opetushallinnossa koulukohtaisen joko puhtaan itsearvioinnin tai konsulttien käyttöön perustuvan koulun toiminnan arvioinnin (evaluaation) tulo suomalaiseen kouluelämään alkoi laajemmin 1980-luvulla. Tällöin koulujen sisäisen toiminnan kehittäminen (esim. school improvement -liike) sai jalansijaa 8

oppilaitoksissa. Erilaisten kehittämis- ja konsultointihankkeiden pohjaksi laadittiin selvityksiä koulun heikkouksista ja vahvuuksista. Vastaavaa arviointia ja kehittämiskulttuuria oli muillakin hallinnonaloilla. (Jakku-Sihvonen 1997.) Heikkouksien ja vahvuuksien analyysiin perustuvan koulukohtaisen arvioinnin kanssa osittain rinnan tuli opetustoimeenkin tulosjohtaminen. Se suuntasi mielenkiintoa toiminnan tuloksiin, joiden saavuttamisen olosuhteita analysoitaessa monelle tuli tutuksi SWOT-analyysi. Todelliset tuloksen tekijät päästettiin itse arvioimaan sitä, mikä on paras tapa saada aikaan tuloksia. Tulosten saavuttamisen ohella analysoitiin tarkkaan resursseja, sekä henkisiä että aineellisia. Taloudellinen lama ja säästäminen jähmettivät kuitenkin monet kehityshakuiset kunnat ja oppilaitokset perin markkavetoiseen resurssien ja toimintamallien analyysiin. Juuri laman kynnyksellä laatujohtaminen tavoitti suomalaisenkin opetustoimen. Tässä laatujohtamisessa arviointia kohdennetaan keskeisesti prosesseihin ja asiakastyytyväisyyteen kehittämistoimien perustaksi. Kouluväelle on tuttua se, että toiminnan laatu on olennaisen tärkeää haluttaessa vaikuttaa siihen, miten opitaan ja millaisia tuloksia saavutetaan. Termit laadunvarmennus, laatujärjestelmät ja laatukäsikirjat ovat tulleet tutuiksi myös opetustoimessa. Laatuajattelu on virittänyt oppilaitosten itsearviointitoimintaa ja luonut otollista maaperää asiakastyytyväisyyden analyyseille ja laajemminkin arviointikulttuurille opetustoimen piirissä. (Jakku-Sihvonen 1997.) Tässä julkaisussa esitetään opetushallinnossa määritelty käsitteistö, joka auttaa jäsentämään johtamistavasta riippumatonta arviointia. Keskeiseksi termiksi toiminnan arvioinnissa on otettu käsite tuloksellisuus. Tuloksellisuuden arvioinnin lähtökohta on toiminnalle asetettujen tavoitteiden saavuttamisen arviointi. Jotta tuloksellisuuden arviointi olisi mahdollista, on tuotettava sekä laadullista että määrällistä tietoa. Tietoa tarvitaan toiminnan tehokkuudesta, taloudellisuudesta ja vaikuttavuudesta. 1.1.1999 voimaan astuvissa uusissa koulutusta koskevissa lainsäädännöissä (esimerkiksi perusopetuslaki 5 luku 21 ) on määritelty koulutuksen arviointi seuraavasti 1 : Koulutuksen arvioinnin tarkoituksena on turvata tämän lain tarkoituksen toteuttamista ja tukea koulutuksen kehittämistä ja parantaa oppimisen edellytyksiä. Opetuksen järjestäjän tulee arvioida antamaansa koulutusta ja sen vaikuttavuutta sekä osallistua 3 momentin mukaiseen ulkopuoliseen toimintansa arviointiin. Opetushallitus huolehtii asianomaisen ministeriön päättämien perusteiden mukaisesti arvioinnin kehittämisestä ja ulkopuolisten arviointien toimeenpanosta. Ministeriö voi antaa yksittäisen arvioinnin suorittamisen myös muun kuin Opetushallituksen tehtäväksi. Arvioinnin keskeiset tulokset tulee julkistaa. 1 Arviointi määritellään vastaavasti myös muuta koulutusta koskevissa lainsäädännöissä. 9

1. JOHDANTO Sivistysvaliokunnan mietinnön (3/1998 vp HE 86/1997 vp) mukaan Arvioinnilla tuetaan koulutuksen jatkuvaa kehittämistä yhä paremmin oppimista edistäväksi ja kussakin laissa asetettujen opetus- ja oppimistavoitteiden toteutumista. Valiokunta painottaa, että arvioinnilla on myös tärkeä yhteiskuntapoliittinen tehtävä edistää tasa-arvon toteutumista suomalaisessa koulutusjärjestelmässä. Arviointia kehitettäessä on pyritty tarkastelemaan mahdollisimman laajasti opetustoimen kokonaisuutta ja määrittelemään keskeiset toiminnan reunaehdot, käsitteet, ulottuvuudet, arvioinnin kohteet ja vasta sitten ilmiötä kuvaavat indikaattorit. Opetushallituksessa tehtävä arviointi on ensisijaisesti koulutuksen tuloksellisuuden arviointia, jonka tarkoitus on palvella lähinnä valtakunnallista koulutuspoliittista päätöksentekoa ja koulutuksen kehittämistä kansallisella, paikallisella ja oppilaitostasolla. Työssä hyödynnetään korkeakoulujen ja tutkimuslaitosten koulutukseen kohdistuvien arviointitutkimusten tuloksia. Tärkeätä on, että myös emansipatorinen arviointitieto otetaan huomioon arvioinnin johtopäätöksiä tehtäessä. Opetustoimi edustaa useita eri koulu- ja oppilaitosmuotoja, ja eri toimintakulttuurien termistö on vaihtelevaa. Yhteisöä, jossa opiskellaan, kutsutaan joko kouluksi, oppilaitokseksi tai organisaatioksi ja yhteisössä opiskelevaa kutsutaan joko koululaiseksi, opiskelijaksi tai oppilaaksi. Tässä julkaisussa käytämme enimmäkseen termejä oppilaitos, oppilas ja opiskelija. 10

2 Koulutuksen tuloksellisuuden arvioinnin taustaa Valtion ja kuntien välinen tehtäväjako on muuttunut ajoista, jolloin valtio määritteli kuntien toiminnan normatiiviset puitteet lainsäädännöllä ja muilla normistoilla. Tämän 1980-luvulla alkaneen muutosprosessin taustalla on ollut pyrkimys kunnallisen itsehallinnon vahvistamiseen. Vaikka kunnille on jo Suomen hallitusmuodossa taattu varsin itsenäinen asema, kunnallisen itsehallinnon tosiasiallinen laajuus riippuu muusta lainsäädännöstä. Opetustoimen ohjausjärjestelmien kehittäminen on viime vuosina perustunut pitkälti erilaisiin hallintoa ja päätösvaltaa hajauttaviin eli desentralisoiviin toimenpiteisiin. Suomessa toteutetut opetushallinnon hajauttamistoimet ovat tähdänneet lähinnä vertikaaliseen desentralisaatioon, jossa päätösvaltaa siirretään keskushallinnosta paikalliselle tasolle. Sekä säännös- että resurssiohjausta on kehitetty. Toiminnan järjestämistä koskevaa sääntelyä purkamalla, hallintopäätösten määrää vähentämällä ja erillisiä rahoitusjärjestelmiä yhteen kokoamalla oppilaitokset ja niiden ylläpitäjät voivat nyt entistä itsenäisemmin päättää toiminnastaan ja erityisesti taloudellisten resurssien jaosta. Opetushallinnon uudistuksen lähtökohtana on ollut se, ettei kansalaisten yhdenvertaisuuden edellyttämää julkisten koulutuspalvelujen korkeaa laatua voida saavuttaa tiukalla yhdenmukaisuudella, yksityiskohtaisella sääntelyllä ja valtionvalvonnalla, vaan pikemmin toimintaedellytyksiä parantamalla. Nykyjärjestelmässä arvioidaan koulutuksen tavoitteiden saavuttamista laajassa verkostoyhteistyössä. Muuttuneessa ohjausjärjestelmässä arvioinnin rooli koulutuksen laadun varmistamisessa korostuu. 2.1 Painopiste koulutuksen laadun arvioinnissa Käsitys koulutusinstituutioista palvelujen tarjoajina on yleistynyt viime aikoina. Yleisesti ollaan sitä mieltä, että koulutuksen tarjoajan tai laajemmin koko koulutusjärjestelmän hyvyys riippuu koulutuksen kyvystä tukea oppilaiden persoonallisuuden kehitystä ja sivistyspyrkimyksiä sekä valmistaa opiskelijoita yhteiskuntaan ja työelämään. Koulutuksen yhteiskunnallisen merkityksen vuoksi koulutuspalvelujen tuottajat kehittävät keinoja tarjoamansa koulutuksen eri ominaisuuksien parantamiseksi. Koulutuksen laatua on pitkään lähestytty kapeasti, sillä on uskottu, että se voidaan tavoittaa mittaamisen keinoin. Koulutuksen laatua on tarkasteltu lähinnä kognitiivisten tiedon tason, syvyyden, tieteellisen validiteetin ja taitojen siirtovaikutuksen (transfer) näkökulmista. Viimeisten neljän vuosikymmenen aikana koulutuksen laadun tarkastelunäkö- 11

2. KOULUTUKSEN TULOKSELLISUUDEN ARVIOINNIN TAUSTAA kulmia ovat olleet didaktinen, (makro)ekonominen, sosiaalinen ja sosiologinen asiakas- ja hallinnollinen näkökulma. Tällä hetkellä korostuu koulutuspalvelujen tarjoajan kokonaistehokkuus. Huomiota kiinnitetään spesifien tuotosten ominaisuuksien sijasta koko organisaation kykyyn tuottaa korkealaatuisia hyödykkeitä ja palveluja. Kiinnostus koulutuksen laatua kohtaan ei ole irrallinen ja väliaikainen ilmiö, vaan osa laajempia makrotaloudellisia trendejä. Koulutuksen laadun arvioinnissa on käytännössä pitkälti kyse koulutuksen tuloksellisuudesta. Painopisteenä on tällöin nimenomaan prosessien hallinnan ja tarkoituksenmukaisuuden eli tehokkuuden arviointi. Kun taas tuloksellisuudessa polttopisteessä on kokonaisuus ja ennen muuta toiminnalla aikaansaadut vaikutukset. Koulutuksen laadun määrittelyä hankaloittavat koulutuksen tuottamisen monimuotoisuus ja asiakasryhmien (opiskelijat, työnantajat, yhteiskunta laajemmassa mielessä, jne.) erilaisuus sekä heidän ristikkäiset odotuksensa koulutusta kohtaan. Laadun määrittelyongelmaa voi lähestyä ottamalla huomioon samanaikaisesti kaksi eri dimensiota: 1) Koulutusjärjestelmän taso, jonka laadusta on kyse (koulutuspolitiikan tasolta, oppilaitoksen ja opettamisen tasoilta aina yksilön oppimisen tasolle asti). Kyse on kansallisesti koulutusjärjestelmän paremmuuden vertaamisesta ja oppilaitostasolla oppimissaavutuksien vertaamisesta vastaavien oppilaitoksien saavutuksiin. 2) Suunnittelun laatua verrataan toteutuksen laatuun. Laatu on dynaaminen käsite. Palveluympäristö muuttuu jatkuvasti ja asiakkaiden odotukset kasvavat kaiken aikaa erityisesti tarjonnan lisääntymisen vaikutuksesta. Siksi laatua tarkasteltaessa on otettava huomioon, että näkökulma laatuun on suhteellinen, ei absoluuttinen. Laatua määritellään ottamalla samanaikaisesti huomioon eri ulottuvuuksia, ja määrittely tapahtuu ensisijaisesti asiakkaan, ei palvelun tarjoajan näkökulmasta. Tuotoksen sijaan korostetaan itse palvelun tuottamisen laatua. 2.2 Arvioinnin erilaisia lähestymistapoja 12 Arviointi perustuu aina joihinkin arvoihin ja tarkoituksiin. Humanismia korostavassa arvioinnissa painotetaan yksilön oikeutta itse arvioida omaa kehitystään ja antaa ulkopuoliselle toiminnalle merkityksiä. Ihmistä pidetään tällöin päämäärätietoisena, aktiivisena, itseään ohjaavana, toteuttavana ja elämäänsä vaikuttavana yksilönä, joka jalostaa itsessään olevia kykyjä ja taipumuksia. Tätä positiivista, yksilökeskeistä näkökulmaa muistuttaa hermeneuttinen tarkastelutapa, jossa korostuu toiminnan tarkoituksen ymmärtäminen. Emansipatorisella arvioinnilla pyritään tavoitteiden ja toiminnan kriittiseen tarkasteluun ja jopa kyseenalaistamiseen sekä saamaan ai-

kaan muutoksia arvioitavassa toiminnassa. Tämä arviointiote tukeutuu usein huomattavasti arviointitutkimukseen. Arvioijalla on vapaus määrittää omista lähtökohdistaan tutkimuksensa tavoitteet, menetelmät ja kriteerit, joita arvioinnissa käyttää. Taloudellisuutta painottavan arvioinnin tavoitteena on resurssien käytön tehostaminen tai koulutusresurssien minimointi. Taloudellisuutta korostettaessa pyritään niukkojen resurssien mahdollisimman hyvin kohdennettuun käyttöön. Yksipuolista talousnäkökulmaa on käytetty saneeraustoimenpiteiden perustana. Tähän lähestymistapaan liittyy yksipuolisesti tuloksia korostava arviointi, jonka kohteena voivat olla joko koulutuksen aikana saadun lisäarvon määrittely tai koulutuksen jälkeisen hyödyn arviointi. Tässä lähestymistavassa korostuu toiminnan tekninen rationaliteetti. Koulutuksen tuloksellisuuden arvioinnin keskeisenä tehtävänä on tuottaa monipuolista ja luotettavaa tietoa koulutukselle asetettujen tavoitteiden saavuttamisesta koulutusjärjestelmän kaikilla tasoilla. Valinta yksilö- ja yhteiskuntatason kesken merkitsee samalla myös valintaa kahden arviointinäkökulman, utilitaristisen ja pluralistisen näkökulman kesken. Niiden pohjalta voidaan antaa erilaiset vastaukset kysymyksiin arvioinnin funktiosta ja siitä, minkä perusteella arvioivat johtopäätökset tehdään. Utilitaristinen käytäntö arvioinnissa korostaa koulutuksen yhteiskunnallisen arvon ja hyödyn määrittämisen merkitystä. Tähän perustuva koulutuksen tuloksellisuuden arviointi on viranomaistoiminnan kannalta ensisijaisessa asemassa. Utilitaristisessa mallissa arvioinnin lähtökohtana on yksimielisyys tavoitteista, joista kriteerit johdetaan. Pluralistinen arviointi taas ottaa huomioon eri osapuolten tulkinnat tavoitteista. Arvioijan asema on joko kuvailevan arvioiva tai normeja antavan arvioiva. Kriteeriperustaisessa arvioinnissa toiminnan laatua ja tuloksia verrataan yhdessä sovittuihin kriteereihin. Arviointikriteerien määrittely edellyttää demokraattista päätöksentekoa koulutuksen kansallisista tavoitteista ja yksimielisyyttä kriteerien tulkinnasta. Nojatessaan eksplisiittisesti määriteltyihin kriteereihin koulutuksen tuloksellisuutta arvioivat johtopäätökset tuottavat tärkeää tietoa kaikilla koulutusjärjestelmän tasoilla tapahtuvan päätöksenteon ja kehittämistyön tueksi. Ensisijaisesti koulutuksen tavoitetilaa koskevat säädökset ja normit muodostavat arvioinnin kriteeriperustan. Kriteereitä voivat olla myös esimerkiksi määritellyt ammattitaitovaatimukset ja tutkinnon suorittaneiden työelämään sijoittuminen. Suhteellinen arviointi on hyvin tavallista ja käyttökelpoista. Koulutuksen alueella useimmiten esimerkiksi erilaiset tyytyväisyysarvioinnit perustuvat suhteelliseen arviointiin. Suhteellisessa arvioinnissa yleensä arvioinnit suhteutetaan keskenään käsittelyvaiheessa tai arvioija suhteuttaa oman arvionsa joko omaan aiempaan kokemukseensa tai näkemykseensä tai niihin aiempiin arviointeihin, joita hänen käytettävissään on. 13

2. KOULUTUKSEN TULOKSELLISUUDEN ARVIOINNIN TAUSTAA OECD-indikaattorivertailut ovat suhteellisia, samoin koulujen vertailu toisiin. Tyypillisimpiä suhteellisen arvioinnin sovelluksia on gaussin käyrä, jonka perusteella esimerkiksi mielipiteiden jakaumaa tai arviointien numeerisia arvoja voidaan käsitellä. Oppilasarviointeihin sovelletaan gaussin käyrää tai sen erilaisia muunnoksia joko tarkoituksellisesti tai tahattomasti hyvin paljon. Suomalainen ylioppilastutkinnon arviointi on soveltanut suhteellisen arvioinnin periaatetta pitkään siten, että hyväksytyksi tulemisen raja on määritelty ja sen jälkeen suoritukset arvioidaan paremmuusjärjestyksessä suhteellista asteikkoa käyttäen. 2.3 Arvioinnin toteuttamismuotoja 14 Ulkoisella arvioinnilla yleensä tarkoitetaan sitä, että arvioija on arvioitavan toiminnan ja/tai arvioitavan organisaation ulkopuolelta. Ulkoinen arviointi voi olla joko toiminnasta ja organisaatiosta täysin riippumatonta (indepedent) arviointia, jolloin arvioijalla tulee olla täydellinen riippumattomuus. Käytännössä tällainen arviointi opetustoimen osalta edellyttää sitä, että arvioija on taloudellisesti ja hallinnollisesti riippumaton eli on joko toiselta hallinnonalalta tai ulkomainen arvioija. Ulkoista arviointia voi toteuttaa myös saman hallinnonalan edustaja, jos hän ei osallistu kyseisen toiminnan johtamiseen eikä vastaa toiminnasta. Arvioijalta edellytetään kuitenkin toimivaltaa arvioinnissa. Tällöin kyseessä on toimialan sisäinen, ulkopuolisen suorittama arviointi. Ulkoisessa arvioinnissa arvioinnin tarkoitus on määritelty oppilaitoksen ulkopuolelta. Koulutusjärjestelmässä ulkoinen arviointi toteutetaan siten, että toiminnan tavoitteiden saavuttamista arvioidaan ennalta määriteltyjen kriteerien pohjalta. Tarkoituksena on tuottaa tietoa oppilaitosten tilasta kunnallista, alueellista tai valtakunnallista koulutuksen kehittämistä koskevaa päätöksentekoa varten. Ulkoisen arvioinnin tietoja tarvitaan sekä kansallista kehittämistä että kansainvälistä vertailua varten. Arviointitietoja voidaan käyttää myös tulosrahoituksen ja koulutuksen laadusta palkitsemisen perustaksi. Ulkomaisten arvioijien käyttö kansallisen koulutuspolitiikan arvioinnissa yleistyy. Opetushallitus vastaa kansallisesti arviointitiedon tuottamisesta poliittista päätöksentekoa ja kansainvälisiä vertailuja varten. Opetushallitus on oppilaitoksiin ja kuntiin päin ulkopuolinen arvioija. Itsearvioinnille on ominaista se, että päätökset siitä, miten ja millaisella aikataululla arviointia tehdään, joskus jopa se, mihin arviointi kohdistetaan, jää organisaation itsensä ratkaistavaksi. Tässä mielessä itsearviointi on ongelmallista: tekijä itse tuottaa arviointitietoa siten kuin se parhaaksi näkee. Itsearviointien keskeisimmät tiedot julkistetaan yleensä myös ulkopuolisille tarkoitetuissa raporteissa. Puhtaasti omaehtoisen

itsearvioinnin tulokset jäävät sen sijaan useimmiten organisaation omaan käyttöön. Eroja itsearvioinneissa on myös siinä, miten ulkopuolista asiantuntijaa (konsulttia) käytetään: useimmiten toiminnan kehittämiseksi tehtävä omaehtoinen itsearviointi on konsulttivetoista ja keskittyy nimenomaan johtamisjärjestelmän kehittämiseen. Oppilaitos voi arvioida omaa toimintaansa, tavoitteitaan, toimintaedellytyksiään tai toiminnan tuloksia siten, että kouluyhteisö tai sen yksittäinen jäsen voi olla arvioinnin suorittajana. Arviointiprosessi voi koskea koko kouluorganisaation toimivuutta, toimintaympäristöä, opetusta tai oppimista. Itsearviointi on nimenomaan tietoisuutta syventävää arviointia, jossa yksilö on omaa tai työyhteisönsä toimintaa arvioiva subjekti. Tällöin omaan toimintaan yhdistyy kriittinen ajattelu ja ymmärtäminen. Vertaisarviointi voi olla organisaatioiden kesken tehtävää arviointia, jolle on ominaista selkeiden arvioitavien kohteiden sopiminen ja yleensä vastavuoroisuus. Arvioinnille on luonteenomaista mahdollisimman hyvin toisiinsa verrattavien oppilaitosten tai alan asiantuntijoiden yhteistoiminta. Eräs vertaisarvioinnin tyyli on ns. benchmarking-arviointi (= vertailukehittäminen). Siinä oppilaitokset keräävät kokemuksia hyviin tuloksiin yltäneistä oppilaitoksista ja hyödyntävät hankkimiaan kokemuksia oman toimintansa kehittämisessä. Auditointi on systemaattista tutkintaa, jonka tarkoituksena on selvittää, miten hyvin toimintatavat vastaavat organisaation itse itselleen määrittelemiä tavoitteita (sisältää yleensä laatujärjestelmän toimivuuden systemaattisen arvioinnin). Auditoinnin suorittaa yleensä valtuutettu arvioija. Valtuutus on yksinkertaisimmillaan oppilaitosten oma pyyntö sopivaksi katsomalleen auditoijalle. Auditoinnissa ulkopuolinen taho tarkistaa useimmiten arviointi-/laatu-/johtamisjärjestelmän toimivuuden. Auditointi toimii tällöin systemaattisen laadun varmistamisen tukena. Auditoinnin tuloksena organisaatio saa monipuolisen arviointiin perustuvan järjestelmällisen näkemyksen omasta toiminnastaan ja tavastaan tuottaa palvelua. Organisaatio voi käyttää arvioinnin tulosta oman toimintansa laadun jatkuvaan parantamiseen ja voi osoittaa organisaationsa toimivuuden ulkopuolisille palvelujen ostajille. Sertifiointi on riippumattoman arvioijan antama todistus toiminnan laadusta. Sertifioinnin suorittaa valtuutettu (akkreditoitu) sertifioija. Sopimukset, joihin sertifiointioikeutus perustuu, vaihtelevat maittain ja aloittain. Monitoring on seuranta/tarkastus, jonka aikana arvioidaan, miten hyvin toiminta vastaa tavoitteita. Monitoroinnin voi tehdä kuka tahansa oppilaitoksen pyynnöstä ja millaisella menetelmällä tahansa. Oppilaitoksen arvioinnissa voidaan käyttää hyväksi muilla tasoilla suoritettujen arviointien tuloksia, esimerkiksi vertailutietona valtakunnallisia ja alueellisia tietoja. Itsearviointi voi myös tuottaa tietoa muiden tasojen (kunta, alue, valtakunta) arviointitarpeisiin. 15

2. KOULUTUKSEN TULOKSELLISUUDEN ARVIOINNIN TAUSTAA 2.4 Arvioinnin lajeja Hallinnoissa tehtävät reformiarvioinnit ovat usein kertaluonteisia hankkeita ja niiden toteuttaminen vaatii todella suurta riippumattomuutta ja kriittisyyttä. Arvioinnin kohteena on selkeä hallinnossa toimeenpantu uudistus. Kehittämistavoitteinen arviointi on tyypillisimmin vertailevaa arviointia, tila-arviointia tai temaattista arviointia. Koulutuksen tuloksellisuuden arvioinnissa keskitytään kansalliseen ja kansainväliseen vertailevaan arviointiin, koulutuksen tilaa koskevaan koulutusala- ja oppilaitosmuotokohtaiseen arviointiin sekä temaattiseen arviointiin. Vertailevassa arvioinnissa keskeisiä opetustoimen tuloksia verrataan kansallisiin ja kansainvälisiin tietoihin, tapahtuneisiin muutoksiin tai asetettuihin tavoitteisiin. Tyypillistä vertailevaa arviointia on esimerkiksi teknisen alan työllistymisessä kolmen viimeisen vuoden aikana tapahtuneiden alueellisten muutosten tai ylioppilaiden jatkokoulutukseen sijoittumisessa tapahtuneiden alueellisten muutosten arviointi. Vertaileva arviointi voi kohdistua myös esimerkiksi oppilaitoksen lähiajan kehitykseen ja asetettujen tavoitteiden saavuttamiseen. Koulutuksen tilaa koskevissa arvioinneissa keskitytään johonkin oppilaitosmuotoon tai koulutusalaan kokonaisuutena tai koko koulutusjärjestelmän tilaan. Tarkoituksena on selvittää mahdollisimman laajasti tarkasteltavana olevan oppilaitosmuodon toimintaa, oppimistuloksia sekä sitä, miten hyvin ne tyydyttävät koulutustarvetta, toteuttavat koulutustehtäväänsä ja millainen on niiden koulutuksellinen ja yhteiskunnallinen merkitys. Lukion kokonaisarviointi on esimerkki koulutuksen tilan arvioinnista. Temaattiset arvioinnit kohdistuvat johonkin tai joihinkin tuloksellisuuden ulottuvuuksiin tai tiettyyn tematiikkaan, joka on koulutuksessa esillä. Tällaisia arviointeja ovat mm. kansainvälistymisen edistyminen, koulutuksen rahoitusjärjestelmän toimivuus tai jonkin oppiaineen opetuksen tilannearvio. Kehittävässä arvioinnissa on rajan veto arvioinnin lajien ja tarkoitusperien osalta usein veteen piirretty viiva. Viime vuosina on koulutuksen alueella entistä enemmän alettu arvioida koulutusohjelmia. Useimmat arvioinnit on toteutettu siten, että niissä käytetään hyväksi paitsi perinteistä sisällön arviointia, myös entistä enemmän asiakastyytyväisyyteen ja koulutuksen työelämäyhteyksiin ja työhön sijoittumiseen liittyviä aineistoja. Käytännössä arvioinnit saattavat palvella montakin tarkoitusta samaan aikaan. Esimerkiksi paikallistason tai oppilaitostason itsearvioinneissa hyödynnetään eri arviointilajeja rinnakkain. 16

2.5 Koulutuksen tuloksellisuuden arviointia kansainvälisessä yhteistyössä Koulutuksen ja koulutusjärjestelmien kansainväliseen arviointiin sekä käytettävien käsitteiden ja menetelmien kehittämiseen on viime vuosina merkittävästi vaikuttanut OECD, jonka keskeisenä tavoitteena on arviointitiedon tuottaminen jäsenmaiden koulutuspoliittista päätöksentekoa varten. OECD korostaa keskeisenä haasteenaan olevan mahdollisimman objektiivisen ja vertailtavan tiedon tuottaminen eri maiden koulutusjärjestelmistä ja koulutuksen tuloksista. OECD:n lähestymistapa perustuu pitkälle panos-tuotosmallin mukaiseen ajatteluun. Mallin pohjalta on laadittu indikaattoreita, joiden avulla voidaan arvioida koulutuksen asemaa ja merkitystä sekä tehdä kansainvälisiä vertailuja (Centre for Educational Research and Innovation, 1995). Pyrkimyksenä on parantaa OECD-maiden koulutuksen laatua, tehokkuutta ja tasa-arvoisuutta. Koulutusindikaattorit voivat paljastaa koulutusjärjestelmän suurimpia vahvuuksia ja heikkouksia koulutuspolitiikan suunnittelun tueksi. Indikaattorit ovat tavallisesti tilastollisia tunnuslukuja tai niiden johdannaisia, joita käytetään suunnittelun, seurannan ja kehittämisen tarkoituksiin. Indikaattorien tehtävänä on ilmaista jotakin olennaista koulutusjärjestelmän tai sen jonkin osan tilasta, toiminnoista tai tuloksista. Vasta käyttökelpoisuus, koulutuspoliittinen merkittävyys, tekee tilastollisista kuvaimista indikaattoreita. Toisaalta juuri käyttötarkoitus sanelee, millaista empiiristä tietoa pyritään hankkimaan, jotta voidaan tarkastella seuraavia asioita: 1. eroja ja yhdenmukaisuuksia (esim. vertailla kustannuksia tai oppimistuloksia) 2. profiileja (koulujen homogeenisuutta, oppimistulosten jakautumista) ja 3. yhteyksiä (aikasarjoja, korrelaatioita, regressioita). OECD:n indikaattorien kehittämisessä on hyödynnetty kansainvälisen koulusaavutuksia arvioivan järjestön IEA:n (International Association for Evaluation of Educational Achievement) tuottamia koulusaavutusaineistoja. Järjestöjen toiminnat täydentävät toisiaan, esimerkiksi IEA:n tutkimuksellisemmasta lähestymistavasta voidaan saada laajempaa ja syvällisempää tietoa koulutus- ja opetuskulttuurista, opetuksesta ja oppimisesta, jota ei aina saavuteta OECD:n helpoiten mitattavissa olevilla indikaattoreilla. Toisaalta etenkin pienen maan kannattaa jakaa arviointiresurssinsa harkiten ja taloudellisesti. OECD:n hankkeet ovat hyvä esimerkki kansainvälisestä arvioinnista ja niiden ongelmista. Kansainvälisesti voidaan vertailla eri maiden koulutusjärjestelmien rakennetta, niiden kustannuksia ja tuloksia toisiinsa. OECD:n tarpeisiin koottava tieto ei kuitenkaan yksin riitä kansallisen 17

2. KOULUTUKSEN TULOKSELLISUUDEN ARVIOINNIN TAUSTAA arvioinnin pohjaksi, koska se on yksinomaan määrällistä ja siinä käytetyt indikaattorit eivät riittävän tarkasti ja olennaisilta osin kuvaa kansallisia koulutusjärjestelmiä. Toisaalta indikaattoreiden laatimista ja vertailujen tekemistä vaikeuttaa koulutusjärjestelmien, koulutuksen tavoitteiden ja kulttuurin erilaisuus jäsenmaiden välillä. Kansainvälisten indikaattoreiden lisäksi tarvitaan tämän vuoksi kansallisia indikaattoreita, joiden avulla voidaan arvioida yksityiskohtaisemmin kunkin maan koulutusjärjestelmää ja sen toimintaa. Parhaillaan suunnitellaan OECD-maiden kesken toteutettavaa 15-vuotiaiden oppimistuloksiin perustuvaa arviointijärjestelmää. Tarkoitus on tuottaa ainakin matematiikan, äidinkielen ja luonnontieteiden oppimistuloksista vertailutietoa, joka raportoidaan tulosindikaattoreina. Kansainväliseen koulutuksen indikaattoreiden kehitystyöhön on myös EU tuomassa oman lisänsä. Tässä työssä on kehitetty sekä prosessi-, tavoite- että suoriteindikaattoreita. Suomi on jäsenyytensä alusta asti osallistunut EU:n arviointitoiminnan kehittämiseen. Parhaillaan on käynnissä kasvatusalan komission toimeenpanemana arvioinnin käytännön toteuttamistapoihin ja arviointitiedon hyödyntämiseen liittyvä eurooppalaisten valtioiden yhteinen projekti. Lisäksi useimmat Euroopan maat kehittävät arviointitoimintaansa sekä itsenäisesti että yhteistyössä muiden EU-maiden kanssa. EU:n komission Valkoinen Kirja (White Paper on Education and Training 1995) kohdistaa osaltaan jäsenmaissa harjoitettavaa koulutuksen tuloksellisuuden arviointia siinä esitettyjen yleisten koulutusta koskevien tavoitteiden suuntaan. Tavoitteeksi on asetettu ensinnäkin yksilöiden yleissivistyksen tason nostaminen rohkaisemalla uuden tiedon hankkimiseen. Koulutuksen ja työelämän lähentäminen avoimen vuorovaikutuksen pohjalta on toinen arviointia suuntaava tavoite. Koulutuksesta ja sen myötä työelämästä syrjäytymistä pyritään ehkäisemään. Tavoitteena on edistää kolmen eurooppalaisen kielen hallintaa kansalaisten työkehityksen ja henkilökohtaisen kehityksen mahdollisuuksien lisäämiseksi. Lisäksi arvioinnin kohdentamista suuntaa tavoite, jonka mukaan koulutusinvestointeja ja materiaalisia investointeja tulisi kohdella tasavertaisesti. 18

3 Kansallinen koulutuksen tuloksellisuuden arviointi Kansallisen arviointijärjestelmän peruspilarit ovat seuraavat: kansalliset koulutusindikaattorit, oppimistulosten arviointijärjestelmä ja vaihtuva-aiheiset arviointihankkeet. Arviointijärjestelmä on kokonaisuus, joka muodostuu kansallisesta arvioinnista ja paikallisesta itsearvioinnista. Kansallisen arviointijärjestelmän tavoitteena on 1. tukea paikallista/kunnan opetustointa ja oppilaitosten kehittymistä tavoitteellisina ja avoimina toimintayksikköinä sekä 2. tuottaa ja välittää monipuolista, ajantasaista ja luotettavaa tietoa koulutusjärjestelmän toimintaedellytyksistä, toimivuudesta, tuloksista ja vaikutuksista keskeisillä tavoitealueilla kansallisessa ja kansainvälisessä viitekehyksessä. Kansalliseen arviointiin kuuluvat seuraavat kokonaisuudet: koulutuksen kysyntä ja tarjonta, koulutukseen pääsy ja opiskelijavirrat koulutusjärjestelmän ja sen osien rakenne ja toiminta koulutuksen laadun ja resurssien yhteys koulutuspolitiikan kehitystrendit ja muutokset opetustoimessa koulutuksen ja muun yhteiskunnan suhteet opetussuunnitelmat ja opetus oppimistulokset arvioinnit vaikuttavuudessa, tehokkuudessa ja taloudellisuudessa sekä ajankohtaiset arvioinnin painoalueet. 3.1 Koulutuksen tuloksellisuuden keskeiset käsitteet Tuloksellisuuden arviointi on kokonaisvaltaista päämäärien saavuttamisen ja resurssien käytön onnistuneisuuden arviointia. Tuloksellisuuden arviointi on laaja-alaista ja se pyrkii hyödyntämään mahdollisimman monipuolisia arviointiaineistoja. Tuloksellisuutta arvioitaessa otetaan huomioon toiminnan vaikuttavuus, toiminnan taloudellisuus ja toiminnan tehokkuus. Yksinkertaistaen vaikuttavuus kuvaa sitä, että tehdään oikeita asioita, ja tehokkuus sitä, että asiat tehdään oikein. Valtionhallinnon käyttämän tuloksellisuuden arviointijärjestelmän pohjalta opetushallintoa varten koulutuksen tuloksellisuus on määritelty seuraavasti: 19

3. KANSALLINEN KOULUTUKSEN TULOKSELLISUUDEN ARVIOINTI TULOKSELLISTA 2 koulutus on silloin, kun kansallisesti ja kansainvälisesti koulutusjärjestelmän kullekin organisaatiomuodolle, oppilaitokselle ja yksilön oppimistoiminnalle asetetut tavoitteet on saavutettu. Tehokasta koulutus on silloin, kun koulutusjärjestelmän, opetushallinnon ja opetusjärjestelyjen toimivuus, joustavuus ja ajoitus ovat mahdollisimman tarkoituksenmukaiset ja opetuksen laatu hyvä. TULOKSELLISUUS TEHOKKUUS VAIKUTTAVUUS TALOUDELLISUUS Evaluation of EDUCATIONAL OUTCOMES EFFICIENCY EFFECTIVENESS ECONOMY Utvärdering av utbildningens RESULTAT Utbildningssystemets FUNKTIONSDUGLIGHET Utbildningens EFFEKTER Utbildningens KOSTNADER KUVIO 1. Tuloksellisuuskäsite. 2 Tuloksellisuuden määritelmään katsotaan taloustieteen näkökulmasta sisältyvän tuottavuus-ulottuvuus, jolla tarkoitetaan mm. sitä, kuinka paljon ihminen saa aikaan tietyssä ajassa. Mittaustavoissa korostuvat fyysiset mittayksiköt: työntekijöiden määrä, työtunnit, kappaleet, kilot ja tonnit. Tuottavuus lasketaan esimerkiksi jakamalla valmistettujen tuotteiden määrä työntekijöiden työtunneilla. Tuottavuutta laskettaessa saadaankin aivan erilaisia tuloksia sen mukaan, lasketaanko tuotanto ja siihen tarvittavat resurssit markkoina vai fyysisinä yksikköinä kuten kiloina ja kappaleina. Opetushallitus painottaa tuloksellisuuden ulottuvuuksina termejä, jotka mahdollisimman hyvin soveltuvat opetuksen ja oppimisen arviointiin. 20