Jorma Kuusela Koulujen paremmuusjärjestyksestä Opetushallitus 2003
Tekijä ja Opetushallitus Taitto Pirjo Nylund ISBN 952 13 1733 7 Helsinki 2003.
Sisällysluettelo 1 Johdannoksi 4 2 Sijoituslistan metodinen luonne 6 3 Sijoituslistan epästabiilius ajan suhteen eli oppilaiden yksilöllisyydestä johtuvat satunnaisvirheet 8 4 Sijaluvun vaihtelu menetelmän suhteen 12 5 Järjestyslistoihin sisältyvät systemaattiset erot 14 6 Sijoituslistojen validius eli koulujen paremmuus 15 7 Yhteenvedoksi 17
1 Johdannoksi KOULUJEN oppimistuloksia kuvaavat listat ovat olleet keskustelun aiheena jo vuosia. Tuorein keskustelu virisi MTV3:n selvityksestä lukioiden paremmuudesta. Myös siitä keskustellaan, pitäisikö esimerkiksi Opetushallituksen julkistaa koulukohtaiset tiedot kansallisista oppimistulosten arvioinneista. Käytännössä tämä vaatimus tarkoittaisi, että Opetushallituksen tulisi laatia johonkin tunnuslukuun perustuva sijoituslista niistä kouluista, jotka ovat osallistuneet arviointeihin joko otoskouluina tai vapaaehtoisesti kehittääkseen opetustaan. Kysymys olisi siis listojen laatimisesta, mikä ei ole kuulunut Opetushallituksen tapaan tarkastella tuloksia eikä noudattaisi myöskään eduskunnan sivistysvaliokunnan kannanottoa (Sivistysvaliokunnan mietintö 3/1998 vp Hallituksen esitys koulutusta koskevaksi lainsäädännöksi 86/1997 vp). Periaatteellisesti kysymys koulukohtaisten tulostietojen julkaisemisesta on monitahoinen ja varmasti sen arvoinen, että tilanteen selkiyttämiseksi olisi saatava joko poliittinen tai juridinen päätös. Koulut ovat julkisin varoin ylläpidettäviä laitoksia, joita avoimuuden periaatteen tulisi koskea kuten muitakin julkisia organisaatioita. Koululakien mukaan koulutuksen järjestäjien tulee arvioida järjestämäänsä opetusta ja sen vaikuttavuutta sekä julkistaa arvioinnin keskeiset tulokset. Se, millä tavoin keskeiset tulokset tulee julkistaa, jätetään laissa avoimeksi. Arvioinnin tehtävänä on auttaa koulutusta koskevien ratkaisujen tekemisessä, ja samalla koululakien perusteluissa edellytetään, ettei julkistamisella aiheuteta haittaa henkilöille tai oppilaitoksille. Julkistamista koskevaa ongelmaa voidaan tarkastella juridisen ja koulutuspoliittisen näkökulman lisäksi myös metodisesti. Tämän muistion tarkoituksena on paremmuuslistauksiin liittyvien metodisten ongelmien tarkastelu. Perusajatuksena on, että jos listauksia pidetään tarpeellisina, niiden luotettavuutta ja rajoituksia sekä erilaisten metodisten ratkaisujen seurauksia pitää voida arvioida. Metodinen perusongelma koskee kysymystä, mitä arvioidaan, kun arvioidaan esimerkiksi päättövaiheen oppimistuloksia. Perusteesini on, että koulun keskimääräisiin oppimistuloksiin vaikuttavat muutkin tekijät kuin opetuksen ja koulunpidon laatu tai taso. Ongelma syntyy liiallisesta ja virheellisestä yksinkertaistamisesta. Koska käytettävissä ei ole kattavia tietoja opetuksen laadusta ja sen vaihtelusta kouluittain, opetuksen laatua pyritään kuvaamaan oppimistulosten avulla. Juuri opetuksen laadun kuvaamiseksi halutaan käyttää ylioppilastutkintojen tuloksia ja Opetushallituksen oppimistulosten arviointeja. Esimerkiksi päättövaiheen arviointi tuottaa monenlaista tietoa. Kansallisella ja kansainvälisellä tasolla kysymys on koulun vaikuttavuudesta siinä mielessä, että arvioinnin tuloksena saadaan käsitys siitä osaamisen tasosta, joka on koululaitoksen ja kasautuneen kansallisen kulttuuripääoman yhteisvaikutuksen aikaansaannos. Kansainvälisissä vertailuissa arvioidaan, kuinka hyvin Suomessa on saavutettu ne tavoitteet, joita kansainvälinen asiantuntijaryhmä pitää tärkeinä. Vertailukohtana ovat tuolloin muut arviointiin osallistuneet maat, ja arvioitavaksi tulee koko koululaitoksen vaikuttavuus: ne yhteiskunnalliset puitteet, jotka joko edistävät tai vaikeuttavat oppimista, kouluverkoston toimivuus ja kattavuus, opetussuunnitelmat, opettajakunnan koulutus ja pätevyys ja monet muut seikat. 4
Kansallisen arvioinnin tehtävä on rajatumpi. Sen ensisijainen tavoite on selvittää, miten opetussuunnitelman perusteissa annetut tavoitteet on saavutettu. Toinen tehtävä on valvoa sukupuolten välisen, alueellisen ja väestöryhmien välisen koulutuksellisen tasaarvon toteutumista. Tasa-arvon vaatimus on siis ulotettu varsin pitkälle. Koulutustarjonnan tasapuolisuudesta on edetty kohti tavoitetta, että oppimistuloksissa ei tulisi olla systemaattisia eroja edellä mainittujen tekijöiden suhteen. Kolmantena ja viimeaikojen linjauksissa korostuneena tehtävänä mainitaan arvioinnin paikallinen vaikuttavuus. Arvioinnin tulee auttaa myös koulutuksen järjestäjiä ja kouluja toimintansa kehittämisessä. Kehittävä tehtävä edellyttää myös sellaisen palautejärjestelmän luomista, jonka avulla koulutuksen järjestäjät ja yksittäiset koulut saavat tiedon koulujen keskimääräisistä oppimistuloksista valtakunnan yleistasoon verrattuna sekä omista vahvuus- ja kehittämisalueistaan. Oppimistulosten mittaamisella on kuitenkin vaikea päästä käsiksi niihin syihin, jotka ovat johtaneet keskimääräistä heikompiin tai parempiin oppimistuloksiin. Tulosten syvällinen tulkinta, syiden jäljittäminen, opetuksen ja koulun vaikutuksen arvioiminen ja myös mahdollisista toiminnan muutoksista päättäminen joudutaan tekemään pääosin paikallisen tiedon varassa. On virheellistä olettaa, että koulun keskimääräiset oppimistulokset kuvaisivat suoraan koulujen paremmuutta tai opetuksen tasoa. Virhepäätelmät korostuvat sellaisten metodisten yksinkertaistusten seurauksena, joihin pahimmillaan on päädytty. Seuraavassa käsitellään keskeisimpinä pitämiäni virhepäätelmiä. Esimerkkiaineistona käytetään ylioppilaskirjoitusten keskimääräisiä tuloksia, joista on keskusteltu eniten valtakunnan joukkoviestimissä. Argumentointi soveltuu samoin myös Opetushallituksen oppimistulosten arviointeihin. Eri aineistojen tuottamien tulosten samankaltaisuuden vuoksi pysytellään kuitenkin eniten keskustelua herättäneessä ja myös kattavimmassa saatavilla olevassa aineistossa, ylioppilastutkinnon tuloksissa. 5
2 Sijoituslistan metodinen luonne SIJOITUSLISTALLA tarkoitetaan tässä menettelytapaa, jolla koulut järjestetään jonkin kriteerin perusteella. Käytännössä tämä merkitsee luetteloita, joissa kouluille annetaan järjestysnumero ja se tunnusluku, jonka mukaan järjestys on laskettu. Järjestys on helppo mieltää parempi kuin -asteikkona, ja sijoitusta järjestysasteikolla voidaan pitää selkeän ja yksiselitteisen tuntuisena koulun menestystä kuvaavana tunnuslukuna. Metodiselta kannalta kysymys on kuitenkin mitta-asteikon muunnoksesta, joka ei ole lainkaan yksiselitteinen. Jos välimatka-asteikollinen kriteeri, esimerkiksi koulun keskimääräinen menestys ylioppilastutkinnoissa, muunnetaan järjestysasteikolliseksi, menetetään informaatiota. Tulkinnoissa taas usein unohdetaan listausten järjestysasteikollinen luonne ja menetetty informaatio. Järjestysasteikkoa aletaan käyttää välimatka-asteikollisena esimerkiksi siten, että verrataan sijoitusten erotuksia. Lause koulu x sijoittui sadanneksi, ja koulun y sijoitus oli kahdessadas, siis koulu x menestyi sata sijaa paremmin kuin koulu y on periaatteessa oikea. Kuitenkaan se ei poista sitä mahdollisuutta, että koulu z, joka olisi vaikkapa sijalla 99 olisi tosiasiassa kauempana koulusta x, kuin koulu y, sen kriteerin suhteen, jota olisi päätetty käyttää. Esimerkki on liioiteltu, mutta listauksen efektit voidaan kuvata todellisella aineistolla. Käytettäköön esimerkkinä edellä mainittua MTV3:n aineistoa päivälukioiden paremmuudesta. Menetelmänä on ollut, että koulun oppilaiden ylioppilastutkinnossa saamien puoltoäänten kokonaismäärä on jaettu tutkinnon läpäisseiden määrällä. Tästä käytetään nimitystä puoltoäänien keskiarvo. Seuraavissa esimerkeissä käytetty lähdeaineisto on lainattu suoraan MTV3:n sivulta http://www.mtv3.fi/lukiot/paivalukiot.html. Käyttämäni aineisto on lähes normaalisti jakautunut, tosin positiivisesti vino. Vinous kuvaa sitä, että ääripäiden erot ovat suuria ennen kaikkea siksi, että muutaman koulun keskiarvo on poikkeuksellisen korkea. Kysymyksessä ovat etupäässä Helsingin lukiot, joiden oppilaat ovat vahvasti valikoitunut joukko. Tällainen valikoituminen on mahdollista vain suurissa asutuskeskuksissa, joissa jotkut koulut ovat muita halutumpia opiskelupaikkoja. KUVIO 1. Päivälukioiden jakautuminen puoltoäänien keskiarvon mukaan (perustuu MTV3:n aineistoon) Toinen kuviosta havaittava piirre on, että koulut kasautuvat jakauman keskivaiheille. Tätä voidaan havainnollistaa vielä selkeämmin kuvalla, jonka pystyakselina on koulun järjestysnumero ja vaaka-akselilla puoltoäänien keskiarvo. 6
KUVIO 2. Päivälukioiden jakautuminen sijoituksen ja puoltoäänien keskiarvon mukaan (perustuu MTV3:n aineistoon) Koulu, jonka puoltoäänien keskiarvo on 22,0, sijoittuu sijalle 204. Jos puoltoäänien keskiarvo on 21,0, sijoitutaan sijalle 283. Jos taas keskiarvo on 20,0, koulu on sijalla 358. Sadanviidenkymmenenneljän erotusta sijaluvussa vastaa siis kahden puoltoäänen ero keskiarvoissa. Tämä ero puolestaan saattaisi syntyä teoriassa vaikka siten, että kaikki koulun oppilaat kirjoittavat yhden ylimääräisen aineen alimmalla hyväksytyllä arvosanalla. Siis vaikka ääripäiden erot ovat suuria, jakauman keskivaiheilla pienetkin erot saattavat aiheuttaa tuntuvia eroja järjestyksessä. Ja valtaosa kouluista on todellisuudessa jakauman keskivaiheilla. Tämä on järjestysasteikon luonne. Vasta-argumenttina voidaan tietenkin todeta, että järjestysluvun lisäksi listaukset sisältävät alkuperäiset mittaluvut, esimerkiksi puoltoäänien summien keskiarvot. Näin tulosten tulkinta siirretään käytännössä lukijan vastuulle. 7
3 Sijoituslistan epästabiilius ajan suhteen eli oppilaiden yksilöllisyydestä johtuvat satunnaisvirheet JÄRJESTYKSEEN perustuvia listauksia voidaan pitää epävakaina etenkin jakauman keskikohdalla. Tämä merkitsee sitä, että satunnaiset vuosittaisvaihtelut saattavat näkyä suurina sijalukujen muutoksina. Esimerkkiaineistona käytetään kolmen vuoden (2000 2002) ylioppilastutkinnon tuloksia. Tässä aineistossa päivä- ja ilta- tai aikuislukiot ovat yhtenä joukkona. Aineistot koskevat kalenterivuotta, joten mukana ovat keväällä ja saman vuoden syksyllä tutkinnon suorittaneet. Vuodelta 2002 käytettävissä ovat vain kevään tulokset. Kuvauksena käytetään edelleen samaan menetelmään perustuvaa laskentatapaa, jota MTV3 on käyttänyt. Vuosivaihtelua voidaan tarkastella alkuperäisinä mittalukuina ja niistä johdettuina järjestyslukuina. Kuviosta 3 on helppo havaita, että todellisiin tunnuslukuihin perustuva vuosivaihtelu (vasemmalla) kuvautuu huomattavasti kohtuullisempana, kuin samaan aineistoon perustuva järjestyslukujen vaihtelu (oikealla). KUVIO 3. Puoltoäänien keskiarvoon (vasemmalla SUMMA ) ja niistä johdettujen järjestyslukujen (oikealla RankSumma ) pareittaiset vuosivertailut kouluittain vuosina 2000 2002 8
Alkuperäisiin mittalukuihin perustuvat tulokset ovat huomattavasti vertailukelpoisempia kuin järjestykseen perustuvat. Tosin keskimääräisten lukioiden kohdalla (puoltoäänien keskiarvo 19 25) vuosivaihtelu on sen suuruista, ettei vuodesta toiseen ennustaminen onnistu luotettavasti edes alkuperäislukujen perusteella. Vielä huonommat mahdollisuudet ennustamiseen on, jos sitä yritetään koulujen järjestysten perusteella. Asiaa voidaan havainnollistaa kuvaamalla alarivin kuviopari osasuurennoksena siten, että vuoden 2000 tulosten akseli on katkaistu niin, että mukaan tulevat keskimmäiset 80 prosenttia Suomen lukioista. KUVIO 4. Alkuperäisiin mittalukuihin ( SUMMA ) ja järjestykseen perustuva ( RankSumma ) vuosivertailu 2000 2002, kun mukana ovat keskimmäiset 80 prosenttia Suomen lukioista Tulos on olennainen, koska koulujen järjestyslistoja perustellaan oikeudella tehdä oppilaitoksia koskevia valintoja. Kun kysymys on lukioista, ennusteen tulisi päteä kohtalaisen hyvin ainakin kolmen vuoden aikavälillä. Lisäksi ennusteen tulisi olla luotettava oppilaitostasolla eikä yleisenä trendinä. Vuosien 2000 ja 2002 vertailu osoittaa, että yksittäisen koulun sijoitus voi suurimmillaan nousta 308 sijaa tai pudota 362 sijaa. Mainittujen vuosien sijoituserojen standardipoikkeama on 105. Lukuun ottamatta kaikkein selektiivisimpiä lukioita (siis niitä, joihin pääsy edellyttää hyvin korkeaa keskiarvoa) sijoituslistat näyttävät soveltuvan huonosti koulun valintaa koskevan päätöksen tekemiseen, koska vuosivaihtelu on niin suuri kuin on. KUVIO 5. Lukioiden järjestyslukujen erojen jakauma vuonna 2000 vuonna 2002 Sitä vaihtelua ja epävarmuutta, joka on kuvattu edellä empiirisen aineiston avulla, voidaan lähestyä teoreettisemminkin. Kysymys on oppilaiden yksilöllisyyden tuottamasta satunnaisvaihtelusta. Oppilaiden yksilölliset erot tuottavat melkoista vaihtelua oppimistuloksiin, vaikka jokainen oppilas saisi täsmälleen samankaltaista opetusta. Jo oppimistulosten erot saman opetusryhmän sisällä osoittavat sen. 9
Olettakaamme kaikkien oppilaiden saaneen samaa opetusta samoissa puitteissa ja muutoinkin samanlaisten opetukseen tai koulunpitoon liittyvien taustaedellytysten vallitessa. Jos kaikki Suomen abiturientit muodostavat perusjoukon, siitä voitaisiin poimia esimerkiksi viidenkymmenen oppilaan ryppäitä täysin satunnaisesti. Vaikka poiminta toistettaisiin monta kertaa, viidenkymmenen oppilaan keskimääräinen osaaminen tuskin olisi kahdesti täsmälleen sama. Se puolestaan johtuu siitä, että oppilaiden välillä on yksilöllisiä eroja ja täsmälleen samat viisikymmentä oppilasta tuskin valikoituisivat sattumalta poimintaan. Voisimme ajatella yhden koulun oppilaat tällaiseksi samasta perusjoukosta satunnaisesti poimituksi otokseksi. Joskus koulun tai minkä tahansa poimitun joukon keskiarvo saattaa poiketa perusjoukon keskiarvosta niin paljon, että olisi epätodennäköistä, että niin suuri ero syntyisi sattumalta. Silloin on perusteltua olettaa, että poikkeaman syynä on jokin muu tekijä kuin pelkkä sattuma, esimerkiksi koulusta riippumattomat tai riippuvat systemaattiset tekijät. Yleensä käyttäytymistieteissä tyydytään 95 prosentin luottamusväliin, eli hyväksytään erehtymisen riski viisi kertaa sadasta. Väli on sitä lyhyempi, mitä suurempi otos (mitä suurempi oppilasmäärä) on ja myös sitä lyhyempi, mitä pienempiä oppilaiden väliset erot ovat. Tilastollisesti korrekti menettely olisi ilmoittaa nämä luottamusvälit. Esimerkiksi vuoden 2002 keväällä valmistuneiden ylioppilaiden keskimääräiset tulokset kouluittain voitaisiin kuvata kuvion 6 mukaisesti. Keskiarvot on laskettu kunkin oppilaan puoltoäänien keskiarvosta eikä kaikkien oppilaiden puoltoäänien summasta, sillä näin aiheutetaan vähemmän systemaattisia vääristymiä (joita käsitellään seuraavassa luvussa). Kuviossa oleva paksu vaakaviiva kuvaa koko maan keskiarvoa ja pystyviivojen kuvaamat luottamusvälit on laskettu yleisen käytännön mukaisesti 95 prosentin tarkkuudella. Tämä merkitsee sitä, että erehtymisen riski hyväksytään runsaan 20 koulun kohdalla. KUVIO 6. Päivälukioiden keskimääräinen menestys ylioppilaskirjoituksissa keväällä 2002 valmistuneiden puoltoäänien keskiarvosta laskettuna sekä keskiarvon 95 prosentin luottamusvälit 10
Luottamusvälien laskemisen jälkeen ilmenee, että päivälukioista 76 oli vähintään luottamusvälin verran maan keskiarvon yläpuolella ja 119 sen alapuolella. Kouluista 260 eli 57 prosenttia voisi olla satunnaisotos Suomen abiturienteista. Näistä 260 mahdollisesta satunnaisotoksesta yksi olisi sijalla 40 ja toinen sijalla 429. Kun oppilaiden satunnaisvaihtelun osuus on näin suuri, käy ymmärrettäväksi, että yhteen tunnuslukuun tai vielä vähemmän järjestyslukuun perustuva arvaus vaikkapa kahden vuoden ennusteeksi käy hyvin epävarmaksi, kuten edellä on osoitettu. Kouluista johtuvaa satunnaista vaihtelua ei voida ottaa tilastollisesti huomioon, mutta on kohtuullista olettaa, että sen vaikutus ylioppilastutkinnon keskimääräisiin tuloksiin ei ole suuri. Koulujen velvollisuus on nimittäin huolehtia siitä, että poikkeukselliset haitat opetuksessa tai itse kirjoituksissa jäävät mahdollisimman pieniksi. Tällä vaihtelun lähteellä saattaa sen sijaan olla vaikutuksensa Opetushallituksen kansallisissa arvioinneissa. Vain asianomainen koulu tai koulutuksen järjestäjä voi arvioida sen merkityksen tulkitessaan tuloksia. 11
4 Sijaluvun vaihtelu menetelmän suhteen KOLMAS menetelmällinen syy vierastaa koulujen sijoituslistoja on, että koulun sijoitus riippuu käytetystä menetelmästä. Kuten edellä todettiin, MTV3 valitsi menetelmäkseen sen, että koulun oppilaiden puoltoäänet laskettiin yhteen ja summa jaettiin oppilaiden määrällä. Koulun sijoittuminen määräytyi näin saadun keskiarvon perusteella. Toinen mahdollisuus olisi laskea kunkin oppilaan puoltoäänien keskiarvo ja sen jälkeen oppilaskeskiarvoista koulun keskiarvo. Puoltoäänien summaan perustuva menetelmä suosii niitä kouluja, joiden oppilaat osallistuvat keskimääräistä useamman aineen tutkintoon. Jälkimmäinen taas korostaa osaamisen yleistasoa niissä aineissa, joiden tutkintoihin opiskelijat ovat osallistuneet. Tässä yhteydessä ei ole tarpeen pohtia menetelmien paremmuutta molempia on käytetty. Sen sijaan on syytä kiinnittää huomiota siihen, kuinka herkkiä koulujen järjestyslistat ovat käytetyille menetelmille. Aineistona käytetään vuoden 2002 ylioppilastutkinnon tuloksia ja koulun menestyminen määritellään niiden kahden vaihtoehtoisen tunnusluvun avulla, jotka kuvattiin edellä. Yksinkertaisuuden vuoksi käytetään seuraavia termejä: summa = puoltoäänien summaan perustuva koulukohtainen keskiarvo keskiarvo = puoltoäänien keskiarvoihin perustuva koulukohtainen keskiarvo. Vastaavasti ranksumma tarkoittaa summakeskiarvoihin perustuvaa ja rankkeskiarvo oppilaskeskiarvoihin perustuvaa järjestystä. KUVIO 7. Kahden menetelmän tunnuslukujen ja niihin perustuvien järjestyslukujen yhteydet Kuten kuvioista havaitaan, pelkkiin tunnuslukuihin perustuvat yhteydet ovat jälleen tarkempia kuin järjestyslukuihin perustuvat. Kaikkein parhaiten tai kaikkein heikoimmin menestyneitä kouluja lukuun ottamatta sijaluvut saattavat poiketa toisistaan melko paljon pelkästään käytetystä menetelmästä riippuen. Ääritapauksissa menetelmän vaikutus on suuri. Koulu, joka on sijaluvulla 311 summiin perustuvassa listauksessa, nousee sijalle 68, kun järjestys lasketaan puoltoäänien keskiarvoista. Vastaavasti toinen koulu saattaa pudota sijalta 158 sijalle 378. Edellisessä tapauksessa koulun opiskelijat ovat keskittyneet harvoihin aineisiin ja saaneet niissä hyvät arvosanat, jälkimmäisessä koulussa taas oppilaat ovat osallistuneet monien aineiden kirjoituksiin, mutta niistä saadut arvosanat eivät keskimäärin ole olleet kovin korkeita. 12
Vaikka trendi on molemmissa kuvioissa sama, yksittäiselle koululle, sen oppilaille ja heidän vanhemmilleen tai opettajille menetelmästä riippuva parinsadan sijan poikkeama saattaa olla hyvinkin olennainen. Kysymys on niistä mielikuvista, joita järjestyslistoilla liitetään yksittäisiin oppilaitoksiin. Mielikuvilla taas on taipumus toteuttaa itsensä. Jos perustaa valintansa tällaisiin listoihin, ei voi pitää merkityksettömänä, että esimerkiksi kaksi helsinkiläislukiota sijaitsee yhden menetelmän mukaan laskien peräkkäin ja toisen menetelmän mukaan arvioiden koulujen erona on tasan sata sijaa. On myös mahdollista, että koulutuksen järjestäjä ryhtyy joihinkin käytännön toimenpiteisiin järjestyslistausten perusteella. Esimerkiksi kuntien päätöksentekijöiltä ei voi odottaa sellaista metodista asiantuntemusta, jonka avulla listojen pätevyyttä tai käyttökelpoisuutta voitaisiin arvioida kriittisesti. Toimenpiteet saattavat olla tuolloin turhia, vääriä tai jopa kohtuuttomia. Listoja ei siis ole tarpeen julkistaa. 13
5 Järjestyslistoihin sisältyvät systemaattiset erot MTV3:N listauksessa kuutisenkymmentä aikuislukiota erotettiin omaksi ryhmäkseen, sillä niiden tulostaso näytti olevan kautta linjan päivälukioita alhaisempi. Sananvalinta on hyvä, sillä kysymys on siitä, miltä tulokset näyttävät. Aikuislukioiden tulostaso näyttää puoltoäänien summaan perustuvassa laskentatavassa (kuvion vaaka-asteikolla) lähes systemaattisen heikolta. Osassa aikuislukioita tulokset näyttävät heikoilta, vaikka laskentatapa vaihdettaisiin, mutta aikuislukioiden hajonta on huomattavasti suurempi, jos paremmuus määräytyy keskiarvojen perusteella (pystyakselilla kuvassa). KUVIO 8. Kahteen menetelmään perustuvien järjestyslukujen yhteydet, aikuislukiot korostettuina Kysymys ei tietenkään ole siitä, että toinen menetelmä syrjisi aikuisia, vaan se syrjii tietyn tyyppisiä oppilaitoksia. Aikuislukiot ovat kouluja, joissa ei ylioppilastutkintoon ei sisällytetä kovin monia aineita. Aikuislukion opiskelija suoritti keväällä 2002 keskimäärin 4,3 aineen tutkinnon kun taas päivälukioissa vastaava luku oli 5,1. Kuten jo aikaisemmin todettiin, puoltoäänien summasta laskettava keskiarvo suosii kouluja, joiden opiskelijat osallistuvat usean aineen tutkintoihin. Aikuislukiot eivät kuulu niihin, ehkä yhtä poikkeusta lukuun ottamatta. Sama systemaattinen kuvausten ero syntyy pienissä lukioissa, joiden tarjonta ei ole laajaa, mutta opetuksen taso ja opiskelijoiden tulokset ovat silti hyviä. 14
6 Sijoituslistojen validius eli koulujen paremmuus PELKISTETYN määritelmän mukaan mittari on validi, jos se mittaa sitä teoreettista ilmiötä, jota sen on tarkoitus mitata. Siinä ei esiinny silloin satunnaisia eikä systemaattisia virheitä. Koulun hyvyys tai paremmuus on epäilemättä vaikeasti määriteltävä käsite. Vaikka rajoitutaan pelkkien oppimistulosten käsittelyyn, tilanne käy ongelmalliseksi. Oppimistulosten arvioinnilla pyritään arvioimaan koulutuksen vaikuttavuutta. Vaikuttavuus voidaan puolestaan määritellä tavoitteiden suuntaiseksi muutokseksi. Jotta muutosta voitaisiin arvioida, tulisi tuntea lähtötilanne, ja lähtötilanteen arviointi on vaikeaa. Lukioiden osalta päädytään kahtalaiseen ongelmaan. Jos lähtötaso vakioidaan, unohdetaan helposti se, että lähtötaso ei ole etenkään toisen asteen koulutuksessa riippumaton muuttuja. Se, mihin kouluun hakeudutaan, riippuu todellisten valintamahdollisuuksien lisäksi koulun imagosta, joka puolestaan saattaa perustua hyvään opetustyöhön, perinteisiin tai joihinkin muihin seikkoihin, vaikkapa erilaisiin listauksiin. Toisaalta lähtötason vakioiminenkaan ei ole helppoa. Ratkaisuksi on tarjottu perusopetuksen päättötodistusten keskiarvojen keskiarvoa tai alinta päättötodistuksen keskiarvoa, jolla on päässyt kouluun opiskelemaan. Perusopetuksen päästötodistus sopii kuitenkin huonosti kriteeriksi, käytettiin sitä kummalla tavalla tahansa. Hyvä ennuste koulun menestymiselle ylioppilaskirjoituksissa saataisiin esimerkiksi oppilaiden vanhempien keskimääräisestä koulutustasosta. Kun vanhempien koulutustaso on korkea, koulun keskimääräinen menestys ylioppilaskirjoituksissa on hyvä. Empiirinen evidenssi tälle väitteelle saadaan esimerkiksi Tomman selvityksestä (Tomma, M. (toim.) 1996. Helsingin lukioselvitys. Lukioiden vertailua vuoden 1989 1991 aloittaneiden oppilaiden lähtötason ja ylioppilaskirjoitusten tulosten mukaan. Helsingin kaupungin opetusviraston julkaisusarja A;1996, 3). Kuvio 9 on tehty raportin liitetaulukkojen perusteella. Vaaka-akselille on kuvattu vanhempien keskimääräinen koulutustasoindeksi ja pystyakselille koulun keskimääräinen puoltoäänien keskiarvo. KUVIO 9. Helsingin päivälukioiden 1992 1994 puoltoäänien keskiarvon yhteys kunkin koulun oppilaiden vanhempien keskimääräiseen koulutustasoindeksiin 15
Helsingin lukioiden keskimääräisestä menestyksestä ylioppilaskirjoituksissa saatiin selitetyksi vanhempien koulutustaustan avulla 75 prosenttia. Peruskoulun päästötodistusten keskiarvolla saatiin selitetyksi olennaisesti vähemmän, eli noin 30 prosenttia. Se, että peruskoulutodistukset eivät tarjoa kovin luotettavaa ennustetta, johtuu siitä, että oppilasarvostelu ei ole yhdenmukaista. Opetushallituksen selvitykset osoittavat, että koulun yleistaso vaikuttaa systemaattisesti arvosanojen määräytymiseen: Kouluissa, joiden oppilaiden yleistaso on korkea, hyvän arvosanan edellytyksenä ovat paremmat tiedot ja taidot, kuin sellaisissa kouluissa, joissa osaamisen taso on keskimääräistä matalampi. Kun koulujen arvostelulinjassa voi olla jopa kahden numeron ero (kun kriteerinä käytetään Opetushallituksen oppimistulosten arviointia), pelkästään tieto todistusten keskiarvoista ei riitä kuvaamaan koulujen todellisia lähtöeroja. Tämä arvosanoihin liittyvä ongelma ei ole Helsingin erityispiirre, vaan se koskee koko maata. Se, että oppilaat valitsevat lukionsa vapaasti esimerkiksi Helsingin alueella, tarjoaa teoreettisen mahdollisuuden sellaiseenkin tulkintaan, että paremmin koulutetut vanhemmat osaisivat valita lapsilleen koulut, joiden opetus on korkeatasoisempaa. Tällaistakin selitystä on joukkoviestimissä tarjottu. Olettaisimme siis, että korkeasti koulutetut vanhemmat osaisivat valita lapsilleen koulut, joissa opetus on korkeatasoista, keskimääräisesti koulutetut keskitasoista opetusta antavat ja keskimääräistä heikommin koulutetut valitsisivat sellaiset koulut, joiden opetuksen taso on keskimääräistä heikompaa, vieläpä niin, että yhteys on lineaarinen ja selitysosuus 75 prosenttia. Se edellyttää kuitenkin niin lennokasta mielikuvitusta, että moiseen spekulaatioon ei tässä raportissa uskalleta ryhtyä. Lopullinen empiirinen selkeys saadaan kuitenkin vasta kun yhteys saadaan varmistetuksi myös sellaisten alueiden lukioissa, joissa spontaani selektiivisyys ei ole samalla tavoin mahdollista kuin suurkaupungeissa. Jos hyväksytään se, että koulun keskimääräiset tulokset riippuvat koulun toimintaympäristöstä ja ovat yhteydessä esimerkiksi vanhempien koulutustasoon, kysymys koulujen paremmuudesta vaatii tarkennuksen. Koulut, jotka sijoittuvat järjestyslistojen kärkipäähän, ovat epäilemättä hyviä. Niissä toteutuu kaksi edellytystä: opetus on korkeatasoista ja oppilaiden tausta on suotuisa. Oppilaat ovat valikoituneet sekä sosiaalisen taustansa että aikaisempien koulusuoritustensa suhteen. Voidaan kuitenkin kysyä, onko edellistä huonompi sellainen koulu, joka yltää keskimääräisiin tuloksiin oppilaidensa keskimääräisistä tai jopa keskimääräistä heikommista lähtökohdista käsin. Viimeksi mainitussa tapauksessa koulun tuottama lisäarvo on ollut jopa suurempi kuin vaikkapa oppimistulosten perusteella arvioituna maan kärkikoulun. Todettakoon varmuuden vuoksi vielä sekin, että kysymys on koko ajan keskiarvoista, joissa tosiasiallinen suoritusten vaihtelu on tiivistetty yhteen lukuun. On empiirisesti osoitettavissa, että myös niissä kouluissa, joiden keskimääräiset tulokset jäävät huomattavastikin maan keskiarvon alapuolelle, on erittäin hyvin suoriutuvia oppilaita. Vaikka keskiarvojen taustalla olevien jakaumien painopisteet ovat eri paikoissa, koulun keskimääräinen suoritustaso ei ole yksilötason huippusuorituksen este eikä edellytys. Näkökanta voidaan tiivistää: pelkkään lopputulokseen perustuva mittaus ei anna validia tulosta koulun tasosta, opetuksen tasosta eikä edes koulun tuottamista oppimistuloksista, vaikka päästäisiin yksimielisyyteen siitä, miten lopputulosta mitattaisiin harhattomasti. Validius pettää ratkaisevasti jo keskiryhmän kouluissa saati niiden koulujen osalta, jotka ovat oppilaidensa lähtöedellytysten suhteen keskimääräistä epäsuotuisammassa asemassa. 16
7 Yhteenvedoksi KOULUJEN paremmuutta kuvaavat listat voidaan siis asettaa metodisesti kyseenalaisiksi ainakin viittä kautta: 1. sijoitusten vuosivaihtelu on niin suurta, että ennusteen tekeminen edes vuoden aikavälillä on mahdotonta 2. sijoitus vaihtelee käytetyn menetelmän mukaan 3. jotkut tunnusluvut tuottavat systemaattisia eroja erityyppisissä oppilaitoksissa 4. järjestysasteikollinen listaus vahvistaa edellä mainittuja virhelähteitä 5.voidaan asettaa kyseenalaiseksi, kuvataanko edes sitä, mitä halutaan kuvata tai väitetään kuvattavan. Koulujen päättöarviointien tulokset kuvaavat neljän tekijäryhmän yhteisvaikutusta. Ne ovat 1) oppilaiden yksilöllisyydestä johtuva satunnaisvaihtelu 2) koulusta johtuva satunnaisvaihtelu 3) taustatekijöiden aiheuttama systemaattinen vaihtelu 4) koulusta riippuva systemaattinen vaihtelu. Kun vaikkapa ylioppilaskirjoitusten tuloksista puhutaan koulujen hyvyyden ja paremmuuden tai opetuksen tason tai laadun osoittimena, tarkoitettaneen nimenomaan niitä systemaattisia opetukseen tai koulunpitoon liittyviä tekijöitä, jotka johtavat parempiin tai heikompiin oppimistuloksiin. Jos halutaan välittää oikea ja oikeudenmukainen kuva, muut tuloksiin vaikuttavat tekijät on mahdollisuuksien mukaan otettava huomioon, tai ainakin pitää todeta niiden aiheuttama virhevarianssi ja arvioida sen suuruus sekä merkitys tulosten luotettavuuteen. Kouluista riippumattomilla taustatekijöillä tarkoitetaan opiskelijoiden valikoitumista. Koulut ovat eri asemassa lähtötasoltaan. Opetushallituksen tähänastisten tutkimusten mukaan olennaisin koulujen eroja selittävä tekijä on vanhempien koulutus- ja tulotaso, mutta myös muut koulun sijaintialuetta kuvaavat sosioekonomiset tekijät ovat tilastollisessa yhteydessä keskimääräisiin oppimistuloksiin. Vaikka tässä on käytetty esimerkkinä ylioppilastutkintojen tuloksia ja MTV3:n listauksia, sama metodinen dilemma liittyy esimerkiksi pyrkimyksiin käyttää Opetushallituksen oppimistulosten arviointien tuloksia vastaaviin tarkoituksiin. Siksi niitäkään ei tule käyttää paremmuuslistojen laatimiseen. Jo kuudensien vuosiluokkien arvioinneissa voidaan osoittaa sekä satunnaisvaihtelun osuus että alueittain eriytynyt ja alueen sosioekonomisiin piirteisiin liittyvä systemaattinen vaihtelu. Perusopetuksen 9. luokkien arvioinnissa voidaan lisäksi havaita oppilaiden keskimääräisten lähtöerojen vaikutus siten, että esimerkiksi Helsingin koulujen perusopetuksen päättövaiheen arviointien välisistä eroista suurin osa voidaan selittää alueiden välisten erojen ja oppilaiden valikoitumisen avulla. Tilanne on epäilemättä pulmallinen, mutta erilaiset listaukset eivät paranna sitä. Päinvastoin on mahdollista, että epävarmoihin tietoihin perustuvat arviot opetuksen laadusta ja tasosta alkavat toteuttaa itseään. Metodisen perusongelman syy on yksinkertainen. Joihinkin tarkoituksiin tehtyjä ja niihin soveltuvia arviointituloksia pyritään käyttämään kokonaan muuhun tarkoitukseen. Kun pyritään arvioimaan opiskelijan valmiuksia jatko-opintoihin, osaamisen kansallista tasoa, koulutuksen yleistä vaikuttavuutta tai oppimistuloksissa näkyviä trendejä, menetelmät ovat erilaisia kuin jos pyrittäisiin arvioimaan koulun opetuksen tasoa. Ar- 17
viointien avulla voidaan tuottaa myös yksittäistä koulua koskevaa perustietoa. Koulun tai koulutuksen järjestäjän on kuitenkin itse tulkittava tiedot ja otettava huomioon ne tekijät, jotka koulun ohella vaikuttavat lopputulokseen. Tämänhetkisen tiedon perusteella näiden muiden tekijöiden vaikutus on suuri. Naiivi tapa luokitella kouluja hyviin tai huonoihin pelkkien keskimääräisiin oppimistuloksiin perustuvien paremmuuslistojen perusteella johtaa tiedon asemesta oletusten ja uskomusten leviämiseen. Epävarmuus syntyy satunnaisvaihtelusta ja virheet vääristä yleistyksistä. Tässä esitetyt arviot on tehty ainoastaan metodiselta kannalta, eikä huomiota ole kiinnitetty lainkaan niihin koulutuspoliittisiin seurauksiin, joita koulujen opetuksen tason todellisella erilaistumisella olisi, tai miten tilanne mahdollisesti voitaisiin oikaista, jos myös opettajat alkavat valita koulunsa niiden oletuksiin ja virhepäätelmiin perustuvan paremmuuden perusteella. 18