Hannu Korhonen 4)697/390921%8)1%8--/%2344-1-7890378)2 /%27%00-2)2%6:-3-28- Oppimistulosten arviointi 1/1999 OPETUSHALLITUS 1999
2SHWXVKDOOLWXVMDWHNLMl Graafinen suunnittelu ja taitto Opetushallitus/Sirpa Ropponen ISBN: 952-13-0462-6 ISSN: 1237-1831 Yliopistopaino, Helsinki 1998 2
7,,9,67(/0b Opetushallitus arvioi keväällä 1998 peruskoulun päättövaiheen matematiikan oppimistuloksia. Arviointi käynnisti uusien koululakien mukaisen kansallisen oppimistulosten arviointijärjestelmän. Tiedot kerättiin 100 suomenkielisestä ja 10 ruotsinkielisestä yläasteen koulusta kaksivaiheisella otannalla. Ensimmäisessä vaiheessa valittiin koulut ositusperusteina EU-tukialue ja kuntaryhmä sekä toisessa vaiheessa keskimäärin 30 oppilasta koulustaan tasaväliotannalla. Otokseen tuli näin mukaan kaikkiaan 3 575 yleisopetuksen opetussuunnitelman mukaan opiskelevaa yhdeksäsluokkalaista. Oppimistuloksia mitattiin kaksiosaisella koulusaavutuskokeella: perustaitoja monivalintatehtävillä ja soveltamistaitoja tuottamistehtävillä. Lisäksi kartoitettiin oppilaiden asennoitumista matematiikkaan ja itseluottamusta matematiikan opiskelijana. Koulukohtaisella kyselyllä selvitettiin opetuksen järjestämiseen ja opetusresursseihin liittyviä asioita. Perustietojen osalta tulokset olivat keskimäärin hyvät opetussuunnitelman perusteiden pohjalta arvioiden. Viidesosalla oppilaista oli kuitenkin selviä puutteita perustietojen ja -taitojen hallinnassa. Tuottamiskokeen tulosta ei voida pitää hyvänä keskimäärinkään, sillä vaativammissa soveltamistehtävissä ratkaisuprosentit jäivät kovin pieniksi. Koulutuksellinen tasa-arvo toteutuu erinomaisesti tiedollisten oppimistulosten osalta. Sukupuolten välillä oli edelleen lievä ero poikien hyväksi, mutta se on koko ajan pienentymässä. Kieliryhmien välillä ei ollut eroa. Alueellisesti tarkasteltuna eroja ei ollut vanhojen eikä uusien läänien välillä, ei myöskään kuntaryhmittäin kaupunkien, taajamien ja maaseudun välillä. Alueellisista muuttujista vain EU-tukialueella oli yhteys koetulokseen. Asenteissa, erityisesti matematiikan oppimiseen kohdistuvassa itseluottamuksessa, sukupuolten väliset erot olivat suuret poikien hyväksi. Olipa viitteitä siitä, että ero on edelleen kasvamassa. Tyttöjen itseluottamuksen kohentamiseksi olisi voitava tehdä jotakin, sillä itseluottamus selitti tässä aineistossa jopa 40 prosenttia oppimistuloksista. Lohdullista on, että tytöt eivät ahdistu paljonkaan enemmän matematiikasta ja pitävät sitä lähes yhtä tärkeänä kuin pojat. Jatkoopiskeluvalinnat tehdäänkin enemmän koulumenestyksen kuin asenteiden pohjalta. Koulujen väliset erot eivät olleet keskimäärin kovin suuret eivätkä ne näytä olleen kasvamassa 1990-luvun jälkipuolella. Parhaimmin ja huonoimmin menestyneet koulut eivät keskittyneet alueellisesti, mutta keskiarvojen vaihteluväli oli suuri, lähes neljännes maksimipistemäärästä. Taustamuuttujien ja oppimistulosten välillä ei kuitenkaan ollut suoraa yhteyttä. Asiasanat: peruskoulu, matematiikka, oppimistulokset, asenteet, opetusresurssit 3
SAMMANDRAG Våren 1998 utvärderade Utbildningsstyrelsen inlärningsresultaten i matematik i det skede då eleven går ut grundskolan. Utvärderingen var startskottet för det system med utvärdering av de nationella inlärningsresultaten som ingår i de nya skollagarna. Uppgifterna samlades in från 100 finskspråkiga och 10 svenskspråkiga högstadieskolor genom sampling i två omgångar. I det första skedet utsågs skolorna med EU-stödområde och kommungrupp som indelningsgrund och i det andra skedet från den enskilda skolan i genomsnitt 30 elever genom ekvidistant sampling. Samplet kom på detta sätt att omfatta sammanlagt 3 575 niondeklassister som studerande enligt normalundervisningens läroplan. Inlärningsresultaten mättes med ett prov i två delar: basfärdigheterna med flervalsuppgifter och tillämpningsfärdigheterna med produktionsuppgifter. Vidare kartlades elevernas attityder till matematik och självförtroende som matematikstuderande. Med ett frågeformulär till skolorna utreddes olika frågor i anslutning till uppläggningen av undervisningen och undervisningsresurserna. Baskunskaperna var i genomsnitt goda om man bedömer på basis av grunderna för läroplanen. Närmare en fjärdedel av eleverna hade dock klara brister i behärskandet av baskunskaperna och färdigheterna. Resultatet i produktionsprovet kan inte betraktas som gott, eftersom endast en mycket liten procentandel av eleverna lyckades lösa de uppgifter som var lite mer krävande. Jämställdheten i utbildningen förverkligas på ett utomordentligt sätt i fråga om matematikundervisningen. Mellan könen finns fortsättningsvis en liten skillnad till pojkarnas fördel, men den den krymper hela tiden. Mellan språkgrupperna fanns ingen skillnad. Mellan de gamla och de nya länen fanns inga skillnader, och inte heller kommungruppsvis mellan städer, tätorter och landsbygd. Av de regionala variablerna hade endast EU-stödområdet samband med provresultatet. I attityderna, i synnerhet i självförtroende beträffande möjligheterna att lära sig matematik fanns stora skillnader mellan könen till pojkarnas fördel. Det finns t.o.m. tecken som tyder på att skillnaden fortsätter att öka. Det vore viktigt att göra något för att förbättra flickornas självförtroende, eftersom självförtroende i detta material förklarade närmare 40 prosenttia av inlärningsresultaten. Trösterikt är att matematiken inte inger flickorna ångest i högre grad än vad den inger pojkarna och att flickorna upplever matematiken nästan lika viktig som pojkarna. Valet av fortsatta studier sker i högre grad på basis av skolframgången än på basis av attityderna. Skillnaderna mellan olika skolor var inte särskilt stora i genomsnitt och de förefaller inte att ha ökat under senare delen av 90-talet. De skolor som klarade sig bäst och sämst var inte regionalt koncentrerade, men medelvitsordens variationsbredd var stor, en knapp fjärdedel av maximipoängtalet. Mellan bakgrundvariablerna och inlärningsresultaten fanns dock inte något direkt samband. 4
Sökord: grundskolan, matematik, inlärningsresultat, attityder, undervisningsresurser 5
ABSTRACT The National Board of Education (NBE) in the spring of 1998 made an evaluation of the educational outcomes in mathematics in the final year of upper stage comprehensive school. It was the starting shot of a new statutory national system of evaluating educational outcomes. Information was gathered from 100 upper stage schools for Finnish-speakers and 10 for Swedish-speakers using a two-phase random sampling. In the first phase the schools were selected on the basis of their Community support area and municipal group, in the other on the basis of equidistant sampling, involving 30 pupils per school on average. The sample thus comprised a grand total of 3 575 mainstream ninth-graders. Educational outcomes were measured using a two-part achievement test: basic skills were assessed by means of multiple-choice tests, application skills by means of production tasks. In addition, a survey was made of the pupils attitudes towards school mathematics and their degree of self-confidence as mathematics students. Matters pertaining to teaching arrangements and teaching resources were looked into using school-specific questionnaires. The results of the basic skills tests were quite good on average when measured on the basis of the national core curriculum. Twenty-five percent of the pupils, however, showed clear lacks in their mastery of basic mathematical knowledge and skills. The result of the production tasks, on the other hand, were not so good, for whenever the pupils were confronted with a more demanding application task, the correct solution percentage remained very low. Educational equality in mathematics on the other hand is very good. Boys still showed an edge in their favour, but the gap between boys and girls is constantly growing smaller. There were no differences between the two language groups. On a regional scale there were no differences between the new and old provinces, nor between municipal groups, like towns, small population centres, and preponderantly rural areas. Of the regional variables, only the Community support areas had any influence on the test results. The differences between schools were not very big on average, nor do they appear to be on the increase in the latter half of the 1990s. There was no concentration, regionally, of schools making out very well or quite badly, but the range of average points varied greatly, fluctuating almost twenty-five percent from the maximum score possible. There was however no direct link between the background variables and the educational outcomes. When it comes to describing the differences in attitudes between the genders, the scales are still very much tipped in favour of the boys, especially in regard to the degree of self-confidence in learning mathematics. There are even indications of the difference growing. Something ought definitely to be done to increase the self-confidence of the girls, since the evaluation results show that self-confidence is key in explaining up to 40 percent of the test results. It is comforting to know, however, that girls do not get overly distressed by mathematics, but considered it as a subject just as important as the boys. The choices 6
concerning post-comprehensive studies are also made more on the basis of school achievement than on the basis of attitudes. Key words: comprehensive school, mathematics, educational outcomes, attitudes, teaching resources 7
8
7-7â00=709)88)03 TIIVISTELMÄ... 3 SAMMANDRAG...4 ABSTRACT... 6 LUKIJALLE... 11 1 JOHDANTO... 13 Jukka Sarjala 2 PERUSKOULUN MATEMATIIKAN OPETUSSUUNNITELMAN PERUSTEET JA ARVIOINTI... 15 3 AIKAISEMMAT KANSALLISET OPPIMISTULOSARVIOINNIT... 17 4 ARVIOINTISUUNNITELMA JA TIETOJENKERUU... 19 4.1 Lähtökohdat... 19 4.2 Kokeen toteutus... 20 4.3 Ongelmat, menetelmät ja raportointi... 21 5 TEHTÄVÄSARJAT... 23 5.1 Kokeen sisältö ja rakenne... 23 5.2 Kokeen pätevyys ja luotettavuus... 24 5.3 Asennemittari... 25 6 OTANTA... 27 7 OPPIMISTULOKSET... 30 7.1. Keskimäärin koko maassa 30 7.2 Tytöt ja pojat... 35 7.3 Äidinkielen mukaan... 39 7.4 Alueittain... 40 7.5 Koulujen vertailua... 45 8 ARVOSANAT...48 9 ASENTEET... 53 10 RESURSSIT... 60 10.1 Koulun ja opetusryhmän koko... 60 10.2 Tukitoimet... 64 11 KOONTA... 66 11.1 Pohdintaa... 66 11.2 Tulokset ja päätelmät... 67 LÄHTEET:... 71 9
10
LUKIJALLE Tämä julkaisu on raportti ensimmäisestä kansallisen oppimistulosten arviointijärjestelmän periaatteiden mukaan peruskoulussa järjestetystä arvioinnista. Sitä ei siis ole voitu kirjoittaa mallin mukaan tai vakiintuneeseen tapaan. Esikuvina kangastelevat tietysti tutkimusraportit, joissa on ollut tapana selostaa tulosten lisäksi sitä, mitä ilmiökentästä tiedetään ennestään, millaisten mallien varaan tutkimus on rakennettu, millaisia menetelmiä on käytetty ja miten luotettavia tulokset ovat. Tämä ei ole tutkimusraportti niin kuin hankekaan ei ole ollut tarkoitettu puhdasoppiseksi tieteelliseksi tutkimukseksi. Se ei tarkoita sitä, etteikö menetelmällisesti, esimerkiksi tiedon keruussa ja analysoinnissa, olisi pyritty toimimaan niin pätevästi ja luotettavasti kuin tieteen tekemiseltä on lupa odottaa. Teoriaa ja menetelmiä ei vain ole selostettu perin juurin tässä raportissa. Se saattaa kiusata tutkimusraportteihin tottunutta lukijaa. Raportissa on haluttu panna pääpaino tuloksille: miten matematiikkaa osataan peruskoulun päättyessä keskimäärin, oppilasryhmittäin ja verrattuna aikaisempiin tuloksiin. Jonkin verran on käsitelty myös oppimistuloseroja selittäviä seikkoja. Asiat on pyritty esittämään pääosin yleiskielellä vältellen mahdollisuuksien mukaan tieteen slangia ja erikoissanoja, mutta keksimättä kuitenkaan yleiskielisyyden nimissä vakiintuneiden ilmausten tilalle sellaisia kiertoilmauksia, jotka vaikeuttaisivat asiantuntevan lukijan ymmärtämistä. Kaavioita ja taulukoita on viljelty runsaahkosti siinä toivossa, että ne auttaisivat lukijaa hahmottamaan tilastoluvuista muodostuvia kokonaisuuksia. Oppimistulosten arviointi on läheistä ja parhaimmillaan vuorovaikutteista yhteistyötä koulujen kanssa. Kiitän lämpimästi otoskoulujen rehtoreita ja opettajia hyvin ja vastuullisesti tehdystä yhteistyöstä. Ilman heidän työpanostaan ja myötämielisyyttään hankkeella ei olisi ollut mitään onnistumisen mahdollisuuksia. Toivon, että kokeen pitämisen jälkeen lähetetty pikapalaute ja tämä raportti antavat otoskouluille aineksia opetuksen kehittämisen ja itsearvioinnin tueksi. Kansallisilla arvioinneilla on tietenkin myös toinen tehtävä: palvella koulutuspoliittista päätöksentekoa. Juuri tästä syystä raportissa on tarkasteltu oppimistulosten ohella painokkaasti koulutuksellisen tasa-arvon toteutumista matematiikanopetuksessa. Arviointijärjestelmää rakennettaessa on pyritty siihen, että arviointi ja sen tuottamat tiedot olisivat julkisia. Tähänhän uusi perusopetuslakikin velvoittaa. Siksi tämänkin hankkeen tuloksista on tiedotettu useassa vaiheessa. Muutaman viikon kuluttua kokeen pitämisestä lähetettiin kouluihin tieto koulun omasta tuloksesta ja vertailua varten koko maan tulokset. Puolentoista kuukauden kuluttua kokeen pitämisestä toimitettiin opetusministerille alustava yhteenveto päätuloksista. Samassa yhteydessä järjestetyssä lehdistötilaisuudessa ne julkistettiin myös tiedotusvälineille. Siihen alustavaan raporttiin ovat perustuneet sekä tiedotusvälineiden julkaisemat uutiset että muutamat toistaiseksi julkaistut 11
aikakauslehtiartikkelit ja koulutustilaisuuksissa esittelyt tulokset. Tämä julkaisu on arviointihankkeen loppuraportti. Kansallisten oppimistulosarviointien antaminen Opetushallituksen tehtäväksi perustuu opetusministeriön ja Opetushallituksen väliseen tulossopimukseen. Arviointien yleiset toteuttamisperiaatteet on kirjattu MXONDLVXLKLQ.RXOXWXNVHQ WXORNVHOOLVXXGHQ DUYLRLQWLPDOOL ja.dqvdoolqhq RSSLPLVWXORVWHQ DUYLRLQWLMlUMHV WHOPl. Opetushallituksen johtokunta on seurannut tiivisti työn etenemistä ja suunnannut raportissa esitettyjen näkökulmien valintaa esittämillään kysymyksillä ja kannanotoilla. Opetushallituksen pääjohtaja auttoi tekemillään selkeillä linjauksilla työn suuntaamisessa järkeville ja tarkoituksenmukaisille urille. Näitä linjauksia hän esittelee myös kirjoittamassaan johdannossa. Hankkeen alkuperäisenä projektipäällikkönä toimi rehtori Antero Lahtinen, joka yhdessä asiantuntijaryhmän kanssa loi tietojen keruun suuntaviivat kesän ja syksyn 1997 aikana. Hänen monipuolinen koulun tuntemuksensa, laajat kontaktinsa sidosryhmiin ja uuttera paneutumisensa työn eri vaiheisiin ovat olleet ratkaisevia hankkeen onnistumiselle. Asiantuntijaryhmästä mainittakoon Koulutuksen tutkimuslaitoksen tutkija Pekka Kupari, joka muiden neuvojensa ohella toimitti käyttöön joitakin aikaisemmissa tutkimuksissa käytettyjä koeosioita ja asenneväittämät, joiden pohjalta käytetty asennemittari koottiin. Paljon neuvoja olen saanut myös arviointiesikunnan muilta opetusneuvoksilta, Ritva Jakku-Sihvoselta, Esko Korkeakoskelta ja Pentti Yrjölältä. Erityisen paljon apua on ollut rinnakkaisesti toteutetun luonnontieteiden arvioinnin projektipäällikön, rehtori Antti Rajakorven kanssa käydyistä keskusteluista. Oppimistulosarvioinneissa erityisen tärkeällä sijalla on se mittari (koe), jonka antaminen tulosten pohjalta oppimista arvioidaan. Koetehtävien suunnittelusta vastanneiden opettajien asiantuntemus opetussuunnitelman perusteissa mainittujen tavoitteiden tulkitsemisessa oli siksi aivan ratkaisevaa tulosten pätevyydelle. Oman osansa tekivät myös esikokeiluun oppilaansa ja työpanoksensa antaneet Kangasalan Pikkolan yläasteen opettajat. Tulosten käsittelystä ja tilastoanalyyseistä ovat vastanneet valtiotieteen maisteri Anna-Kaisa Ratilainen ja hänen siirryttyään käyttämään osaamistaan yrityssektorille kasvatustieteen tohtori Jari Metsämuuronen. Kouluille lähetetty pikatiedote toteutettiin Pc-Soft ky:n toimitusjohtaja Juha Långin kehittämällä ja puolustusvoimien kyselyjen analysoinnissa kannuksensa hankkineella ohjelmistolla. Eikä ensimmäistäkään paperia olisi edes saatu liikkeelle eikä myöskään vastaanotetuksi ilman sihteeriemme Aulikki Etelälahden ja Tuija Koskelan tarkkaa, vastuuntuntoista ja antaumuksellista työskentelyä kiireellisimpinä aikoina sananmukaisesti sormet verillä. Vielä on loppuraportin ulkoasusta ja taitosta vastannut Sirpa Ropponen. Kaikille näille esitän lämpimät kiitokset neuvoista, avusta ja osallistumisesta. Orimattilassa 3. päivänä tammikuuta 1998 Hannu Korhonen 12
1 JOHDANTO Jukka Sarjala Opetustoimen säännösviidakon purkaminen, virastokielellä siirtyminen normiohjauksesta informaatio-ohjaukseen, merkitsee sitä, että koulut ja koulujen ylläpitäjät voivat opetussuunnitelmia laatiessaan painottaa opetettavia asioita kukin omalla tavallaan ja valita myös erilaisia toteuttamistapoja. Samoin koulutukseen suunnattuja julkisia varoja voidaan kunnissa käyttää periaatteessa verraten vapaasti. Näin ollen voidaan kysyä, saavatko oppilaat yhtä hyvää opetusta eri puolilla maata ja tuottaako opetus yhtä hyviä tuloksia erilaisissa kouluissa. Uusien koululakien myötä oppilaitosten ylläpitäjille on tullut velvoite arvioida antamaansa koulutusta ja osallistua toimintansa arviointiin (PerusopetusL 21, LukioL 16 ). Lain perusteluissa sanotaan, että "WDUNRLWXNVHQDRQNHUlWl²² WLHWRDVLLWlPLWHQ²²WDYRLWWHHWRYDWWRWHXWXQHHWNl\WlQQ VVl." Arviointi voi siis olla koulutuksen järjestäjän itsearviointia tai ulkopuolista, kansallista tai kansainvälistä arviointia. Edelleen lain säännöksen mukaan "2SHWXVKDOOLWXV KXROHKWLL²²DUYLRLQQLQNHKLWWlPLVHVWlMDXONRSXROLVWHQDUYLRLQWLHQWRLPHHQ SDQRVWD". Koulutuksen arvioinnin keskeinen tehtävä on selvittää, miten hyvin koulutus vastaa sille asetettuja tavoitteita. Opetushallintoon vakiintumassa olevan arviointimallin peruskäsite on tuloksellisuus. Sen arviointi lähtee tavoitetilaa koskevista säädöksistä: laeista, asetuksista, valtioneuvoston päätöksistä, opetussuunnitelmien ja tutkintojen perusteista jne. Arviointiulottuvuuksina ovat WH KRNNXXV YDLNXWWDYXXV MD WXORNVHOOLVXXV. Tälle käsitteistölle rakentuva niin sanottu ARMI-malli (Opetushallitus 1998a) on nähtävä enemmänkin käsitteellisenä kuin toiminnallisena analyysinä, sillä esimerkiksi oppimistulokset ja niihin vaikuttavat tekijät, esimerkiksi pedagogiset järjestelyt tai koulutusresurssien määrä, ovat eri ulottuvuuksilla. Kansallinen koulutuksen arviointijärjestelmä rakentuu kolmenlaisista osista: koulutusindikaattorit, oppimistulosten arviointijärjestelmä ja vaihtuva-alaiset arviointihankkeet. Indikaattorit eli mittaimet kuvaavat kohteensa tilaa tai sen muutosta vuosittain tai määrävuosin. Ne voivat olla yksinkertaisia tunnuslukuja tai esimerkiksi toiminnan laadun kuvailua. Vaihtuva-alaisissa hankkeissa tarkastellaan koko koulutusjärjestelmää tai jotakin sen osaa, esimerkiksi jotakin oppilaitosmuotoa tai koulutusalaa, kuten taidekasvatuksen tuloksellisuutta (Korkeakoski 1998) tai vieraiden kielten osaamista (Sartoneva 1998). Kansallinen oppimistulosten arviointijärjestelmä kattaa peruskoulun ja ammatillisen koulutuksen sekä eräiltä osin myös lukion. Peruskoulun alemmilla luokilla ja lukiossa arvioidaan ensisijaisesti oppimaan oppimisvalmiuksia, oppimismotivaatiota ja kommunikaatiovalmiuksia. Peruskoulun päättövaiheessa arvioidaan säännöllisesti äidinkielen ja matematiikan oppimistuloksia sekä vaihdellen muiden aineiden tuloksia. Järjestelmän mukaiset oppimistulosarvioinnit perustuvat toistaiseksi edustaviin otoksiin eivätkä koko ikäluokan tai koulu- 13
tusalan kaikkien opiskelijoiden tietoihin. Lukiossa oppimistulosten valtakunnallinen arviointi nojaa pääosin ylioppilastutkintoon. (Opetushallitus 1998b) Arvioinnilla pyritään ensisijaisesti keräämään sellaista tietoa, jota voidaan käyttää sekä valtakunnallisessa että paikallisessa kehittämisessä. Varsinaisena päämääränä on oppimisedellytysten parantaminen ja siten pyrkimys parempiin oppimistuloksiin. Kansallisesti tarkastellaan siis yhtäältä keskimääräisiä tuloksia suhteessa opetussuunnitelman perusteissa asetettuihin tavoitteisiin ja käytettävissä oleviin resursseihin sekä toisaalta tavoitteiden toteutumista alueellisesti, sukupuolittain, kieliryhmien välillä ja niin edelleen. Tavoitteena on myös se, että arvioinnissa mukana olevat koulut saavat suoraan ja suhteellisen nopeasti tiedon omien oppilaidensa suorituksista suhteessa koko otokseen. Kansalliset oppimistulosarvioinnit eivät ole kilpailuja, joiden perusteella tehdään paremmuusjärjestyslistoja. Tästä periaatteesta on ainakin toistaiseksi haluttu pitää kiinni niin vahvasti, että pyritään päinvastoin toimimaan niin, että tällaisten listojen tekeminen ei edes olisi mahdollista. Jo tietojen kerääminen otosperustaisesti tekee paremmuuslistojen laatimisen periaatteessa mahdottomaksi. Lisäksi yksittäisten koulujen tulokset on toistaiseksi lähetetty tiedoksi vain koulun rehtorille, vaikka opetusresurssien oikean kohdentamisen näkökulmasta olisi perusteltua antaa tiedot myös koulun ylläpitäjälle. Menettelytavat eivät tässä ole vielä mitenkään vakiintuneet. Yksittäisten arviointien järjestämisestä päätetään vuosittain opetusministeriön ja Opetushallituksen välisessä tulossopimuksessa. Vuonna 1998 toteutettiin matematiikan ja luonnontieteiden arvioinnit sekä peruskoulussa että ammatillisessa koulutuksessa. Vuonna 1999 ovat vuorossa vastaavasti äidinkieli ja modersmålet sekä peruskoulussa englannin kieli. Suunnitelmiin kuuluu, että matematiikkaa ja äidinkieltä arvioidaan peruskoulussa säännöllisesti tämänhetkisen päätöksen mukaan joka toinen vuosi ja muita oppiaineita näiden rinnalla. 14
2 PERUSKOULUN MATEMATIIKAN OPETUSSUUNNITEL- MAN PERUSTEET JA ARVIOINTI Peruskoulun opetussuunnitelman perusteissa (Opetushallitus 1994, 74) matematiikan opetuksen tavoitteet on esitetty yleisten päämäärien tapaan. Tavoitteena on tarjota matemaattiset perustiedot ja taidot kehittää kykyä luokitella, jäsentää ja mallintaa harjaannuttaa johdonmukaiseen ja täsmälliseen ajatteluun sekä asioiden esittämiseen antaa kuva matematiikan merkityksestä sekä osuudesta kulttuurimme kehittymisessä. Ymmärtämistä ja soveltamista suhteessa laskutaitoihin korostetaan useammassakin yhteydessä. Erityisesti todetaan, että "mekaanisen laskennan osuutta voidaan vähentää kaikilla tasoilla". Tekstin arvovaraus on selvä: käsitteiden oppimisen tulee perustua ymmärtämiseen, ja laskutaitojen osaamista on varsinaisesti vasta niiden käyttö kontekstissa eli asiayhteydessä. Oppisisällöt kuvataan erikseen sekä ala-asteelle että yläasteelle. Ala-asteen kuvauksessa korostuvat toiminnat: havainnointi, tulkitseminen, käyttö arkielämän tilanteissa, säännönmukaisuuksien löytäminen. Yläasteen kuvaus painottuu sen sijaan vahvasti matematiikan sisältöihin. Seitsemästä luetelmakohdasta vain kaksi (ongelmanratkaisu ja mallintaminen; käsitys matematiikan lauseista, päättelyn merkitys ja struktuurin rakentuminen) viittaa selkeästi ajattelun taitoihin, menetelmiin tai prosesseihin (Opetushallitus 1994, 75 76). Muissa luetelmakohdissa esitetyt yläasteen oppisisällöt on jaoteltu seuraavaan kuuteen ryhmään: reaaliluvuilla laskeminen tilastot ja todennäköisyyden käsite muuttuja, funktiokäsite, lausekkeiden sieventäminen, koordinaatisto yhtälöt, yhtälöparit ja kirjainlausekkeet (mallintamisen yhteydessä) geometrian peruskäsitteet, verrannollisuus, trigonometria ja Pythagoraan lause yhtenevyys, yhdenmuotoisuus ja symmetria. Tässäkin korostetaan kontekstisidonnaisuutta arkielämään ja ympärillä olevaan maailmaan. Tällaisia mainintoja esiintyy kaikkien muiden oppisisältöjen paitsi lausekkeiden sieventämisen, geometrian peruskäsitteiden sekä yhtenevyyden, yhdenmuotoisuuden ja symmetrian käsitteiden ymmärtämisen yhteydessä. Edellä esitetyt tavoitteet ja oppisisällöt on merkitty opetussuunnitelman perusteisiin toteutettavaksi normiksi. Ohjeellisena esitetty, opiskelun luonnetta ja opetuksen lähtökohtia kuvaileva tekstin osa (Opetushallitus 1994, 76 77) sisältää monia niin arvokkaita näkökohtia, että myös se olisi ansainnut normin 15
arvon. Tällaisia ovat esimerkiksi oppimiskäsityksen kiinnittäminen oppilaan omasta toiminnasta ja lähtökohdista lähteväksi sekä oppimistilanteiden luonnehdinnat. Itse asiassa tulisikin vakavasti pohtia, missä määrin opetuksen järjestämiseen liittyvien prosessiluonteisten toimintojen osuus tulisi ottaa arvioinnin kohteeksi tietojen ja taitojen ohella. Näitä prosessitavoitteita voisivat olla käsitteenmuodostusta pohjustavan konkreettisen rakentelun ja askartelun ohella keskustelu matemaattisista asioista, esimerkiksi "oppilaiden sanalliset tulkinnat" [ongelmatilanteiden tutkimisessa] ja "osuvien kysymysten asettaminen" [opiskelutilanteissa]. Kyse on siitä, että yhtä arvokasta tai arvokkaampaakin kuin osata jokin matematiikan asia tai sen käyttö rutiinitilanteessa on osata selostaa ja kuvailla tähän matematiikkaan liittyviä ajatuksia ja päätelmiä. Tämä puoli kommunikointi on joskus nostettu itsenäiseksi tavoitealueekseenkin. Näin on tehty esimerkiksi Tanskan yläastetta vastaavien luokkien opetussuunnitelmassa, jonka jaottelu on luvut ja algebra, geometria, matematiikan käyttö sekä kommunikaatio ja ongelmanratkaisu (Undervisningsministeriet 1995, 18). Peruskoulun opetussuunnitelman perusteet eivät anna tasovaatimuksia matematiikan osaamiselle. Ne on määriteltävä tarkemmin koulujen omissa opetussuunnitelmissa. Kansallisessa arvioinnissa ainoa mahdollisuus on siis suhteellinen arviointi tai vaadittavan tason, kriteerien, määrittäminen arvioinnin yhteydessä. Valtakunnallisten opetussuunnitelman perusteiden kehittämiseksi Opetushallitus on määritellyt alustavasti tällaiset kriteerit kaikissa peruskoulun oppiaineissa. Ne on määritelty keskimmäistä arvosanaa varten, mutta ei siis hyväksyttyä eikä kiitettävää suoritusta varten (Opetushallitus 1999). Näitä määrittelyjä voitaneenkin käyttää tulevien kansallisten arviointien yhtenä lähtökohtana. 16
3 AIKAISEMMAT KANSALLISET OPPIMISTULOSARVIOIN- NIT Peruskoulun matematiikan oppimistuloksia arvioitiin säännöllisesti peruskoulun siirtymävaiheessa 1970-luvun alkupuolella. Vuosina 1993 ja 1995 toteutettiin matematiikan oppimistulosten arvioinnin pilottihankkeet (Korhonen 1994, Pehkonen 1997), joiden tiedot kerättiin Matemaattisten aineiden opettajien liitto MAOL ry:n valtakunnallisen yhdeksännen luokan matematiikan kokeen yhteydessä. Muuten kansalliset oppimistulosarvioinnit ovat liittyneet Koulutuksen tutkimuslaitoksen, entisen Kasvatustieteiden tutkimuslaitoksen, toteuttamiin peruskoulun tilannekartoituksiin 1979 ja 1990 sekä peruskoulun arviointiin 1995 (esimerkiksi Kupari 1996). Aikaisemmista hankkeista, myös kansainvälisistä, 1990-luvun alkupuolelle asti on lyhyt yhteenveto vuoden 1993 arviointiraportissa (Korhonen 1994, 16 18). Kansainvälistä vertailutietoa saadaan myös vuosina 1994 1996 Suomessa toteutetusta Kassel-projektista, jonka raportointi on aloitettu äskettäin (Soro & Pehkonen 1998), tai LUMAvertailuista (Kallonen-Rönkkö 1997). Kaikki 1990-luvulla tehdyt peruskoulun matematiikan opetuksen kansalliset arvioinnit ovat kohdistuneet päättövaiheeseen. Edellä mainituissa pilottihankkeissa oppimistulostiedot on kerätty yhdellä tuottamistehtäviä sisältävällä koulukokeella, jossa osan tehtävistä oppilas on voinut valita. Jälkimmäiseen, vuoden 1995 kokeeseen sisältyi myös päässälaskuosa. Sen sijaan peruskoulun arvioinnissa 1995 käytettiin viittä, osin rinnakkaista koevihkoa sekä monivalinta- että tuottamistehtäviä. Oppimistulosten ohella kaikissa näissä on vahvasti ollut esillä sukupuolten välisen tasa-arvon tarkastelu. Peruskoulun arvioinnissa 1995 käytetyt tehtävät kattoivat opetussuunnitelman keskeiset tavoitteet. Koetulos ei osoita suurta muutosta vuoteen 1990 verrattuna, ei myöskään sisältöalueittain tarkasteltuna. Yleisenä huomiona Kupari (1996, 441) toteaa, että "2QQLVWXPLVSURVHQWLW ROLYDW NRUNHLWD VHOODLVLVVD N\V\ P\NVLVVlMRLVVDYDVWDXNVHVLRGRWHWWLLQWLHWW\lOXNXDPXWWDODVNLYDWVHOYlVWLNXQ RSSLODLOWDHGHOO\WHWWLLQSHUXVWHOHPLVWDMD\OHLVW\VWHQWHNHPLVWl9DVWDDYDVWLYDV WDDPDWWRPXXVDVWHHW NRKRVLYDW NXQ RSSLODLOWD YDDGLWWLLQ SHUXVWHOXMD MD \OHLVWl PLVWl" Sen sijaan osa-alueiden välisiä vertailuja raportissa ei tehdä. Yhden koulukokeen varaan rakentuvissa arvioinneista vuonna 1993 tehtävät painottuivat geometriaan, tilastoihin ja soveltamiseen sekä vuonna 1995 vastaavasti arkielämän matematiikkaan. Profiileittain tarkasteluna geometria ja tilastot osattiin parhaiten vuonna 1993, laskutoimitusten soveltaminen ja algebra selvästi huonommin. Geometrian ja soveltamisen osalta tulos oli samansuuntainen vuonna 1995 tehdyssä peruskoulun arvioinnissa. Vuoden 1995 matematiikan kokeessa "geometrian osaaminen oli puutteellisempaa" (Pehkonen 1997, 35). Eri arviointien tulosten vertailu ei ole yksiselitteistä, sillä niissä ei ollut yhteisiä tehtäviä ja lisäksi valtaosa vuosien 1993 ja 1995 kokeiden geometrian tehtävistä oli kokeiden valinnaisessa osassa. 17
Matematiikan kokeiden ohella kaikkiin näihin arviointihankkeisiin on sisältynyt laajahko opettajakysely, jolla on kerätty tietoa sekä opetuksen resurssoinnista ja järjestämisestä että opettajien näkemyksistä ja opetustavoista. Vuoden 1993 arvioinnin yhteydessä selvitettiin myös opettajien kelpoisuuteen ja täydennyskoulutukseen liittyviä kysymyksiä. Peruskoulun arvioinnissa 1995 erityisenä tarkastelunäkökulmana olivat ns. säästöpäätösten vaikutukset opetukseen. Näistä Kupari toteaa (1996, 449), että "Opetuksen olosuhteet ovat opettajien mielestä monin tavoin huonontuneet: opetusryhmät ovat kasvaneet, opiskeluilmapiiri on muuttunut, tukiopetus on vähennyt, oppikirjat ovat huonokuntoisia ja oppimateriaalista on puutetta. Kuitenkaan mitään radikaaleja muutoksia oppilaiden oppimisessa ei näyttäisi tapahtuneen. Miten tämä on mahdollista? Ehkä selitys on yksinkertainen. Viiden vuoden aikajakso on aivan liian lyhyt, jotta säästöjen vaikutuksen ylipäätään voisivat näkyä. Tosin opetuksen uudistuminen aivan ilmeisesti hidastuu ja saattaa pysähtyäkin." Vuoden 1995 arvioinnissa pyrittiin menetelmiä monipuolistamalla pääsemään lähemmäs opetustodellisuutta (Pehkonen 1997, 27 28). Koulukokeen ja kyselyjen lisäksi tässä arvioinnissa haastateltiin sekä opettajia että oppilaita. Raportista päätellen haastattelu on kuitenkin kohdistunut enemmänkin kokeen ja kyselyiden herättämiin vaikutelmiin sekä yksittäisten osioiden vaikeuteen ja arviointitapoihin yleensä kuin matematiikan opetuksen tuloksena saataviin ajattelu- ja ongelmanratkaisutapoihin, matematiikan tietojen ja taitojen hallintaan tai matematiikkaan kohdistuviin käsityksiin. 18
4 ARVIOINTISUUNNITELMA JA TIETOJEN KERUU 4.1 Lähtökohdat Opetushallitus kutsui kesällä 1997 kokoon asiantuntijaryhmän. Sen tehtäväksi annettiin laatia tehtäväsarja, jonka avulla arvioidaan matematiikan oppimistuloksia peruskoulussa yhdeksännen luokan keväällä. Työryhmään kutsuttiin lehtori Hannu Korhonen Orimattilan lukiosta, tutkija Pekka Kupari Koulutuksen tutkimuslaitoksesta Jyväskylästä, rehtori Antero Lahtinen Pikkolan yläasteelta Kangasalta, undervisningsråd Henrik Laurén Opetushallituksesta, rehtori Kaj Malm Turun teknillisestä ammattikorkeakoulusta, lehtori Jukka Mäkinen Helsingin II normaalikoulusta, vt. apulaisprofessori, dosentti Erkki Pehkonen Helsingin yliopiston opettajankoulutuslaitoksesta, assistent i didaktik Ann-Sofi Röj-Lindberg Åbo Akademin opettajankoulutuslaitoksesta Vaasasta ja opetusneuvos Reino Seppälä Opetushallituksesta. Rehtori Lahtinen toimi myöhemmin matematiikan arviointihankkeen projektipäällikkönä. Varsin pitkään oli esillä mahdollisuus jatkaa Matemaattisten aineiden opettajien liiton MAOLin ja Opetushallituksen koeyhteistyötä vuosien 1993 ja 1995 tapaan. Kansallisen arvioinnin toteuttamisen reunaehdot otospohjaisuus ja matematiikan arvioinnin toteuttaminen vain joka toinen tai kolmas vuosi tekivät kuitenkin tämän ratkaisun epätarkoituksenmukaiseksi. Lisäksi arviointien tavoitteetkin ovat erilaiset. MAOLin kokeen ensisijainen tavoitehan on peruskoulun päättövaiheessa tehtävän oppilasarvostelun tukeminen valtakunnalliseen jakaumaan perustuvan arvosanasuosituksen avulla. Tavoitteena on myös korostaa tiettyjen keskeisten osa-alueiden merkitystä ja antaa malleja niiden arvioimiseen sopiviksi tehtäviksi. Näitä alueita ovat viime vuosina olleet päässä laskeminen ja matematiikan soveltaminen. Edelleen on pyritty ohjaamaan opettajia kohdistamaan huomiota oppilaiden koesuoritusten laatuun sekä ulkoasun että ajatuksenkulkujen ja perustelujen esittämisen näkökulmasta. Kansalliseen arviointijärjestelmään kuuluva koe on ulkopuolinen arvio osaamisen tasosta. Siksi tehtävätyypit voivat olla muitakin kuin koulukokeissa tavanomaisia tuottamistehtäviä ja on tarpeen, että tiettyä osaamisaluetta kartoitetaan useammalla tehtävällä. Asiantuntijaryhmä kiinnitti kokeen tavoitteet seuraavasti:.rnhhoodduylrlgddqvlwlplvvlpllulqshuxvnrxoxodlvwhqpdwhpdwllndv VD VDDYXWWDPDW YDOPLXGHW YDVWDDYDW RSHWXVVXXQQLWHOPDQ SHUXVWHLVVD DVHWHWWXMDWDYRLWWHLWD.RHRQVLLVWDVRDUYLRLQWL7DYRLWWHHQDRQP\ VDU YLRLGDNRXOXWXNVHOOLVHQWDVDDUYRQWRWHXWXPLVWD Edelleen todettiin, että koe ohjaa ja suuntaa opetusta, mikä on myös otettava huomioon koetta laadittaessa. Lisäksi haluttiin, että tuloksista voitaisiin tiedottaa kouluille hyvin nopeasti. Kouluille annettavaa pikapalautetta pidettiin niin tärkeänä osana oppimistulosten arviointijärjestelmää, että joissakin keskusteluissa se nostettiin jopa toteutuksen onnistumisen kynnyskysymykseksi. 19
Pikapalautteen antamisen varmistamiseksi päätettiin, että perustaitoja arvioitaisiin monivalintatehtävillä, joiden vastaukset voitaisiin lukea automaattisesti optista lukulaitetta käyttäen. Vaikka monivalintatehtäviä ei käytetä koulukokeissa tavanomaisesti, niin niihin päädyttiin siksi, että niitä käytetään yleisesti laajoissa arvioinneissa, ja tässä erityisesti siksi, että haluttiin varmistua siitä, että ainakin osasta koetulosta voitaisiin lähettää kouluille pikapalaute varsin nopeasti kokeen pitämisen jälkeen. Tehtäviä voisi olla 4 5 keskeiseltä osaamisalueelta 3 4 tehtävää kultakin. Soveltamista ja ongelmanratkaisua mittaavat tehtävät olisivat tavanomaisempia tuottamistehtäviä, jotka muodostaisivat oman osakokeensa. Sisältöalueista todettiin, että luonnontieteiden ja matematiikan opetuksen kehittämishankkeen, ns. LUMA-hankkeen lähtötasomittauksessa (Leino 1977) on käytetty seuraavaa sisältöaluejakoa: reaaliluvuilla laskeminen arkielämän tilanteissa säännönmukaisuus ja riippuvuus, muuttujan käyttö ja funktio, lausekkeiden sieventäminen geometrian peruskäsitteet, pinta-alat ja tilavuudet tilastot ja todennäköisyyslaskenta tiedon syventäminen ja ongelmanratkaisu. Samantapaista jakoa on käytetty, tosin jonkin verran erilaisin nimikkein, määriteltäessä peruskoulun päättövaiheen kriteereitä. Näin ollen ei katsottu oikeaksi lähteä määrittelemään omia kriteereitä tämän arvioinnin tarpeisiin, vaan työskentelyn pääpaino kohdistettiin opetussuunnitelman perusteissa esitettyjen tavoitteiden operationaalistamiseen koetehtäviksi. 4.2 Kokeen käytännön toteutus Tehtäväsarjan laadinnasta vastasi ryhmä peruskoulun yläasteella työskenteleviä opettajia, joista osa opettaa myös lukiossa. Ryhmän tuottamat kaksi tehtäväsarjaa testattiin esikokeella. Tehtävistä valittiin sisällöltään ja vaikeustasoltaan parhaiten toisiaan täydentävät tehtävät lopulliseen kokeeseen, osaa jonkin verran muokaten. Koe rakentui kahdesta osasta, jossa ensimmäisessä oli 25 perustietoja ja -taitoja mittaavaa monivalintatehtävää (koeaika 30 minuuttia) ja toisessa 15 tuottamistehtävää (koeaika 45 minuuttia). Koulua koskevat tiedot kerättiin rehtorille osoitetulla kyselyllä (liite 1) siinä yhteydessä, jossa koululle ilmoitettiin pääsemisestä otokseen. Kysymykset koskivat sekä opetuksen resurssointia että järjestämistä. Oppilailta kysyttiin perustaitokokeen yhteydessä sukupuolta, matematiikan arvosanaa ja jatkoopintovalintaa (liite 2). Lisäksi heille esitettiin muutamia matematiikan opiskelua koskevia asenneväittämiä. Perustaitokokeen monivalintatehtäviin oppilaat vastasivat suoraan optisen lukijan lomakkeelle. Opettajia pyydettiin arvostelemaan tuottamistehtävät annetun arvosteluohjeen mukaisesti ja merkitsemään antamansa pistemäärät samalle optisen lukijan lomakkeelle. 20
Kaikki otokseen tulleet koulut lähtivät mukaan kokeen järjestämiseen, vaikka keväällä 1998 ei vielä ollut voimassa uusien koululakien tuomaa velvoitetta osallistua ulkopuolisiin arviointeihin. Koulut halusivat myös, että kokeeseen osallistuu koko ikäluokka, eivätkä vain otokseen tulevat oppilaat. Kaikille oppilaille toimitettiin koemateriaali, mutta oppilaiden suoritukset koottiin vain otokseen tulleilta oppilailta. Aivan viime vaiheessa mukaan tuli 110 otoskoulun lisäksi 32 LUMA-koulua ja 42 Helsingin kaupungin yläasteen koulua. Koemateriaali toimitettiin suoraan kouluille pikapakettina. Palautus oli suunniteltu tehtäväksi postin omavastauspalvelua käyttäen. Palautus ei kuitenkaan sujunut aivan suunnitelmien mukaisesti, sillä vaikka koulut lähettivät materiaalin ajoissa, niin lähetykset viipyivät postin omassa järjestelmässä suurempiin palautuseriin kokoamisen takia. Tulokset saatiin kuitenkin käsitellyiksi alustavasti ja pikapalaute lähetetyksi suunnitelman mukaan neljän viikon kuluessa kokeen pitämisestä. Onnistumisesta kuuluu suuri kiitos kouluille sekä kokeen järjestäneille ja arvostelleille opettajille. Heidän myönteisen ja vastuullisen suhtautumisensa ansiosta pikapalaute voitiin toimittaa suunniteltua laajempana. Monivalintatehtävien tulosten lisäksi se sisälsi asenneväittämien ja myös tuottamistehtävien vastausvaihtojakaumat ja osioiden ja osakokeiden keskiarvot samassa muodossa kunkin yksittäisen koulun ja koko valtakunnan osalta (liite 4). 4.3 Ongelmat, menetelmät ja raportointi Arviointia ei suunniteltu toteutettavaksi tieteellisenä tutkimuksena, vaikkakin oli selvää, että tiedonkeruu- ja käsittelymenetelmien ja tulosten luotettavuuden tuli täyttää yhtä vahvat kriteerit kuin asiallisesti tehtävän tutkimuksenkin. Lähtökohdiltaan arvioinnissa on myös selvityksen piirteitä, sillä tarkoitus on palvella koulutuspoliittista päätöksentekoa ja koulutuksen kehittämistä kansallisella, paikallisella ja oppilaitostasolla (Opetushallitus 1998a, 8 9). Toteuttamisperiaatteita on kuvattu yksityiskohtaisemmin julkaisussa Kansallinen oppimistulosten arviointijärjestelmä (Opetushallitus 1998b). Menetelmällisesti, erityisesti siis tietojen keruun ja analysoinnin osalta, arviointi on empiiriseen aineistoon perustuva kyselytutkimus. Sen tehtävät voidaan näin ollen muotoilla tutkimusongelmien tapaan: Millainen on matematiikan osaamisen taso keskimäärin? Toteutuuko koulutuksellinen tasa-arvo matematiikan opetuksessa? Millaiset tekijät vaikuttavat oppimistuloksiin? Oppilaiden vastaukset kerättiin optisesti luettavalla lomakkeella. Pikaanalyysissä käytettiin kyselyaineistojen perusanalysointiin suunniteltua Jotosohjelmistoa. Tulokset analysoitiin taulukkolaskentaa ja tavanomaisia tilastotyökaluja Survo 98:aa ja SPSS:ää käyttäen. Keskeisellä sijalla olivat vertailevat analyysit. 21
Tavanomaisia tilastollisia menettelyjä ei ole selitetty tuloksia kuvaavassa tekstissä, vaan niitä on pidetty itsestään selvinä. Esimerkiksi yleensä ei ole erikseen mainittu, että ryhmien välisiä eroja on testattu varianssianalyysillä; puhumattakaan sellaisesta teknisestä yksityiskohdasta, että jos Levenen testi ei anna tukea varianssien yhtäsuuruudelle, niin keskiarvojen eroa on testattu Brownin ja Forsythen testillä eikä F-testillä, jossa varianssit oletetaan yhtä suuriksi, tai että ryhmien väliset vertailut on tehty Tukeyn ja Kramerin testillä. Raportointi suunniteltiin tehtäväksi kolmessa vaiheessa. Ensimmäiseksi tiedotettiin koululle koulun omat ja valtakunnan keskimääräiset tulokset edellä kerrotun suunnitelman mukaan. Toiseksi laadittiin alustavien analyysien pohjalta lyhyt, päätulokset sisältävä raportti opetusministerille (Opetushallitus 1998c). Se julkistettiin myös lehdistötilaisuudessa. Tämä arviointijulkaisu on raportoinnin kolmas vaihe. Lisäksi arvioinnista on julkaistu joitakin lyhyitä artikkeleita (Korhonen & Lahtinen 1998, Korhonen 1998). Hankkeeseen liittyy oppilaiden suoritusten virheanalyysin tutkimus, joka raportoidaan erikseen. Rinnakkaisina kansallisina oppimistulosten arviointihankkeina ovat olleet samaan aikaan järjestetyt peruskoulun päättövaiheen luonnontieteiden oppimistulosten arviointi ja toisen asteen ammatillisessa koulutuksen matematiikan ja luonnontieteiden arvioinnit. 22
5 TEHTÄVÄSARJAT 5.1 Kokeen sisältö ja rakenne Arviointi kohdistui yhtäältä sellaisiin matematiikan perustietoihin ja -taitoihin, joiden toivottaisiin jäävän pysyväksi osaksi oppilaan henkistä pääomaa, ja toisaalta niihin soveltamisen ja ongelmanratkaisun taitoihin, joita opetetaan kaikille oppilaille matematiikan opetuksessa. Koe tuli siksi rakentumaan kahdesta osasta, jossa ensimmäisessä (koe A) oli 25 perustietoja ja -taitoja kartoittavaa monivalintatehtävää ja toisessa (koe B) 15 tuottamistehtävää kuudeksi osioksi ryhmiteltynä. Perustaitokokeen tehtävätyypin valintaan vaikutti ensisijaisesti tarve taata nopean palautteen antaminen kouluille eikä niinkään se, että monivalintatehtäviä olisi sinänsä pidetty parempana kuin tuottamistehtäviä. Noin puolessa perustaitokokeen tehtävistä matematiikka oli liitetty johonkin kontekstiin eli asiayhteyteen: esimerkiksi "Kuinka paljon kengät maksavat kun alennusta annetaan 25 %?" (kuvio 1) tai "Mikä lauseke ilmaisee Internetin käytön kuukausikustannukset markkoina?". Kokeen A tulosta voidaan siten tarkastella myös kahtena eri osakokeena: perustaidot (matematiikka ilman kontekstia) ja perustaitojen soveltaminen (matematiikka liitettynä kontekstiin). /YMROETEPNSROIRKÇXQEOWEZEX# % QO & QO ' QO ( QO ) QO KUVIO 1. Perustaitokokeen A tehtävä 3, prosenttilasku kontekstissa. Tuottamistehtäväkoe B oli rakenteeltaan tavanomainen koulukoe. Sen ongelmanratkaisutehtäviä voi luonnehtia rutiiniprobleemoiksi, koska samanlaisia tehtäviä esiintyy yleisesti oppikirjoissa ja ne ovat peruskoulun opetussuunnitelman perusteiden mukaisia vaikeustasonsa ja aihepiirinsä puolesta. Tehtävät koostuivat 2 3 osatehtävästä; osa siksi, että näin saatiin muodostetuksi saman asian eritasoista osaamista mittaava asteikko (esimerkiksi kuvio 2): tunnistaminen, rutiininomainen laskutoimitus ja soveltaminen. 23
E F G 1MOÇPYOYOIPTEE\RTEMOEPPI# \! 6EXOEMWI]LXÇP \!\ 7EVNEOYZEOMVNSNEQ]]XMMRQEVOEREPIRRYOWIPPE 6MWXSSWXMWIMXWIQÇROMVNEE -PQEREPIRRYWXELÇRSPMWMWEQEPPEVELEQÇÇVÇPPÇWEERYXZMMWMOMVNEE 1MOÇSPMOMVNSNIREPIRXEQEXSRLMRXE# KUVIO 2. Tuottamistehtäväkokeen B tehtävä 1, yhtälön ratkaisemisen erilaisia suoritustasoja. Tehtävät voidaan jakaa osakokeiksi myös sisällön perusteella: luvut ja laskutoimitukset, geometria, tilastot, funktiot ja algebra (taulukko 1, liite 3). Tässä tarkastelussa osakokeiden rakenne on niin erilainen, että osa-alueiden väliset vertailut eivät ole mielekkäitä; erityisesti siksi, että kunkin osakokeen tulos riippuu hyvin herkästi valituista tehtävistä eikä tässä hankkeessa pyritty alunperinkään eri osa-alueita mittaavien osakokeiden matsaamiseen. Sen sijaan tällaisella tarkastelulla voidaan osaamisprofiilein selvitellä opetuksen painotuksia erilaisissa ryhmissä aina kouluittaiseen tarkasteluun asti. TAULUKKO 1. Tehtävien määrät osakokeittain (* 1 piste kokeen A ja 6 pistettä kokeen B tehtävästä). Osakoe Tehtäviä Maksimipisteet* Koe A Koe B Perustaidot 25 25 ilman kontekstia 12 12 kontekstissa 13 13 Tuottamistehtävät 6 36 luvut ja laskutoimitukset 10 1 16 geometria 5 1 11 tilastot 1 2 13 funktiot 4 1 10 algebra 5 1 11 5.2 Kokeen pätevyys ja luotettavuus Koulusaavutusmittarin pätevyys verrattuna kriteeriin, esimerkiksi opetussuunnitelmaan, on useimmiten asiantuntijoiden arvion varassa. Tässä hank- 24
keessa koetehtäviä laatineiden asiantuntijaopettajien merkitys oli erityisen suuri siksi, että peruskoulun matematiikan opetussuunnitelman perusteet eivät anna tarkkoja sisältökuvauksia, suoritustasokriteereistä puhumattakaan. He kaikki olivat kuitenkin opettaneet matematiikkaa peruskoulun yläasteella, osa hyvinkin pitkään. Eräänlaisena arviona heidän sisältö- ja suoritustasotulkintojensa osuvuudesta on koko kokeen jakauman lähes normaali muoto ja perustaitokokeen keskiarvon asettuminen juuri odotettuun kohtaan niin kuin myöhemmin nähdään. Koulusaavutuskokeen pätevyyden ulkoisena kriteerinä käytetään usein koetuloksen ja oppilaan todistusarvosanan välistä korrelaatioita. Tämä oli koko kokeelle 0,77, kokeelle A 0,71 ja kokeelle B 0,73. Vuosina 1972 1993 järjestetyissä peruskoulun matematiikan oppimistulosarvioinneissa tämä indeksi on vaihdellut 0,44 0,72 (Pasanen 1972, 17, Kupari 1983, 161, Korhonen 1994, 35). Korrelaatio kuvaa siis sitä, mittaako koe sellaisia asioita, joita oppilaille on opetettu, ja sellaisia suorituksia, joiden perusteella opettajat antavat arvosanoja omille oppilailleen. Vastaavanlaista laskennallista pätevyysindeksiä ei saada opetussuunnitelman perusteissa esitettyjen tavoitteiden ja koetuloksen välille muuten kuin pyytämällä arvioita siitä, onko asiat opetettu vai ei. Kuten edellä on sanottu, tämän tehtäväsarjan kokoamisen keskeisenä lähtökohtana oli tämän varmistaminen jo ennakolta sisällöllisen kattavuuden (ks. edeltä taulukkoa 1) ja tehtävänlaatijoiden kokemuksen perusteella. Yksittäisiä tehtäviä ei kuitenkaan arvioitu tässä suhteessa. Kokeen luotettavuuden yleisimpänä indeksinä käytetään Cronbachin α- kerrointa. Se kuvaa varsinaisesti kokeen sisäistä johdonmukaisuutta, toisin sanoen sitä, erottelevatko osiot oppilaita samalla tavalla, eikä niinkään sitä, erotteleeko koe oppilaita samalla tavalla eri mittauskerroilla. Perustaitokokeelle α- kerroin oli 0,86 ja tuottamistehtäväkokeelle 0,83. Edellä minituissa vuosien 1972 1993 arvioinneissa α-kerroin on vaihdellut 0,47 0,89 ja 0,78 0,90 vuoden 1995 peruskoulun arvioinnissa (Kupari 1997, 220). 5.3 Asennemittari Oppilaille esitettiin 12 asenneväittämää, joilla selvitettiin heidän käsitystään itsestään matematiikan oppijoina ja heidän suhtautumistaan matematiikkaan ja matematiikan oppimiseen. Kysymykset pohjautuvat tunnettuihin matematiikan asenneskaaloihin (Fennema & Sherman 1976) ja osaa niistä on käytetty aikaisemmin peruskoulun tilannekartoituksissa ja päättövaiheen arvioinneissa. Väitteet esitettiin sekoitetussa järjestyksessä myönteisiä ja kielteisiä väittämiä vuorotellen. Oppilaat vastasivat viisiportaisella asteikolla: täysin eri mieltä, eri mieltä, epävarma kanta, samaa mieltä, täysin samaa mieltä. Muuttujien yhdistämiseksi asteikot muutettiin numeerisiksi välille 2 +2) ja käännettiin niin, että positiivinen luku ilmaisee myönteistä asennetta. Asennemittari osoittautui hyvin luotettavaksi, sillä sen luotettavuusnhuwrlphnvl VDDWLLQ 25
Käsitystä itsestä matematiikan oppijana mittaavat väittämät kohdistuivat erityisesti matematiikan oppimiseen kohdistuvaan itseluottamukseen. Ne olivat oppilaille esitetyn järjestyksen (liite 1) mukaan numeroituina 3. Pystyn selviytymään vaikeistakin matematiikan tehtävistä. 5. Pystyn saamaan hyvä numeroita matematiikassa. 6. Useimmissa oppiaineissa pärjään kohtalaisesti, mutta matematiikassa olen tosi hyvä. 8. Vaikka kuinka yrittäisin, en siitä huolimatta menesty matematiikassa. 11. En ole sitä tyyppiä, joka osaa hyvin matematiikkaa. Näiden väittämien muodostama ryhmä näyttää olevan hyvin yhtenäinen. Väittämät tulevat samalle faktorille ja saavat korkeimmat lataukset erilaisissa faktoriratkaisuissa. Tässä aineistossa näihin näyttävät liittyvän myös väittämät 10. Pystyisin oppimaan matematiikkaa myös nopeammin. 11. En ole aina varma, että ratkaisemani tehtävä on oikein tehty. Vastaavasti suhtautumista matematiikkaan ja sen oppimiseen voitaisiin luonnehtia ahdistuneisuudeksi, mikä näkyy selkeästi väittämien sanamuodoista: 2. Vältän matematiikkaa aina, kun se on mahdollista. 4. Matematiikka tekee minut levottomaksi ja hämmentyneeksi. 7. Kun kuulen sanan matematiikka, minulle tulee vastenmielisyyden tunne. Tässä aineistossa näihin liittyy läheisesti (kahden faktorin ratkaisussa) väittämä 8. Minun puolestani koulussa voisi olla enemmän matematiikkaa. Sen sijaan väittämä 1. Tulevissa opinnoissani tarvitsen matematiikkaa. ei asetu millekään faktorille. Syy on ilmeisesti se, että siihen vastataan enemmän tiedolliselta kuin asenteiden pohjalta. Asenneväittämiä tarkastellaan jäljempänä ensisijaisesti yksittäisinä väittäminä, sillä väittämien yhteistuloksia ei ole aikaisemmin julkaistu edellä esitetyn ryhmityksen mukaisesti. 26
6 OTANTA Kansalliseen oppimistulosten arviointijärjestelmään kuuluvat kokeet on suunniteltu pidettäviksi otospohjaisesti vähintään 5 prosentin oppilasotoksella (Opetushallitus 1998b, 12). Tilastokeskuksen oppilaitosrekisterin (Tilastokeskus 1997, 13) mukaan yläasteen opetusta antavia oppilaitoksia oli 660 ja niissä 196 700 oppilasta lukuvuoden 1996 97 alussa. Näistä yhdeksäsluokkalaisia oli noin 67 000: suomenkielisiä 63 400 ja ruotsinkielisiä 3 600. Tavoiteltu otoskoko tuli siis olemaan noin 3 400 oppilasta. Otoksen edustavuuden parantamiseksi päätettiin ottaa mukaan suurempi osuus kouluista kuin oppilaista: noin 100 suomenkielistä (noin kuudesosa) ja 10 ruotsinkielistä koulua (noin neljäsosa). Aikaisemmissa oppimistulosarvioinneissa, esimerkiksi peruskoulun tilannekartoituksissa, on käytetty ryväsotantaa siten, että ensiksi on valittu koulut ja sitten kustakin koulusta yksi tai kaksi luokkaa (opetusryhmää). Tässä hankkeessa päädyttiin kaksivaiheiseen otantaan. Ensimmäisessä vaiheessa valittiin koulut suhteellisella, ositetulla satunnaisotannalla, ositusperusteina suomenkielisillä kouluilla EU-tukialue ja kuntaryhmä sekä ruotsinkielisillä kuntaryhmä. Toisessa vaiheessa valittiin oppilaita koulujen sisältä tasaväliotannalla. Tietysti oppilaat ryvästyvät tässäkin, toisin sanoen ovat samanlaisempia kuin koko maasta satunnaisesti valitut oppilaat. Tällä tavalla voidaan kuitenkin verrata kouluja keskenään luotettavammin kuin vain yhden tai kahden ryhmän perusteella. EU-tukialueen ottamiseen alueelliseksi taustamuuttujaksi päädyttiin siksi, että vanha läänijako ei enää ollut voimassa ja osa uusista lääneistä on laajoja ja erittäin epäyhtenäisiä. Maakuntia taas on liian monta (20), jotta jokaiseen ositteeseen olisi saatu riittävästi edustajia. EU-tukialueet ovat riittävän suuria väestöpohjaltaan. Lisäksi ne ovat ainakin jossain määrin väestö- ja elinkeinorakenteeltaan yhtenäisiä. EU-tukialueet (liite 5), tai tarkemmin Euroopan yhteisön rakennerahastojen alueellisen tuen suuntaamisen tavoitteet (Teknillinen korkeakoulu 1998), määritellään seuraavasti: 0 ei EU-tukea 2 teollisuuden rakennemuutoksesta kärsivien alueiden tukeminen 5b maaseutumaisten seutujen kehittäminen ja rakenteellinen mukauttaminen 6 erittäin harvaan asuttujen alueiden kehittäminen. Tukialueista käytetään jatkossa nimityksiä nolla-alue, taantuvat teollisuusalueet, maaseutu ja harvaan asutut alueet. Kuntaryhmitys noudattaa taas Tilastokeskuksen käyttämää jakoa: 1 kaupunki 2 taajama 3 maaseutu. 27