PERUSKOULUN 9.-LUOKKALAISTEN LUONNONTIETEIDEN OPPIMISTULOSTEN ARVIOINTI

Antti Rajakorpi (toim.) PERUSKOULUN 9.-LUOKKALAISTEN LUONNONTIETEIDEN OPPIMISTULOSTEN ARVIOINTI Keväällä 1998 pidetyn kokeen tulokset Oppimistulosten Arviointi 2/1999 OPETUSHALLITUS

2SHWXVKDOOLWXVMDWHNLMlW Graafinen suunnittelu ja taitto Opetushallitus/Sirpa Ropponen ISBN: 952-13-0487-1 ISSN: 1237-1831 Yliopistopaino, Helsinki 1999 2

TIIVISTELMÄ Opetushallitus järjesti opetusministeriöltä saamansa tehtävän mukaisesti luonnontieteiden oppimistulosten arvioinnin peruskoulun yhdeksäsluokkalaisille keväällä 1998. Arviointiin osallistunut oppilasjoukko valittiin kaksivaiheisella otannalla: Ensimmäisessä vaiheessa valittiin koulut EU-tukialueet ja kuntaryhmät ositusperusteina. Toisessa vaiheessa valittiin oppilaat systemaattisella tasaväliotannalla. Koeryhmä koostui 100 suomenkielisestä ja 9 ruotsinkielisestä koulusta. Koulua kohden otokseen tuli keskimäärin 31 oppilasta, yhteensä 3 395. Suomenkielisiä oppilaita näistä oli 3 150 ja ruotsinkielisiä 245. Koko maan 9.-luokkalaisten ikäluokasta otosjoukko vastasi noin 5:tä %. Luonnontieteen oppimistuloksia arvioitiin kolmiosaisella tehtäväsarjalla. Ensimmäinen osa (koe 1) koostui biologian, maantiedon, fysiikan ja kemian perustehtävistä. Jokaisesta oppiaineesta oli viisi oppilaan perustietoja mittaavaa monivalintatehtävää. Toinen osa (koe 2) mittasi oppilaiden luonnontieteiden tietojen soveltamiskykyä. Osa 2A koostui monivalintatehtävistä ja 2B tuottamistehtävistä. Koko kokeessa oli 45 tehtävää, jotka jakautuivat seuraavasti: biologia 8, maantieto 9, fysiikka 8, kemia 9 sekä integroivia luonnontieteiden yhdistelmätehtäviä 11. Osaamista arvioitiin oikeiden ratkaisujen määrien perusteella: >80 % = kiitettävä, 80 60 % = tyydyttävä, 60 40 % = välttävä ja <40 % = heikko. Peruskokeessa osattiin biologiaa ja maantietoa tyydyttävästi (ratkaisuprosenttien keskiarvot biologiassa 71,6 % ja maantiedossa 64,6 %), kemiaa välttävästi (48,6 %) ja fysiikkaa heikosti (35,2 %). Kokonaisuutena peruskoe osattiin välttävästi (kokonaisratkaisuprosentti 55 %). Tiedon soveltaminen (koe 2) oli vaikeaa erityisesti tuottamistehtävissä. Maksimipistemääriin suhteutettuna tulos oli aineittain seuraava: biologia 59,3 %, maantieto 35,7 %, fysiikka 55,8 %, kemia 33,6 % ja luonnontieteen yhdistelmätehtävät 40,1 %. Tietojen soveltaminen oli kokeen perusteella biologiassa ja fysiikassa välttävää, maantiedossa ja kemiassa heikkoa ja luonnontieteen yhdistelmätehtävissä juuri ja juuri välttävää. Koko kokeen tulos oli biologiassa tyydyttävä sekä maantiedossa ja fysiikassa välttävä. Kemian pistekeskiarvo 5,8 oli vain 38,6 % maksimipistemäärästä (15 p), joten kemian osaaminen jäi niukasti välttävän alapuolelle, osaamisluokkaan heikko. Kokeen kaikkien osioiden pistekeskiarvo oli 36,3 pistettä, 45,4 % maksimista (80 pistettä). Kokonaisosaaminen oli välttävää. 27 parhaiten menestyneen koulun (ylin kvartiili) koko kokeen pistekeskiarvo vaihteli 38,4 pisteestä 52,0 pisteeseen (48,0 65,0 % maksimista, osaamistaso välttävästä tyydyttävään). 27 huonoiten menestyneen koulun (alin kvartiili) pistekeskiarvo vaihteli 33,7 pisteestä 25,5 pisteeseen (42,1 31,9 % maksimista, osaamistaso välttävän alarajoilta heikkoon). Osaaminen ei riippunut merkitsevästi koulun koosta. 3

Koulutuksellinen tasa-arvo ei tämän kokeen perusteella näytä täysin toteutuvan. Tuloksissa oli tilastollisesti merkitsevää eroa sukupuolten, kieliryhmien sekä alueiden välillä. Tyttöjen kouluarvosanat olivat kaikissa luonnontieteissä paremmat kuin poikien, mutta pojat menestyivät kokeessa paremmin. Vain soveltavissa tehtävissä ja biologiassa tyttöjen koetulosten keskiarvo oli parempi. Toisaalta pitkäaikainen suuntaus näyttää viittaavan sukupuolten välisten osaamiserojen pienenemiseen. Asenteet luonnontieteitä kohtaan selittivät koetulosta: asennekyselyn perusteella tytöt arvostavat enemmän biologiaa ja maantietoa, kun taas pojille mm. jatko-opintojen kannalta ovat fysiikka ja kemia tärkeimmät. Suomenkielinen otosryhmä menestyi koekeskiarvojen perusteella tilastollisesti merkitsevästi ruotsinkielisiä paremmin. Kemian perustiedoissa ruotsinkielisten tulos oli kuitenkin merkitsevästi parempi kuin suomenkielisten. Otoksen perustana ollutta EU-tukialuejakoa käytettiin myös suoritettaessa tulosten alueellista vertailua. Harvaan asuttujen alueiden (EU6) oppilaiden koko kokeen tulos oli tilastollisesti erittäin merkitsevästi alempi kuin muiden alueiden. Sama suunta oli nähtävissä kuntaryhmien välisissä koko kokeen tuloksissa: kaupunkikoulujen tulos oli tilastollisesti merkitsevästi parempi kuin maaseutukoulujen. Myös läänien välillä oli selvää eroa: Etelä-Suomen ja Länsi-Suomen läänien otosryhmän oppilaiden koko kokeen keskiarvot olivat tilastollisesti erittäin merkitsevästi paremmat kuin Oulun ja Lapin läänien oppilaiden. Avainsanat: peruskoulu, arviointi, oppimistulokset, opetusresurssit, asenteet, luonnontieteet, biologia, maantieto, fysiikka, kemia 4

SAMMANDRAG Utbildningsstyrelsen genomförde, på uppdrag av undervisningsministeriet, en utvärdering av inlärningsresultaten i grundskolans nionde klass våren 1998. Eleverna, som deltog i utvärderingen valdes i 2 steg. I det första steget valdes skolorna med hjälp av EU:s stödområdesindelning och Finlands kommunindelning. I det andra steget gjordes ett ekvidistant urval av eleverna. Försöksgruppen bestod av 100 finskspråkiga och 9 svenskspråkiga skolor. I medeltal deltog 31 elever/skola, sammanlagt 3 395 elever. Av dem var 3 150 finskspråkiga och 245 svenskspråkiga. Urvalet representerar c:a 5 % av landets alla 9.-klassister. Inlärningsresulten utvärderades med hjälp av elevuppgifter, som var grupperade i tre delar. Den första delen (prov 1) bestod av grunduppgifter i biologi, geografi, fysik och kemi. I varje läroämne fanns 5 flervalsuppgifter, som belyste grundkunskaper. Den andra delen (prov 2) mätte elevernas tillämpade kunskaper i naturvetenskap. Del 2A bestod av flervalsuppgifter och 2B av s.k. produktionsuppgifter. Hela provet bestod av 45 uppgifter, som fördelade sig på följande sätt: biologi 8, geografi 9, fysik 8, kemi 9 och tvärnaturvetenskap 11. I utvärderingen användes en skala, som anger % av maksimipoäng enligt: >80 % = berömligt, 80 60 % = nöjaktigt, 60 40 % = försvarligt och <40 % svagt. I basprovet var kunskaperna i biologi och geografi nöjaktiga (biologi 71,6 % och geografi 64,6 %), i kemi försvarliga (48,6 %) och i fysik svaga (35,2 %). Medeltalet för hela provet i baskunskap var 55 % d.v.s. försvarligt. Att tillämpa kunskaperna var särskillt svårt i produktionsuppgifterna (prov 2). I förhållande till möjliga maximala poäng i varje läroämne var elevernas medeltal följande: biologi 59,3 %, geografi 35,7 %, fysik 55,8 %, kemi 33,6 % och tvärnaturvetenskap 40,1 %. De tillämpade kunskaperna var alltså försvarliga i biologi och fysik, svaga i kemi och geografi medan de i tvärnaturvetenskap var nätt och jämt försvarliga. Totalt var resultatet nöjaktigt i biologi, försvarligt i fysik och geografi medan medeltalet i kemi var endast 38,6 % av maximala poängen (5,8 av 15), d.v.s. något sämre än försvarligt. Resultatet för hela provet var 36,3 poäng (45,4 % av maximala 80 poäng) eller enligt skalan försvarligt. De 27 bästa skolorna (översta kvartilen) hade ett resultat, som varierade mellan 38,4 och 52,0 poäng (48,0 65,0 % av maximala poängtalet), enligt skalan försvarligt nöjaktigt. Medeltalet för de 27 minst framgångsrika skolorna (understa kvartilen) varierade mellan 33,7 och 25,5 poäng (42,1 31,9 % av maximala poängtalet). Kunskapsnivån var inte beroende av skolans storlek. 5

Jämlikheten i utbildningen förefaller inte utifrån den här utvärderingen förverkligas till fullo. I resultaten finns märkbara statistiska skillnader geografiskt såväl som mellan könen och språkgrupperna. Flickornas skolbetyg var i medeltal bättre än pojkarnas i samtliga utvärderade läroämnen medan pojkarna presterade bättre resultat i utvärderingsprovet, med undantag för de tillämpande uppgifterna och för biologi, där flickornas prestationer var bättre (skilladerna i prestationer mellan pojkar och flickor minskar dock). Det kan förklaras med attityderna till naturvetenskap; utgående från attitydfrågorna, som besvarades i utvärderingen visade det sig att flickorna värdesätter biologi och geografi högre, medan fysik och kemi var viktigare för pojkarna bl.a. med tanke på fortsatta studier. Den finskspråkiga sampelgruppens resultat var statistiskt märkbart bätttre än den svenskspråkiga sampelgruppens. Resultaten i de kemiska grundkunskaperna var dock det omvända. Uppdelningen enligt EU:s stödområden möjliggjorde en geografisk jämförelse. Eleverna i glest bebodda områden (EU6) hade ett resultat, som statistiskt var märkbart sämre än övriga elevers. Liknande skillnader fanns också mellan olika kommuntyper då det gällde hela provets resultats; Skolorna i städerna hade ett resultat, som statistiskt var märkbart bättre än resultatet i landsbyggdsskolorna. Också på länsnivå var skillnaderna märkbara: eleverna från Södra Finlands län och Västra Finlands län presterade i medeltal statistiskt märkbart bättre än eleverna från Uleåborgs län och Lapplands län. Sökord: grundskola, utvärdering, inlärningsresultat, undervisningsresurser, attityder, naturvetenskap biologi, geografi, fysik, kemi 6

ABSTRACT In the spring of 1998 The National Board of Education made an evaluation of learning results in natural sciences according to the Ministry of Education s duty for 9 th graders of the comprehensive school. The sample for evaluation was taken with a two-stage sampling: In the first phase the schools were chosen randomly on the basis of EU support areas and municipality groups; in the second phase the pupils were chosen by systematic equidistant sampling. The evaluation group consisted of a hundred Finnish-speaking and nine Swedishspeaking schools. The sample per school was an average 31 pupils, 3 395 all together, 3 150 Finnish and 245 Swedish pupils. The sample size was about 5 of the whole age class. Learning results in natural sciences were evaluated by using a three-stage test series. The first part (test 1) consisted of five multiple-choice tasks in the basics of biology, geography, physics and chemistry. The second part (test 2) measured pupils application skills, part 2A consisting of multiple-choise tasks and 2B of production tasks. The entire test consisted of 45 tasks; 8 in biology, 9 in geography, 8 in physics, 9 in chemistry and 11 covering all these subjects (science). Knowledge was evaluated by the number of correct answers: >80 % = excellent, 80 60 % satisfactory, 60 40 % tolerable and <40 % poor. The results of the basics were in biology and geography satisfactory (average 71,6 % in biology and 64,6 % in geography), in chemistry tolerable (48,6 %) and physics poor (35,2 %). As a whole the basics were known tolerably (55 %). The application of knowledge (test 2) was difficult especially in the production tasks. In relation to maximum points the result was as follows: biology 59,3 %, geography 35,7 %, physics 55,8 % chemistry 33,6 % and science 40,1 %. Application skills were tolerable in biology and physics, poor in geography and chemistry and in science scarcely tolerable. The result of the whole test was satisfactory in biology, tolerable in geography and physics and poor in chemistry because the average, 5,8 points, is only 38,6 % from the maximum (15 points). All the parts of the test had the average 36,3 points i.e. 45,5 % from the maximum (80 points), so the knowledge as a whole was tolerable. The best quartile of schools (n = 27) had the averages between 38,4 52,0 points (48,0 65,0 % from maximum, the level of knowledge from satisfactory to tolerable). The lowest quartile of schools (n = 27) had the averages from 33,7 to 25,5 points i.e. 42,1 31,9 % from maximum, so the knowledge was from the lower limit of tolerable to poor. The knowledge was not significantly dependent on the size of the schools. 7

Based on the test educational equality doesn t fully seem to be carried out. The results showed statistically significant differences between gender, language groups and areas. The girls grades were better in all the natural science subjects. However, the boys did better in the tests. Only in the application tasks and biology the averages for girls were higher. On the other hand, the long term trend is to smaller differences between gender. The attitudes towards science are seen in the results: the girls appreciate more biology and geography whereas for the boys physics and chemistry are the most significant due to further studies. The Finnish sample pupils did statistically significantly better than the Swedish. However, in the basics of chemistry the results of the Swedish-speaking pupils were significantly better. The results of the whole test for pupils from the sparsely populated EU-regions (EU6) was statistically highly significantly lower than those of the other regions. The trend was the same in the results of the whole test between municipality groups: town schools did statistically significantly better than countryside schools. The differences were obvious between provinces, too: the averages of the whole test were statistically highly significantly better in the sample groups from the South- and West-Provinces of Finland than those from the Provinces of Oulu and Lapland. Key words: comprehensive school, evaluation, learning results, teaching resources, attitudes, natural sciences, biology, geography, physics, chemistry 8

ESIPUHE Viime vuosien nopeat yhteiskunnalliset muutokset sekä päätöksenteon delegoiminen kuntien ja itse koulujen tasolle ovat luoneet tarpeen kehittää arviointia antamaan tietoa koulutuksen tilasta. Kunnan koulutoimi on sosiaalitoimen jälkeen suurin yksittäinen talousarviovaroja tarvitseva sektori. Päätöksentekijöiden huoli siitä, minkälaista tulosta koulutukseen käytetyillä varoilla saadaan aikaan onkin ymmärrettävä ja oikeutettu. Useimmat kunnat ja koulut ovat jo kehittäneet itsearviointia saadakseen tietoa koulutoimensa tilasta. Vuoden 1999 alusta voimaan tulleet koulusäädökset suorastaan velvoittavat opetuksen järjestäjää arvioimaan antamaansa koulutusta ja sen vaikuttavuutta sekä osallistumaan Opetushallituksen toimeenpanemaan arviointiin (PerusopetusL 628/1998 21). Opetushallituksen tehtävänä on kehittää arviointia ja toimeenpanna ulkopuolisia arviointeja. Opetushallituksessa onkin kehitetty kansallisiin tarpeisiin malli koulutuksen tuloksellisuuden arvioimiseksi (Opetushallitus 1998a ja 1998b). Luonnontieteellisten oppiaineiden merkitys on 1900-luvun loppua kohti korostunut pyrittäessä ratkaisemaan globaaleja ympäristökysymyksiä ja luonnontieteiden asemaa on pyritty opetussuunnitelmissa määrätietoisesti vahvistamaan. Leikolan komitea arvioi matemaattis-luonnontieteellisen perussivistyksen tilaa Suomessa (Komiteanmietintö 1989) ja teki esitykset yleissivistävän kouluopetuksen kehittämiseksi niin, että tavoitteiksi asetetaan tiedon hankinnan, käsittelyn, arvioinnin, yhdistelyn ja soveltamisen taidot. Erityisen tärkeäksi komitea näki luonnontieteiden opetuksen perustamisen kokeellisuuteen. Valtakunnallisella matematiikan ja luonnontieteiden opetuksen kehittämisen LUMA-projektilla on viime vuosina määrätietoisesti pyritty kohentamaan oppilaiden matematiikan, ympäristön ja luonnontieteiden tietämystä (Heinonen 1996). Luonnontieteet olivat matematiikan ohella ensimmäisinä vuorossa aloitettaessa valtakunnallista oppimistulosten arviointia keväällä 1998. Tässä raportissa kuvataan valtakunnallista luonnontieteiden arvioinnin ja siihen liittyneen kokeen järjestelyprosessia. Raportissa myös julkistetaan uusien koulusäädösten antaman velvoitteen mukaisesti arvioinnin keskeiset tulokset (PerusopetusL 628/1998 21.4). Koska tuloksia voidaan esittää tarkasti ja tiivistetyssä muodossa taulukkoina, on niitä julkaisussa runsaasti. Tuloksia havainnollistetaan myös diagrammeina. Julkisuusperiaatteen mukaisesti ne koulut, jotka lähettivät esikorjatut kokeet pyydetyssä, tiukassa aikataulussa Opetushallitukseen, saivat luvatun pikapalautteen kokeen tuloksesta oman koulunsa osalta sekä valtakunnalliset keskiarvot toukokuun 1998 loppuun mennessä. Lähes kaikki koulut selviytyivät tästä urakasta hyvin. Siitä kiitos otoskoulujen rehtoreille ja järjestelyissä sekä korjaustyössä mukana olleille opettajille. Kiittää sopii myös oppilaita, joista suurin osa sentään vielä kesäloman odotuksessa ja peruskoulun päättymisen kynnyksellä jaksoi ponnistaa kokeessa, josta välitöntä hyötyä ei esimerkiksi päättötodistukseen ollut ulosmitattavissa. Tuloksista on tiedotettu myös yhteisissä koulutus- ja tiedotustilaisuuksissa matematiikan valtakunnallisen arviointipro- 9

jektin kanssa sekä laajalla artikkelilla Opetushallituksen lehdessä Spektrissä 4/98 (Rajakorpi 1998). Opetushallituksen johtokunta ja pääjohtaja ovat seuranneet työn edistymistä ja samalla kannanotoillaan kannustaneet sen kirjoittamisessa. Tämä luonnontieteen oppimistuloksia käsittelevä loppuraportti on kirjoitettu kouluille palautteeksi kokeesta. Raportti pyrkii ensisijaisesti välittämään kokeen tulokset kokeeseen osallistuneille kouluille ja muille asiasta kiinnostuneille. Näin ollen ei esimerkiksi tulosten tarkastelun kirjallisuusosuudessa ole tavoiteltukaan mahdollisimman suurta kattavuutta. Hankkeen otanta sekä tietojen keruu ja analysointi on pyritty tekemään niin huolellisesti ja luotettavasti kuin mahdollista. Tuloksia tulkittaessa on arvioitu peruskoulunsa loppuvaiheessa olevien oppilaiden luonnontieteiden osaamisen tasoa ja samalla sitä, miten opetussuunnitelmaan kirjoitetut tavoitteet on saavutettu. Myös koulutuksellisen tasa-arvon toteutumista on tarkasteltu vertailemalla keskenään eri alueiden, tyttöjen ja poikien sekä suomenkielisten ja ruotsinkielisten oppilaiden tuloksia. Raportti antaa aineksia opetuksen kehittämiseen ja itsearviointiin sekä koulutuspoliittiseen päätöksentekoon. Raportin kirjoittamisesta, kuten koko luonnontieteiden arviointiprojektista, on päävastuun kantanut allekirjoittanut 1.2.1998 alkaen. Hankkeen onnistuminen on kuitenkin vaatinut monien muiden työpanosta ja osallistumista, joille osoitan tässä yhteisen kiitoksen. Kokeen valmistelu aloitettiin jo loppuvuodesta 1997 opetusneuvos Henrik Laurénin johdolla. Tuolloin nimettiin koetehtäviä laatimaan asiantuntijaryhmä, johon kuuluivat lehtori Outi Kosonen, prof. Hannele Rikkinen ja lehtori Hannele Ripatti-Cantell (maantieto), lehtorit Paula Reinikkala, Mirja Messo ja Tuulikki Vuoristo (biologia), lehtori Irma Aroluoma, rehtori Pirjo Jauhiainen ja lehtori Sirkka Selvenius (kemia) sekä lehtorit Kaarina Kauppinen, Kirsi Malinen ja Seija Valtonen (fysiikka). Asiantuntijoina ryhmän työskentelyyn osallistuivat opetusneuvokset Reino Seppälä, Seija O. Lähdesmäki ja Marja Montonen Opetushallituksesta. Esitän myös parhaat kiitokset Havukosken yläasteen rehtorille, opettajille ja 9.- luokkien oppilaille kokeen hyväksi tehdystä esitestaustyöstä. Havukosken koululta saadun palautteen pohjalta koe sai lopullisen muotonsa. Kiitän myös Svenska Normallyceumin rehtoria ja hänen koulunsa luonnontieteiden opettajia kokeen ruotsinkielisen version kieli- ja asiasisällön tarkastamisesta. Raportin luvun 1.1 on kirjoittanut pääjohtaja Jukka Sarjala ja luvun 3 ovat kirjoittaneet kokeenlaadintaryhmän jäsenet. Oppiaineittain kirjoitusvastuu jakautui seuraavasti: 3.1 Biologia, Outi Kosonen ja Mirja Messo, 3.2 Maantieto, Outi Kosonen, 3.3 Fysiikka, Kaarina Kauppinen, 3.4 Kemia, Irma Aroluoma ja Sirkka Selvenius ja 3.5 Luonnontieteiden yhdistelmätehtävät, Outi Kosonen. Esitän kirjoittajille ja koko työryhmälle kiitokseni projektin hyväksi tehdystä työstä. Raportin muut luvut on kirjoittanut julkaisun toimittaja. 10

Kiitos kuuluu myös työtovereilleni Opetushallituksessa. Tutkimussihteeri Anna-Kaisa Ratilainen aloitti tilastoanalyysit toteuttamalla kouluille lähetetyn pikatiedotteen Pc-Soft ky:n toimitusjohtaja Juha Långin kehittämällä Jotosohjelmistolla. Erikoistutkija Jari Metsämuuronen on vastannut tämän raportin tilastollisista analyyseistä ja antanut monia raportin kirjoittamista edistäneitä neuvoja. Erityisen antoisia ovat olleet monet keskustelut arviointikollegojeni opetusneuvos Hannu Korhosen sekä kouluneuvos Antero Lahtisen kanssa, jotka ovat samanaikaisesti työskennelleet peruskoulun 9.-luokan valtakunnallisen matematiikan oppimistulosten arviointiprojektin parissa. Monissa käytännön asioissa olen saanut apua erikoissuunnittelija Aulikki Etelälahdelta ja osastosihteeri Tuija Koskelalta. Ylitarkastaja Åke Hagman on valmistanut kartat, ja kielenkääntäjä Harriet Wikström on huolehtinut koeasiakirjojen kääntämisestä ruotsin kielelle. Opetusneuvokset Esko Korkeakoski sekä Ritva Jakku- Sihvonen ovat lukeneet käsikirjoituksen ja antaneet arvokkaita ohjeita sen painokuntoon saattamisessa. Julkaisun ulkoasusta ja taitosta on vastannut toimistosihteeri Sirpa Ropponen. Vammalassa 14. päivänä helmikuuta 1999 Antti Rajakorpi 11

SISÄLTÖ TIIVISTELMÄ... 3 SAMMANDRAG... 5 ABSTRACT... 7 ESIPUHE... 9 1 JOHDANTO... 14 1.1 Kansallinen oppimistulosten arviointijärjestelmä... 14 1.2 Luonnontieteet peruskoulun opetussuunnitelman perusteissa... 16 1.2.1 Ympäristökasvatuksen aihekokonaisuus... 16 1.2.2 Ympäristö- ja luonnontiedon oppiainekokonaisuus... 16 1.2.3 Fysiikka ja kemia... 17 1.3. Luonnontieteiden oppimistulosten arviointitilanne... 18 2 ARVIOINNIN TOTEUTUS... 19 2.1 Valtakunnallisen luonnontieteiden kokeen tavoitteet... 19 2.2 Otanta... 19 2.3 Kokeen rakenne... 26 2.4 Koejärjestelyt... 27 2.5 Palaute opettajilta ja oppilailta... 28 2.6 Aineiston käsittely... 29 3 KOETEHTÄVIEN PÄTEVYYS JA LUOTETTAVUUS... 30 3.1 Biologia... 32 3.2 Maantieto... 35 3.3 Fysiikka... 39 3.4 Kemia... 43 3.5 Luonnontieteiden yhdistelmätehtävät.45 4 TULOKSET... 47 4.1 Taustakyselyt... 47 4.1.1 Rehtorikysely... 47 4.1.2 Oppilaskysely... 52 4.2 Luonnontieteiden kokeen tulokset... 59 4.2.1 Biologia... 60 4.2.2 Maantieto... 65 4.2.3 Fysiikka... 66 4.2.4 Kemia... 69 4.2.5 Luonnontieteiden yhdistelmätehtävät... 70 4.2.6 Koe kokonaisuutena... 71 4.3 LUMA-pilottikoulut vertailuryhmänä... 75 12

5 TULOSTEN TARKASTELUA... 78 5.1 Taustakyselyt... 78 5.1.1 Rehtorikysely... 78 5.1.2 Oppilaskysely... 80 5.2 Koetulokset... 82 5.2.1 Tehtäväkohtainen tarkastelu... 82 5.2.2 Koetuloksen tulkintaa tilastollisesti ja muilla selittävillä tekijöillä... 93 5.3 Tasa-arvon toteutuminen... 105 5.3.1 Sukupuoli... 105 5.3.2 Kieli... 107 5.3.3 Alueelliset näkökohdat... 109 6 YHTEENVETO... 114 6.1 Tulokset... 114 6.2 Johtopäätökset... 120 7 LÄHTEET... 123 LIITTEET... 126 13

1 JOHDANTO -XNND6DUMDOD 1.1 Kansallinen oppimistulosten arviointijärjestelmä Opetustoimen säännösviidakon purkaminen, virastokielellä siirtyminen normiohjauksesta informaatio-ohjaukseen, merkitsee sitä, että koulut ja koulujen ylläpitäjät voivat opetussuunnitelmia laatiessaan painottaa opetettavia asioita kukin omalla tavallaan ja valita myös erilaisia toteuttamistapoja. Samoin koulutukseen suunnattuja julkisia varoja voidaan kunnissa käyttää periaatteessa verraten vapaasti. Näin ollen voidaan kysyä, saavatko oppilaat yhtä hyvää opetusta eri puolilla maata ja tuottaako opetus yhtä hyviä tuloksia erilaisissa kouluissa. Uusien koululakien myötä oppilaitosten ylläpitäjille on tullut velvoite arvioida antamaansa koulutusta ja osallistua toimintansa arviointiin (PerusopetusL 21, LukioL 16 ). Lain perusteluissa sanotaan, että "WDUNRLWXNVHQDRQNHUlWl²² WLHWRDVLLWlPLWHQ²²WDYRLWWHHWRYDWWRWHXWXQHHWNl\WlQQ VVl". Arviointi voi siis olla koulutuksen järjestäjän itsearviointia tai ulkopuolista, kansallista tai kansainvälistä arviointia. Edelleen lain säännöksen mukaan "2SHWXVKDOOLWXV KXROHKWLL²²DUYLRLQQLQNHKLWWlPLVHVWlMDXONRSXROLVWHQDUYLRLQWLHQWRLPHHQ SDQRVWD". Koulutuksen arvioinnin keskeinen tehtävä on selvittää, miten hyvin koulutus vastaa sille asetettuja tavoitteita. Opetushallintoon vakiintumassa olevan arviointimallin peruskäsite on tuloksellisuus. Sen arviointi lähtee tavoitetilaa koskevista säädöksistä: laeista, asetuksista, valtioneuvoston päätöksistä, opetussuunnitelmien ja tutkintojen perusteista jne. Arviointiulottuvuuksina ovat WH KRNNXXV YDLNXWWDYXXV MD WXORNVHOOLVXXV. Tälle käsitteistölle rakentuva niin sanottu ARMI-malli (Opetushallitus 1998a) on nähtävä enemmänkin käsitteellisenä kuin toiminnallisena analyysinä, sillä esimerkiksi oppimistulokset ja niihin vaikuttavat tekijät, esimerkiksi pedagogiset järjestelyt tai koulutusresurssien määrä, ovat eri ulottuvuuksilla. Kansallinen koulutuksen arviointijärjestelmä rakentuu kolmenlaisista osista: koulutusindikaattoreista, oppimistulosten arviointijärjestelmästä ja vaihtuvaalaisista arviointihankkeista. Indikaattorit eli mittaimet kuvaavat kohteensa tilaa tai sen muutosta vuosittain tai määrävuosin. Ne voivat olla yksinkertaisia tunnuslukuja tai esimerkiksi toiminnan laadun kuvailua. Vaihtuva-alaisissa hankkeissa tarkastellaan koko koulutusjärjestelmää tai jotakin sen osaa, esimerkiksi jotakin oppilaitosmuotoa tai koulutusalaa, kuten taidekasvatuksen tuloksellisuutta (Korkeakoski 1998) tai vieraiden kielten osaamista (Sartoneva 1998). 14

Kansallinen oppimistulosten arviointijärjestelmä kattaa peruskoulun ja ammatillisen koulutuksen sekä eräiltä osin myös lukion. Peruskoulun alemmilla luokilla ja lukiossa arvioidaan ensisijaisesti oppimaan oppimisvalmiuksia, oppimismotivaatiota ja kommunikaatiovalmiuksia. Peruskoulun päättövaiheessa arvioidaan säännöllisesti äidinkielen ja matematiikan oppimistuloksia sekä vaihdellen muiden aineiden tuloksia. Järjestelmän mukaiset oppimistulosarvioinnit perustuvat toistaiseksi edustaviin otoksiin eivätkä koko ikäluokan tai koulutusalan kaikkien opiskelijoiden tietoihin. Lukiossa oppimistulosten valtakunnallinen arviointi nojaa pääosin ylioppilastutkintoon (Opetushallitus 1998b). Arvioinnilla pyritään ensisijaisesti keräämään sellaista tietoa, jota voidaan käyttää sekä valtakunnallisessa että paikallisessa kehittämisessä. Varsinaisena päämääränä on oppimisedellytysten parantaminen ja siten pyrkimys parempiin oppimistuloksiin. Kansallisesti tarkastellaan siis yhtäältä keskimääräisiä tuloksia suhteessa opetussuunnitelman perusteissa asetettuihin tavoitteisiin ja käytettävissä oleviin voimavaroihin sekä toisaalta tavoitteiden toteutumista alueellisesti, sukupuolittain, kieliryhmien välillä ja niin edelleen. Tavoitteena on myös se, että arvioinnissa mukana olevat koulut saavat suoraan ja suhteellisen nopeasti tiedon omien oppilaidensa suorituksista suhteessa koko otokseen. Kansalliset oppimistulosarvioinnit eivät ole kilpailuja, joiden perusteella tehdään paremmuusjärjestyslistoja. Tästä periaatteesta on ainakin toistaiseksi haluttu pitää kiinni niin vahvasti, että pyritään päinvastoin toimimaan niin, että tällaisten listojen tekeminen ei edes olisi mahdollista. Jo tietojen kerääminen otosperustaisesti tekee paremmuuslistojen laatimisen periaatteessa mahdottomaksi. Lisäksi yksittäisten koulujen tulokset on toistaiseksi lähetetty tiedoksi vain koulun rehtorille, vaikka opetusresurssien oikean kohdentamisen näkökulmasta olisi perusteltua antaa tiedot myös koulun ylläpitäjälle. Menettelytavat eivät tässä ole vielä mitenkään vakiintuneet. Yksittäisten arviointien järjestämisestä päätetään vuosittain opetusministeriön ja Opetushallituksen välisessä tulossopimuksessa. Vuonna 1998 toteutettiin matematiikan ja luonnontieteiden arvioinnit sekä peruskoulussa että ammatillisessa koulutuksessa. Vuonna 1999 ovat vastaavasti vuorossa äidinkieli ja modersmålet sekä peruskoulussa englannin kieli. Suunnitelmiin kuuluu, että matematiikkaa ja äidinkieltä arvioidaan peruskoulussa säännöllisesti tämänhetkisen päätöksen mukaan joka toinen vuosi ja muita oppiaineita näiden rinnalla. 15

1.2 Luonnontieteet peruskoulun opetussuunnitelman perusteissa 1.2.1 Ympäristökasvatuksen aihekokonaisuus Peruskoulun opetussuunnitelman perusteissa (Opetushallitus 1994) todetaan: Opetussuunnitelmaan sisällytetään useissa oppiaineissa opetettavia ja muussa koulutyössä huomioon otettavia aihekokonaisuuksia. Ympäristökasvatus on yksi esimerkki aihekokonaisuuksista. Luonnontieteiden science -näkökulmasta ympäristökasvatus on mitä parhain esimerkki oppiainerajoja ylittävien projektien ja teemojen rakentamisesta. Ympäristökasvatuksen tavoitteena on luonnon moninaisuuden vaaliminen ja kestävän kehityksen edistäminen. 1.2.2 Ympäristö- ja luonnontiedon oppiainekokonaisuus Peruskoulun opetussuunnitelman oppiainekokonaisuus ympäristö- ja luonnontieto sisältää biologian, maantiedon, ympäristöopin ja kansalaistaidon tavoitteita ja sisältöjä. Ympäristö- ja luonnontiedon keskeisenä tavoitteena on tukea ja ohjata oppilaan kasvua tutkivaksi ja toimivaksi kansalaiseksi, joka on kiinnostunut luonnosta, sen tutkimisesta ja suojelusta. Lisäksi opetussuunnitelman perusteissa asetetaan yleisempiä tavoitteita, jotka yksityiskohtaisemmin kertautuvat biologian ja maantiedon tavoitteissa. %LRORJLDQ opiskelun keskeisiä tavoitteita opetussuunnitelman perusteissa: oppilas oppii mm. - tunnistamaan ja tuntemaan eliölajeja sekä hahmottamaan ekosysteemin rakenteen ja toiminnan - terveellisiä elämäntapoja, tuntemaan ihmisen biologisena kokonaisuutena sekä itsessään tapahtuvan kehityksen eri ikäkausina - vastuuta ympäristöstä. 0DDQWLHGRQ opiskelussa pyritään mm. seuraaviin tavoitteisiin: - Oppilas harjaantuu havainnoimaan sekä kulttuuri- että luonnonympäristöä, tulkitsemaan karttoja sekä käyttämään kuvia, kaavioita ja tekstejä maantieteellisinä tiedonlähteinä. - Oppilas oppii ymmärtämään planeetta Maan aseman ja erityispiirteet sekä hahmottamaan maailmankartan. - Oppilas oppii ymmärtämään, että jokaisella ihmisellä on vastuu ympäristöstä. 16

1.2.3 Fysiikka ja kemia Peruskoulun opetussuunnitelman perusteissa (Opetushallitus 1994) määritellään fysiikan ja kemian opetuksen tehtäväksi ohjata luonnontieteille ominaiseen ajatteluun, tiedonhankintaan ja tietojen käyttämiseen elämän eri tilanteissa. )\VLLNDQ opiskelussa erotetaan kaksi yleistä tavoitetasoa, kvalitatiivinen ja kvantitatiivinen. Kvalitatiivisella tasolla pyritään siihen, että oppilas - osaa mm. tehdä havaintoja ja johtopäätöksiä - oppii peruskäsitteitä - soveltaa fysikaalista tietoa. Kvantitatiivisella tasolla tavoitteena on, että oppilas osaa - tehdä mittauksia - vertailla suuruusluokkia - esittää, tulkita ja tehdä johtopäätöksiä - muodostaa yksinkertaisia malleja ja käyttää niitä fysiikan ilmiöiden selittämisessä - suunnitella ja tehdä yksinkertaisia tutkimuksia..hpldq opiskelun tavoitteina opetussuunnitelman perusteissa on, että oppilas mm. - osaa tutkia kemian ilmiöitä erilaisten kokeellisten tutkimus- ja työmenetelmien avulla sekä tehdä johtopäätöksiä ja arvioita tulosten luotettavuudesta - oppii tuntemaan oman elinympäristön kemiaa sekä ymmärtää käytännön kannalta tärkeitä kemiallisia ilmiöitä - ymmärtää ja osaa käyttää kemian merkkikieltä ja oppii riittävät kemian peruskäsitteet - omaksuu sellaisen terminologian, jonka avulla hän voi keskustella luontoa, ympäristöä ja teknologiaa koskevista kysymyksistä - oppii soveltamaan kemiallista tietoa niin, että sitä voidaan käyttää hyväksi eri alueilla, esimerkiksi luontoon ja ympäristöön liittyvien kysymysten selvittämisessä ja ongelmien ratkaisemisessa - pystyy arvioimaan ihmisen toiminnan ympäristövaikutuksia ja kasvaa vastuullisuuteen kemiallisten aineiden käytössä ja jätteiden käsittelyssä. 17

1.3. Luonnontieteiden oppimistulosten arviointitilanne Suomalaisten matemaattis-luonnontieteellisen osaamisen tason nostaminen kansainväliselle tasolle on ollut yksi kansallisen koulutuspolitiikan keskeisistä tavoitteista. Valtioneuvosto asetti 8.10.1987 komitean arvioimaan matemaattisluonnontieteellistä yleissivistystä, sen tietämyksen tasoa ja sisältöä sekä laatimaan matemaattis-luonnontieteellisten aineiden opetuksen tehostamisohjelmaksi (Komiteanmietintö 1989). Näiden aineiden osaamisen tarvetta ovat lisänneet mm. siirtyminen tietoyhteiskuntaan ja korkean teknologian yritystoiminnan kasvu, mikä puolestaan on aiheuttanut huolta Suomen kilpailukyvyn ylläpitämisestä ja osaavan työvoiman saatavuudesta. Yhteiskunnan nopea muutos on lisäksi luonut kansalaisille yhä enemmän tarvetta teknologian ja matematiikan taitojen hallitsemiseen päivittäisissä arkielämän tilanteissaan, samoin kuin tarvetta riittävään luonnontieteiden osaamiseen pyrittäessä löytämään ratkaisuja globaaleihin ympäristökysymyksiin sekä kestävän kehityksen periaatteiden toteuttamiseksi. Matemaattis-luonnontieteelliset perustiedot ovat välttämättömiä poliittis-taloudellisessa päätöksenteossa. Kuitenkin kouluissa opiskelijat valitsevat kemian ja fysiikan kursseja huolestuttavan vähän. Samoin korkeakouluihin siirtyvät opiskelijat näyttävät vierastavan näitä aineita pääaineina. Erityisesti tämä koskee naisia (ks. Heinonen 1996). Luonnontieteissä on toteutettu vuosina 1970 ja 1984 kansainväliset IEA:n koulusaavutustutkimukset, joissa Suomi oli mukana. Edellinen eli First International Science Study (FISS) toteutettiin rinnakkaiskoulujärjestelmän lopussa ja jälkimmäinen Second International Science Study (SISS) peruskoulujärjestelmän jo vakiinnuttua. Leimu & Laurén (1987) ovat esitelleet jälkimmäisen kokeen mittavälineet ja muut dokumentit. Rikkinen (1987) on tarkastellut IEA:n aineistoa opetussuunnitelmien valossa. Vuonna 1990 pantiin toimeen peruskoulun arviointi 90-tutkimus (PK-90), joka oli kansallinen peruskoulun toimintaa ja erityisesti oppimistuloksia arvioiva hanke (Linnakylä & Saari 1993). Tässä hankkeessa arvioitiin myös luonnontieteellisten oppiaineiden oppimistuloksia (ks. Laurén 1993). Kosonen (1992) on selvitellyt maantiedon koulusaavutuksia sekä edellä mainittujen kansainvälisten tutkimusten että kansallisen PK-70-tutkimuksen perusteella. Opetushallitus käynnisti vuonna 1996 matematiikan ja luonnontieteiden opetuksen kehittämishankeen, LUMA-projektin. Osana tämän kehittämishankkeen arviointia järjestettiin syksyllä 1996 oppilaiden ja opiskelijoiden osaamista kartoittava lähtötasomittaus, johon tehtävät pääosin valittiin kolmannen kansainvälisen koulusaavutustutkimuksen 1994 95 (IEA-TIMSS) tehtävistä (Leino 1997). Näihin kokeisiin osallistui peruskouluja, lukioita sekä toisen asteen ammatillisia oppilaitoksia. Vuosina 1998 2000 toteutetaan TIMSS-R-tutkimus, jossa on mukana 38 maata. Suomessa kohdejoukkona on pääasiassa peruskoulun 7. luokka (ks. Kupari 1998). 18

2 ARVIOINNIN TOTEUTUS 2.1 Valtakunnallisen luonnontieteiden kokeen tavoitteet Opetushallitus järjesti peruskoulun 9.-luokkalaisille opetusministeriöltä saamansa tehtävän mukaisesti valtakunnallisen luonnontieteiden kokeen 8.5.1998. Kokeen avulla arvioidaan, - miten opetussuunnitelman tavoitteet on saavutettu - millainen on peruskoululaisten luonnontieteiden osaamisen taso peruskoulun päättövaiheessa. Lisäksi tuotetaan tietoa opetussuunnitelman kehittämisen tarpeisiin sekä koulutuksellisen tasa-arvon toteutumisen arviointiin. 2.2 Otanta Tilastokeskuksen (1998a ja 1998b) mukaan vuonna 1997 maassamme oli 625 peruskoulun yläasteen koulua ja 35 peruskoulua korvaavaa koulua. Näissä oli yhteensä 198 600 oppilasta. Sen lisäksi peruskoulun yläasteen opetusta annettiin mm. harjoittelukouluissa ja eräissä muissa peruskouluissa, joten lukuvuonna 1997 98 yläasteen opetusta antavissa kouluissa oli hieman yli 202 000 oppilasta. Yhdeksäsluokkalaisia näistä oli noin 68 000. Koulujen valinnassa päädyttiin käyttämään alueellisina taustamuuttujina EU-tukialueita ja kuntaryhmiä, jotka oli suoraan saatavissa Tilastokeskuksen oppilaitosrekisteristä. EUtukialueiden valintaan päädyttiin siksi, että vanha läänialuejako oli lakkautettu 1.9.1997. Uudet läänit puolestaan ovat suuren kokonsa vuoksi epähomogeenisia alueita. Maakuntien lukumäärä (20) taas on turhan suuri, ja ne ovat alueina melko pieniä. EU-tukialueet sen sijaan ovat riittävän suuria alueina ja väestöpohjaltaan, ja ne ovat myös kohtalaisen homogeenisia väestö- ja elinkeinorakenteeltaan. Otanta oli kaksivaiheinen. Ensiksi valittiin koulut suhteellisella, ositetulla satunnaisotannalla. Suomenkielisillä kouluilla oli ositusperusteena EU-tukialue ja kuntaryhmä, ruotsinkielisillä kouluilla kuntaryhmä. Tällä menetelmällä kokeeseen saatiin yhteensä 102 suomenkielistä ja 10 ruotsinkielistä koulua. Otannan toisessa vaiheessa suoritettiin koulukohtainen tasavälinen systemaattinen otanta 9.-luokkien aakkosellisesta oppilasluettelosta Taulukon 1 mukaisesti. Koulua kohti otokseen tuli keskimäärin 31 oppilasta, yhteensä 3 395. Näin valitut oppilaat ryvästyvät jossakin määrin verrattuna siihen, että koko maasta olisi satunnaisotannalla otettu vastaavan kokoinen otos. Nyt käytetyn menetelmän etuna on kuitenkin se, että kouluja voitiin luotettavammin vertailla keskenään. 19

Otanta suoritettiin samalla tavalla huhtikuussa 1998 järjestettyä valtakunnallista peruskoulun 9.-luokkalaisten matematiikan oppimistulosten arviointia varten kuin luonnontieteen koettakin varten. Otantamenetelmä esitellään tarkemmin matematiikan koetuloksia esittelevässä raportissa (ks. Korhonen 1999). TAULUKKO 1. Kouluittainen systemaattinen otanta valtakunnallisessa luonnontieteiden kokeessa peruskoulun päättövaiheessa olevan ikäluokan koon perusteella.,nloxrndqnrnrnrxoxvvd RSSLODLGHQOXNXPllUl 2WDQWDDQWXOHYLHQ RSSLODLGHQOXNXPllUl 01 45 Kaikki ikäluokan oppilaat 46 75 Joka 2. ikäluokan oppilas 76 110 Joka 3. ikäluokan oppilas >110 Joka 4. ikäluokan oppilas Yksi otokseen kuulunut koulu ei pitänyt koetta määrättynä päivänä, joten siellä koe päätettiin jättää kokonaan järjestämättä. Yksi vantaalaiskoulu ei pystynyt opettajien lomautusten vuoksi järjestämään koetta sovitulla tavalla, joten suoritusta ei voitu ottaa huomioon. Yksi ruotsinkielinen koulu ei palauttanut vastauksia. Todettakoon, että vuoden 1999 alusta voimaan tullut perusopetuslaki 628/1998 21.2 velvoittaa koulut vastaisuudessa osallistumaan arviointeihin. Tämän raportin tuloksissa on mukana 100 suomenkielistä koulua ja 9 ruotsinkielistä koulua. Otoskoulujen sijainti ja alueellinen jakautuminen ilmenevät Kuvioista 1 3. 20

KUVIO 1. EU-tukialueet ja valtakunnalliseen luonnontieteiden kokeeseen keväällä 1998 osallistuneet otos- ja LUMA-pilottikoulut. 21

KUVIO 2. Suomen läänit ja valtakunnalliseen luonnontieteiden kokeeseen keväällä 1998 osallistuneet otos- ja LUMA pilottikoulut. 22

KUVIO 3. Suomen maakunnat ja valtakunnalliseen luonnontieteiden kokeeseen keväällä 1998 osallistuneet otos- ja LUMA-pilottikoulut. 23

Otoskoulujen 9.-luokkalaisia oli kaikkiaan noin 32 000. Valtakunnallisen otosryhmän osuus oli tästä 10,6 %. Koko maan 9.-luokkalaisten ikäluokasta 3 395 oppilaan otos on noin 5 %, kuten Opetushallituksen arviointimalli edellyttää (Opetushallitus 1998a). Suomenkielisiä oppilaita oli otoksessa 3 150 (92,8 %) ja ruotsinkielisiä oppilaita 245 (7,2 %). Tämä vastaa hyvin koko maan väestön kielijakaumaa, sillä suomenkielisiä oli Tilastokeskuksen (1998a) mukaan vuoden 1996 lopussa 92,9 % ja ruotsinkielisiä 5,7 %. Kuitenkin ruotsinkielisten ryhmä tilastollisen luotettavuuden kannalta olisi mieluusti saanut olla suurempikin. Näin ollen on valitettavaa, että alun perin kokeeseen ilmoittautuneista 10:stä ruotsinkielisestä koulusta yksi ei palauttanut koevastauksia. Otoskoulut (n = 109) jakautuivat EU-tukialueittain seuraavasti: EU0-alue (ei EU-tukea) 36,7 %, alue EU2 (taantuva teollisuusalue) 14,7 %, alue EU5b (maaseudun kehittäminen) 26,6 % ja alue EU6 (harvaan asuttu alue) 22,0 % (ks. Kuvio 4). Kuntaryhmittäin jakauma oli seuraava: kaupunkimaiset kunnat 47,7 %, taajaan asutut kunnat 15,6 % ja maaseutumaiset kunnat 36,7 % (Kuvio 5). 22,0 % 36,7 % 0 Ei EU tukea 2 Taantuva teollisuusalue 5b Maaseudun kehittäminen 6 Harvaan asuttu alue K S 26,6 % 14,7 % KUVIO 4. Otokseen kuuluvat koulut (n = 109) EU-tukialueittain. 36,7 % 47,7 % Kaupunkimaiset kunnat Taajaan asutut kunnat Maaseutumaiset kunnat höpöhöpö 15,6 % KUVIO 5. Otokseen kuuluvat koulut (n = 109) kuntaryhmittäin. 24

Otosryhmän oppilaiden (n = 3 395) prosentuaalinen jakautuminen EU-tukialueittain ja kuntaryhmittäin on hyvin saman kaltainen kuin edellä esitetty koulujen prosentuaalinen jakauma: EU0 39,2 %, EU2 13,8 %, EU5b 24,3 % ja EU6 22,7 %; kaupungit 49,0 %, taajaan asutut kunnat 16,4 % ja maaseutumaiset kunnat 34,6 % (ks. Kuviot 6 ja 7). 22,7 % 39,2 % 0 Ei EU tukea 2 Taantuva teollisuusalue 5b Maaseudun kehittäminen 6 Harvaan asuttu alue K S 24,3 % 13,8 % KUVIO 6. Otokseen kuuluvien oppilaiden (n = 3 395) jakautuminen EU-tukialueittain. 34,6 % 49,0 % Kaupunkimaiset kunnat Taajaan asutut kunnat Maaseutumaiset kunnat höpöhöpö 16,4 % KUVIO 7. Otokseen kuuluvat oppilaat (n = 3 395) kuntamuodoittain. Kokeeseen osallistuivat myös matematiikan ja luonnontieteiden kehittämisohjelmassa mukana olevat 33 LUMA-koulua (ks. Kuviot 1±3). Varsinaiseen otosaineistoon sisältyi jo 10 LUMA-koulua, joten ko. pilottikoulujen osalta koulujen määrä lisääntyi 23:lla. Kun myös useimmista otoskouluista kokeeseen osallistui koko 9.-luokkien ikäluokka, niin kaiken kaikkiaan valtakunnallisen luonnontieteen kokeen tehtäviä ratkoi noin 11 500 oppilasta. Kuitenkin Opetushallitukseen palautettiin vain varsinaiseen otokseen kuuluvien oppilaiden vastaukset. 25

2.3 Kokeen rakenne Valtakunnallisen luonnontieteiden kokeen tehtävät ryhmiteltiin kolmeksi osakokeeksi (ks. Liite 1 ja Taulukko 2). Koe 1 muodostui biologian, maantiedon, fysiikan ja kemian perustehtävistä, jotka olivat monivalintatehtäviä. Kunkin tehtävän viidestä väittämästä piti valita yksi. Kustakin oppiaineesta oli 5 tehtävää, joten koko osion tehtävämäärä oli 20. Koe 2 sisälsisoveltavia tehtäviä ja se koostui kahdesta osasta: kokeessa2a oli 12 monivalintatehtävää ja kokeessa 2B oli 13 tuottamistehtävää, joissa useimmissa oli vielä osatehtäviä. Koko kokeessa oli 45 tehtävää, jotka jakautuivat oppiaineittain seuraavasti: biologia 8, maantieto 9, fysiikka 8, kemia 9 sekä integroivia oppiainerajat ylittäviä tehtäviä 11. Viimeksi mainittuja nimitetään tässä raportissa luonnontieteiden yhdistelmätehtäviksi (taulukoissa merkintä science). TAULUKKO 2 Valtakunnallinen luonnontieteiden koe 8.5.1998. Osakokeet ja tehtävät oppiaineittain. Ryhmä science = luonnontieteiden yhdistelmätehtävät. 26$.2.((7-$7(+7b9b 7<<3,7 233,$,1(-$7(+7b9b1180(52.2.((66$ %LRORJLD 0DDQWLHWR )\VLLNND.HPLD 6FLHQFH.2( 1 6 11 16 3(5867(+7b9b7 2 7 12 17 0RQLYDOLQWD 3 8 13 18 4 9 14 19 5 10 15 20.2($ 11 9 1 3 629(/7$9$77(+7b9b7 12 10 2 4 0RQLYDOLQWD 5 6 7 8.2(% 13 11 5 2 1 629(/7$9$77(+7b9b7 12 6 3 4 7XRWWDPLVWHKWlYLl 8 7 9 10 <+7((16b7(+7b9,b 8 9 8 9 11 26

Biologian koetehtäviin sisältyivät opetussuunnitelman kolme suurta kokonaisuutta: ekosysteemi, ihmisen biologia sekä ihminen ja ympäristö. Tehtävien suorittaminen edellytti etenkin asioiden havaitsemis- ja vertailutaitoja sekä tulosten arviointi- ja päättelytaitoja. Maantiedon tehtävät edustivat luonnonmaantiedettä ja arvioivat tärkeitä opetussuunnitelmaan kirjattuja tavoitteita: planeetta Maan aseman ja erityispiirteiden ymmärtämistä, maailmankartan hahmottamista sekä erilaisten karttojen ja kaavioiden tulkitsemista. Fysiikan tehtävissä olivat hyvin edustettuina tehtävät, jotka mittaavat kvalitatiivisella tasolla havaintojen, luokittelun, tulkinnan ja johtopäätösten tekoa sekä peruskäsitteiden osaamista ja mallien tulkintaa. Myös tiedon soveltaminen oli hyvin esillä (ks. Taulukko 4). Kemian tehtävien laadinnassa oli lähtökohtana mm. kemian peruskäsitteiden ja ilmiöiden osaamisen mittaaminen sekä arkipäivän kemian tuntemus. Osakokeiden 1 ja 2A kunkin monivalintatehtävän oikea ratkaisu tuotti yhden pisteen. Kokeen 1 perustehtävistä saattoi näin ollen saada yhteensä 20 pistettä ja kokeen 2A soveltavista tehtävistä 12 pistettä. Kokeen 2B yksittäisistä soveltavista tuottamistehtävistä saadut pisteet vaihtelivat 2:sta 7:ään ja osion maksimipistemäärä oli 48 pistettä. Koko kokeen kaikkien osioiden yhteispistemäärä oli näin ollen 80 pistettä. 2.4 Koejärjestelyt Valtakunnalliseen luonnontieteiden kokeeseen osallistuvien koulujen rehtoreille ja opettajille lähetettiin koemateriaalin mukana kokeen toimeenpanoohjeet. Lisäksi oppilaille annettiin kokeen vastausohjeet tehtävävihkon kansilehdellä (Liite 1). Rehtoreita pyydettiin informoimaan oppilaita ennakkoon kokeen luonteesta ja tärkeydestä, jotta siihen suhtauduttaisiin asiaankuuluvalla vakavuudella. Toimeenpano-ohjeissa painotettiin huolellista valmistautumista kokeeseen hyvissä ajoin ennen määräpäivää. Siinä annettiin myös ohjeet varsinaista koetilaisuutta varten. Kokeen alkuun varattiin 10 15 minuuttia optisen lomakkeen (Liite 2) taustatietojen sekä oppilaskyselyn kohtien täyttämiseen. Itse koeaika oli 90 minuuttia. Kokeessa oppilas rengasti monivalintatehtävien oikean vaihtoehdon tehtävävihkoon. Tuottamistehtävien ratkaisut kirjoitettiin erilliselle vastauslomakkeelle. Oppilas siirsi monivalintatehtävien ratkaisut optiselle lomakkeelle mustaamalla pehmeällä lyijykynällä vastaavat suorakulmiot vastauslomakkeesta. Tähän sai käyttää muutaman minuutin vielä varsinaisen koeajan päätyttyä. 27

Oppilaiden omat opettajat tai rehtorin määräämät muut luonnontieteellisten aineiden opettajat suorittivat tuottamistehtävien tarkastuksen, esikorjauksen ja pisteytyksen annettujen korjaus- ja pisteytysohjeiden mukaisesti ja siirsivät kokeen 2B pisteet optisen lomakkeen asianomaiseen kenttään. Koulun tuli palauttaa Opetushallitukseen otosryhmän suoritukset, ts. optiset lomakkeet ja tuottamistehtävien vastauslomakkeet, sekä 9.-luokkalaisten aakkosellinen luettelo, johon oli merkitty otokseen kuuluvat oppilaat. 2.5 Palaute opettajilta ja oppilailta Kokeesta ei pyydetty kirjallista palautetta, mutta usealta koululta saatiin vastausten palautusten mukana koekommentteja. Kokeen toimeenpano- ja korjausohjeita sekä itse kysymyksiä koskeva kritiikki on ollut pääasiassa myönteistä. Tehtäviä on pidetty hyvinä ja vaativina. Monet kysymykset ovat hyviä, koska ne edellyttävät opitun soveltamista ja ovat lisäksi usein poikkitieteellisiä. Tämän tapaisia luonnontieteisiin liittyviä asioita oppilas tulee varmasti aikanaan kohtaamaan ja joutuu joihinkin ottamaan kantaakin joko äänestäjänä tai päättäjänä. Mutta kriittisempiäkin äänenpainoja esiintyi: Tällaisellako kokeella halutaan mitata luonnontieteiden tasoa? Voisiko painotus olla enemmänkin asioiden syvässä ymmärtämisessä kuin yksittäisissä tiedoissa? Vastausajasta oli kahdenlaista näkemystä: Joillekin oppilaille on mahdotonta keskittyä 90 minuuttia samaan asiaan. Pidimme kokeessa viipymisen minimiaikana 60 minuuttia. Eräs oppilas kirjoittaa: Huom! Kokeen tekoaika olis voinu olla 30 min. lyhempi. T: Ihminen, jolla olis parempaakin tekemistä kuin istua luokassa tekemättä mitään. Toisaalta on myös ilmennyt kokeen jäämistä kesken aikapulan vuoksi. Kokeen ajankohtaa kevätlukukauden lopulla pidettiin varsin yleisesti liian myöhäisenä. Toukokuun alku on kevään kiireisintä koeaikaa. Myös retket ja leirikoulut ovat vaikeuttaneet järjestelyjä. Toisaalta on muistettava, että otoskoulut olivat tietoisia koepäivästä tammikuun puolivälistä alkaen. Joissakin kouluissa on ollut runsaasti poissaoloja. Kiireisestä ajankohdasta johtuen on oppilaiden motivointi ollut vaikeaa, mikä on ilmennyt mm. kokeen osion 2B tehtävien vastaamatta jättämisinä. Myös monet opettajat ovat kokeneet kokeen tuottaman työn ylimääräisenä stressin aiheuttajana. Itse arvostelu on opettajan työtä ja mielekästä, mutta mustata pisteitä piskuisiin ruutuihin... Lukuvuoden loppukiireet kuvastuivat myös siinä, että noin viidesosa kouluista ei palauttanut kokeita toivotussa aikataulussa. 28

2.6 Aineiston käsittely Opetushallitukseen palautettujen vastauslomakkeiden tietojen tallennus tehtiin optisesti ja analysoitiin Jotos-ohjelmistolla. Otoskouluille lähetettiin alustava koetulos toukokuun lopussa. Palautteessa raportoitiin valtakunnalliset keskiarvot sekä koulun tulos. Pikapalautteen tulokset perustuivat opettajien kouluilla suorittamaan esitarkastukseen ja siinä annettuun pisteytykseen. Kesän 1998 aikana koevastaukset tarkistettiin Opetushallituksessa tarkempaa tilastollista analyysiä varten. Tämän työvaiheen pohjalta tarkistettiin ennalta laadittuja ja kouluille lähetettyjä arvostelukriteereitä joiltakin osin ja tulokset käsiteltiin tarkistetun pisteytyksen mukaisesti. Analysoinnissa käytettiin taulukkolaskentaa sekä Survo 98 C-tilasto-ohjelmistoa. Tuloksia tulkitaan tässä julkaisussa, paitsi normaaleilla jakauman tunnusluvuilla, ts. keskiarvojen ja keskihajonnan avulla, myös mm. korrelaatio-, regressio- ja varianssianalyyseilla. Tuloksia havainnollistetaan taulukoilla ja diagrammeilla. Tekstissä ja taulukoissa tilastolliset merkitsevyydet ilmoitetaan seuraavasti: - * = tilastollisesti melkein merkitsevä 0,01< p <0,05 - ** = tilastollisesti merkitsevä 0,001< p <0,01 - *** = tilastollisesti erittäin merkitsevä p <0,001 Aineistosta poistettiin neljä sellaista vastauslomaketta, joiden vastaajat eivät selvästi olleet yrittäneetkään vastata asiallisesti. Samoin poistettiin sellaisen maahanmuuttajaoppilaan vastauslomake, josta ilmeni vastaajan olematon suomen kielen taito. Joissakin kouluissa oli otokseen tullut ilmeisesti samantyyppisiä maahanmuuttajaoppilaita. Olisi ollut suotavaa, että näitä oppilaita ei otosryhmään olisi hyväksytty, koska tehtävissä oli paljon luettavaa. Kouluilta ei kuitenkaan saatu tietoa näiden vastaajien suomen osaamisen tasosta. 29

3 KOETEHTÄVIEN PÄTEVYYS JA LUOTETTAVUUS Kun kokeen tavoitteena ja tehtävänä on antaa tietoa luonnontieteiden oppimistuloksista peruskoulun päättövaiheessa ja arvioida, miten opetussuunnitelmassa esitetyt tavoitteet on saavutettu, on koulusaavutusmittarin pätevyyteen, sisäiseen validisuuteen, kiinnitettävä erityistä huomiota. Tämän vuoksi kokeen tehtäväsarjaa laatimaan koottiin joukko kokeneita luonnontieteiden asiantuntijoita ja pedagogeja, jotka on esitelty tämän julkaisun esipuheessa. Asiantuntijaryhmän laatimat koetehtävät perustuvat Peruskoulun opetussuunnitelman perusteet -julkaisuun (Opetushallitus 1994) ja siinä esitettyihin luonnontieteiden tavoitteisiin sekä sisältökuvauksiin. Lisäksi työryhmällä oli käytettävissä Opetushallituksen kriteerityöryhmän luonnos luonnontieteiden kriteereiksi (Opetushallitus 1999). Mittarin pätevyyttä ja luotettavuutta ja siten kokeen laatineen asiantuntijaryhmän onnistumista vaativassa tehtävässään voidaan arvioida mm. tarkastelemalla koeosioiden ja koko kokeen keskiarvoja ja jakaumia. Niin kuin koetuloksia käsittelevistä luvuista 4 ja 5 ilmenee, ovat jakaumat odotetusti lähes normaaleja. Tosin koko kokeen ja varsinkin soveltavien tehtävien osalta tulokset jäivät odotettua tasoa heikommiksi. Kuitenkin peruskokeen pistekeskiarvo 11,00 on selvästi parempi kuin puolet koko pistemäärästä (20 pistettä), vaikka eri aineiden osaamisen tasossa oli melko suurta vaihtelua. Tulosten tarkasteluosassa (luku 5) kiinnitetään huomiota myös luonnontieteiden todistusarvosanojen ja koetulosten välisiin korrelaatioihin, sillä niin kuin Korhonen (1999) matematiikan oppimistuloksia koskevassa julkaisussaan toteaa, korrelaatiokerroinarvoilla voidaan kuvata sitä, mittaako koe oppilaille opetettuja asioita ja sellaisia suorituksia, joiden perusteella opettajat oppilasarviointia tekevät. Luonnontieteiden osalta ko. korrelaatiokertoimet vaihtelevat kokeen 1 osalta 0,44:stä 0,56:een, kokeen 2 osalta 0,57:stä 0,66:een ja koko kokeen osalta 0,57:stä 0,68:aan. Kevään 1998 valtakunnallisessa matematiikan oppimistulosten arvioinnissa vastaavat korrelaatiot olivat kokeelle A 0,71, kokeelle B 0,73 ja koko kokeelle 0,77. Kuitenkin esimerkiksi vuosina 1972 1993 järjestetyissä peruskoulun matematiikan oppimistulosarvioinneissa on raportoitu indeksejä 0,44 0,72 (ks. Korhonen 1999). Luvussa 2 käsiteltiin luonnontieteiden oppimistulosten arvioinnin validiuden kannalta keskeisiä asioita, tavoitteita, otantaa, kokeen rakennetta, koejärjestelyjä ja aineiston käsittelyä. Koska ulkoiset tekijät voivat uhata validiutta (vrt. esim. Metsämuuronen 1998), annettiin rehtoreille koejärjestelyjä varten tarkat ohjeet. Näin pyrittiin takaamaan esimerkiksi tehokas ajan käyttö ja häiriöttömät koeolosuhteet. Luonnontieteen arviointiin valittiin otoksella kouluja edustavasti EU-alueilta, kaikista lääneistä ja maakunnista sekä eri kuntamuodoista. Otoskouluja oli oikeassa suhteessa kaikista kokoluokista. Nämä seikat vahvistavat tulosten yleistettävyyttä eli ulkoista validiteettia. 30