OPPIMISTULOSTEN JA ASENTEIDEN MUUTTUMINEN PERUSOPETUKSEN YLEMPIEN LUOKKIEN AIKANA

OPPIMISTULOSTEN JA ASENTEIDEN MUUTTUMINEN PERUSOPETUKSEN YLEMPIEN LUOKKIEN AIKANA Kahden oppiaineen (Äidinkielen ja kirjallisuuden sekä Modersmål och litteraturin) näkökulma Jari Metsämuuronen Oppimistulosten arviointi 5/2006 OPETUSHALLITUS

ALKUSANAT Raportin tavoitteena on kuvata ensimmäistä kertaa Opetushallituksen oppimistulosarviointien seurantatietoja hyödyntäen, kuinka yhtäältä koulujen keskimääräiset oppimistulokset ja toisaalta yksilöoppilaiden osaaminen ja asenteet muuttuvat perusopetuksen ylempien luokkien aikana. Aineistoina käsitellään samojen oppilaiden oppimistulosmittauksia vuosilta 2002 ja 2005. Muutos kytketään osaksi koulutuksen vaikuttavuuden käsitettä ja koulutuksen tuottamaa lisäarvoa. Analyysit perustuvat äidinkielen ja kirjallisuuden sekä modersmål och litteraturin aineistoihin, jotka on erillisinä raportoitu toisaalla (Lappalainen 2003 ja 2006, Silverström 2003 ja 2006). Tätä syventävää analyysia varten erikoistutkija Timo Ertola valmisti kustannusaineistosta raakamatriisin ja erikoistutkija Jorma Kuusela luovutti käyttöön koulujen sosiaalisia indikaattoreita koskevan aineiston. Tulososan teksteihin hyviä kommentteja ovat antaneet opetusneuvokset Hannu-Pekka Lappalainen, Tuulamarja Huisman ja Pentti Yrjölä sekä erikoissuunnittelija Chris Silverström ja erikoistutkija Jorma Kuusela. Koulutuksen tutkimuslaitoksen erikoistutkija Pekka Kupari ja dosentit Erkki Komulainen ja Reijo Byman antoivat hyviä kommentteja sekä tutkimuksen tekniseen osuuteen että tuloksiin. Kaikki tekniset virheet ja tulkinnat jäävät tietenkin kirjoittajan vastuulle. Tutkija Sirkku Kupiainen valmisti vertailutietoja Koulutuksen arviointikeskuksen vastaavantyyppisestä julkaisemattomasta aineistosta keskustelun pohjaksi ja kommentoi tuloksia. Keskustelut professori Jarkko Hautamäen ja tutkija Kupiaisen kanssa olivat hedelmällisiä. Näistä kaikille lämmin kiitos. Tekstin pohdintaosan työskentelytapa on ollut seuraava: Opetushallituksen arviointiryhmän virkamiehiltä on pyydetty ajatuksia perusopetuksen ohjausjärjestelmän toimivuudesta ja tilasta. Seuraavat henkilöt ovat osallistuneet tekstin valmisteluun: Ohjausjärjestelmän toimivuutta yleisesti pohti erikoissuunnittelija Aulikki Etelälahti, oppimistulosten ja arvioinnin yhteyttä opetuksen laatuun pohtivat opetusneuvokset Leena Mattila ja Hannu-Pekka Lappalainen. Perusmateriaalia tuottivat myös opetusneuvokset Pentti Yrjölä ja Kaija Salmio. Mainittujen henkilöiden lisäksi haastateltiin opetusneuvoksia Pirjo Sinko, Leo Pahkin ja Hely Parkkinen. Apua antoi myös erikoissuunnittelija Tanja Kirjavainen talousviitteiden löytämisen osalta. Allekirjoittanut tutustui koulujen kustannus- ja tehokkuustutkimuksiin ja kokosi ja karsi asiantuntijoiden ajatuksia. Aulikki Etelälahti antoi monia korvaamattomia ideoita erityisesti tuloksellisuutta ja kustannuksia koskevaan osaan. Tässä raportissa kuvataan teknisemmin samat asiat kuin kahdessa muussa raportissa (Metsämuuronen 2006a ja 2006b), joissa teksti on pyritty pitämään niin yksinkertaisena kuin mahdollista. Noista raporteista poiketen tässä pohditaan tarkemmin itse vertaistamisprosessia, aineiston analyysimenetelmiä sekä menetelmän jatkokehittämistarpeita. Opetushallituksessa 26.3.2007 Jari Metsämuuronen KT, dos Erikoistutkija 3

TIIVISTELMÄ Raportissa kuvataan äidinkieli ja kirjallisuus- sekä modersmål och litteratur - oppiaineiden osaamisen ja asenteiden muutosta 6. ja 9. luokan välillä. Kyseessä ovat olleet samat koulut (suomenkielisessä aineistossa n = 98 ja ruotsinkielisessä aineistossa n = 18) ja oppilaat (suomenkielisessä aineistossa n = 4 750 ja ruotsinkielisessä aineistossa n = 1 310) molemmilla mittauskerroilla. Suomenkielisestä oppilasaineistosta valittiin satunnaisesti 466 oppilasta oppilastason tarkentaviin vertailuihin. Ruotsinkielisessä aineistossa kaikki oppilaat voitiin yhdistää toisiinsa. Eri vuosien koetulokset on saatettu yhteismitallisiksi IRT-mallinnuksella, ja tulokset on kuvattu ratkaisuprosenttien muutoksena koko kokeen ja eri osa-alueiden maksimipistemääristä. Oppilaiden koetulosten koulukohtaisella keskiarvolla mitattuna oppilaiden osaaminen lisääntyi suomenkielisessä aineistossa keskimäärin 8 prosenttiyksikköä luokkien 7 9 aikana, mikä tarkoittaa arvosanoissa ilmaistuna vajaan arvosanan osaamisen lisääntymistä. Voimakkainta osaamisen kasvu oli kirjoittamisen (+15 %) ja lukemisen (+12 %) osa-alueilla. Osaaminen ei juuri muuttunut kielentuntemuksen osa-alueella (+5 %). Ruotsinkielisessä aineistossa oppilaiden osaaminen lisääntyi keskimäärin +2 prosenttiyksikköä luokkien 7 9 aikana. Voimakkainta osaamisen kasvu oli kirjoittamisen (+4 %) osa-alueella. Osaaminen ei muuttunut lukemisen (+0,1 %) eikä juuri kielentuntemuksenkaan osa-alueella (+2 %). Osassa sekä suomen- että ruotsinkielisistä kouluista oppilaiden keskimääräinen kielentuntemuksen sekä kirjoittamisen osaaminen heikkeni yläluokkien aikana. Suomenkielisessä aineistossa muutos oli Lapin läänissä myönteisempää kuin muissa lääneissä. Maaseutumaisten ja kaupunkimaisten koulujen välillä ei muutoksen suuruuden suhteen ollut eroja. Lähtötasoltaan heikomman neljännekseen sijoittuvissa kouluissa osaamisen muutos on hieman myönteisempää kuin lähtötasoltaan parhaan neljänneksen kouluissa. Ruotsinkielisessä aineistossa Etelä-Suomen läänissä muutos oli myönteisempää kuin Länsi-Suomen läänissä erityisesti asenteiden osalta. Maaseutumaisten ja kaupunkimaisten koulujen välillä ei muutoksen suuruuden suhteen ollut eroja, vaikka kirjoittamisen osa-alueella taajamamaisten koulujen (n=2) tulokset olivatkin nousseet selvästi enemmän kuin maaseutumaisten ja kaupunkimaisten koulujen tulokset. Sekä suomen- että ruotsinkielisissä kouluissa asenteet muuttuvat negatiivisemmiksi perusopetuksen ylimpien luokkien aikana, mikä oli odotettavissa aiempien tutkimusten perusteella. 4 Sekä suomenkielisessä että ruotsinkielisessä aineistossa oppilaiden lähtötasolla on selvä yhteys siihen, millaiset tekijät selittävät osaamisen muutosta. Muutos on ollut suurempaa niillä oppilailla, joilla lähtötaso oli matalampi verrattuna lähtötasoltaan parempiin oppilaisiin. Tämä selittyy osin lattia-katto -efektillä: heikommat eivät enää pääse alemmas ja parhaat eivät enää pääse ylemmäs. Muutokset ovat kuitenkin niin suuria, että lattia-katto -efekti ei selitä kaikkea aineiston vaihtelua. Oppilasaineistossa sekä suomen- että ruotsinkielisessä aineistossa oppimistulosten muutos on positiivisempaa tytöillä kuin pojilla. Myös kielitausta selittää osaamisen muutosta: Suomenkielisessä aineistossa osaaminen on kehittynyt enemmän kaksikielisillä kuin kotikielenään vain suomea puhuvilla ja ruotsinkielisessä aineistossa enemmän kotikielenään vain suomea puhuvilla kuin ruotsia puhuvilla. Suomenkielisessä aineistossa osaaminen on kehittynyt enemmän luki-opetusta saaneilla ja niillä, joilla arvosana ei ole laskenut perusopetuksen ylempien luokkien aikana. Kielentuntemuksen tulokset ovat parantuneet myös, mikäli oppilas on saanut säännöllistä ohjausta puhe-, luku- ja kirjoitusvaikeuksiin.

Voidaan tehdä kolme yleistä huomiota: Ensinnäkin ylemmillä luokilla tulokset ovat yleisesti ottaen muuttuneet paremmiksi niillä oppilailla, jotka alun perin ovat olleet heikoimpia. Toiseksi oppilaan kielitaustalla on voimakas selittävä yhteys kirjoittamisen osa-alueen positiiviseen muutokseen; suomenkielisessä aineistossa koulusta hyötyivät kaksikieliset ja ruotsinkielisessä aineistossa suomenkieliset oppilaat. Ruotsinkielisessä aineistossa ei kuitenkaan ollut eroa täysin ruotsinkielisten ja kaksikielisten oppilaiden välillä. Voidaan päätellä, että erityisesti ne oppilaat hyötyvät koulun äidinkielen ja modersmålin opetuksesta, jotka tulevat oppiaineelle vieraasta kielitaustasta. Kolmanneksi heikot oppilaat kehittyvät enemmän mikäli koulun lähtötaso on muutenkin ollut heikko verrattuna niihin lähtötasoltaan heikkoihin oppilaisiin, jotka ovat lähtötasoltaan parhaissa kouluissa. Suomenkielisessä aineistossa myös lähtötasoltaan parhaat pojat saivat parempia tuloksia lähtötasoltaan heikoimmissa kouluissa. Lähtötasoltaan heikoimpien koulujen äidinkielen oppituntien työtavat ovat konkreettisia, käytännöllisiä ja heikon oppilaan (ja aineiston perusteella myös hyvien poikien) oppimista strukturoivia. Lähtötasoltaan parhaissa kouluissa käytettiin oppilaan omaan työhön ja aktiivisuuteen perustuvia menetelmiä. 5

SAMMANDRAG 6 I denna tekniska rapport behandlas förändringar i kunskaperna i och attityderna till läroämnena äidinkieli ja kirjallisuus (modersmål finska) samt modersmål och litteratur (modersmål svenska). De förändringar som har studerats gäller årskurs 6 och årskurs 9 i den grundläggande utbildningen. I båda mätningarna deltog samma skolor (n=98 i det finskspråkiga materialet och n=18 i det svenskspråkiga) och elever (n=4 570 i det finskspråkiga materialet och n=1 310 i det svenskspråkiga). Ur det finskspråkiga materialet valdes slumpmässigt 466 elever för jämförelser på elevnivå. I det svenskspråkiga materialet kunde alla elever förenas. Provresultaten från olika år har gjorts jämförbara och resultaten har beskrivits som en förändring av lösningsprocenterna i förhållande till hela provets och de olika delområdenas maximipoäng. Mätt med skolornas elevmedeltal ökade elevernas kunskaper i det finskspråkiga materialet i genomsnitt 8 % under årskurserna 7 9. Den kraftigaste kunskapsökningen skedde i delområdet skrivande (+15 %) och läsning (+12 %). Kunskaperna i delområdet språk, ordförråd eller grundläggande begrepp förändrades inte mycket (+5 %). I det svenskspråkiga materialet ökade elevernas kunskaper totalt sett i genomsnitt 2 % under årskurserna 7 9. Den kraftigaste ökningen gällde kunskaperna i skrivande (+4 %). Kunskaperna i läsning förändrades inte (+0,1 %), och inte heller just kunskaperna i språkkännedom (+2 %). I en del av både de finsk- och svenskspråkiga skolorna försvagades elevernas genomsnittliga kunskaper i språk, ordförråd och grundläggande begrepp samt i skrivande under de högre årskurserna. På skolnivå var förändringen i det finskspråkiga materialet positivare i Lapplands län än i de övriga länen. I fråga om storleken av förändringarna fanns det inga skillnader mellan landsbygdsskolor och stadsskolor. I de skolor som placerade sig i den svagaste fjärdedelen i fråga om utgångsläge var kunskapsförändringen något positivare än i den fjärdedel av skolorna med det bästa utgångsläget. I det svenskspråkiga materialet var förändringen positivare i Södra Finlands län än i Västra Finlands län särskilt gällande attityderna. Mellan de svenska landsbygdsskolorna och stadsskolorna fanns inga skillnader, däremot hade tätortsskolornas (n=2) resultat i skrivande förbättrats i betydligt högre grad än landsbygdsskolornas och stadsskolornas. Både i de finskspråkiga och de svenskspråkiga skolorna blir attityderna negativare under de högre årskurserna, vilket var väntat i ljuset av tidigare undersökningar. Både i det finskspråkiga och i det svenskspråkiga materialet hade elevernas utgångsläge ett klart samband med hurdana faktorer som förklarar förändringen i kunskaper. Förändringen var störst bland de elever vars utgångsläge var svagare än de med bättre utgångsläge. Detta förklaras delvis med golv-till-takeffekten: de svagaste kan inte komma lägre och de bästa inte högre. Förändringarna är dock så stora att de inte förklaras enbart med golv-till-takeffekten. På elevnivå var förändringen i inlärningsresultat både i det finskspråkiga materialet och i det svenskspråkiga materialet positivare bland flickor än bland pojkar. Likaså utvecklades kunskaperna i det finskspråkiga materialet mera bland tvåspråkiga än bland dem som talar enbart finska hemma, och i det svenskspråkiga materialet mera bland dem som talar enbart finska hemma än dem som talar svenska. I det finskspråkiga materialet utvecklades kunskaperna mera bland dem som fått specialundervisning pga. läs- och skrivsvårigheter och bland dem vars

vitsord inte sjunkit under de högre årskurserna. Resultatet i delområdet språk, ordförråd och grundläggande begrepp förbättrades också i de fall då eleven fått regelbunden handledning för att avhjälpa tal-, läs- och skrivsvårigheter. I det svenskspråkiga materialet i motsats till det finskspråkiga ser man ingen skillnad i kunskapsförändring under de högre årskurserna mellan dem som fått/ behövt stödundervisning och dem som inte fått/behövt. Man kan göra tre allmänna iakttagelser: För det första förbättrades resultaten i de högre årskurserna bland de elever som ursprungligen var svagare. För det andra hade elevens språkbakgrund ett förklarande samband med en positiv förändring i skrivande; i det fi nskspråkiga materialet drog de tvåspråkiga eleverna bäst nytta av skolan och i det svenskspråkiga materialet de fi nskspråkiga eleverna. Men i det svenskspråkiga materialet fanns ändå ingen skillnad mellan de helt svenskspråkiga och de tvåspråkiga eleverna. Man kan dra den slutsatsen att de elever som kommer från en främmande språkbakgrund har mest nytta av undervisningen i äidinkieli och modersmål. För det tredje utvecklades de svaga eleverna mera ifall skolans utgångsläge i övrigt var svagt i jämförelse med de elever med svagt utgångsläge som gick i skolor med det bästa utgångsläget. I det finskspråkiga materialet fick också pojkarna med det bästa utgångsläget bättre resultat i skolor med det svagaste utgångsläget. I skolor som har ett svagt utgångsläge är arbetsmetoderna under modersmålslektionerna konkreta, praktiska och strukturerar de svaga elevernas (och de goda pojkarnas) lärande. I skolor med det bästa utgångsläget används metoder som bygger på elevens eget arbete och aktivitet. 7

ABSTRACT 8 This technical report deals with changes in competence in and attitudes towards the school subjects known as mother tongue and literature, Finnish as the mother tongue and mother tongue and literature, Swedish as the mother tongue between the 6th and 9th grades of basic education (the last grades of primary and lower secondary levels respectively). The study covered the same schools (n = 98 in the Finnish-language data and n = 18 in the Swedish-language data) and pupils (n = 4,570 in the Finnish-language data and n = 1,310 in the Swedish-language data) when both surveys were carried out. A random sample of 466 pupils was selected from the Finnish-language pupil data for pupil-level comparisons. In the Swedishlanguage data, it was possible to cover all pupils. Test results from different years have been adjusted to enable comparison and they have been described in terms of changes in correct answers as percentages of the maximum scores in the entire test and its different sections (reading and literature, knowledge of language, vocabulary and basic concepts, and writing skills). Measured in terms of the schools average mean of school scores, pupils competence increased by an average of +8% between the 7th and 9th grade in the Finnish-language data. The growth in competence was highest in writing (+15%) and reading (+12%). Competence did not change much in knowledge of language, vocabulary and basic concepts (+5%). In the Swedish-language data, pupils competence increased on average by +2% between the 7th and 9th grade. The growth in competence was highest in writing (+4%). Competence did not change in reading (+0.1%); nor was there any significant change in knowledge of language (+2%). At some both Finnish- and Swedish-language schools, pupils knowledge of language, vocabulary and basic concepts and writing skills deteriorated during the last three grades. When examined at a school level, the Finnish language data indicated that the change was more positive in the Province of Lapland compared with other provinces. There were no differences between rural and urban schools in terms of the magnitude of change. The change in competence among schools falling within the lowest-performing quarter in terms of their initial level was slightly more positive when compared with schools in the best-performing quarter. In the Swedish-language data, the change was more positive in the Province of Southern Finland compared with the Province of Western Finland, in terms of attitudes in particular. There were no differences between rural and urban schools in terms of the magnitude of change, even though results in writing skills had clearly improved more in town-based schools (n = 2) than in those located in rural areas and cities. Attitudes deteriorated during the last three grades of basic education in both Finnish- and Swedish-language schools, which was to be expected on the basis of previous studies. Both Finnish- and Swedish-language data revealed a clear connection between pupils initial level and the types of factors that explain changes in competence. The change was higher among those pupils with lower initial levels when compared with those with better initial levels. This can be partially attributed to the floor/ ceiling effect: the weakest can no longer go any lower, whereas the best can no longer get any higher. However, the changes are so considerable that the floor/ ceiling effect cannot explain all variations in the data. At a pupil level, changes in learning outcomes were more positive among girls than boys in both Finnish- and

Swedish-language data. Likewise, competence developed more among bilingual pupils than among those who only spoke Finnish at home in the Finnish-language data and among those who only spoke Finnish at home than Swedish-speaking pupils in the Swedish-language data. In the Finnish-language data, competence developed more among pupils who received remedial reading and writing instruction and those whose mother tongue grade did not drop during the last three years of basic education. Results in knowledge of language, vocabulary and basic grammatical concepts also improved where pupils had received regular instruction for speech, reading and writing difficulties. In the Swedish-language data, competence developed more among those who had only received a small amount of remedial reading and writing instruction during the last three grades of basic education. It is possible to make three general observations: Firstly, results have generally changed for the better during the last three grades among those pupils who were initially the weakest. Secondly, there is an explanatory link between individual pupils linguistic background and a positive change in writing skills; schooling benefi ted bilingual pupils in the Finnish-language data and Finnish-speaking pupils in the Swedish-language data. It may be concluded that school instruction in Finnish and Swedish as the mother tongue benefits those pupils who come from a linguistic background that is non-native in terms of the subject. Thirdly, weak pupils develop more where their school s initial level has also been weak in other respects when compared with those pupils with a weak initial level who studied at the best schools in terms of initial level. In the Finnish-language data, boys with the best initial level also received better results at schools that were weakest in terms of initial level. Working methods used in these weakest schools mother tongue classes were concrete and practical, while also providing weak pupils (and good boys) with structure to their learning. Conversely, schools with the best initial levels used methods based on pupils independent work and active participation. 9

1 OPPIMISTULOSTEN MUUTOKSEN TUTKIMUKSEN TAUSTAA Suomalainen otosperustainen oppimistulosten arviointijärjestelmä (OPH 1998) perustuu käsitykseen siitä, että kouluissa opetetaan ja opitaan ne asiat, joita kansallisissa opetussuunnitelman perusteissa edellytetään. Järjestelmän on suunniteltu siten, että se tuottaisi kansallisesti yleistettävää vertailutietoa siitä, kuinka alueellisesti, sosiodemografisesti sekä sukupuolten ja kieliryhmien välillä eri puolella Suomea opetuksen tasa-arvo toteutuu. Järjestelmää ei ole rakennettu arvioimaan yksittäisen oppilaan suorituksia saati, että pyrkimyksenä olisi seurata yksittäisen oppijan osaamista eri vuosina tutkintojärjestelmään perustuvien maiden tapaan (kuten esimerkiksi Hollannissa ja Englannissa). Joissain osissa Isoa Britanniaa kuten Skotlannissa ja Walesissa tutkintojärjestelmästä on aktiivisesti pyritty eroon siihen suoraan liittyvien haitallisten sivuseurausten vuoksi. Suomalainen koulujärjestelmä on kansainvälisesti arvioiden kyennyt tuottamaan hyviä tuloksia (OECD 2001, 2003) pienellä koulukohtaisella variaatiolla (Schleicher 2006, 13), keskinkertaisilla kansallisilla kuluilla ja tasa-arvoisesti (OECD 2005, 10 12). Käynnissä oleva valtionhallinnon kokonaislaadun kehittämisuudistus (OPM 2004) tulee johtamaan myös siihen, että ajan myötä on pohdittava sitä, millä mitataan koulujen tehokkuutta, taloudellisuutta ja vaikuttavuutta. Koulutuksen vaikuttavuutta tarkasteltaessa oppimistulosten näkökulmasta herää kaksi olennaista kysymystä: Saavuttavatko oppijat ne tavoitteet, joita koulutukselle asetetaan? Perusopetuksen osalta kysymys voidaan kysyä toisinkin: Saavuttavatko oppilaat ne tavoitteet, joita kansallisissa opetussuunnitelmissa edellytetään opituiksi kuhunkin nivelvaiheeseen mennessä? Toisaalta osa opituista asioista unohdetaan varsin nopeasti, ellei niitä käytetä aktiivisesti. Voidaankin kysyä, kuinka paljon todellinen kokonaisosaaminen lisääntyy koulutuksen aikana. Alemmilla luokilla tapahtuvasta oppimisesta vain osa on koulun (opettajan, oppikirjojen tai kouluympäristön) tuottamaa, sillä on ilmeistä, että osa osaamisesta syntyy nonformaalisti koulun ulkopuolella omaehtoisesti tai epäintentionaalisesti kokemusten lisääntyessä. Näin ollen voi olla hankalaa mitata sitä, mikä on koulun tuottama lisäarvo ihmisen kokonaiskasvussa ja -kehittymisessä. Haastetta vaikuttavuuden mittaamiseen tuovat yhtäältä se, että oppimistuloksia toisin kuin esimerkiksi asenteita ei ole mielekästä mitata identtisillä testeillä eri vuosina ja toisaalta se, että osaamisen vaatimukset ovat erilaisia eri vuosina. Tämä on ensisijaisesti mittaamiseen liittyvä haaste. Kolmanneksi on otettava huomioon se, että nykyisessä otantapohjaisessa järjestelmässä kansallisissa oppimistulostestauksissa ei oppimistuloksia ole tarvetta mitata samoilta oppilailta objektiivisesti useana vuonna peräkkäin. Koulut samoin kuin oppilaat koulun sisältä valitaan satunnaisesti ositetun otannan periaatteiden mukaisesti. Muutamaa poikkeusta lukuun ottamatta Suomessa ei ole juuri mitattu ylempien luokkien oppimistuloksia pitkittäis- tai seuruututkimuksen keinoin. Nurmen ja Aunolan työryhmän mielenkiintoinen tutkimushanke koulutaitojen ja motivaation kehityksestä on edennyt neljänteen luokkaan (mm. Aunola & Nurmi 2004, Aunola ym. 2004, Leppänen ym. 2004), mutta ylempiä luokkia ei ole vielä tätä kirjoitettaessa mitattu. Ko. hankkeessa on käytetty samoin kuin Opetushallituksen (OPH) kokeissa nimenomaan ikäluokalle sopeutettuja objektiivisia testejä niin matematiikan kuin äidinkielenkin osaamisen mittaamiseen. Kuusisen raportoimassa 30 11

vuotta kestäneessä seuruututkimuksessa (mm. Kuusinen 1985, 1986, Kuusinen ja Leskinen 1987, 1988) havaittiin, että toisen kouluvuoden jälkeen oppilaiden paremmuusjärjestys luokassa vakiintuu eikä opettajan antaman arvosanan suhteen enää tapahdu juuri muutosta. Huomattakoon, että mittauksessa ei käytetty objektiivisia testejä, vaan analyysi perustui opettajan antaman kouluarvosanan käyttöön. Tämä raportti lienee ensimmäinen, jossa laajojen (98 koulussa) koulun ulkopuolisten testien avulla on selvitetty sitä, millaista muutosta tapahtuu samojen oppilaiden osaamisessa ja asenteissa perusopetuksen ylimpien luokkien aikana. Vuonna 2002 järjestettiin syyslukukauden alussa silloisille 7. luokan oppilaille äidinkielen ja kirjallisuuden (jatkossa lyhyemmin äidinkielen) ja modersmål och litteratur:in (jatkossa lyhyemmin modersmålin) oppiaineiden oppimistulosarviointi 6. luokan lopulla osatuista asioista (Lappalainen 2003, Silverström 2003). Periaatteessa kyseessä oli 6. luokan lopun ja 9. luokan osaamisen tason vertaaminen, vaikka 6. luokan mittaus toteutettiin 7. luokan alussa. Joitain perusasioita luokkien 1. 6. oppiaineksesta on mahdollisesti kerrattu 7. luokan alussa. Mittaus 7. luokan alussa mahdollisti sen, että oli suurempi todennäköisyys tavoittaa 9. luokalla samat henkilöt kuin ensimmäisessä mittauksessa. Myöhemmin puhutaan 6. luokan jälkeisestä osaamisesta ja sen mittauksesta, vaikka itse mittaus tapahtuikin 7. luokan alussa. Testissä arvioitiin sekä osaamista että asenteita seuraavilla osa-alueilla (suluissa myöhemmin käytettävä lyhennys): Oppimistulokset Lukeminen, kirjallisuus ja tekstitieto (LUK) Läsning, litteratur och textkännedom (LÄS) Kielen, sanaston ja peruskäsitteiden hallinta (KIE)/ Språkkännedom (SPRÅK) Kirjoitustehtävät (KIR)/ Skrivande (SKRIV) Asenteet Käsitys itsestä oppiaineen osaajana (OSAA) Käsitys oppiaineen hyödyllisyydestä (HYÖTY) Oppiaineesta pitäminen (PITÄÄ) Lisäksi mitattiin osaaminen koko kokeessa (myöhemmin Osaaminen koko koe/ Hela provet) ja kokonaissuhtautuminen oppiaineeseen (myöhemmin Asenne koko mittari). Vuonna 2005 keväällä järjestettiin uusi oppimistulosarviointi nyt 9. luokan oppilaille (Lappalainen 2006, Silverström 2006). Vuoden 2005 mittaukseen otettiin mukaan samat oppilaitokset ja oppilaat kuin vuoden 2002 mittauksessa. Tämä mahdollistaa puolikokeellisen (Quasi-experiment) asetelman tutkia sitä, kuinka äidinkielen osaaminen on muuttunut peruskoulussa kolmen vuoden aikana perusopetuksen ylimpien luokkien aikana 1. Ensisijaisesti tutkimuskohteena ovat osaamisen ja asenteiden muutokset, joskin toisaalta saadaan tietoa myös koulun tuomasta lisästä oppimiseen. 1. Ks. myöhemmin luku 3.5, jossa pohditaan muutosmittauksen yleisiä haasteita. 12

On huomattava, että äidinkieltä opitaan muuallakin kuin koulussa, mistä syystä vaikuttavuuden näkökulmasta tulokset ovat vain suuntaa-antavia. Kun jatkossa raportoidaan lukemisen, kirjallisuuden ja tekstitiedon (myöhemmin lukemisen), kielen, sanaston ja peruskäsitteiden hallinnan (myöhemmin kielentuntemuksen) sekä kirjoitustehtävien (myöhemmin kirjoittamisen) osaamisen muutoksia, on hyvä pitää mielessä, että äidinkieli ja modersmål ovat kaksi eri oppiainetta, joiden tavoitteet poikkeavat toisistaan. Näin ollen ei ole mielekästä verrata toisiinsa eri oppiaineiden suoritustasoa muutoin kuin yleisen osaamisen tason näkökannalta. Tässä raportissa käsitellään osaamisen ja asenteiden muutosta, mistä johtuen varsinaisiin sisällöllisiin eroihin oppiaineiden välillä ei mennä. 13

2 TUTKIMUSTEHTÄVÄ Tähän mennessä ei Suomessa ole kansallisten aineistojen pohjalta julkaistu tutkimustietoa osaamisen muutoksen yhteydessä olevista tekijöistä peruskoulun ylempien luokkien aikana 2. Analyysin tarkoituksena on yhtäältä kuvata, kuinka oppilaiden osaaminen, taidot ja asenteet ovat muuttuneet peruskoulun ylempien luokkien aikana. Toisaalta tehtävänä on selvittää, miten oppilailta, opettajilta ja rehtoreilta kysytyt tiedot sekä opetuksen järjestäjien taloustiedot sekä koulun alueen sosiodemografiset tiedot selittävät tätä muutosta. Aineistoa tarkastellaan yhtäältä opetuksen järjestäjien kannalta, jolloin fokuksena on yksittäinen oppilaitos ja opetuksen järjestäjä ja toisaalta yksittäisen oppilaan tulosten kannalta. Aineistot rajoittavat tarkastelun ja johtopäätökset koskemaan äidinkieli ja kirjallisuus- sekä modersmål och litteratur-oppiaineita. 2. On kuitenkin muistettava, että muutostutkimusta on kansainvälisesti tehty paljonkin. Erityisesti 1970-luvulla tehtiin huomattava määrä ns. prosessi-produkti -paradigmaan (Shulman, 1986) liittyviä tutkimuksia. Näitä tutkimuksia ovat referoineet opettajan näkökulmalta mm. Medley 1977 ja Brophy & Good (1986, 360 364) ja oppilaiden näkökulmalta Greenberg (1999), ja niiden kritiikkiä ovat käsitelleet mm. Gage & Needels (1989). Näissä tutkimuksissa opettajan käyttäytyminen edustaa prosessia ja oppilaan suoriutuminen produktia. Näihin tuloksiin ja niiden rajoituksiin palataan myöhemmin tuloksia pohdittaessa. 14

3 METODISIA KYSYMYKSIÄ JA RATKAISUJA 3.1 Mittauskertojen vertaistaminen Äidinkielen ja modersmålin 9. luokan kokeet olivat vaikeustasoiltaan ja pituuksiltaan erilaisia kuin 6. suorittaneille pidetyt kokeet. Ennen kuin vertailua kahden eri mittauskerran välillä on mielekästä tehdä, mittaukset ja niiden pistemäärät on saatettava yhteismitalliseksi eli mittaustulokset on vertaistettava (Equating). Asenneväitteiden osalta ei tätä ongelmaa ole, sillä molemmilla mittauskerroilla kysymykset olivat samat. Osaamisen mittauksen vertaistamisessa käytettiin osiovaste-teorian (Item Response Theory, IRT) tuomia mahdollisuuksia (Verhelst, Glas & Verstralen 1995, Béguin 2000, suomeksi mm. Metsämuuronen 2006c, 153 169). Äidinkielen osaamismittareiden osalta aineistossa on kolmenlaisia mittareita, joiden alkuperäiset pistemäärät eivät vastanneet toisiaan. Ensinnäkin 6. luokan suorittaneiden kokeessa oli kaksi versiota (6A ja 6B), joissa oli hieman eri pistemäärä, mutta joiden välillä oli ankkuritehtäviä. Toiseksi 9. luokan testi poikkesi pituudeltaan selvästi 6. luokan kokeista. Nämä versiot muunnettiin samaskaalaisiksi hyödyntämällä sitä IRT:n ominaisuutta, että oppilaiden latentti eli taustalla oleva osaamisen taso (theta-arvo) voidaan määrittää yksikäsitteisesti kaikkiin versioihin soveltuvaksi, mikäli versioiden välillä on ns. ankkuritehtäviä. Versioiden välillä olevat ankkuritehtävät määrittävät siis kussakin versiossa jokaisen vastaajan osaamisen tason ja näin kukin mittareista saadaan muunnettua samalle skaalalle. Tätä prosessia nimitetään vertaistamiseksi (Equation, Béguin 2000). Asetelmallisesti kyseessä on matriisiotanta. Itse laskenta tehtiin OPLM-ohjelmistolla (Verhelst, Glas & Verstralen 1995). Modersmålin osalta käytettiin yhtä versiota sekä 6. luokan että 9. luokan mittauksissa. Molemmat modersmålin koetulokset korjattiin vastaamaan tasoltaan äidinkielen 9. luokan koetta. Näin eri oppiaineiden ratkaisuprosentit ovat vertailukelpoisia. Eri vuosien mittausten vertaistamisen onnistuminen perustuu ensinnäkin siihen, kuinka hyvin aineistoja yhdistävät ankkuritehtävät kuvaavat aineistossa vastaajien osaamisen tasoa. Mikäli ankkuritehtävät ovat liian vaikeita tai liian helppoja, tämä saa aikaan epävakaita arvoja kalibrointiin pienetkin muutokset aineistoissa olisivat tuottaneet suuria muutoksia lopputulokseen. Vaikeustason osalta ankkuriosiot ovat sopivia analyysiin (ks. taulukot 1 ja 2). Toiseksi ankkuritehtävät edustavat pientä testiä isomman testin sisällä ja niinpä tehtävien tulisi edustaa myös sisältöalueita. Äidinkielen ja kirjallisuuden tehtäväsarjojen 6. luokan versioiden A ja B välillä oli kaikkiaan 10 ankkuritehtävää edustaen eri osa-alueita. Luokkien 6 ja 9 välillä ankkureita oli 5. Vastaavasti modersmålin osalta ankkuriosioita luokkien 6 ja 9 välillä oli yhteensä 10. Modermålin ja äidinkielen välisiä identtisiä tehtäviä oli 9. luokan kokeiden osalta 27 ja 6. luokan kokeiden osalta 14. Äidinkielen kirjoitustehtävien osalta eri mittausten välillä oli hankala löytää toimivia ankkureita, sillä kirjoitustehtävät pyritään jokaisella mittauskerralla rakentamaan erilaisiksi. Toisaalta samanaiheinenkaan kirjoitustehtävä ei toimi eri mittauskerroilla samalla tavalla johtuen subjektiivisista elementeistä, joita pisteitykseen liittyy. Objektiivisiin osioihin on huomattavasti helpompi rakentaa toimiva ankkurointirakenne. Molemmissa oppiaineissa kaikilta osa-alueilta on ankkuritehtäviä, joskin äidinkielen eri osa-alueiden vertailun näkökulmasta ankkureita on niukalti. Tulokset ovat tältäkin osin kuitenkin tarkempia, kuin jos olisi tyydytty mekaaniseen ratkaisuosuuksien vertailemiseen ilman kalibrointia. Kolmanneksi vertaistamiseen vaikuttaa otoskoko. Mitä heikommin otos vastaa perusjoukkoa, sitä harhaisempia 15

ovat korjatut pistemäärät. Tapauksessamme sekä äidinkielen että modersmålin otokset olivat koulujen ja oppilaiden suhteen edustavia (ks. seuraava luku otannasta), mutta oppilaiden suhteen ryvästyneitä. Tämä merkitsee sitä, että vaikka koulujen keskiarvot ovatkin tarkkoja kuvaamaan koulun keskimääräistä tasoa, on koulun sisällä oppilaiden vaihtelu hieman liian pientä satunnaisotokseen nähden, koska oppilaat ovat samalta paikkakunnalta ja olleet samojen opettajien opetettavana. Otoskoot ovat kuitenkin suuria tai suurehkoja sekä suomenkielisessä että ruotsinkielisessä aineistossa, joten suuria eroja satunnaiseen nähden ei ole odotettavissa. Kaikkiaan vertaistamisprosessissa hyödynnettiin aineistoja, joissa oli yhteensä 10 897 suomenkielistä ja 2 901 ruotsinkielistä oppilastulosta 3. Vertaistamisessa kysymyksessä on siis edustava otos ja osioiden vaikeustasot voidaan uskottavasti yleistää koskemaan kaikkien suomen- ja ruotsinkielisissä kouluissa opiskelevien oppilaiden osaamisen tasoa. Äidinkielen oppilastason tarkentavia tarkasteluja varten äidinkielen aineistossa valittiin satunnaisesti 12 koulua, joiden 466 oppilaan tuloksia verrattiin 6. ja 9. luokalla. Modersmålin osalta yhdistäminen saatiin tehtyä käytännöllisesti katsoen kaikille oppilaille 4. Oppilastason tuloksiakin kuvattaessa otokset on edustavia näytteitä, ja tuloksia voidaan pitää vähintään suuntaa-antavina. Teknisesti vertaistamisprosessi on lyhyesti kuvattuna seuraava (ks. proseduurista tarkemmin Béguin 2000, 17 36): 1. Määritellään matriisiotannan rakenne ja kiinnitetään ankkuriosiot vastaamaan toisiaan eri versioissa. Näin kaikkien viiden version (äidinkieli 6A, 6B ja 9 sekä modermål 6 ja 9) osioiden vaikeustasot kalibroituvat samalle skaalalle. 2. Conditional Maximum Likelihood (CML) -menettelyllä estimoidaan kunkin osion vaikeustaso (β-parametri) suhteessa muihin osioihin. 3. Marginal Maximum Likelihood (MML) -menettelyllä estimoidaan kunkin version osalta oppilaiden latentin osaamisen tason (θ-parametri) keskiarvo ja hajonta. 4. Estimoidaan β:n ja θ:n jakaumien keskiarvojen ja hajontojen avulla kussakin versiossa jokaista summapistemäärää vastaava θ-arvo. 5. Muutetaan äidinkielen 6. luokan ja modersmålin 6. ja 9. luokan versioiden summapistemäärät vastaamaan äidinkielen 9. luokan pistemääriä theta-arvojen perusteella. Olisi ollut mahdollista tehdä niin, että olisi muutettu 9. luokan version pistemäärä vastaamaan 6. luokan pistemääriä theta-arvojen perusteella. Jatkossa itse tarkastelu tehdään kuitenkin proseduurissa mainitun menettelyn mukaisesti. Näin saatiin ilmiöstä hieman tarkempaa tietoa, sillä 9. luokan mittauksessa käytetty mittari oli pidempi kuin 6. luokan osaamista mitattaessa. Tulosten kannalta ei ole väliä kumpi vaihtoehdoista valitaan pistemäärien erot ovat kutakuinkin samat molemmilla tavoilla. Kyseinen proseduuri käytiin läpi niin koko kokeen kuin kaikkien osa-alueidenkin suhteen. Osaamisen taso on siis kalibroitu erikseen kaikille kolmelle osa-alueille ja kokonaissummalle eikä osa-alueista ole suoraan johdetta- 3. Näistä suomenkielisiä 7. luokan oppilastietoja oli n = 4 965 ja 9. luokan tietoja n = 5 932. Ruotsinkielisiä oppilastietoja oli 7. luokalla n = 1 467 ja 9. luokalla n = 1 434. Asetelmasta johtuen oppilaat olivat valtaosin samoja molemmissa mittauksissa. 4. Ruotsinkielisen aineiston otoskoko poikkeaa hieman arviointiraporteissa (Silverström 2003, 2006) ilmoitetuista otosko oista, sillä tässä aineistossa mukaan on laskettu vain täsmälleen identtiset vastaajat. 16

vissa kokonaispistemäärän vaikeustasoa. Käytännössä tämä näkyy siten, että myöhemmin raportoitavat kokonaisosaamisen muutosprosentit eivät synny laskemalla yksittäisten osa-alueiden muutosprosenttien keskiarvona. Äidinkielessä kullakin osa-alueella osioita on niukasti ja tästä syystä kalibrointi on tarkimmillaan kokonaissummaa tarkasteltaessa. Taulukoihin 1 ja 2 on koottu eri vuosien versioiden väliset ankkuriosiot, osa-alue ja vaikeustaso. TAULUKKO 1. Äidinkielen ja kirjallisuuden mittariversioiden vertailutiedot ja ratkaisuprosentit. Osio Versiot Osaalue Ratkaisuprosentti 6. luokalla Ratkaisuprosentti 9. luokalla Osion vaikeus B Vaikeustaso 5 6A-6B LUK 0.498 melko helppo 6 6A-6B LUK 0.430 melko helppo 19 6A-6B LUK 0.239 keskivaikea 22 6A-6B-9 LUK 6A 81 85 0.631 helppo 6B 77 25 6A-6B LUK 0.155 keskivaikea 3 6A-6B-9 KIE 6A 76 72 0.620 helppo 6B 71 13 6A-6B KIE 0.785 vaikea 15 6A-6B-9 KIE 6A 34 6B 34 7 6A-6B-9 KIR/LUK 6A 67 6B 64 8 6A-6B-9 KIR/KIE 6A 52 6B 49 35 0.803 vaikea 68 KIR 0.580 LUK 0.130 63 KIR 0.134 KIE +0.090 melko helppo keskivaikea Ankkuriosioissa 9. luokan ratkaisuosuudet ovat hieman korkeampia kuin 6. luokan ratkaisuosuudet. A-versioon nähden tulokset ovat parantuneet keskimäärin 2,6 prosenttiyksikköä ja B-versioon nähden 5,6 prosenttiyksikköä. Oletuksena tietenkin on, että oppilaiden osaaminen lisääntyisi peruskoulun ylempien luokkien aikana. On siksi hieman yllättävää, että yhdessä ankkuriosioista (kielentuntemuksen osa-alueen osio 3) osaaminen on heikentynyt eikä osiossa 15:kaan ole eroa 6. ja 9. luokan välillä. Käytännössä siis sekä 6.-luokkalaiset että 9.-luokkalaiset ovat vastanneet samaan kysymykseen yhtä hyvällä ratkaisuosuudella keskimääräinen osaaminen ei ole näiltä osin lisääntynyt ylempien luokkien aikana. Vain kirjoittamisen osa-alueen tehtävän 8 osalta on tapahtunut selvä muutos positiiviseen suuntaan. Tiedämme, että äidinkielen aineksesta 80 % opetetaan vuosiluokkien 1 6 aikana. Valtakunnallisia Opetussuunnitelman perusteita noudattaen tietyt kielentuntemukseen liittyvät asiat opetetaan jo kerran 5-6 luokalla tai jo varhemmin. Koulun arkirealismia on, että tällöin osa oppilaista oppii asian, mutta osa ei opi näitä asioita. Ne jotka eivät oppineet asiaa ensimmäisellä kerralla, eivät ehkä hyödy kertauksestakaan niin tärkeää kuin kertaus onkin. Eräs potentiaalinen tekninen selitys osaamisen tason laskemiselle olisi voinut olla se, että objektiivisissa osioissa 17

(monivalintatehtävissä) 9. luokan oppilaat olisivat jättäneet vastaamatta enemmän tehtäviä kuin 6. luokan oppilaat. Vakiomenettelynä testin analysoinnissa puuttuva tieto vertautuu väärään vastaukseen, sillä osaaja ei ole tuottanut oikeaa vastausta. Tällöin mekaanisista syistä johtuen osaaminen olisi ollut heikompaa 9. luokalla. Todellisuudessa kuitenkin 6. luokan testissä puuttuvia tietoja on ollut keskimäärin 2,4 % kaikista vastauksista ja 9. luokan testissä vain 0,5 % 5. Näin ollen 9. luokan tilanne näyttäytyy vieläkin huonommalta: 6. luokan pisteytyksissä on 9. luokan mittaukseen verrattuna lähes viisinkertainen määrä vääriksi vastauksiksi luokittuvia puuttuvia tietoja. TAULUKKO 2. Modersmålin mittauksen mittariversioiden väliset vertailutiedot. Osio Versiot Osaalue Ratkaisuprosentti 6. luokalla Ratkaisuprosentti 9. luokalla Osion vaikeustaso B Vaikeustaso 142 6-9 LÄS 60 80 0.208 keskivaikea 151 6-9 LÄS 68 74 0.239 keskivaikea 41 6-9 LÄS 64 63 0.094 keskivaikea 152 6-9 SPRÅK 73 79 1.047 helppo 3 6-9 SPRÅK 56 55 0.620 keskivaikea 153 6-9 SPRÅK 35 35 0.090 vaikea 171 6-9 SKRIV 69 74 0.652 melko helppo 172 6-9 SKRIV 59 71 0.032 keskivaikea 173 6-9 SKRIV 49 56 0.315 melko vaikea 174 6-9 SKRIV 61 71 1.645 1.134 helppo saada 1 piste vaikea saada 2 pistettä Modersmålin aineistossa kirjoittamisen (SKRIV) osa-alueen ratkaisuosuudet ovat nousseet lähes kaikkien ankkurien suhteen. Kielentuntemuksen (SPRÅK) osaalueella ja osassa lukemisen (LÄS) osa-alueen osioista sitä vastoin osaamisessa ei ole tapahtunut muutosta kolmen vuoden aikana. Ruotsinkielisessä aineistossa lähtömittauksen keskiarvo (6. luokan koetulos) oli selvästi korkeampi kuin suomenkielisessä aineistossa. Äidinkielen 7. luokan koe oli siis vaikeampi koe (keskimääräinen ratkaisuprosentti pojilla 47 % ja tytöillä 59 %) kuin vastaava modersmålin koe (pojilla 54 % ja tytöillä 67 %). Yhdeksännen luokan kokeiden keskimääräiset ratkaisuosuudet olivat selvästi lähempänä toisiaan. Tämä heijastuu tuloksiin siten, että osaamisen muutos on pienempää ruotsinkielisessä aineistossa kuin suomenkielisessä aineistossa. 5. Myös 3. luokan äidinkielen mittauksessa (Huisman 2006, aineistosta tehty julkaisematon erillisanalyysi) puuttuvien tietojen määrä on 2.5 %, mikä viittaa siihen, että alempien luokkien aikana oppilaat eivät aktiivisesti arvaa oikeaa vastausta mikäli eivät tiedä oikeaakaan vastausta. Vastaavassa 3. luokan modersmålin mittauksessa (Huisman & Silverström 2006) puuttuvia tietoja oli huomattavasti enemmän erityisesti kokeen viimeisissä tehtävissä. 18

3.2 Otantaan liittyviä kysymyksiä Sekä kouluja että oppilaita koskevat otokset ovat kasvatuksen ja koulutuksen tutkimuksen näkökulmasta suuria. Kaikkiaan koulutason tarkasteluissa on mukana 116 satunnaisesti valittua koulua. Tämä vastaa n. 16 prosenttia kaikista Manner- Suomen 9. luokan opetusta antavista oppilaitoksista ja 40 % ruotsinkielisistä oppilaitoksista vuonna 2005. Lopullisiin vertailuihin tulleet oppilaitokset (98 suomenkielistä ja 18 ruotsinkielistä) valittiin ositetun satunnaisotannan periaatteilla edustamaan läänejä, kuntaryhmiä ja EU-alueita. Oppilaat valittiin koulun sisältä satunnaisesti edustamaan koulua. Alkuperäiset oppilasotokset (äidinkielen 6Aversiossa n = 3 580, 6B-versiossa n = 1 385 ja 9. luokan versiossa n = 5 932 ja modersmålin 6. luokan versiossa n = 1 467 ja 9. luokan versioissa n = 1 434) olivat siis tyypiltään kaksivaiheisia ositettuja satunnaisotantoja. Vertaistamisprosessissa on käytetty näitä alkuperäisiä aineistoja. Koulutason tarkasteluissa ja päätuloksia kuvattaessa tarkastelu voidaan tehdä koulun keskiarvojen perusteella. Muistettakoon, että koulun sisällä molemmilla mittauskerroilla oli käytettävissä täsmälleen samojen oppilaiden vastaukset 6. Koska 6. luokan suomenkielistä aineistoa ei ollut alun perin suunniteltu täydellistä yhdistämistä ajatellen, 98 yhteisestä oppilaitoksesta valittiin tarkentavia analyyseja varten satunnaisesti 12 oppilaitoksen näyte, joiden oppilaat etsittiin käsin molemmista ryhmistä. Yhdistämisen jälkeen vertailuun tulevan suomenkielisen oppilasaineiston otoskoko oli n = 466. Ruotsinkielisessä oppilasaineistossa oli kaikkiaan 1 310 samaa oppilasta molemmilla mittauskerroilla. Koska kyseessä on otantatyyppi, jossa koulun sisältä tulee valittua useita oppilaita, oppilasaineistossa on ryvästymistä. Tämä tarkoittaa sitä, että kaikki oppilaiden vaihtelu ei olekaan oppilaiden yksilöllistä vaihtelua, vaan mukana on myös koulun tuomaa, ns. ryhmätason vaihtelua. Ryvästymisen suuruutta kuvataan sisäkorrelaatiolla (ρ). Kun ρ on 1, yksittäiset havainnot ovat täysin samanlaisia ja kyseessä on ryhmätason ilmiö. Kun taas ρ on 0, yksittäiset havainnot ovat täysin erilaisia ja kyseessä on yksilötason ilmiö. Kun sisäkorrelaatio poikkeaa nollasta ja saa esimerkiksi arvon ρ = 0,10, koulujen väliset erot selittävät 10 % oppilaiden yksilöllisestä vaihtelusta. Tyypillisesti kouluilla, opettajilla ja asuinalueilla on omaa, oppilaita samankaltaistavaa vaikutusta. Taulukkoon on koottu aineiston alkumittauksen (n=98 koulua) ja loppumittauksen (n = 133 koulua) sekä oppilasaineistoon valikoituneiden 12 koulun näytteen sisäkorrelaatiot. Koulujen osuus oppilasvaihtelusta on 4 10 %:n luokkaa riippuen siitä, onko koulu maaseutumaisista, taajamamaisista vai kaupunkimaisista olosuhteista. Suomenkielisessä oppilasnäytteessä sisäkorrelaatiot ovat samaa suuruusluokkaa kuin suuremmissa aineistoissa lukuun ottamatta taajamamaisia kouluja, joissa sisäkorrelaatio oli selvästi korkeampi oppilasnäytteessä (ρ = 0,13) kuin varsinaisissa aineistoissa (ρ 6 = 0,05 ja ρ 9 = 0,04). Modersmålin aineistossa (n = 18) sisäkorrelaatio on muutosta mitattaessa selvästi kouluun liittyvä ilmiö (sisäkorrelaatio ρ muutos = 0,16), vaikka eri vuosien oppimistulosten sisäkorrelaatiot osoittavat osaamisen olevan enemmänkin yksilötason kuin koulun tason ilmiö. 6. Suomenkielisessä aineistossa mukana olleiden 98 koulun tulokset perustuvat noin 4 750 molemmilla mittauskerroilla mittauksessa olleiden oppilaiden keskiarvoihin. Oppilaslista lähetettiin Opetushallitukseen ja niistä tarkistettiin, että kyseessä tosiaan ovat samat henkilöt. 19

TAULUKKO 3. Mittausten sisäkorrelaatiot kokonaisosaamisen osalta. 6. luokka kokonaisosaaminen Sisäkorrelaatio 9. luokka kokonaisosaaminen 6. 9. luokka muutos Äidinkieli ja kirjallisuus 0,079 0,065 0,098 Modersmål och litteratur 0,045 0,076 0,157 Vaikka otannasta suoraan seuraa ryvästymistä, aineiston analyysissa ei ole tuloksia korjattu monitasomallinnuksella (ks. esimerkiksi Bryk & Raudenbush 1987, Goldstein 1995). Tämä siitä syystä, että aineistot ovat niin isoja, että tilastollisten johtopäätösten osalta ei muutosta todennäköisesti olisi tullut. Pienissä ositteissa johtopäätökset olisivat olleet tarkempia. Tässä mielessä tuloksiin on suhtauduttava terveen kriittisesti erityisesti, kun kuvataan tilastollisia merkitsevyyksiä. 3.3 Analyysissa käytettävät menetelmät 3.3.1 Käytettävät termit 20 Tuonnempana käytetään tilastolliseen testaukseen liittyvää termiä tilastollisesti merkitsevä kuvaamaan sitä, kuinka luotettavasti ryhmien välillä on eroa muissakin kuin otoskouluissa. Ryhmien välillä voi olla pieniä eroja, mutta tämä voi olla myös otoksesta johtuvaa satunnaista vaihtelua. Tilastollisessa testauksessa (kuten esimerkiksi varianssianalyysissa) keskiarvojen eroja on testattu aineiston kokoon ja mittaustapaan sopivalla menetelmällä. Kun tekstissä kerrotaan eron kahden tai useamman ryhmän välillä olevan tilastollisesti merkitsevä, tämä tarkoittaa sitä, että hyvin pienellä riskillä (korkeintaan 5 %:n riskillä) voidaan väittää, että ero tulisi näkyviin riippumatta siitä, millainen otos olisi valittu. Toinen myöhemmin käytettävä tilastolliseen testaukseen liittyvä termi on efektikoko. Ero ryhmien välillä voi olla tilastollisesti merkitsevä eli eroa ryhmien välillä on varmasti mutta ero ei välttämättä ole suurta. Efektikoko kertoo sen, kuinka suurta tuo ryhmien välinen ero on. Efektikoko itse asiassa kertoo sen, kuinka paljon eri ryhmien havainnot (esimerkiksi tyttöjen ja poikien tulokset) ovat päällekkäin. Kun tyttöjen ja poikien keskiarvot ovat samat ja jakaumat samanlaiset, efektikoko on nolla. Jos esimerkiksi tyttöjen tulos olisi poikien tulosta niin paljon parempi, että 80 % pojista sijoittuu tyttöjen keskiarvon alapuolelle, efektikoko on suuri. Pienissä otoksissa (kuten koulutason tarkasteluissa) efektikoko voi olla kohtuullisen suuri, vaikka ei ilmene tilastollista merkitsevyyttä. Efektikoon mittana käytetään ensisijaisesti Cohenin d -mittaa (Cohen 1988), koska se on helposti vertailtavissa eri aineistoissa ja koska sille on olemassa karkeita rajoja kuvaamaan efektikoon pienuutta tai suuruutta. Joissain tapauksissa efektikoon mittana käytetään myös eetan neliötä (η 2 ) tai pikemminkin osittais-eetan neliötä (partial etasquared, [η p2 ], ks. Pierce, Block & Aguinis 2002), jotka kuitenkin muunnetaan myös Cohenin d:ksi muuntokaavoilla (ks. Thalheimer & Cook 2002, Furr 2004, suomeksi Nummenmaa 2005 tai Metsämuuronen 2006c, 467 469).

Korrelaatioiden ja regressiomallien yhteydessä käytetään edellisten lisäksi termiä selitysaste, joka kertoo sen, kuinka monta prosenttia muuttujat selittävät toistensa vaihtelusta. Kun kaksi muuttujaa on täydellisessä yhteydessä toisiinsa (kuten palkkakustannukset euroina ja palkkakustannukset dollareina), riittää kun tiedetään toinen muuttujista, toinen selittää täydellisesti toisen selitysaste on 1,00 eli 100 %. Tällöin korrelaatio (r) muuttujien välillä on r = 1. Mikäli korrelaatio puolestaan olisi suuruudeltaan r = 0,40, selitysaste olisi r 2 = 0,4*0,4 = 0,16 eli muuttujat selittävät toisistaan 16 % ja ilmiöstä jää selittymättä 84 %. Regressiomallien yhteydessä kuvataan selitysasteena multippelikorrelaatiokertoimen neliö R 2. Kun muuttujia on mallissa useampia kuin yksi, R 2 antaa hieman liian suuren arvion selitysasteesta, koska korrelaatiokertoimen neliö antaa aina positiiviseen suuntaan menevää satunnaista vaihtelua. Tätä korjataan ohjelmistoissa yleisesti Wherryn (1931) korjauksella, jota merkitään tekstissä symbolilla R 2. Kun otoskoko jää pieneksi (kuten adj esimerkiksi koulukohtaisessa aineistossa), tehdään selitysasteeseen Cattinin (1980) korjaus, joka kuvataan sanoilla korjattu R 2. 3.3.2 Käytettävät analyysimenetelmät Eroja aineistojen välillä kuvataan yksinkertaisilla tilastollisilla tunnusluvuilla kuten ratkaisuprosentteina ja niiden muutoksina. Aineiston analysoinnissa käytetään yleisesti tunnettuja menetelmiä. Kutakin menetelmistä on käsitelty perusoppikirjoissa (esimerkiksi Tabachnik & Fidell 2001 tai suomeksi esimerkiksi Ranta, Rita & Kouki 2005, Nummenmaa ym. 1997 tai Metsämuuronen 2006c). Toisin kuin kahdessa muussa tuloksia kuvaavassa raportissa (Metsämuuronen 2006a, 2006b) tässä teknisemmässä raportissa kuvataan numeerisesti testisuureita ja efektikokojen suuruuksia. Oppilastason tarkasteluissa käytetään parittaista t-testiä mittauskertojen keskiarvojen eron mittaamiseen 7. Luokkien 9. ja 6. välisen eron selittämiseen käytetään kovarianssianalyysia (ANCOVA), jossa kovariaattina on 7. luokalla tehty alkumittaus. Ryhmien välisten erojen post hoc -vertailussa käytetään Tukeyn parittaisvertailua. Eron selittämisessä käytetään lisäksi sekä perinteistä että logistista regressioanalyysia. Erityisesti ruotsinkielisessä aineistossa koulujen määrä on niin pieni, että regressioanalyysin selitysasteet nousevat helposti ja ylimallittumisen riski on ilmeinen, kun malliin tulee useita muuttujia. Perinteisiä, regressiomallitukselle suositeltavia otoskokoja (Tabachnik & Fidell 2001, 117) ei tietenkään saavuteta. Selitysasteita on korjattu pienille aineistoille soveltuvalla Cattinin (1980) korjauksella (ks. tarkemmin Tabachnik & Fidell 2001, 147). Keskeisten ennustetekijöiden löytämisessä hyödynnetään myös Answer Tree -analyysia. 7. Puolikokeellisen asetelman analysoinnissa käytetään perinteisesti ns. Porterin menettelyä (Porter 1967, Reichardt 1979, Trochim 2001). Tämä siitä syystä, että puolikokeellisen asetelman heikkous kokeelliseen asetelmaan nähden on nimenomaan se, että luonnollisten ryhmien alkumittausarvot ovat mittausvirheestä johtuen harhaisia ja tästä seuraa ns. pseudoefekti. Tämä attenuaatio-ilmiöksi nimetty tilanne pyritään korjaamaan Porterin menettelyssä sillä, että alkumittauksen arvoja korjataan reliabiliteetilla. Koska mittaustulokset on saatettu yhteismitallisiksi ja näin ollen periaatteessa paralleeleiksi, myös Campbellin ja Boruchin (1975) menettely olisi teoriassa ollut perusteltu. Tässä menettelyssä reliabiliteetin sijaan käytetään korjaustekijänä alku- ja loppumittauksen välistä korrelaatiota. Periaatteessa tämä korjaus reagoi sekä mittausvirheeseen epäolennaisiin tekijöihin. Pitkittäisaineistossa lähtökohtaisesti kuitenkin oletuksena on, että ihmiset ja näin ollen myös pistemäärät muuttuvat vuosien varrella. Näin ollen vaikka mittaukset olisivatkin paralleeleja, ei mittausten välinen korrelaatio kuvaa reliabiliteettia kuten aitojen paralleelien mittausten tilanteessa. Tässä tutkimuksessa ei analyyseissa ole käytetty kumpaakaan menettelyä johtuen isoista otosko oista. 21