Eeva Tuokko PERUSOPETUKSEN PÄÄTTÖVAIHEEN ENGLANNIN KIELEN OPPIMISTULOSTEN KANSAINVÄLINEN ARVIOINTI 2002

Transkriptio

1 Eeva Tuokko PERUSOPETUKSEN PÄÄTTÖVAIHEEN ENGLANNIN KIELEN OPPIMISTULOSTEN KANSAINVÄLINEN ARVIOINTI 2002 (Espanja Hollanti Norja Ranska Ruotsi Saksa Suomi Tanska) SUOMEN TULOKSET Oppimistulosten arviointi 3/2003 OPETUSHALLITUS

2 Opetushallitus Taitto: Sirpa Ropponen ISBN ISSN Yliopistopaino, Helsinki 2003

3 TIIVISTELMÄ Tässä raportissa selostetaan Suomen tuloksia kansainvälisessä, kahdeksan EU-maan perusopetuksen päättövaiheen englannin kielen arvioinnissa, joka Suomessa järjestettiin huhtikuussa Arviointiin osallistui 99 suomenkielistä ja 10 ruotsinkielistä koulua. Oppilaita oli 1 614, joista suomenkielistä ja 150 ruotsinkielistä. Poikia oli 826 ja tyttöjä 788. Kielitaitoa testattiin kuullun ja tekstin ymmärtämisen, kielellisen kompetenssin (sanasto ja rakenteet) ja kirjallisen tuottamisen osakokein. Koe tai osia siitä oli vuosina pidetty Espanjassa, Ranskassa ja Ruotsissa sekä myöhemmin myös Hollannissa. Koko kokeen ratkaisuprosentti oli 61, pojilla 59 ja tytöillä 63. Tekstin ymmärtämisen osakoe tuotti parhaan ratkaisuprosenttien keskiarvon 80. Tytöt menestyivät kaikilla kielitaidon osa-alueille paremmin kuin pojat. Suurin ero oli kirjallisen tuottamisen osa-alueella, 7 prosenttiyksikköä, ja pienin kuullun ymmärtämisessä, 1 prosenttiyksikkö. Sukupuolten väliset oppimistulosten erot eivät tässä arvioinnissa olleet kovin suuret. Alueellinen oppimistulosten vertailu osoitti, että korkein ratkaisuprosenttien keskiarvo saavutettiin Etelä-Suomen läänissä (64) ja alin Oulun läänissä (52). Englannin kieli oli suosittua: 90 % oppilaista ilmoitti pitävänsä siitä jonkin verran tai hyvin paljon. Hyvin tai melko tärkeänä sitä piti 93 % oppilaista. Englannin osaaminen ei kuitenkaan ole pelkästään koulun ansio: vain 2 % oppilaista katsoi saaneensa kaiken englannin kielen taitonsa koulussa. Tiedotusvälinen kautta oli oman arvionsa mukaan 17 % oppilaista saanut 20 % kielitaidostaan. Oppilaista 10 % ilmoitti käyttävänsä englannin kotitehtäviin korkeintaan viisi minuuttia viikossa. Lähes 95 % opettajista oli muodollisesti päteviä, ts. heillä oli tarvittava yliopistollinen ja opettajakoulutus. Työtyytyväisyyttä kysyttäessä ilmeni, että opettajista 11 % olisi valmis vaihtamaan alaa, 43 % ei osannut vastata, mutta 46 % ei vaihtaisi muuhun ammattiin. Noin puolet opettajista piti haasteena oppilaiden, erityisesti poikien, motivointia sekä asenteiden saamista positiivisemmiksi kotitehtäviä kohtaan. Arvioinnin tulokset olivat sekä englannin että ruotsin kielten kansallisten arviointien tulosten kanssa yhdensuuntaiset siinä, että kouluarvosanat korreloivat parhaiten rakenteiden (0,727) ja tekstin ymmärtämisen (0,615) kaltaisten osakokeiden tuloksiin ja että pojat saavat alemmissa arvosanakategorioissa vähemmällä osaamisella arvosanansa kuin tytöt. Arvosanan 5 saaneet oppilaat, joista 71 % oli poikia, menestyivät tässä arvioinnissa huonommin kuin arvosanan 4 saaneet oppilaat, joita oli vain 6. 3

4 SAMMANDRAG Denna rapport är en redogörelse för de finländska resultaten i en internationell utvärdering i 8 EU-länder. Utvärderingen gällde inlärningsresultaten i engelska i slutet av den grundläggande utbildningen. Denna utvärdering genomfördes i Finland i april I utvärderingen deltog 99 finskspråkiga och 10 svenskspråkiga skolor. Av de deltagande eleverna var finskspråkiga och 150 svenskspråkiga. I utvärderingen deltog 826 pojkar och 788 flickor. Språkfärdigheten testades genom delprov i höroch textförståelse, språklig kompetens (ordförråd och strukturer) och skriftlig produktion. Hela provet eller delar av det hade hållits i Spanien, Frankrike och Sverige och senare också i Holland. Lösningsprocenten i hela provet var 61. Pojkarnas lösningsprocent var 59 och flickornas 63. Eleverna hade det bästa resultatet i delprovet i textförståelse, där den genomsnittliga lösningsprocenten för alla elever var 80. Flickorna presterade bättre än pojkarna inom alla delområden. Störst var skillnaden inom delområdet skriftlig produktion, 7 procentenheter, och minst inom hörförståelse, 1 procentenhet. Skillnaderna mellan flickors och pojkars inlärningsresultat var inte speciellt stora i denna utvärdering. En regional jämförelse av inlärningsresultaten visade att den genomsnittliga lösningsandelen i hela provet var högst i Södra Finlands län (64) och lägst i Uleåborgs län (52). Engelska var populärt: 90 % av eleverna uppgav sig tycka om ämnet lite grann eller väldigt mycket. 93 % av eleverna ansåg ämnet vara ganska eller mycket viktigt. Kunskaperna i engelska är emellertid inte endast skolans förtjänst: bara 2 % av eleverna ansåg sig ha fått alla sina kunskaper i engelska genom skolan. 17 % av eleverna uppskattade att de hade fått 20 % av språkfärdigheten genom medierna. 10 % av eleverna uppgav att de använder högst fem minuter i veckan för hemuppgifterna i engelska. Närmare 95 % av lärarna var formellt behöriga, d.v.s. de hade den krävda akademiska utbildningen och lärarutbildning. När man frågade efter tillfredsställelsen med arbetet framgick det att 11 % av lärarna kunde tänka sig att byta bransch, medan 43 % inte kunde svara. Av lärarna kunde 46 % inte tänka sig att byta till något annat yrke. Cirka hälften av lärarna upplevde det som en utmaning att motivera eleverna, i synnerhet pojkarna, och försöka få deras attityder till hemuppgifterna mer positiva. 4 Utvärderingsresultaten överensstämde med resultaten i de nationella utvärderingarna i engelska och svenska i det avseendet, att skolvitsorden korrelerade bäst med resultaten i delprov som strukturer (0,727) och textförståelse (0,615) och att pojkarna i de lägre vitsordskategorierna får sitt vitsord med mindre kunnande än flickorna. Eleverna med vitsordet 5 (71 % pojkar) lyckades i denna utvärdering sämre än de elever som hade fått vitsordet 4 (sammanlagt 6 elever).

5 ABSTRACT This report analyses the Finnish results in the international evaluation of the English skills of pupils in the final stage of their primary education in eight EU Member States. In Finland the evaluation was carried out in April Finnish-speaking and 10 Swedish-speaking schools participated in the evaluation. 1,614 pupils participated, 1,464 of whom were Finnish-speaking and 150 Swedishspeaking. The number of boys was 826 and that of girls 788. Their English-language skills were tested through tests in listening and reading comprehension, linguistic competence (vocabulary and grammatical structures) and writing skills. The test or parts thereof had already been carried out in in Spain, France and Sweden, and later in the Netherlands. The average percentage of correct answers was 61, with boys 59 and girls 63. The reading comprehension test showed the best average percentage of correct answers, 80. Girls perform better than boys in all the aspects of language skills. The greatest difference was in the writing skills, 7 percentage points, and the smallest, 1 percentage point, in listening comprehension. In light of this evaluation, the difference in performance between the two genders was not remarkable. Regional comparison showed that the best performance was achieved in the Province of Southern Finland (64 %) and the lowest in the Province of Oulu (52 %). English is a popular subject: 90 % of the pupils reported liking the subject to some extent or very much. 93 % of the pupils thought English was a very important or relatively important subject. The standard of the pupils English-language skills is not, however, all due to schooling: only 2 % said they had learnt all their English at school while 17% estimated that they had learnt 20 % of their English through the media. 10 % reported spending no more than 5 minutes a week to do their English homework. Nearly 95 % of the teachers had formal qualifications, that is, the required university education including teacher training. When asked about their job satisfaction, 11 % of the teachers were prepared to change jobs, 43 % had no opinion while 46 % still preferred the teaching job. Approximately half of the teachers found it a challenge to motivate pupils, especially boys, and to make pupils attitudes towards homework more positive. The results of the international evaluation were in line with those of the first Finnish national evaluation on pupils English and Swedish skills in that the grades given to pupils in their school certificates correlated best with results for tests such as those in grammatical structures (0.727) and reading comprehension (0.615) and that, in the lower grade categories, boys earn their marks with poorer performance than girls. Those who on a scale of 4 to 10 had been given a 5 in their school certificates, 71 % of whom were boys, performed in this evaluation worse than those 6 pupils who had only been given a 4. 5

6 SISÄLTÖ TIIVISTELMÄ SAMMANDRAG ABSTRACT 1 JOHDANTO PERUSKOULUN A1-KIELEN (ENGLANTI) OPETUSSUUNNITELMAN PERUSTEIDEN OPPIMISTAVOITTEET JA KANSAINVÄLINEN OPPIMISTULOSARVIOINTI ARVIOINNIN JÄRJESTÄMINEN Tiedottaminen Otanta Tietojen keruu Tulosten käsittely OPPIMISTULOKSET Koko koe Alueelliset ja koulukohtaiset tulokset Osakokeet Kuullun ymmärtäminen Kielelliset rakenteet Tekstin ymmärtäminen Kirjallinen tuottaminen ENGLANNIN KOULUARVOSANAN SUHDE KOKEEN RATKAISUPROSENTTIIN ERÄIDEN TAUSTAMUUTTUJIEN YHTEYS KOKEEN TULOKSIIN OPPILAIDEN TAUSTAKYSELY Kokeen ja oman kielitaidon arviointi Taustakyselyn tulokset OPETTAJIEN TAUSTAKYSELY JOHTOPÄÄTÖKSET LÄHTEET LIITTEET

7 1 JOHDANTO Tässä raportissa esiteltävä perusopetuksen päättövaiheen kansainvälinen arviointi juontaa juurensa vuoteen 1995, jolloin Ranska oli Euroopan unionin puheenjohtajamaa. Euroopan Neuvosto oli ilmaissut toiveenaan, että EU-maiden tulisi paitsi kehittää kieltenopetusta myös tehostaa koulutuksen arviointijärjestelmiä. Asiaa käytännössä ajamaan perustettiin the European Network of policy makers for the evaluation of education systems. Ranskan ja Espanjan opetusministerit olivat jo aikaisemmin panneet alulle oppivelvollisuuskoulun päättöluokan englannin kielen arviointiprojektin, johon Ruotsi tuli myöhemmin mukaan. Näiden maiden yhteistyönä valmistui arviointi, joka järjestettiin Ranskassa lukuvuonna ja Ruotsissa ja Espanjassa keväällä Espanjan järjestämän kokeen kaikkia tehtäviä käytettiin myös Ranskan kokeessa. Sekä Ranskan että Ruotsin kokeissa oli lisäksi tehtäviä Ruotsissa keväällä 1996 järjestetystä kansallisesta arvioinnista, standardprov (Skolverket, 12). Myöhemmin myös Hollanti sisällytti arviointihankkeeseensa ranskalais-ruotsalaisen kokeen. Eri maiden oppilaiden taustakyselyt poikkesivat toisistaan, mutta osa kysymyksistä oli kuitenkin yhteisiä niin, että vertailu kävi mahdolliseksi. Projektin tulokset esiteltiin kaikkien EU-maiden edustajille suunnatussa, lokakuussa 1997 pidetyssä konferenssissa The Effectiveness of the Teaching of English / L efficacité de l enseignement de l anglais, jossa pidetyt esitykset ilmestyivät samannimisessä raportissa vuonna Vuonna 2001 arviointiverkoston keskuudessa heräsi ajatus edellä esitellyn arvioinnin järjestämistä uudelleen, tällä kertaa useammassa maassa. Marraskuussa 2001 Pariisissa pidetyssä kokouksessa päätettiin, että arviointi toteutettaisiin vuoden 2002 kuluessa. Yhteensä kahdeksan Euroopan unionin maata, Espanja, Hollanti, Norja, Ranska, Ruotsi, Saksa 1 ), Suomi ja Tanska, päätti osallistua arviointiin. Arvioinnin tavoitteet olivat samat kuin aikaisemmin eli seuraavat: - saada kokemusta kansainvälisestä arviointiyhteistyöstä - kehittää oppimistulosten arviointimenetelmiä - mitata, arvioida ja verrata perusopetuksen päättövaiheen oppilaiden tietoja ja taitoja englannin kielessä - löytää yhtäläisyyksiä ja eroja arviointiin osallistuneiden maiden englannin kielen opetuksen tavoitteissa, sisällöissä ja opetusmenetelmissä sekä selvittää oppilaiden ja opettajien asenteita englannin kieleen sekä - verrata osallistujamaiden oppilaiden mahdollisuuksia oppia englannin kieltä paitsi koulussa myös koulun ulkopuolella. 1) Saksan otoksessa oli edustettuna kouluja neljästä osavaltiosta (länder): Baden- Württemberg, Brandenburg, Bremen ja Hessen. 7

8 Arviointiprojekti haluttiin tehdä mahdollisimman vähin kustannuksin, sen tulokset haluttiin saada tietoon mahdollisimman pian, mutta myös vertailumahdollisuus aikaisempaan arviointiin haluttiin säilyttää. Kielitaidon testauksessa päädyttiin siksi Ranskan ja Ruotsin aikaisemmin laatimaan kokeeseen. Hollanti otti tehtäväkseen muokata oppilaiden ja Espanja opettajien taustakyselyn. Ranska, joka oli tehnyt aloitteen arvioinnin järjestämisestä, vastaa yhteisen kansainvälisen arviointiraportin kokoamisesta ja koko aineiston tilastollisesta käsittelystä. Jotta arviointiin osallistuneet suomalaiset koulut saisivat mahdollisimman nopeasti tietoa kokeessa menestymisestään, päätettiin laatia erikseen Suomea koskeva raportti. Koetulosten koodauksesta huolehti Opetushallituksessa fil. yo. Elisa Helavuori. Työtä valvoi ja aineiston tilastollisesta käsittelystä vastasi projektisuunnittelija Aulikki Etelälahti. Heille molemmille suuret kiitokset hyvin ja ripeästi suoritetusta työstä. Tampereella Loppiaisena 2003 Eeva Tuokko 8

9 2 PERUSKOULUN A1-KIELEN (ENGLANTI) OPETUSSUUNNITELMAN PERUSTEIDEN OPPIMISTAVOITTEET JA KANSAIN- VÄLINEN OPPIMISTULOSARVIOINTI Tähän kansainväliseen arviointiin osallistuneet oppilaat olivat opiskelleet englantia vuoden 1994 opetussuunnitelman perusteiden mukaisesti. Koska ne määrittelevät oppimistavoitteet sangen yleisellä tasolla, kunta- tai koulukohtaiset opetussuunnitelmat ovat voineet poiketa toisistaan merkittävästikin riippuen mm. paikallisista koulutuspoliittisista päätöksistä tai käytettävistä oppimateriaaleista. Peruskoulun päättövaiheen opiskelulle on A1-kielen osalta listattu seitsemän tavoitetta (Opetushallitus, 69). Niistä yksi koskee suullista ja yksi kirjallista, kertovan tai kuvailevan tekstin tuottamista, joita tässä arvioinnissa ei testattu. Sen sijaan kokeessa testattiin Suomenkin opetussuunnitelman perusteissa mainittua helpohkon kirjoitetun kielen ymmärtämistä, jokapäiväisiä asioita käsittelevän normaalitempoisen puheen ymmärtämistä sekä kielellistä kompetenssia eli sanastoa ja rakenteita. Sanaston hallinnan testaus tapahtui paitsi tekstin ja kuullun ymmärtämisen osakokeiden yhteydessä, myös ns. kirjallisen tuottamisen tehtävässä, joka oli avo-cloze eli vihjeetön täydennystehtävä., jollaisia Suomessa yleensä pidetään tekstin ymmärtämistä mittaavina tehtävinä. Osakokeiden aihepiirit olivat jokapäiväiseen elämään liittyviä, mikä on myös Suomen opetussuunnitelman perusteiden yksi aihealue. Perusteisiin ei sen sijaan sisälly sanasto- tai rakenneluetteloita. Siksi kokeessa, jonka sanastoa testaava osa ei ole kovin laaja, testattava aines jää pakostakin sattumanvaraiseksi. Rakenteiden osalta tässä arvioinnissa testattiin paitsi meilläkin yleisesti harjoiteltavia asioita myös sellaisia, joita ei perusopetuksessa ehditä käsitellä. Tällaisia ovat mm. epäsuora esitys, jonka osaamista suomen kieli ei edes tue. Kansainvälisessä arvioinnissa ei siis testattu Suomen opetussuunnitelmallisten tavoitteiden keskeisintä aluetta, suullista tuottamista. Sen sijaan testattiin niin kattavasti kuin kahden oppitunnin mittaisessa ei-rotatoidussa*) kokeessa on mahdollista, reseptiivisiä eli ymmärtämistaitoja. *) Rotatoidulla kokeella tarkoitetaan koetta, joka järjestetään laajalle oppilasjoukolle käyttäen useita tehtävävihkoja, joissa osa tehtävistä on erilaisia, ns. uniikkitehtäviä, ja osa yhteisiä. Yhteisten tehtävien tuloksista voidaan päätellä esimerkiksi koulukohtainen taso, ja erilaisista tehtävistä saadaan tietoa useiden yksittäisten asioiden osaamisesta. 9

10 3 ARVIOINNIN JÄRJESTÄMINEN 3.1 Tiedottaminen Otoskoulujen rehtoreille tiedotettiin otantaan osumisesta kirjeellä, jonka liitteenä oli perustietokysely, jossa tiedusteltiin yhteystietojen lisäksi osallistujien lukumäärää, heidän opiskelemaansa englannin oppimäärää, A2-englannin lukijoiden ensimmäistä vierasta kieltä sekä käytössä olevaa oppikirjaa lähteneellä kirjeellä ilmoitettiin arviointiaineiston saapumisesta englannin opettajalle, sekä rehtorille, jonka vastuulla järjestelyt olivat. Arviointi järjestettiin välisenä aikana. Koulut saivat valita itselleen sopivimman ajankohdan samoin kuin päättää, suoritettiinko kaksi oppituntia vaativa koe yhtenä vai kahtena päivänä. Koko koe tuli kuitenkin pitää samalla viikolla yhden viikon kuluessa. Arviointiaineisto tuli palauttaa Opetushallitukseen mennessä. Opettajat eivät korjanneet kokeita, vaan ne koodattiin Opetushallituksessa. 3.2 Otanta Arvioinnin tavoitteelliseksi otoskooksi oli sovittu noin oppilasta, joka on tilastollisesti edustava määrä. Otanta suoritettiin maan kouluista lääneittäin, EU-alueittain (Liite 1) ja kuntaryhmittäin. Toisin kuin kansallisissa arvioinneissa, joissa oppilaat valittiin koulun kaikista 9. luokan oppilaista tasaväliotannalla koulun koosta riippuen, tähän arviointiin osallistui kunkin koulun suurin 9. luokan englannin kielen opetusryhmä, josta analyysiä varten valittiin satunnaisotannalla 15 oppilasta. 10 KUVIO 1. Kaikkien luokan perusopetusta antavien koulujen ja otoskoulujen jakautuminen lääneittäin.

11 TAULUKKO 1. Otoskoulujen lukumäärä eri lääneissä, EU-tavoitealueilla ja kuntaryhmissä. Ikäluokan koko oli oppilasta, joista suomenkielisiä ja ruotsinkielisiä Otokseen tuli oppilasta, joista (91 %) suomen- ja 150 (9 %) ruotsinkielisiä. Tyttöjä arviointiin osallistui 788 (49 %) ja poikia 826 (51 %). Ruotsalaisten tutkimusten mukaan arviointitulokset ovat sitä parempia, mitä suurempi tyttöjen lukumäärä on (Skolverket, 61). Tässä arvioinnissa poikia oli siis enemmän kuin tyttöjä. A-kokeesta poissa oli 14 poikaa ja 21 tyttöä, B-kokeesta 17 poikaa ja 19 tyttöä. Toisin kuin esimerkiksi Ruotsissa (Skolverket, 60), Suomessa ei pyritty selvittämään, oliko joistakin kouluista poissa muita runsaammin oppilaita. A-kokeen tuloksissa ovat mukana vain siinä kokeessa olleet oppilaat ja B-kokeessa taas vain siihen osallistuneet. Koko kokeen tuloksissa ovat mukana vain molempiin kokeisiin osallistuneet oppilaat. Otoskouluja oli 110, joista suomenkielisiä oli 100 ja ruotsinkielisiä 10. Yksi suomenkielisistä kouluista ei kyennyt järjestämään arviointia, joten kokonaismääräksi jäi 109 koulua. Ruotsinkielisten koulujen osuus oli hieman korkeampi kuin ruotsinkielisen väestön osuus koko maan väestöstä. 3.3 Tietojen keruu Arviointiin sisältyi oppilaiden kielitaidon testaus, heidän arviointinsa kokeen vaikeustasosta sekä oppilaiden ja opettajien taustakysely. Koska arviointi oli lupa järjestää useana päivänä, koetehtävät oli jaettu kahteen vihkoon A ja B seuraavasti: Tehtävävihko A - kuullun ymmärtämisen osakoe (20 min) - kielellisten rakenteiden osakoe (25 min) Tehtävävihko B - tekstin ymmärtämisen osakoe - kirjoittamisen osakoe (molemmat yhteensä 30 min) - kokeen ja oman kielitaidon arviointi (15 min). 11

12 Tehtävävihkossa C oli oppilaiden taustakysely. Kielitaitoa testattiin kymmenellä tehtävällä, joissa oli yhteensä 79 osiota. TAULUKKO 2. Kielitaitoa testaavien tehtävien laji ja osioiden lukumäärä. Suullisen kielitaidon testaaminen jätettiin pois paitsi siksi, että sen järjestelyt ovat työläät, myös, koska tuottamistehtävien arviointikulttuurin oletettiin olevan melko erilaista eri maissa eikä aikaa kriteerien yhtenäistämiseen katsottu olevan. Koska arviointi oli tarkoitus tehdä mahdollisimman vähin kustannuksin ja rasittamatta kohtuuttomasti mitään osapuolta, ei pidetty mahdollisena muodostaa ja kouluttaa esimerkiksi sensoriryhmää, joka olisi arvioinut uudelleen osan tuotoksista. Samoista syistä hylättiin myös ehdotus vapaan kirjallisen tuottamisen liittämisestä kokeen osaksi. Nyt kokeeseen kuuluvassa osassa kirjallinen tuottaminen testataan paitsi kirjoittamista, myös tekstin ymmärtämistä. Oppilaiden taustakyselyssä (Liite 3) selvitettiin - oppilaan henkilötietoja ja kotitaustaa - oppilaan kontakteja englannin kieleen koulun ulkopuolella - oppilaan läksyjä - englannin opetusta ja - oppilaan suhtautumista englantiin oppiaineena sekä hänen käsitykseensä selviytyä erilaisista viestintätehtävistä. Opettajien taustakyselyssä (Liite 4) selvitettiin - opettajien koulutustaustaa ja työhistoriaa - opettajien työtyytyväisyyttä sekä - pedagogisia käytänteitä. Kokeen jokainen osio vietiin tiedostoon tiettyä koodia käyttäen virheiden laadun mukaisesti ryhmiteltynä. Esimerkiksi tehtävän 6 ensimmäisessä osiossa koodaus oli seuraava: - oikea sanajärjestys 1 - väärä sanajärjestys 9 - puuttuva vastaus 0. Näin oli mahdollista laskea tehtävä tehtävältä oikeiden ja tietyllä tavalla väärien vastausten määrä. Toisaalta muunlaiset virheet jäivät huomioon ottamatta. 12

13 3.4 Tulosten käsittely Tämän raportin tiedot perustuvat otoskouluista toimitettujen tietojen pohjalta Opetushallituksessa koodattujen tiedostojen tilastollisen käsittelyn tuloksiin. Koska oppimistulosten arvioinnin tarkoituksena on koulutuksellisen ja sukupuolten välisen tasa-arvon toteutumisen seuranta, tulokset esitellään paitsi koko koetta ja koko maata koskevina, myös sukupuolen, lääni- ja EU-tavoitealuejaon ja kieliryhmien mukaan eriteltyinä. Vuoden 2003 kuluessa Ranskan opetusministeriö teettää tilastolliset analyysit kaikkien osallistujamaiden tuloksista. Suomen lisäksi myös muissa maissa kootaan ehkä maa- tai maaryhmäkohtaisia raportteja. 13

14 4 OPPIMISTULOKSET 4.1 Koko koe Koko kokeen ratkaisuprosentti oli 61. Poikien ratkaisuprosentti oli 59 ja tyttöjen 63. Tässä otoksessa poikien lukumäärä oli n. 5 % suurempi kuin tyttöjen. KUVIO 2. Kokeen kokonaispistemääräjakauma. Kokeessa oli erinomaisesti (osattu yli 85 % koealueesta) menestyneitä oppilaita 8 % ja heikosti menestyneitä (osattu vähemmän kuin 45 % koealueesta) 24 %. Maksimipistemäärään ei yltänyt kukaan, vaan korkein saavutettu pistemäärä oli 75. Koetta voidaan pistejakauman perusteella pitää kohdejoukolle sopivana. Oppilaista puolet arvioi kokeen helpoksi (9 %) tai melko helpoksi (45 %). Parhaat tulokset saavutettiin tekstin ymmärtämisen osakokeessa. Ero kuullun ymmärtämisen kokeen tuloksiin, jotka olivat toiseksi parhaat, oli 15 prosenttiyksikköä, vaikka tätä osakoetta pidettiin yleisesti helppona (ks. s. 36 ja 41). Kirjallinen tuottaminen oli heikoin osa-alue. Suomen- ja ruotsinkielisten koulujen tulosten erot ovat suuret, osakokeesta riippuen prosenttiyksikköä. Tuloksia tarkasteltaessa on kuitenkin otettava huomioon, että ruotsinkielisten oppilaiden määrä arvioinnissa oli vajaa kymmenen prosenttia. Tästä syystä ei ole analysoitu esimerkiksi sukupuolten välisiä eroja erikseen suomenja ruotsinkielisten oppilaiden osalta. 14

15 TAULUKKO 3. Koko kokeen ja osakokeiden ratkaisuprosentit sukupuolittain ja kieliryhmittäin. Myönteistä oli, että poikien ja tyttöjen ratkaisuprosenttien erot eivät ole millään osaalueella kovin suuret. Tyttöjen tulokset ovat kuitenkin edelleen kauttaaltaan paremmat kuin poikien. Suurimmat erot ovat kirjallisen tuottamisen ja kielellisten rakenteiden osa-alueilla. Näillä alueilla erot ovat tilastollisesti erittäin merkitseviä. Tekstin ymmärtämisen osa-alueella ero on pienempi ja tilastollisesti vain melkein merkitsevä. KUVIO 3. Tyttöjen ja poikien ratkaisuprosentit kielitaidon osa-alueittain. 4.2 Alueelliset ja koulukohtaiset tulokset Oppimistuloksia lääneittäin tarkasteltaessa voidaan todeta, että parhaiten menestyneen Etelä-Suomen läänin koulujen koko kokeen ratkaisuprosenttien keskiarvon 64 ja heikoimmin menestyneen Oulun läänin koulujen ratkaisuprosenttien keskiarvon 52 välillä on suurehko 12 prosenttiyksikön ero. 15

16 KUVIO 4. Englannin kokeessa menestyminen lääneittäin. Etelä- ja Länsi-Suomen läänien ratkaisuprosenttien ääripäät olivat jonkin verran etäämmällä toisistaan kuin muissa lääneissä: Etelä-Suomen läänissä alin ratkaisuprosentti oli 9 ja korkein 94. Vastaavat luvut olivat muissa lääneissä seuraavat: Länsi-Suomen lääni 9 95 %, Itä-Suomen lääni %, Oulun lääni % ja Lapin lääni %. Läänivertailussa Etelä-Suomen läänin koulut menestyivät jokaisella kielitaidon osaalueella parhaiten ja Oulun läänin koulut heikoimmin. Suurimmat erot ilmenivät kirjallisen tuottamisen (16 prosenttiyksikköä) ja kuullun ymmärtämisen (13 prosenttiyksikköä) osa-alueella. TAULUKKO 4. Osakokeiden ratkaisuprosenttien keskiarvot lääneittäin. Tilastollisesti erittäin merkitseviä eroja ilmeni Etelä-Suomen ja Itä-Suomen ja Oulun läänin välillä, kun taas ero Etelä-Suomen läänin ja Lapin läänin välillä oli melkein merkitsevä. Samoin ero Länsi-Suomen läänin ja Itä-Suomen ja Oulun läänin välillä oli tilastollisesti erittäin merkitsevä. 16

17 TAULUKKO 5. Koko kokeen ja osakokeiden tilastolliset merkitsevyyserot lääneittäin. EU-tavoitealueittain tehty oppimistulosten tarkastelu osoittaa, että koko kokeen korkein ratkaisuprosenttien keskiarvo saavutettiin 0-tavoitealueella ja heikoin 1-tavoitealueella. TAULUKKO 6. Eri tavoitealueiden ratkaisuprosenttien keskiarvo koko kokeessa ja osakokeissa. Paitsi koko kokeessa, myös jokaisessa osakokeessa 0-alueen koulujen tulokset olivat parhaimmat ja 1-alueen koulujen heikoimmat. Koska EU-tavoitealuejaon perusteet poikkeavat englannin kielen kansallisessa arvioinnissa käytetystä jaosta, vertailua sen arvioinnin tuloksiin ei ole mahdollista tehdä. TAULUKKO 7. Koko kokeen ja osakokeiden tilastolliset merkitsevyyserot EUtavoitealueittain. 17

18 Kuntaryhmittäin oppimistuloksia tarkasteltaessa havaitaan, että kaupunkikuntien tulokset olivat 3 7 prosenttiyksikköä korkeammat kuin taajamissa ja maaseutukunnissa. Suurin ero oli kirjallisen tuottamisen osa-alueella, pienin tekstin ymmärtämisessä. Kokeen tulos oli samansuuntainen kuin vuoden 1999 englannin kielen kansallisessa arvioinnissa. TAULUKKO 8. Koko kokeen ja osakokeiden ratkaisuprosenttien keskiarvot kuntaryhmittäin. Tilastollisia merkitsevyyseroja ilmeni kaupunkien ja taajamien sekä kaupunkien ja maaseudun väliltä. TAULUKKO 9. Koko kokeen ja osakokeiden tilastolliset merkitsevyyserot kuntaryhmittäin. Tulokset kouluittain Suomenkielisten koulujen ratkaisuprosenttien keskiarvo oli 60 ja ruotsinkielisten 76. Suomenkielisten koulujen ratkaisuprosenttien keskiarvot olivat ja ruotsinkielisten (Kuvio 5). Ruotsinkielisten koulujen tulokset ovat siis homogeenisemmat kuin suomenkielisten. Samansuuntainen tulos saatiin myös vuoden 1999 englannin kansallisessa arvioinnissa (Tuokko, 136). 18

19 KUVIO 5. Koulujen ratkaisuprosenttien jakaumat kieliryhmittäin. 4.3 Osakokeet Kuullun ymmärtäminen KUVIO 6. Kuullun ymmärtämisen osakokeen pistemääräjakauma. 19

20 Kuullun ymmärtämisen osakokeessa erinomaisesti menestyneitä (yli 85 % koealueesta hallinneista) oli 18 % oppilaista. Myös heikosti menestyneiden (< 45 %) osuus oli 18 %. Poikien ja tyttöjen vastaavat prosenttiosuudet olivat miltei samat. Tässä osakokeessa oli kolme tehtävää. Tehtävävihkon tehtävässä 1 oli kaupungin kartta, jolle oli merkitty erilaisia liikkeitä, rakennuksia ja laitoksia. Nauhalta kuultiin kahteen kertaan neljä lyhyttä haastattelua, joiden perusteella oppilaiden tuli päätellä, missä kartan paikoista haastattelut oli tehty. Ohjeet annettiin äidinkielellä (suomi/ruotsi) sekä äänitteellä että tehtävävihkossa. Vuoden kansainvälisessä arvioinnissa ohjeet oli annettu kohdekielellä, mikä oli aiheuttanut vaikeuksia niissä maissa, joissa oli totuttu saamaan ohjeet äidinkielellä. Äänitteen puhujat olivat syntyperäisiä brittejä ja amerikkalaisia. Kuullun ymmärtämisen osakokeessa maksimipistemäärä oli 17, jonka saavutti 36 oppilasta. Poikia heistä oli 15 ja tyttöjä 21. Neljällä oppilaalla ei ollut yhtään oikeata vastausta. Yli puolet pisteistä saavutti 76 % oppilaista. Tehtävän 1 kaikkien neljän osion vastaukset olivat oikein 59 %:lla oppilaista. Kolme oikein neljästä sai 26 % oppilaista. 20

21 Tehtävässä 2 kuultiin yhden kerran seitsemän lyhyttä dialogia, joiden perusteella oppilaan tuli valita tehtävävihkon viidestä vaihtoehdosta oikea ammatti. Osioon 5 oikean vastauksen fireman löysi 91 % oppilaista. Osion 3 sana veterinary surgeon oli tuttu puolelle oppilaista ja osioon 7 valitsi oikean vaihtoehdon sailor 47 % oppilaista Tehtävä 2 WHAT ARE THEIR JOBS? Kuulet ohjeet nauhalta. Osoita oikea vastaus merkitsemällä rasti valitsemaasi ammattia vastaavaan ympyrään. Kuulet kunkin keskustelun vain yhden kerran. Tehtävässä 3 oppilaan tuli poimia äänitteeltä kaksi nimeä, jotka myös tavattiin, puhelinnumero, osoite, kellonaika ja päivämäärä. Vaikka puhelinviesti kuultiin vain kerran, useat yksityiskohdat toistettiin. Esimerkiksi nimet tavattiin erikseen kahteen kertaan ja myös puhelinnumero toistettiin. Sukunimen Hearst kirjoitti oikein 30 % oppilaista, osoitteen Kent Road 22 % ja paluupäivän Tuesday 22 %. Melko yleinen virhe oli kirjoittaa Kent Street, josta ei saanut pistettä. Viikonpäivän nimen kirjoitti pienellä alkukirjaimella 29 % oppilaista. 21

22 Tehtävä 3 AN AMERICAN FRIEND Kuuntele tarkkaavaisesti. Merkitse lukusanat numeroin. Kuulet tehtävän vain yhden kerran. Äänitekäsikirjoitus: Now you will hear an American girl talking on the phone. She is asking you to help her look after a friend. We want you to write down some information. But first read the question carefully.all right! You will hear the conversation once only. Remember to write your answers while you are listening. Well, my friend is coming to stay with me in my new apartment. But the trouble is I ve got to go away before she gets here. But I can t get hold of her now. Do you think you could meet her at my place? Help her settle in and show her around and so on... Have you got a pencil? I ll give you her name... OK? Her name is Joan Hearst. I ll spell that for you: first name, that s Joan, J.O.A.N., N as in Nelson. Let me repeat that: Joan, J.O.A.N. And her last name: Heart, H..E.A.R.S.T., H.E.A.R.S.T., OK? By the way, have you got my new telephone number? It s Did yoy get that? That s fine! And you d better take my new address. Its 117 Kent Road. I ve asked my neighbour to give her my keys, so she can get in. She should arrive by bus: it will drop her outside at seven thirty. So you could ring her up after half past seven. Well, it s really great of you to help me out like this. Oh! And tell Joan I ll be back on Tuesday. OK? I ve got to run! Thanks for your help! I m very grateful! See you! 1. The friend s first name is 2. Her last name is 3. Cathy s telephone number is 4 Cathy s adress is 5. You can phone the apartment after 6. Cathy will be back on 22

23 4.3.2 Kielelliset rakenteet Kielellisten rakenteiden hallintaa mitattiin neljällä tehtävällä, joissa oli yhteensä 25 osiota, joista muodostui samalla rakennekokeen maksimipistemäärä. Erinomaista asian hallintaa osoitti 0,5 % ja heikkoa 21 % oppilaista. Pojista 26 % ja tytöistä 15 % sijoittui heikosti suoriutuneiden ryhmään. Erinomaisesti suoriutuneiden ryhmässä oli pojista 0,2 % ja tytöistä 0,8 %. Tehtävä 4 KUVIO 7. Kielellisten rakenteiden osakokeen pistemääräjakauma. Tehtävässä 4 mitattiin indefiniittipronominien hallintaa. Tehtävä oli helppo, sillä % oppilaista valitsi oikeat vastaukset. Ympyröi neljän vaihtoehdon joukosta sana, joka mielestäsi sopii parhaiten lauseyhteyteen: 1) There isn t milk left in the fridge. 2) I have money. 3) We go skiing week-end. 4) I don t know people who can speak Japanese. 23

24 Tehtävä 5 Tehtävässä 5 selvitettiin artikkelien käytön hallintaa. Parhaiten osattiin kohdat c (84 % oppilaista) ja d (86 % oppilaista). Vaikein oli a, jossa 39 % oppilaista valitsi oikean vaihtoehdon, mutta myös vaihtoehto 1, määräinen artikkeli, houkutteli, sillä sen valitsi 32 % oppilaista. Epämääräistä artikkelia piti oikeana vaihtoehtona 25 % vastaajista. Ympyröi neljän vaihtoehdon joukosta kohta, joka mielestäsi sopii parhaiten lauseyhteyteen (merkki Ø osoittaa artikkelin puuttumista): a) They are fond of science fiction films. b) I ve bought you interesting book. c) Did you like book I gave you? d) In my new school there are very young teachers. Tehtävä 6 24 Tehtävässä 6 oppilaan tuli muuntaa kaksi suoraa kysymystä epäsuoraksi. Koodausohjeessa kiinnitettiin huomiota sanajärjestykseen, verbien aikamuotoihin ja oikean pronominin valintaan. Näin ollen muunlaiset virheet jäivät huomioon ottamatta, ja siten sellaisetkin lauseet, joissa esiintyi esimerkiksi ruotsia tai saksaa: She asked att when her train is leaving. tulivat hyväksytyiksi. Tavoite oli kuitenkin tarkkailla, miten koodattaviksi sovitut asiat hallitaan. Täydennä seuraavat keskustelut: 1) Sandra :» - What time is my train leaving?» Jim : - What did Sandra ask? Tom : - She... 2) Mark : - Dr Trickey will come tomorrow. Jim : - What did Mark say? Tom : - He... Epäsuoran esityksen ei katsota Suomessa kuuluvan perusopetukseen keskeisiin oppimistavoitteisiin ja siksi sitä ei useinkaan käsitellä kovin perusteellisesti. Sanajärjestys ei näyttänyt tuottaneen kovin suuria vaikeuksia. Suomenkieliset oppilaat tekevätkin yleensä sanajärjestysvirheitä suorissa kysymyksissä. Sen sijaan aikamuotojen hallinta epäsuorassa esityksessä oli suorastaan olematon, kuten Taulukko 10 osoittaa.

25 Pronominin valinta ei taas tuottanut suuria vaikeuksia. Usein esiintyvä virhe oli beverbin pois jättäminen kestomuodossa: She asked when her train leaving. Koodaajan huomio oli, että muutamissa kouluissa epäsuora esitys osattiin. Sen lisäksi kokeessa yleensäkin hyvin menestyneet oppilaat osasivat tämänkin asian erityisesti jälkimmäisessä tehtävässä TAULUKKO 10. Tehtävässä 6 mitattujen epäsuoraan esitykseen liittyvien rakenneasioiden ratkaisuprosentit. Tehtävässä 7 oppilaiden tulit täydentää tekstiin annetut verbit oikeassa aikamuodossa. Hankaluuksia tuottivat ne kohdat, joissa oikeana vastauksena oli perfekti. Varsin harvat osasivat käyttää futuuritehtävässä oikeita aikamuotoja. Tämänkin osaamattomuuden syy on pitkälti siinä, että asia on saatettu jättää vähälle huomiolle perusopetuksessa. Tehtävän 7 täydennettäviin kohtiin on merkitty näiden osioiden ratkaisuprosentit. Tehtävä 7 Lue seuraava aukkotehtävä. Täydennä se sitten kirjoittamalla suluissa oleva verbi oikeassa aikamuodossa viivalle: Do you know what happened to me recently? A week ago, when I (come) 87 % home in the evening, I (find) 89 % a little note on the kitchen table saying : Dear Bob, Granny (just ring) 0,2 % She is sick. I (tell) 28 % you how she feels when I (be) 13 % back. You (find) 28 % some food in the kitchen. Doris. I (sit) 79 % down at the table and (start) 73 % eating. I (enjoy) 62 % it. A little later, I (go) 78 % to bed and shortly after I (feel) 77 % very sick. When Doris arrived home, she exclaimed: I am not surprised you re sick. You (eat) 2 % the dog s dinner! 25

26 4.3.3 Tekstin ymmärtäminen Kuten Kuvio 8 osoittaa, tekstin ymmärtämisen koe on ollut varsin helppo. Sen ratkaisuprosentti oli 80, pojilla 79 ja tytöillä 81. Suomenkielisten oppilaiden ratkaisuprosentti oli 79 ja ruotsinkielisten 90. Täydet 16 pistettä sai 30 % oppilaista ja yleensäkin erinomaiseen suoritukseen pääsi 59 % oppilaista. Heikkoa tasoa osoitti kuitenkin 12 % oppilaista. Erinomaisesti suoriutuneiden ryhmässä oli pojista 58 % ja tytöistä 60 %. Heikosti suoriutuneiden ryhmässä oli pojista 14 % ja tytöistä 9 %. KUVIO 8. Tekstin ymmärtämisen osakokeen pistemääräjakauma. Tekstin ymmärtämistä testattiin yhdellä tehtävällä. Tehtävävihkossa oli 6 lyhyttä tekstiä sekä 16 väittämää tai määritelmää, joiden vieressä oleviin ruutuihin oppilaiden tuli merkitä sitä tekstiä vastaava kirjain, johon väittämä liittyi. Kokeen kunkin osion kohdalle on merkitty ratkaisuprosentit. Ne osoittavat muun muassa, että osiot 9, 10 ja 16 olivat helpoimpia ja osio 5 vaikein. Puuttuvia vastauksia oli yleensä 1 2 % lukuun ottamatta osiota 6, jossa niitä oli 5 %. Vastaamatta jättäneet oppilaat eivät ilmeisesti osanneet yhdistää sanoja boxer ja hitter. 26

27 Tehtävä 8 WHICH STORY? Seuraavista virkkeistä jokainen liittyy yhteen seuraavalla sivulla esitetyistä lehtiartikkeleista. Lue virkkeet ja päättele, mihin artikkeliin mikin niistä liittyy. Kirjoita virkettä vastaavan artikkelin kirjain (A F) oikealla olevaan laatikkoon. Huom. Samaan lehtiartikkeliin voi liittyä useita virkkeitä. Saatat siis joutua käyttämään samaa kirjainta usean kerran. Esimerkki: A boy was playing A 1. A train was attacked 84 % 2. A person working on a ship 83 % 3. A building on fire 76 % 4. A child who played in the toilet 88 %. 5. Somebody who didn t want to run over animals 61 % 6. An interview with a boxer 74 % 7. Two young criminals 67 % 8. A person who hurt her leg 78 % 9. A boy who had to visit a fire station 90 % 10. A football supporter who was taken to hospital 90 % 11. A long race in an unusual place 74 % 12. A very brave girl 80 % 13. A man who thinks he is a winner 80 % 14. A child who was helped by firemen 87 % 15. A traffic accident on a country road 83 % 16. A girl who saved some animals 90 % 27

28 LEHTIARTIKKELIT Kirjallinen tuottaminen Tämän osakokeen ratkaisuprosentti 45 oli koko kokeen alin. Pojilla se oli 42 ja tytöillä 49. Suomenkielisten oppilaiden ratkaisuprosentti oli 43 ja ruotsinkielisten KUVIO 9. Kirjallisen tuottamisen osakokeen pistemääräjakauma.

29 Kuten Kuvio 9 osoittaa, kirjallisen tuottamisen osakoe oli suurelle osalle oppilaita erittäin vaativa. Oppilaista 6 % ei saanut ainoatakaan pistettä ja yhden pisteen sai 7 % oppilaista. Heikkoa tasoa edustavaan ryhmään tuli 48 % oppilaista, kun taas erinomaisia suorituksia oli 11 %. KUVIO 10. Kirjallisen tuottamisen osakokeen pistemääräjakaumat sukupuolen mukaan. Kirjallisen tuottamisen osakokeesta pojista 7 % ja tytöistä 4 % jäi täysin pisteittä. Yhden pisteen sai 8 % pojista ja 6 % tytöistä. Heikosti suoriutui 53 % pojista ja 43 % tytöistä. Erinomaisesti menestyi 9 % pojista ja 12 % tytöistä. Suomalaisessa vieraiden kielten arviointiterminologiassa kirjallisella tuottamisella tarkoitetaan viestin tai kirjoitelman ohjattua tai vapaata tuottamista. Tässä osakokeessa esiintyneet tehtävät sijoitettaisiin meillä mieluummin tekstin ymmärtämisen ja rakenteiden osakokeiden otsikoiden alle. Molemmat tehtävät lienevät olleet oppilaille myös tyypiltään ainakin jossakin määrin vieraita huolimatta siitä, että opettajista 86 % arvioi tehtävätyyppien olleen tuttuja. Tosin muiden osakokeiden tehtävätyypit arvioitiin tutummiksi: 92 % opettajista arvioi rakennetehtävät, 97 % kuullun ymmärtämisen tehtävät ja 88 % tekstin ymmärtämisen tehtävät tutuiksi tehtävätyypeiksi. Ensimmäisessä tehtävässä oli annettu vihjeitä, mutta ne eivät selvästikään auenneet kaikille. Muuten ei voine selittää esimerkiksi osion 2 heikohkoa ratkaisuprosenttia 54, koska tuota lukua suurempi osa olisi varmasti pystynyt tuottamaan virkkeen I liked it very much. 29

30 Osion 5 korkeahko puuttuvien vastausten määrä 6 % selittynee sillä, että oppilaat eivät ymmärtäneet, että virkettä piti jatkaa vapaamuotoisesti. Yleensä vaikutti siltä, että teksti oli luettu hyvin ylimalkaisesti. Useat luulivat esimerkiksi, että Robert piti elokuvasta. Monet myös tulkitsivat Mrs Doubtfiren tarkoittavan henkilöä eikä elokuvaa. Yleisin kielivirhe oli What did you saw? Vastauksissa esiintyi myös runsaasti oikeinkirjoitusvirheitä. Koska koodausohjeissa ei ollut erillistä kohtaa oikeinkirjoitusvirheille, Suomessa täysin oikeiksi vastauksiksi tulkittiin vain myös oikeinkirjoituksen osalta virheettömät vastaukset. Tehtävän 9 osiokohtaiset ratkaisuprosentit on merkitty täydennysten viereen. Tehtävä 9 Täydennä seuraava vuorokeskustelu. Jos suluissa on annettu sanoja, käytä niitä. Kaksi ystävystä keskustelee eräästä elokuvasta. Ennen kuin alat tehdä tehtävää, lue teksti kokonaisuudessaan. Jean : I went to the cinema yesterday. Robert :? 40 % Jean : I saw Mrs Doubtfire. Robert : Did you like it? Jean : Yes. (I/ very much) 54 % Robert : Did you really? Jean : Yes, I did. Robert : Personally, I that sort of film. 66 % Jean : O.K! That s why I (not ask) to come. 41 % Robert : I see. Who did you go with, then? Jean : I 64 % Tehtävä 10 osoittautui vaikeaksi. Nämä ns. avo-clozet, vihjeettömät täydennystehtävät, eivät ole peruskoulussa kovin käytetty tehtävä- tai testausmuoto. Se on vaativa ja tehokas koetyyppi, joka soveltuu tekstin ymmärtämisen testaamiseen edellyttäen, että täydennettäviksi tarkoitetut rakenneasiat on opetettu. Esimerkiksi passiivin hallinta ei kuulu peruskoulun keskeisiin tavoitteisiin. Prepositioiden muistaminen taas on oppilaille vaikeata, koska suomen kieli ei mitenkään tue niiden käyttöä. Ohjeiden tulkinta oli ilmeisesti tuottanut vaikeuksia. Osa vastaajista tulkitsi esimerkin niin, että täydennyksinä oli tarkoitus käyttää vain see- ja visit-sanoja. Monet erityisesti heikoimman kolmanneksen oppilaat olivat jättäneet kokonaan vastaamatta tai valinneet tekstiyhteyteen täysin soveltumattomia sanoja. Osittain oikeat tai väärät, mutta ymmärrettävät vastaukset olivat varsin harvinaisia parhaalle kolmannekselle verrattuna muihin ryhmiin. Samoin oikeinkirjoitusvirheiden määrä oli selvästi vähäisempi. 30 Osiot, joissa erinomaisesti menestyneet tekivät virheitä, tuottivat ymmärrettävästi vaikeuksia myös keskitason ja heikosti menestyneille oppilaille. Passiivin agentin bypreposition täydentäminen oli jo aikaisemmin mainituista syistä vaikea, mutta päänvaivaa tuotti myös prepositio between.

31 Keskitason oppilaiden vastausten taso vaihteli suuresti. Kirjoitusvirheitä oli runsaasti. Helpoimmaksi osioksi osoittautui sekä keskimmäisen että heikoimman kolmanneksen vastauksissa money-sanan täydennys. Tehtävä 10 näytti mitanneen oppilaiden kielitaitoa oikeansuuntaisesti, sillä eniten vääriä vastauksia annettiin ryhmässä heikosti menestyneet oppilaat. Heidän vastauksensa olivat monin paikoin täysin hakoteillä ja heijastivat hyvin puutteellista perusrakenteiden osaamista.. Tehtävän 10 täydennettäville viivoille on merkitty odotetun vastauksen lisäksi myös osiokohtainen ratkaisuprosentti. Tehtävä 10 WORKING IN A FAMILY Lue teksti, josta puuttuu sanoja. Täydennä jokaiselle viivalle sana, joka mielestäsi sopii parhaiten lauseyhteyteen. Useimmiten vain jokin tietty sana sopii, mutta joskus useampikin ratkaisu on mahdollinen. Esimerkki: Virkkeen You must come and us soon voi täydentää joko sanalla see tai visit. Huomio: Jokaiseen aukkoon tulee vain yksi sana. One possibility to go abroad is to work as an au pair, that is helping with everyday things in a family, looking after the children etc. In this sort of job you get full board and pocket money (77 %) The chance of working as an au pair has been welcomed by (19 %) thousands of young people. They come from many different countries, (53 %) outside Britain, for instance Holland, Sweden and France. After maybe ten years at school many of them want to practise/improve/ develop/use...better (35 %) their English. But young people cannot usually afford to live away from home without (33 %) having some kind of work which can provide them with at (49 %) least the necessities of life. For a lot of these young people the chance to practise the language is not as important as (43 %) the wish to enjoy the freedom of being away (61 %) from home. The excitement of living in a large city like London is also a big attraction. Usually, the relationship between (19 %) the au pair and the family they work for develops into warm and lasting friendship. To avoid problems, it is extremely important (41 %) that those who take jobs of this kind should have reached the age (62 %) of eighteen and should be well able to look after (52 %) themselves. If possible, they should stay with a family that has a good reputation and that they know (38 %) something about, perhaps through a friend who has (50 %) already worked there. Then living as an ordinary member (23 %) of the family and studying parttime will result in both a deeper understanding of the British way (33 %) of life and a better knowledge of the English language. 31

32 5 ENGLANNIN KOULUARVOSANAN SUHDE KOKEEN RATKAISUPROSENTTIIN Koe on mitannut hyvin oppilaiden englannin kielen taitoja suhteessa heidän kouluarvosanoihinsa, toisin sanoen sekä koulumenestys että tässä kokeessa menestyminen ovat samansuuntaisia. KUVIO 11. Englannin kouluarvosanan suhde kokeen ratkaisuprosenttiin. Arvosanan 4 saaneet oppilaat ovat kaikki poikia, ja poikien lukumäärä oli arvosanan 5 saaneiden joukossakin 71 %. Arvosanan 5 saaneet oppilaat ovat menestyneet keskimäärin heikommin kuin arvosanan 4 saaneet oppilaat, joita kuitenkin oli vain kuusi. Edellisen ryhmän ratkaisuprosenttien keskiarvo on 27, kun taas jälkimmäinen on 33 eli kuusi prosenttiyksikköä korkeampi. Tulos lienee osoitus siitä epävarmuudesta ja ratkaisujen erilaisuudesta, joka kentällä vallitsee annettaessa heikosti menestyville oppilaille arvosanoja, kun arvosanan 5 kriteerit laaditaan paikallisesti, jos yleensä laaditaan. Ne ovat kuitenkin ainakin ruotsin kielen kansallisissa arvioinneissa saatujen vastausten perusteella yleisimmin kunnissa laaditut kriteerit (ks. Tuokko 2001, 120). Lisäksi tytöt ovat ylimpiä arvosanoja lukuun ottamatta saaneet kyseisen arvosanan vähemmillä pisteillä kuin pojat, mikä näkyy Kuvion 12 laatikoiden sisällä olevasta poikkiviivasta, joka kuvaa mediaania eli kohtaa, jonka ylä- ja alapuolelle jää 50 % oppilaista. Laatikon alareuna on sen arvon kohdalla, jonka alapuolelle jää 25 % oppilaista, yläreuna puolestaan se arvo, jonka yläpuolelle jää 25 % oppilaista. 32

33 KUVIO 12. Tyttöjen ja poikien kouluarvosanojen yhteys kokeen ratkaisuprosenttiin. 33

34 6 ERÄIDEN TAUSTAMUUTTUJIEN YHTEYS KOKEEN TULOKSIIN Arvioinnissa selvitettiin myös vanhempien koulutustaustan ja oppilaiden englannin kieltä kohtaan osoittamien mieltymysten ja arvostuksen yhteyttä arviointituloksiin. TAULUKKO 11. Poikien ja tyttöjen ratkaisuprosenttien keskiarvot vanhempien koulutustaustan pohjalta ryhmiteltyinä. Erojen merkitsevyystestaus osoitti, että mitä korkeampi vanhempien koulutus on, sitä korkeammiksi näyttävät myös sekä poikien että tyttöjen ratkaisuprosentit nousevan. Isän koulutustaustalla näyttää olevan ratkaisuprosenttien valossa yhteyttä erityisesti tyttöjen kokeessa menestymiseen. Korrelaation perusteella ei voida kuitenkaan puhua vahvasta yhteydestä. Poikien ja tyttöjen ratkaisuprosenttien keskiarvot näyttävät olevan yhteydessä oppiaineesta pitämiseen eli mitä enemmän englannista pidetään, sitä korkeampi ratkaisuprosenttien keskiarvo ja tietysti myös päinvastoin. Tutkittaessa poikia ja tyttöjä erikseen havaittiin, että pojista 40 % ja tytöistä 54 % pitää englannista hyvin paljon, kun taas pojista 46 % ja tytöistä 39 % pitää siitä jonkin verran. Noin 3 % pojista ei pidä englannista lainkaan. Vastaava tyttöjen luku on 1 %. Tytöt näyttävät siis pitävän englannista enemmän kuin pojat. Siitä huolimatta poikien ja tyttöjen ratkaisuprosenttien keskiarvot ovat käytännöllisesti katsoen samat, lukuun ottamatta ryhmää, joka ei pidä englannista lainkaan. TAULUKKO 12. Poikien ja tyttöjen koko kokeen ratkaisuprosenttien keskiarvot englannin kielestä pitämisen mukaan ryhmiteltyinä. 34

35 Poikien kohdalla korrelaatio mieltymyksen ja koemenestyksen välillä (0,561) on melkein merkitsevä ja hieman korkeampi kuin tytöillä (0,523), mikä sekin on melkein merkitsevä. Hyötynäkökohtien korrelaatiot ovat sekä pojilla että tytöillä melkein merkitsevät, pojilla 0,505 ja tytöillä 0,503 eli hieman alemmat kuin mieltymyksen yhteyttä arvioitaessa. TAULUKKO 13. Poikien ja tyttöjen ratkaisuprosenttien keskiarvot englannin kielen hyödyllisyyden mukaan ryhmiteltyinä. Kahdessa eniten englannin kielen hyödyllisyyttä arvostaneessa ryhmässä ratkaisuprosenttien keskiarvot ovat pojilla ja tytöillä melko samanlaiset. Hyvin tai melko tärkeänä piti englantia 96 % tytöistä ja 90 % pojista. Tytöillä hyötynäkökohdat ja kokeesta suoriutuminen ovat samansuuntaisia: mitä suurempana hyötyä pidetään, sitä korkeampi ratkaisuprosenttien keskiarvo. Sillä poikien ryhmällä, joka ei pidä englantia lainkaan tärkeänä, on taas ratkaisuprosenttien keskiarvo kaksi prosenttiyksikköä korkeampi kuin sillä, joka ei pidä englantia kovin tärkeänä. Vastausten jakautumista tarkasteltaessa tulee myös mieleen ajatus poikien ja tyttöjen verbaalisen ilmaisun eroista. On ehkä niin, että pojat eivät keskimäärin valitse mieltymyksistä puhuttaessa hyvin positiivisia vaihtoehtoja ja taas toisaalta valitsevat negatiivisia vaihtoehtoja hälläväliä-tyyliin. 35

36 7 OPPILAIDEN TAUSTAKYSELY 7.1 Kokeen ja oman kielitaidon arviointi Kokeen arviointi Oppilaita pyydettiin arvioimaan koko kokeen vaikeustasoa. Jotkut oppilaat olivat aivan aiheellisesti huomauttaneet, että toiset tehtävät olivat vaikeita, toiset taas helppoja. Olisikin ollut parempi vaihtoehto kysyä vaikeustasoa osioittain. Erityisesti niissä tapauksissa, joissa kokeet pidettiin eri päivinä, oppilaat olivat kuitenkin saattaneet unohtaa, millaisia tehtäviä edellisen päivän vihkossa oli. Vaihtoehtojen melko helppo ja melko vaikea välille olisi ilmeisesti kaivattu vaihtoehtoa, sillä osa oppilaista oli ympyröinyt molemmat vaihtoehdot. Puolet oppilaista piti koetta helppona tai melko helppona. Kysyttäessä kokeen vaikeustasoa kielitaidon osa-alueittain, vastauksissa ilmeni ristiriitaisuutta. Kun kysymys kuului: Minkä tyyppiset tehtävät olivat mielestäsi helpoimpia?, 54 % nimesi kuullun ymmärtämisen. Vaikeimpia tehtäviä kysyttäessä kuullun ymmärtämistä helpommaksi osoittautui tekstin ymmärtäminen, jonka kokeen tuloskin osoitti oikeaksi arvioksi. Kirjallisen tuottamisen osalta arviot olivat varsin yhdensuuntaiset: 48 % oppilaista piti tätä osiota vaikeimpana. Seuraavana esitetään eri vaihtoehtoja valinneiden oppilaiden prosentuaalinen osuus. 36

37 Oman kielitaidon arviointi Parhaiten oppilaat katsoivat suoriutuvansa tehtävistä, joissa testataan tuttua aihepiiriä käsittelevän viestin pääkohtien ymmärtämistä. Kuullun ymmärtämistä helpotti puheen selkeys ja hitaus. Helppoina pidettiin siis Taulukon 14 kohdissa 1, 2, 4 ja 6 esitettyjen kuvausten kaltaisia tehtäviä. Sen sijaan tehtävät, joissa edellytetään tiedon hankkimista ja saadun tiedon soveltamista kuten kohdissa 3, 7 ja 8, on jo arvioitu vaikeammiksi. Kirjallista tuottamista pidetään vaikeana, vaikka aiheet olisivatkin tuttuja (kohta 10) tai sisällön voi itse päättää (kohta 13). Synteesin tekeminen (kohdat 11 ja 12) on jo selvästi vaativampaa. Syynä kohdan 5 matalaan prosenttilukuun saattaa olla se, että oppilas ei ole kyennyt ratkaisemaan, millaiseen tarkoitukseen hänen tulisi tietoa hankkia. Kohdassa 9 sana kollaasi on todennäköisesti ollut osalle oppilaita vieras. Laskettaessa yhteen sarakkeiden HELPPO ja MELKO VAIKEA prosenttiluvut, voidaan todeta, että oppilaat katsovat suoriutuvansa vaikeinakin pitämistään tehtävistä kohtuullisen hyvin. Piirroksen tai kollaasin kuvaamista ja muistiinpanojen tekemistä ja niiden esittämistä pitää kuitenkin noin 1/5 oppilaista hyvinkin vaikeana. Yleisvaikutelmaksi jää, että oppilailla on melko korkea käsitys omasta kielitaidostaan. TAULUKKO 14. Kielitaidon itsearviointi. 37