110 5.3 Tiedonhankintamenetelmät ja tietojen analysointi Seuraavassa luvussa on kuvaus käytetyistä testeistä ja analysointimenetelmistä. Lopuksi tarkastellaan tutkimusasetelman sisäistä ja ulkoista validiteettia. 5.3.1 Testit M-testi Vuorovaikutuksen symmetrisyys: Päättelysäännöt OPETUSKOKEILU Mekaniikka 1 Newtonin III laki I-testi Kontekstin vaikutus vuorovaikutuksen symmetrisyyteen J-testi Vuorovaikutuksen symmetrisyys, kuviot, systeemin rajaaminen FCI-testi Opetuksen kokonaistehokkuus, normeerattu kasvutekijä Kuvio 26. Opetuskokeilussa käytetyt testit. Kuviossa 26 on esitetty testien pääasialliset tutkimuskohteet. FCI-voimakäsitystesti. Testi ei mittaa älykkyyttä, vaan pyrkii luotaamaan suorittajan uskomusjärjestelmää. Konstruktivistisen oppimiskäsityksen mukaan opetuksen tuloksellisuus paranee, jos tiedetään oppilaan ennakkokäsitykset. Näiden selvittämiseksi Hestenes, Wells ja Swackhamer kehittivät FCI-voimakäsitystestin (Hestenes ym. 1992a, 141-158). Jatkossa FCI-voimakäsitystestistä voidaan käyttää lyhyenpää nimitystä FCI-testi. Newtonilaisen mekaniikan keskeinen käsite on voima. Testissä voiman ennakkokäsitykset on jaettu kuuteen luokkaan, jotka liittyvät kinematiikkaan, impetuskäsitteeseen, aktiiviseen voimaan, voima - vastavoima-pariin, vaikutusten ketjuuntumiseen ja muihin liikkeeseen kohdistuviin vaikutuksiin. Suurin osa testin kysymyksistä, joita on 30, liittyy voimaan ja sen vaikutuksiin.
111 Jokaisessa kysymyksessä on viisi vaihtoehtoa, ja vain yksi on oikea newtonilainen käsitys. Muut neljä vaihtoehtoa liittyvät vallitseviin ennakkokäsityksiin. Testauksessa käytettiin testin suomalaista käännöstä (Koponen, Jauhiainen & Lavonen 2000). Hestenes ym. (1992a) sekä Halloun ja Hestenes (1995) ovat tutkimuksissaan havainneet seuraavaa: 1. Lukiolaisten pistemääriin vaikuttavana päätekijänä ei ole matemaattinen tausta. 2. Esitestin pistemäärät ovat säännönmukaisesti alhaiset. 3. Jälkitestin pistemäärät eivät riipu opiskelijan sosioekonomisesta taustasta. 4. Perinteisesti opetettujen ryhmien kasvutekijä on pieni. 5. Opettajan pätevyydellä ei ole vaikutusta jälkitestin pistemäärään käytettäessä perinteisiä opetusmenetelmiä. 6. Jos testin tulos ylittää kynnysarvon 60 % maksimipisteistä, katsotaan oppilaan pystyvän ratkaisemaan probleemoja menestyksekkäästi. 7. Testin tulos 85 % osoittaa newtonilaisen mekaniikan hallintaa. M-testi. Kappaleiden ollessa kytkettyinä kytkentäkohdassa vaikuttavien voimien suuruuden ja suunnan määrittäminen voi olla vaikeaa, koska ihmisellä ei ole suoranaisia kokemuksia vastaavanlaisesta tilanteesta. Päättely voi perustua erilaisiin einewtonilaisiin käsityksiin, joihin liittyviä päättelysääntöjä tässä testissä pyritään selvittämään. Tutkimus perustuu Maloneyn (1984) soveltamaan sääntöarvioinniksi (rule assessment) kutsuttuun menetelmään. Sen proseduuriin kuuluu probleematyyppien määrittely ja niiden ratkaisemiseen kuuluvien sääntöjen selvittäminen. Säännöllä tarkoitetaan ongelman ratkaisussa käytettyä määrättyä ajatuskuviota tai strategiaa. Testin tehtävät ovat liitteessä 3a ja 3b; liitteessä 4 on päättelysääntöjen taulukko, jonka merkinnät voidaan tulkita seuraavien esimerkkien perusteella. Yleisen säännön mukaan kappale, joka aiheuttaa liikkeen tai johon kohdistuu liikkeen aiheuttava vuorovaikutus on syy ja toinen kappale vastaavasti vastustaa. Sanonta A vaikuttaa suuremmalla voimalla tarkoittaa seuraavaa: kuvion 27 mukaan jos A:n B:hen kohdistamaa voimaa merkitään F A : lla, niin on A( syy ) F A > F B.
112 B vastustaa A syy F A F B Kuvio 27. Työntö: A on syy vaikuttaen suuremmalla voimalla. Kuviossa 28 B vastustaa ja kohdistaa suuremman voiman A:han. Kuvion mukainen teksti on päättelytaulukossa: B( vas ) F B > F A tai m B > m A F B > F A. B vastustaa A syy F B F A Kuvio 28. Työntö: B vastustaa aiheuttaen suuremman voiman. Kuviossa 29 kappaletta B vedetään, joten B on syy ja A vastustaa. F B B syy A vastustaa F A Kuvio 29. Veto: A vastustaa aiheuttaen suuremman voiman. Systeemin liiketila, kappaleiden massat ja liikkeen aiheuttaja ( syy ) vaikuttivat voimakkaasti vuorovaikutuksen symmetrisyyden päättelyssä ja edellä mainitut yhdessä muodostivat kolmiosaisen päättelysäännön. Kytketyistä kappaleista on muodostettu kahdeksan probleematyyppiä, jotka ovat taulukossa 13. Taulukoissa 14 ja 15 on esimerkit perusteluista, jotka on luokiteltu luokkiin kolme ja kuusi.
113 TAULUKKO 13. M-testin probleematyypit. Systeemin tila Probleeman tyyppi Lepo 1. m A = m B, 2. m A m B Tasainen liike 2. m A = m B, 2. m A m B Tasaisesti kiihtyvä liike 3. m A = m B, 2. m A m B a) Suurempi kappale on liikkeen syy b) Suurempi kappale vastustaa a) Suurempi kappale on liikkeen syy b) Suurempi kappale vastustaa TAULUKKO 14. M-testi. Vastauksen liitteen 4 mukainen luokka on 3. Systeemin tila Tehtävä Voimien Perustelu suuruus Lepo 2,6 F A = F B..lepotila Tasainen liike 1,3,8 F A = F B..liike on tasaista Tasaisesti kiihtyvä liike 4,5,7 F A > F B tai F A < F B Jompikumpi kappaleista A tai B on liikkeen syy TAULUKKO 15. M-testi. Vastauksen liitteen 4 mukainen luokka on 6. Systeemin tila Tehtävä Voimien Perustelu suuruus Lepo 2,6 F A = F B..eivät liiku Tasainen liike 1,3,8 F A > F B F A > F B a) m A > m B, peruste massa b) m A = m B ja A on syy Tasaisesti kiihtyvä liike 4,5,7 F A > F B F A > F B a) m A ( syy ) < m B ( vas ) ja A on syy b) m A ( syy ) > m B ( vas ), perusteeksi vaihtuu massa I-testi. Kontekstilla on merkittävä vaikutus ajatteluun (Palmer 1997; Bransford, Brown & Cocking 1999, 66; Steinberg & Sabella 1997; Tao & Gunstone 1999).
114 Palmerin mukaan voiman käsite pitäisi opettaa varioimalla kontekstia, kuten kappaleen vauhtia, massaa, etenemissuuntaa, liukumista tai mahdollista pyörimistä kaltevalla tasolla ym. Testin tehtävissä taustalla oleva fysiikka on kaikissa sama, vain konteksti muuttuu. Käytettyjen tehtävien kontekstuaaliset piirteet on koottu taulukkoon 16. I-testin laadinnan lähtökohtana on ollut Baon tutkimuksissaan käyttämät tehtävät (Bao, Zollman, Hogg &Redish 2000). Tehtävän 4 samoin kuin jälkitestin tehtävät laadin itse. Esitestin tehtävien vastaavuudet ovat: T1(Bao) = T1(I), T4(Bao) = T2(I) ja T13(Bao) = T3 (I). Liitteessä 5 ovat sekä esi- että jälkitestin tehtävät. Tehtävissä oli b- kohta, jossa piti kuvailla tapahtumaa törmäyshetkellä ja pohtia, mitä tapahtuu törmäyksen jälkeen. Tässä julkaisussa ei käsitellä b-kohdan tuloksia. Tehtävän a- kohdassa on piirrettävä kuvio ja merkittävä kappaleeseen vaikuttavat voimat sekä perusteltava vastaus. TAULUKKO 16. I-testi, impulsiivinen voima, tehtävät 1-4. Kontekstuaalinen piirre Ennakkokäsitys T1: Nopeus Kappale, jolla on suurempi nopeus, vaikuttaa suuremmalla voimalla. Dominanssiperiaate. T2: Massa Kappale, jolla on suurempi massa, vaikuttaa suuremmalla T3: Voiman alkuperä, työntö voimalla. Dominanssiperiaate. Työnnön synnyttäjä, aktiivisempi osapuoli aiheuttaa suuremman voiman. Dominanssiperiaate. T4: Kiihtyvyys Kiihtyvä kappale vaikuttaa suuremmalla voimalla. Huom. T = tehtävä H- ja M-ryhmissä voiman käsitteen merkitys on rakennettu eri tavalla ennen Newtonin III lain opettamista. Tämän testin perusteella pyritään selvittämään, syntyykö H- ja M-ryhmän välillä ero, kun tutkitaan kontekstuaalisuuden vaikutusta oppilaiden käsityksiin vuorovaikutuksen symmetrisyydestä. Häviääkö vaikutus oppilaan ajattelussa, jolloin oppilaan voidaan ajatella käyttävän voiman käsitettä johdonmukaisesti? I-testissä analysoidaan ensin oppilaiden piirtämät voimakuviot, jotka jaetaan viiteen luokkaan. Luokat ilmenevät liitteestä 6, ja niiden kuvaukset ovat taulukossa 17.
115 TAULUKKO 17. I-testi. Kappaleisiin vaikuttavat voimat törmäyshetkellä. Voimakuvioiden luokittelu. Luokka A B C D E Kuvaus Kappaleet ovat kiinni toisissaan, ja voimavektorit on piirretty kappaleiden päihin tai kappaleiden sisälle. Kappaleet ovat kiinni toisissaan, ja voimavektorit on piirretty kappaleiden yläpuolelle. Kappaleet ovat erillään, ja voimavektorit on piirretty kappaleiden yläpuolelle tai kuviossa vain toinen voimavektori, tai vektorit puuttuvat tai kappaleita ei ole piirretty. Kappaleet ovat erillään, ja voimavektorit ovat kappaleiden välissä ja kiinni kappaleissa. Kappaleet ovat erillään, ja voimavektorit ovat kappaleiden välissä ja irti kappaleissa. Voimat eri suuret luokassa A1 B1 C1 D1 E1 J-testi. Testin perusteella pyritään selvittämään minkälaisia eroja ilmenee voima - vastavoima-parin ja systeemi - ympäristö-parin tunnistamisessa. Taulukkoon 18 on koottu testin oleelliset piirteet, ja tehtävät ovat liitteessä 7. TAULUKKO 18. J-testi, tehtävät 1-4. Voiman tyyppi Kontekstuaalinen piirre Ennakkokäsitys Impulsiivinen T1: Este Eloton olio ei aiheuta voimaa. Jatkuva T2: Kappale levossa tai liikkuu tasaisella vauhdilla Tukivoima vastavoimana, voima ja vastavoima vaikuttavat samaan kappaleeseen, pöytälauta estää putoamisen (Minstrell 1982). Jatkuva T3: Systeemin rajaus Voima ja vastavoima ovat systeemin ulkoisia, eivät kumoudu, systeemi kiihtyy. Jatkuva T4: Systeemin rajaus Voima ja vastavoima ovat systeemin sisäisiä, kumoutuvat, systeemi ei kiihdy. Huom. T = tehtävä. Tehtävissä oli piirrettävä kappaleeseen kohdistuvat voimat ja niiden vastavoimat oikeassa suhteessa toisiinsa nähden sekä nimettävä niiden aiheuttajat. Oppilaan on
116 kyettävä erottamaan systeemi ympäristöstään ja ymmärrettävä, että voima ja vastavoima kohdistuvat eri kappaleisiin. Koska voima ja vastavoima ovat yhtä suuria ja vastakkaissuuntaisia, miksi ne eivät kumoa toisiaan? Hewitt (2002, 72) pitää tärkeänä systeemin määrittelyä. Kun toinen kappale on systeemi, niin voima ja vastavoima eivät kumoudu, joten systeemi kiihtyy. Kun voima ja vastavoima ovat systeemin sisäisiä, ne kumoavat toisensa eikä systeemi kiihdy. Tähän liittyen sekä esi- että jälkitestissä on lisänä tehtävät 3b ja 4, joissa testataan Newtonin toista ja kolmatta lakia. Tehtävät on asetettu siten, että sopivalla rajauksella systeemi kiihtyy tai ei kiihdy, vaikka systeemin kappaleet liikkuvat toisiaan kohti. Testien ja tutkimuskysymysten välinen yhteys näkyy taulukosta 19. TAULUKKO 19. Tutkimuskysymykset ja testit. Tutkimuskysymys Testi Tutkimuskysymys 1.1 FCI-voimakäsitystesti Tutkimuskysymys 1.2 FCI-voimakäsitystesti Tutkimuskysymys 2.1 M-testi Tutkimuskysymys 2.2 M-testi, I-testi Tutkimuskysymys 2.3 J-testi Tutkimuskysymys 2.4 I-testi 5.3.2 Analysointimenetelmät Kasvutekijä ja Cohenin d. Opetuksen tehokkuutta voidaan mitata normeeratulla kasvutekijällä <g> (Hake 1998a): % < S f > % < Si > < g >= 100% % < S > i % < G > = % < G > Max Kaaviossa %<S i > on luokan FCI-voimakäsitysesitestin pistemäärien keskiarvo ja %<S f > vastaavan jälkitestin pistemäärien keskiarvo prosentteina maksimipistemäärästä (<>-merkki tarkoitta koko luokan keskiarvoa). Normeerattu kasvutekijä kuvaa
117 absoluuttisen kasvun <G> suhdetta mahdolliseen kasvuun <G > Max.Kurssit ryhmitellään kasvutekijän perusteella kolmeen luokkaan: High-g -kurssit: <g> 0,7 Medium-g -kurssit: 0,3 <g> <0,7 Low-g -kurssit: <g> <0,3. Yksityisen oppilaan kasvutekijä määritellään seuraavasti (Hake 2002): jälkitesti % - esitesti % g = 100 - esitesti % Jälkitesti % tai esitesti % ilmaisee oppilaan saaman pistemäärän prosentteina FCIvoimakäsitystestin maksimipisteistä. Käsittelyn (opetus) vaikuttavuuden mittana voidaan pitää Cohenin d:tä (Cohen1988, 10) eli effect size : 2 < Spost > < Spre > ( pre + d =, pooled = pooled 2 2 post ) < S post > ja < S pre > ovat luokan oppilaiden FCI-voimakäsitysjälki- ja esitestin pistemäärien keskiarvot ja σ post sekä σ pre vastaavat keskihajonnat: Mitä suurempi on d:n arvo, sitä suurempi on poikkeaman aste, jossa tutkittava ilmiö esiintyy. Cohenin mukaan (1988, 24) vaikutus on pieni, kun d = 0,2; keskimääräinen, kun d = 0,5 ja suuri, kun d = 0,8. Haken mukaan mekaniikan kurssit voidaan FCI-voimakäsitystestin tulosten mukaan jakaa kahteen ryhmään. Perinteisillä menetelmillä opetettujen kurssien kasvutekijöiden keskiarvojen keskiarvo on <<g>> = 0,23 ± 0,04 s.d., ja vuorovaikutteisilla menetelmillä <<g>> = 0,48 ± 0,14 s.d., missä s.d. on keskipoikkeama. (Hake 1998a.) Samanlaisiin tuloksiin ovat päässeet myös Saul ja Redish (1998) omissa tutkimuksissaan. Heillä workshop-tyyppisessä opetusmenetelmässä normeerattu
118 kasvutekijä oli <g> = 0,41 ± 0,02 s.d. ja perinteisillä menetelmillä opetetulla joukolla 0,16 ± 0,03 s.d. Haken tutkimuksessa yhtään kurssia ei osunut High-g :n alueelle. Keskiarvojen eron testaamisessa on käytetty t-testiä. Tässä testissä perusjoukon keskihajontaa ei tunneta tai otoskoko on pieni (< 30).χ 2 -testiä on käytetty tilanteissa, joissa halutaan saada selville onko joillakin tilastomuuttujilla yhteyttä toisiinsa, toisin sanoen riippuvatko muuttujien arvot toisistaan. χ 2 -testissä verrataan havaittuja arvoja sellaisiin teoreettisiin arvoihin, jotka saadaan, kun oletetaan, että mitään yhteyttä ei ole. 5.3.3 Tiedonhankintamenetelmien arviointi McDermottin ja Redishin mielestä fysiikan opetuksen tutkiminen poikkeaa varsinaisesta fysiikan tutkimuksesta. Kaikkia muuttujia ei voida tunnistaa eikä kontrolloida. Luokkahuone, opettaja ja oppilaat ovat kompleksinen systeemi, joihin liittyvät muuttujat ovat osin tuntemattomia. Tuottaa vaikeuksia määrittää aikaisempien kokemusten ja kulttuurin vaikutusta oppilaisiin ja opettajiin. Oppilaan saama aikaisempi koulutus voi vaikuttaa siihen, miten hän tulkitsee saamaansa opetusta. Tästä kaikesta seuraa, että kontrolloidun kokeen suoritus on vaikeaa. Mittaväline on vahvassa vuorovaikutuksessa tutkittavien kanssa. Periaatteessa mittalaitteen vaikutus systeemiin pitäisi pystyä eliminoimaan mahdollisimman hyvin; toisaalta oppilaan ajatusten selvittäminen edellyttää häneen kohdistuvaa voimakasta vaikuttamista. Pelkkä numeerinen data voi johtaa harhaan, ellei selvitetä, miten oppilas ajattelee. Pienryhmissä voidaan tunnistaa sekä käsitteisiin että ajatteluun liittyviä vaikeuksia, jotka saattaisivat jäädä havaitsematta suuremmissa ryhmissä. Toisaalta pienissä ryhmissä saadut tulokset voivat olla vain sille ryhmälle ominaisia, eikä niitä voida yleistää. (McDermott & Redish 1999.) Tutkimuksen validiteetti voidaan pukea kysymyksen muotoon: kuinka hyvin mitataan sitä, mitä on tarkoitus mitata. Validiteetti jaetaan sekä sisäiseen eli koeasetelman toimivuuteen että ulkoiseen validiteettiin eli tulosten yleistettävyyteen. Reliabiliteetti on sitä parempi, mitä vähemmän sattumalla on osuutta mittaustuloksissa. (Kari & Huttunen 1981, 68-72; Cohen & Manion 1989, 200-203; Cook & Cambell, 1979). Testit. FCI-voimakäsitystestin kysymysten validiteetti ja reliabiliteetti on varsin huolellisesti tarkastettu sekä USA:ssa (Hake 1998a) että Suomessa (Koponen ym. 2000).
119 M-testi on suunniteltu Maloneyn artikkelin pohjalta. Hän perustelee testin pätevyyttä sillä, että kaikissa tehtävissä on samat kysymykset ja vastausvaihtoehdot. Lisäksi vaihtoehdon valinta on perusteltava.(maloney 1984, 42.) Tässä tutkimuksessa oli sekä esi- että jälkitestissä kahdeksan tehtävää, joista jokaisessa kolme vaihtoehtoa. Tehtävien järjestys sekä kussakin tehtävässä vaihtoehtojen järjestys arvottiin. I-esitestin kysymykset 1, 2, 3 olivat käännöksiä (Bao, Zollman, Hogg & Redish 2000 ). Testin validiteetti oli tarkastettu pyytämällä koehenkilöitä ensin ratkaisemaan tehtävä ja sen jälkeen selittämään käyttämänsä ajattelutavan. Tutkimuksen tekijöiden mukaan valittu vaihtoehto ja oppilaan käyttämä ajattelu olivat keskenään johdonmukaisia. Suomenkielistä käännöstä ei ole tarkastettu. Tehtävän 4 ja kaikki jälkitestin tehtävät suunnittelin itse. Testin suorituksen aikana ei oppilailla ollut kysyttävää. J-testin tehtävät suunnittelin itse. Sekä M-, I- että J-testissä fysiikka on sama, Newtonin III laki, vain konteksti muuttuu. Newtonin kolmas laki on käsitteenä selkeä. Testin kysymykset kohdistuvat voimien keskinäiseen suuruuteen ja niiden kohdistumiseen. Sen seikan selvittäminen, onko koehenkilö ymmärtänyt lain ilmaiseman käsitteen, on jokseenkin suoraviivaista. Henkilö joko ymmärtää lain tai sitten hänellä on jokin ennakkokäsitys, jonka perusteella kappaleiden toisiinsa kohdistamat voimat määrätään. Esitestien tulosten yhtäläisyys kansainvälisten tutkimusten kanssa viittaa siihen, että testit mittaavat sitä, mitä on tarkoitus mitata. Kun lisäksi joka kerta on perusteltava vastaus, arvaamisen mahdollisuus vähenee. Tulosten tulkintaa parantavat opiskelijoiden suorat lainaukset, jotka on arkistoitu. FCI-testissä valitaan vain oikea vaihtoehto, jota ei perustella ja joka voi perustua arvaamiseen. Tutkimusasetelman sisäinen validiteetti. (Kari & Huttunen 1981, 68-72; Cohen & Manion 1989, 200-203; Cook & Cambell, 1979). a) Jokin ennalta arvaamaton tapahtuma pääsee vaikuttaa koetulokseen. Kokeilun yhteydessä ei tapahtunut mitään normaalista kouluelämästä poikkeavaa. b) Kehitysmuuttujat. Tällaisia tekijöitä ovat vanheneminen, väsyminen ja vireystilan muutokset. Kokeilujakso oli kuuden viikon mittainen, josta viisi viikkoa oli etenevää opetusta. On selvää, että ryhmissä tapahtuu vireystilan muutoksia ja väsymistä. Missään pitkäkestoisessa kokeilussa tätä ei voi välttää. H-ryhmän FCI-jälkitesti ja J-testi olivat koeviikon viimeisenä päivänä, perjantaina alkaen klo 12. Tämän ryhmän vireystila oli varmasti heikompi kuin M-ryhmän, jonka vastaavat testit olivat saman viikon tiistaina. Nykyisessä luokattomassa ja koeviikkoa käyttävässä lukiossa on jokseenkin
120 mahdotonta järjestää testejä siten, että edellä mainitut tekijät olisivat hyvin kontrolloituja. Toisaalta tutkimuksen tarkoitus oli juuri selvittää, missä määrin osaamisessa on tapahtunut muutoksia (Cook & Campbell 1979). c) Mittaamisella itsellään saattaa olla opetusvaikutusta. Jos näin on, niin vaikutus on sama molemmissa ryhmissä. Koska opetusmalli oli sama ja täsmälleen samat testit pidettiin lähes yhtä aikaa, voidaan olettaa vaikutusten olevan yhtäläiset. Testikysymyksiä ei selitetty eikä testin tuloksia annettu oppilaille. Lisäksi mittauskertoja oli niin vähän, että oppimisvaikutusta tuskin oli. Toisaalta kaiken toiminnan tarkoitushan on oppimistulosten parantaminen. d) Mittausväline voi muuttua mittausominaisuuksiltaan. Kutakin testiä, lukuun ottamatta M-esitestiä, käytettiin vain kerran. Ei ole todennäköistä, että muutoksia olisi tapahtunut. Kaikkien testien kysymysten fysiikka pysyi samana eli selvitettiin Newtonin kolmannen lain ymmärtämistä. Ideana on, että huolimatta kontekstin muutoksista, oikea vastaus perusteluineen noudattaa tiettyä vakiokaavaa. e) Tilastollinen regressioharha. Tämä tulee kysymykseen silloin, kun koeryhmät on muodostettu ääritapauksista. Tässä kokeilussa nämä ryhmät eivät olleet ääritapauksia vaan tavallisen maaseutulukion opiskelijoita. f) Koehenkilöiden erilainen valikoituminen vertailtaviin ryhmiin. Koeryhmissä ei ollut erityisesti valittuja tai vapaaehtoisia henkilöitä. g) Koehenkilöiden kato. Kurssin aikana kummastakaan ryhmästä ei eronnut oppilaita. Jokainen oppilas osallistui jokaiseen testiin. Poissaoloja oli keskimäärin 1h/oppilas molemmissa ryhmissä. h) Virhelähteiden mahdolliset yhteisvaikutukset. Tällainen voisi tapahtua silloin, kun ryhmät ovat yhteiskuntaluokkien ym. suhteen erilaisia, minkä seurauksena toinen ryhmä oppisi nopeammin. Maaseudulla sosiaaliset ero eivät ole niin suuria kuin kaupungissa, joten tämän vaikutuksen suhteen ryhmät ovat tasavertaisia. Toisaalta eettisesti olisi arveluttavaa valita ryhmät esimerkiksi edellä mainituilla perusteilla. Tutkimusasetelman ulkoinen validiteetti. a) Alkumittaus saattaa lisätä tai vähentää koehenkilöiden herkkyyttä opetusmenetelmän vaikutuksille. Ellei alkumittausta tehdä, on jälkitestin tulosten eroa vaikea selittää. Jos ero on, se voidaan katsoa syntyneen joko käsittelystä tai ryhmien välisestä erosta tai molemmista. FCI-testin henkilökohtaista kasvutekijää ei pystytä muodostamaan ilman esitestiä.
121 b) Koehenkilöiden otannan valikointiharha. Voidaanko saatuja tuloksia yleistää? Ryhmät ovat pieniä, ja näin ollen tulosten yleistettävyyden suhteen on oltava varovainen. Ryhmiä ei valittu millään erityisellä kriteerillä eikä myöskään satunnaisesti. Lisäksi on huomattava, että molempiin ryhmiin kuuluvia oppilaita oli opettanut sama kokenut opettaja kaikki edelliset kurssit. Ryhmillä on ollut sama oppikirja ensimmäisestä kurssista alkaen. c) Koehenkilöt ovat jossakin määrin herkkiä kaikille uusille tutkimuksessa käytetyille menetelmille. Kaikissa tämän tyyppisissä tutkimuksissa tulisi eliminoida Hawthornen ja John Henryn efektit. Edellisessä ryhmän suorituskyky kohoaa ryhmään kohdistetun huomion seurauksena. Jälkimmäisessä vertailuryhmä alkaa kilpailla tutkittavan ryhmän kanssa, jolloin tulokset paranevat ainakin väliaikaisesti. Kokeilun missään vaiheessa oppilaille ei kerrottu, että he ovat mukana kokeilussa. Koulussa kokeilusta tiesivät vain rehtori ja tutkimuksen tekijä. Lisäksi tutkimuksen tekijä ei ollut opettanut kahta M-ryhmän oppilasta luukuun ottamatta ketään muuta ryhmiin kuuluvaa oppilasta. Kurssin alussa kerrottiin, että jatkossa fysiikan eri kursseilla tullaan testaamaan ja testit kuuluvat normaaliin opetusrutiiniin. Näin pyrittiin välttämään edellä mainitut vaikutukset. Onko siten oikein, että oppilaille ei kerrota kokeilusta? Tässä tutkimuksessa lähdettiin siitä, että tutkimustulokset ovat lähempänä koulun arkipäivää, jos opetuskokeilusta ei kerrota. Lisäksi Haken (1998a) tutkimukset olivat osoittaneet, että vuorovaikutteinen opetusmalli edistää käsitteellistä ymmärtämistä enemmän kuin perinteinen opetusmalli. Voitiin siis olettaa, että oppimistulokset eivät merkittävässä määrin heikkenisi aikaisempiin tuloksiin nähden. Monivalintatehtävät eivät välttämättä mittaa ymmärtämisen eri tasoja vaan hedelmällisempi tapa lähestyä asiaa olisi oppilaiden kirjallisiin vastauksiin tutustuminen ja niiden luokittelu SOLO-taksonomian pohjalta (Jackson 1998), (luku 2.4). Tässä tutkimuksessa taksonomiaa sovellettiin kahden kappaleen törmäystilanteen jatkokuvauksen arvioinnissa. Oppilaiden liian niukat vastaukset olivat ongelma. Tähän oli luultavasti kaksi syytä: aikapula ja oppilaiden puutteellinen kyky vastata kirjallisesti tämän tyyppisin tehtäviin. Edellä mainituista syistä oppilaiden vastauksien antama informaatio täydentää kokonaiskuvaa. Tutkimusasetelma poikkeaa kasvatustieteellisessä kokeellisessa tutkimuksessa yleensä käytetystä näennäiskokeellisesta koeasetelmasta, koska vertailuryhmää ei ole. Tätä puutetta on korjattu vertaamalla FCI-voimakäsitystestin perusteella saatua normeerattua kasvutekijää kansainvälisiin vastaaviin arvoihin. Sama koskee myös
122 muiden testien tuloksia mikäli se on ollut mahdollista. Tutkimuksella ei ole pyritty testaamaan jotakin teoriaa tai hypoteesia vaan tarkastelemaan, millaista oppimista erilaiset lähestymistavat synnyttävät. Tämän tiedon perusteella opetuskäytäntöjä voidaan muuttaa siten, että mekaniikan oppimistulokset ymmärtämisen tasolla olisivat paremmat. Kokeellisen tutkimusotteen kaltaisia tutkimusotteita ovat vaikuttamistutkimukset. Sen alalajeja ovat mm. interventiotutkimus ja toimintatutkimus. Edellisessä selvitetään, mitä muutoksia jokin määräajan kestävä vaikuttamisohjelma tuottaa. Tavoitteena on pysyvien muutosten aikaansaaminen. Toimintatutkimuksessa tutkittavan ja tutkijan suhde on esimerkiksi oppilaan ja opettajan suhde, joka on muuttunut työtoveruudeksi. Tässä tutkimuksessa opettajan ja oppilaan suhde ei ollut työtoveruutta: oppilaat eivät osallistuneet kurssien suunnitteluun. Edellisen perusteella tämä tutkimus on sekä interventio- että toimintatutkimus, jälkimmäinen siinä mielessä että sekä tutkija että opettaja ovat sama henkilö. Tutkimuksessa pyrittiin selvittämään, mitä käsityksiä oppilailla on Newtonin III laista ja miten käytetty lähestymistapa, kun opetusmenetelmä pidetään vakiona, muutti näitä ennakkokäsityksiä. Tutkimuksen ulkoista pätevyyttä voidaan arvostella sillä perusteella, että tutkija ja opettaja ovat sama henkilö. Kuitenkin esimerkiksi Hestenes ym. (1992a) suoritti päteväksi havaittua tutkimusta olemalla sekä opettaja että tutkija. Tässä tutkimuksessa ei testattu hypoteesia, vaan tulokset koskevat kahta ryhmää tiettynä ajanjaksona. Testeissä mitattiin Newtonin kolmannen lain ymmärtämistä, ja pyrittiin selvittämään kahden erilaisen lähestymistavan tehokkuutta. Saavutettiin tulos, kun kurssi suunniteltiin tietyllä tavalla. Jos kaikkia ulkoisen validiteetin uhkia pidetään todellisina, tutkimuksen tuloksia ei ole mahdollista yleistää. Tästä seuraa, että vain harvoja tutkimuksia voitaisiin suorittaa. On parempi saada jotakin tietoa, kuin jättää asia tutkimatta. Redishin (1994) mielestä pienikin otos kognitiivisessa tutkimuksessa voi antaa arvokasta tietoa jatkotutkimuksia ajatellen. Tämä tutkimus antaa vain viitteitä kahden lähestymistavan mahdollisesta vaikutuksesta oppilaiden ennakkokäsityksiin Newtonin kolmannen lain kontekstissa. Testien validisuutta lisää se, että kaikki oppilaiden antamat perustelut kirjattiin ylös juuri siinä muodossa, kuin ne ilmenivät heidän vastauspapereissaan. Samaa seikkaa Melzer on korostanut Lisäksi hän on kiinnittänyt huomiota käytettyyn
123 otoskokoon tai noudatettuun protokollaan. Ne voivat olla riittämättömiä, jotta käsittelyn vaikutus olisi tilastollisessa mielessä merkitsevä. ( Melzer n.d.) Metsämuuronen kiinnittää huomiota riskitasoihin. Hänen mielestään ihmistieteissä riskitaso 0,05 on riittävä. Tämän mukaan, kun hylkäämme nollahypoteesin, riski sille, että nollahypoteesi pitikin paikkansa, on 5 %. Tässä yhteydessä hän kiinnittää huomiota riskitason sanalliseen ilmaisuun melkein merkitsevä, joka on erittäin harhaanjohtava, sillä se viittaa terminä siihen, että todellista tilastollista merkitsevyyttä ei testauksessa olisi ilmennyt lainkaan _ ero on vain MELKEIN merkitsevä. Hän suosittaa käytettäväksi vain sanallista ilmaisua tilastollisesti merkitsevä (p = 0,023) tai tilastollisesti merkitsevä (p < 0,0001) ja johtopäätösten teon jätettäväksi lukijalle itselleen. (Metsämuuronen 2003, 368-370.) Tässä tutkimuksessa käytetään vielä vanhoja ilmaisuja. M-esitestissä joidenkin oppilaiden perustelujen tulkinta oli vaikeaa. Kuitenkin tulkitsija pystyi luokittelemaan oppilaan vastauksen liitteen 4 mukaiseen luokkaan. Rinnakkaisluokittelijaa ei käytetty, koska suurin osa oppilaista perusteli valintansa lyhyesti ja perustelu oli jokin vallitseva ennakkokäsitys. Lisäksi oppilaan käyttämän päättelysäännön muutos oli vain yksi osa M-testin antamasta informaatiosta. Lopputuloksena kaikilla pitäisi olla sama perustelu: Newtonin III laki. Testitulosten samankaltaisuus aikaisempiin tutkimuksiin lisää validisuutta. Kaikki testeihin liittyvät alkuperäiset vastaukset ja yhteenvedot ovat talletetut. Koulun fysiikan kokeissa ei ole useinkaan kvalitatiivisia tehtäviä. Perinteisessä fysiikan opetuksessa pääpaino on laskemisessa. Voidaan väittää, että ymmärtämistä mittaavat tehtävät ovat turhia ja kaukana todellisuudesta. Kuitenkin mekaniikan kurssin menestyksellinen suorittaminen edellyttää sekä ymmärtämistä että probleeman ratkaisussa tarvittavia prosessuaalisia taitoja. Testien luotettavuus testausajan suhteen on hyvä, sillä kukaan ei valittanut ajan puutetta. Ennen testin loppua varmistettiin, että kaikkiin kohtiin oli annettu vastaus ja aikaa oli ollut riittävästi. Testit lopetettiin yhtä aikaa, ja vasta tämän jälkeen voi poistua luokasta. Kurssin reliabiliteettia lisää se, että sama opettaja opetti molempia ryhmiä. Opetusmalli pyrittiin pitämään niin vakiona kuin mahdollista. Molemmissa ryhmissä laskettiin lähes 100 %:isesti samat kotilaskut. Jos kotitehtävää ei ehditty tunnilla käsitellä, sen ratkaisu jaettiin monisteena. Kotitehtävävihot tarkastettiin kurssin päättyessä.