Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen Helsingin yliopisto Sisältö Osioanalyysi Validiteetti Reliabiliteetti Vaikeustaso IRT-mallinnus HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3 Osioanalyysi Osioanalyysin tehtävänä on erotella hyvät ja huonot osiot toisistaan Osioanalyysilla voidaan tutkia sekä osaamista että mielipiteitä mittaavia tehtäviä Osioiden tutkimiskriteerit Validiteetti Reliabiliteetti Vaikeustaso HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 3/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 4/3 Validiteetti Kuinka hyvin mittari mittaa sitä, mitä sillä on tarkoitus mitata. Painotus on siirtymässä mittarista tehtävien johtopäätösten validointiin: Validiteetilla tarkoitetaan niiden päätelmien sopivuutta, mielekkyyttä ja käyttökelpoisuutta, joita mittaustuloksista tehdään. (Psychological Testing 985 & Konttinen 997 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 5/3 Validiteetti on traditionaalisesti jaettu kolmeen alaryhmään. sisältövaliditeetti Vastaako tentti koealuetta. kriteerivaliditeetti (korrelaatio mittalukuna ennustevaliditeetti (valintakoe rinnakkaisvaliditeetti (standartoitu testi 3. käsitevaliditeeti l. rakennevaliditeetti l. konstruktiovaliditeetti Vastaako testin rakenne taustalla olevaa teoriaa ja ovatko kysymysten sisällöt halutun kaltaisia HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 6/3
Yleistetty validiteetti ( Messick 989, 994; Rantanen 3 Progressiivinen matriisi, jossa ulkoreunan solut sisältävät myös edellisten solujen sisällön Testin tulkinta Testin käyttö Ilmeiset Käsitevaliditeetti (KV Hyödyllisyys + KV perusteet Seuraamukselliset rvo ja teoreettiset Sosiaaliset seuraukset perusteet seuraamukset + KV + edelliset Reliabiliteetti Reliabiliteetti kuvaa mittauksen tarkkuutta Stabiliteetti, pysyvyyttä Konsistenssi, yhtenäisyyttä (alfa Yleisin relibiliteetin estimaatti on Cronbachin alfa Reliaabeliin kyselyyn annetut vastaukset eroavat, koska vastaajilla on erilaisia mielipiteitä - ei sen vuoksi, että kysely on hämmentävä tai monitulkintainen" (SPSS HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 7/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 8/3 Reliabiliteetti Mittauksen tulos eli mitta-arvo x, jakautuu kahteen eri komponenttiin, tosiarvoon τ ja mittavirheeseen ε x = τ + ε Reliabiliteetin r xx ( lukuarvo määritellään olevan tosiarvon varianssi jaettuna mitta-arvon varianssilla r xx. x σ = τ σ Mittavirheelle tehdään seuraavat oletukset Mittavirheiden keskiarvo on nolla Mittavirhe ei korreloi tosiarvon kanssa Rinnakkaistestien mittavirheet eivät korreloi keskenään HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 9/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3 Reliabiliteetin lukuarvon estimointimenetelmät. Rinnakkaistestien välinen korrelaatio. Split-half -menetelmä ja Spearman- Brownin yhtälö ' ar r = + ( a r Reliabiliteetin lukuarvon estimointimenetelmät 3. Kaikkien mahdollisten split half reliabiliteettien keskiarvo a Kuder-Richardson yhtälöt KR- ja KR-, /-pisteytys N. pq rxx = N σ x b Cronbachin alfa, α, myös Likert asteikko = N σ x i r xx. N σ x HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3
Cronbachin alfan takana olevat oletukset. testin tulee mitata ainoastaan yhtä dimensiota. osioiden varianssien tulee olla yhtä suuret 3. osioiden korrelaatioiden tulee olla yhtä suuret lfa on ala-estimaatti reliabiliteetin arvolle. Todellinen reliabiliteetti on suurempi, joten alfa on riittävä ehto reliabiliteetille. Yleistetty reliabiliteetti (Tarkkonen, Vehkalahti Reliabiliteettivaatimuksia Lyhyessä osaamista mittaavassa testissä/kokeessa ( - 5 osiota reliabiliteetin tulee olla yli,5 Mielipidemittauksissa reliabiliteetin tulee mielellään olla yli,7 laskettaessa summamuuttujia Pitkässä testissä/kokeessa (yli 5 osiota reliabiliteetin tulee olla yli,8 Kaikissa kokeissa ja testeissä, joissa tehdään yksilön kannalta merkittäviä päätöksiä, tulee reliabiliteetin olla yli,8, mielellään yli,9. HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 3/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 4/3 Reliabiliteetin arviointi Reliabiliteettia voidaan arvioida laskemalla yksittäisten osioiden korrelaatio kokonaispistemäärään. Mikäli korrelaatio on pienempi kuin,5, niin osio todennäköisesti mittaa eri asiaa tai on virheellisesti muotoiltu Virheellisten vastausvaihtoehtojen (harhauttajien tulee olla vetovoimaisia. Negatiivinen korrelaatio kokonaispistemäärän kanssa. Osan vastaajista tulee valita kaikkia harhauttajia. HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 5/3 Testin optimaalinen vaikeustaso Testin vaikeustason tarkastelu tehdään seuraavan kolmen kohdan avulla:. Optimaalisen vaikeustason vertailu pisteiden havaittuun keskiarvoon. rvausrajan alle jääneiden osuus vastaajista 3. Täyden pistemäärän saaneiden osuus vastaajista Vastaajien tulisi tietää oikea vastaus noin 5 %:iin tehtävistä Osioista tulee ratkaista keskimäärin oikein 3% 8% Monivalintatehtävissä huomioitava arvaamisen vaikutus HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 6/3 Satunnaisen arvaamisen tuottama pistemäärä N = = N p N on osioiden lukumäärä µ on vastausvaihtoehtojen lukumäärä p on oikein arvaamisen todennäköisyys Mikäli vastaajan on tiedettävä vastaus κ osioon, tulee lopullinen hyväksymispisteraja asettaa pistemäärään χ. ( N κ χ = κ + HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 7/3 Testin optimaalinen vaikeustaso monivalintatehtäville N pn χ o = + N ( + = p N on osioiden lukumäärä on vastausvaihtoehtojen lukumäärä p on oikein arvaamisen todennäköisyys χ on lopullinen hyväksymispisteraja HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 8/3
Testin optimaalinen vaikeustaso Jakauman tarkastelu Lattiaefekti Testi on liian vaikea ja erottelee ainoastaan erittäin hyviä vastaajia Pistejakauma kasautuu lähelle satunnaisen arvaamisen pisterajaa. Jakauman muoto voi olla hämäävästi normaalijakauman muotoinen Kattoefekti Testi on liian helppo ja erottelee ainoastaan erittäin heikkoja vastaajia Pistejakauma kasautuu lähelle maksimipisteitä. Jakauma näyttää nojaavan seinään Jakauma on normaali Satunnaisen arvaamisen rajan alpuolella noin % vastaajista Vain harvat vastaajat ovat saaneet täydet pisteet Vastauksien keskiarvo on 7,59. Optimaallinen keskiarvo olisi 9,33. Testi on ollut hieman liian vaikea. Count 5 4 3 Puhdas arvaus 4,67 Keskiarvo 7,59 Optimaalinen arvo 9,33 9.7 % Tarpeellinen ja tarpeeton tieto 3 4 5 6 3-vaihtoehtoisia osiota 4 kpl 7 8 9 3 4 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 9/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3 Osion erottelukyky kuvaa kuinka tarkasti osio erottelee vastaajat kokeessa/testissä menestymisen suhteen Osioon väärin vastanneiden ryhmässä tulisi erottelukykyisellä osiolla olla kokonaispistemäärä matala, ja osioon oikein vastanneiden joukossa kokonaispistemäärän tulisi olla korkea ä voidaan mitata usealla eri tavalla U L D = n U on oikein vastanneiden lukumäärä yläneljänneksessä L on oikein vastanneiden lukumäärä alaneljänneksessä. n on vastaajien lukumäärä neljänneksissä HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen /3 Osiovastekäyrät oikealle vastausvaihtoehdolle ja harhauttajille Oikein vastanneiden osuus Kokonaispistemäärä HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 3/3 IRT-mallinnus Item Response teoria Klassisen testiteorian yleistys Testin ja vastaajien ominaisuudet voidaan erottaa toisistaan Eri osioihin vastanneiden vastaajien pistemäärät ovat vertailukelpoisia Osioita voidaan verrata keskenään, vaikka niihin on vastannut osittain eri vastaajat Reliabiliteetti korvataan testin informaatiokäyrällä, joka kuvaa mittaustiedon tarkkuutta kullakin piirrearvolla. HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 4/3
IRT-mallinnus, Sovellukset Testit voidaan mittaustarkkuuden näkökulmasta tehdä optimaalisiksi kullekin vastaajaryhmän osaamistasolle Ryhmän sisällä voidaan käyttää eri osioita tehtäväpapereissa Peräkkäisten toistomittausten tekeminen tulee helpoksi, kun ei tarvitse käyttää samoja tehtäviä Mahdollistaa osiopankkien rakentamisen IRT-mallien käyttöä rajoittavia tekijöitä Mallintaminen vaatii jonkin verran tilastomatemaattista osaamista Pisteytys tehdään aina tietokoneellisesti, ja ohjelmat ovat melko hankalia käyttää Otoksien tulee olla suuria, jotta osioiden parametrit voidaan määrittää (- Piirrearvot ovat abstrakteja lukuarvoja, ja usein sekä tutkijat että opettajat haluavat helposti ymmärrettävät ja tulkittavat pisteytysperusteet. HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 5/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 6/3 IRT, Matemaattinen tausta Item Response -teoria perustuu logistisiin funktioihin IRT, Osiovastekäyrän tulkinta x-akselilla on piirrearvo y-akselilla todennäköisyys, jolla kyseisen piirrearvon omaava henkilö vastaa oikein kyseiseen osioon. yksiparametrinen Raschin malli (vaikeustaso b kaksiparametrinen Birnbaumin malli (erottelukyky a kolmeparametrinen IRT malli (pseudoarvausparametri c P c a Dai e Pi Θ = ci + ( ci + e ( Θ bi ( Dai ( Θ bi. b Θ HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 7/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 8/3 IRT, Osiovastekäyrän tulkinta Osio : Helppo Matala erottelykyky rvaaminen on mahdollista Osio B: Vaikea Korkea erottelukyky rvaaminen ei onnistu P c B Θ Information Osion informaatiokäyrä Test Information and Measurement Error Subtest : DR6 5. 4 -parametri 4.5 -parametria 4. 3-parametria 3 3.5 3..5. M e d i a a n i.5..5-3 - - 3 Scale Score Metric Type Normal Standard Error... HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 9/3 HY/SVY Kvantitatiivinen metodologia verkossa Osioanalyysi Pekka Rantanen 3/3