Lauri Tarkkonen: Validiteetti ja reliabiliteetti 1 Ellei tutkijalla ole käsitystä mittauksensa validiteetista ja reliabiliteetista, ei johtopäätöksillä ole pohjaa. Rakennevaliditeetin estimoiminen 1. Mitattavan käsitteen määrittely - käsitteen ulottuvuudet teorian tai aikaisempien tutkimusten perusteella. 2. Osioiden sisältö ja virheettömyys - mittaavatko osiot haluttua ominaisuutta? - paljonko osioissa on todellisen arvon ja paljonko mittausvirheen osuus?
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 2 3. Esimerkki Tutkitaan miten kymmenottelun lajit toimivat ihmisen fyysisen suorituskyvyn mittarina. Oletetaan, että tosiarvo on kolmiulotteinen; tekijät: Nopeus, Voima ja Kestävyys. Lajien roolit tässä mittarissa: Nopeus: 100m, 400m, Aidat Voima: Kuula, Kiekko Kestävyys: 1500m, 400m Asteikko: u = a x Mittausmalli: x = Bτ+ε; cov(x) = Σ = BΦB +Ψ Reliabiliteetti: ρ uu = 1/(1+a Ψa/a BΦB a) Ennustevaliditeetti: ρ yu
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 3 Factor analysis: Maximum Likelihood (ML) solution Kest Nop Voim h 2 2 s e 1500m 0.99 0.00 0.01 0.99 0.01 100m -0.29 0.87 0.18 0.89 0.11 Kiekk -0.58-0.30 0.56 0.75 0.26 Kuula -0.46-0.31 0.65 0.73 0.27 400m 0.30 0.62 0.04 0.47 0.53 Korke -0.14-0.50-0.06 0.28 0.73 Aidat -0.23 0.28 0.06 0.14 0.87<!? Pituu -0.21 0.16-0.11 0.08 0.92<!? Seiv 0.02 0.12-0.25 0.07 0.93<!? Keih -0.06-0.25-0.06 0.07 0.93<!? On mahdollista tunnistaa faktorit: Kestävyys, Nopeus ja Voima. Erityisen huonoja osioita ovat: Aidat, Pituus, Seiväs ja Keihäs. Kaikki taitolajeja? Olisiko mahdollista löytää lisäksi joku taitofaktori?
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 4 Viiden faktorin ratkaisu Neljän faktorin ratkaisu ei korjaa tilannetta kovinkaan paljon, mutta viiden faktorin ratkaisu tarjoaa jo pohjaa tulkinnalle. Nop Voim???? Käs.m Jal.m h 2 100m 0.96-0.15 0.03 0.05-0.03 0.94 1500m -0.44-0.76 0.28 0.15 0.05 0.87 Kiekko 0.13 0.81 0.25 0.16-0.01 0.76 Kuula 0.08 0.73 0.44 0.10 0.08 0.75 Keihäs -0.22 0.20-0.39 0.65 0.06 0.66 Aidat 0.37 0.07-0.05-0.21 0.62 0.57 400m 0.39-0.55 0.08 0.18 0.19 0.52 Korkeu -0.36 0.36-0.11-0.07 0.09 0.28 Pituus 0.21 0.07-0.31 0.07 0.34 0.27 Seiväs 0.04-0.15-0.16-0.20-0.18 0.12 Nopeus, Voima, Käsien ja Jalkojen motoriikka ovat varsin selkeitä, mutta kolmas faktori on ongelma. Tässä vaiheessa kannattaa tarkastella rotaatiota.
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 5 Rotatoitu faktoriratkaisu, 5 faktoria Graafinen rotaatio on paras, koska silloin voidaan faktoreiden suunnat hienosäätää oikein. Nop Voim Kest Käs.m Jal.m h 2 100m 0.93-0.07-0.10-0.22 0.10 0.94 400m 0.49-0.21 0.46-0.10 0.12 0.52 Korkeu -0.42 0.12-0.21 0.20 0.09 0.28 Kuula 0.00 0.80-0.31 0.08 0.11 0.75 Kiekko 0.06 0.70-0.46 0.22 0.05 0.76 Seiväs 0.00-0.27-0.10-0.17-0.10 0.12 1500m -0.25-0.18 0.85-0.14-0.21 0.87 Keihäs -0.04-0.03 0.02 0.81-0.10 0.66 Aidat 0.24 0.00-0.04-0.09 0.71 0.57 Pituus 0.18-0.16-0.09 0.24 0.38 0.27 λ j 1.44 1.32 1.31 0.91 0.76 5.75 Kaikilla faktoreilla on melkoisen selkeä tulkinta. Neljäs ja viides ovat hieman heikkoja, ja niihin olisi hyvä saada lisää parempia indikaattoreita.
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 6 Huomatkaa!! Jos edelläolevassa esimerkissä tutkija olisi ollut varma kolmen faktorin oikeellisuudesta, olisi huonoimmat osiot todella luokiteltu heikoiksi ja kenties heitetty kokonaan syrjään. Koska niille tuntui löytyvän jotain yhteistä, niin silloin kannatti ryhtyä etsimään niille yhteistä tekijää, joka tässä tapauksessa oli joko taitoa tai motoriikkaa. Rotatoiminen ei ole aina välttämätöntä, jos alkuperäinen ratkaisu tyydyttää, mutta on syytä muistaa, että faktoriratkaisu ei ole yksikäsitteinen ja tutkijan on aina syytä huolellisesti harkita, minkälaisessa muodossa hän aineistonsa esittää.
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 7 Ennustevaliditeetin arvioiminen Muodostamme havaittujen muuttujien avulla mitta-asteikon, jonka avulla ennustamme urheilijan painoa. Jos tiedossa on muuttuja, joka mittaa mainittua ominaisuutta, niin silloin voimme regressioanalyysin avulla muodostaa asteikon, joka maksimoi validiteetin. Muut. Regr.k Vieressä olevia 100m -0.016 regressiokertoimia Pituus -0.003 käyttämällä voi- Kuula 0.048 daan muodostaa Korkeu -0.005 asteikko, jonka 400m -0.008 validiteetti on Aidat 0.010 R=0.7762. Kiekko 0.027 Asteikon muut Seiväs -0.021 tunnusluvut: Keihäs -0.016 min=72.3 max=98.6 1500m -0.008 keskiarvo=85.6 vakio 83.28 hajonta=5.31 R=0.7762 R 2 =0.6024 s paino =6.848
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 8 Mittauksen reliabiliteetti Ennen kuin mitta-asteikkojen muodostamista tarkistetaan eri dimensioiden mittauksen reliabiliteetit: Nop Voim Kest Käs.m Jal.m ρ uu 0.886 0.891 0.651 0.633 0.589 Regressioennusteen reliabiliteetti on: ρ uu = 0.816 Mittauksen keskivirhe ja luottamusväli Hajonnan ja reliabiliteetin avulla määrätään mittauksen keskivirhe ja luottamusväli. Mittauksen keskivirhe: σ(ε)=σ u *sqrt(1-ρ uu ) σ u =5.31479 ρ uu =0.816624 σ(ε)=2.275921910225 P{ala<u<ylä}=.95 (approksimatiivisesti) alaraja=u-2*σ(ε) yläraja=u+2*σ(ε) Luottamusvälin_pituus=yläraja-alaraja Jos u=85 alaraja.=80.5 yläraja.=89.6 Luottamusvälin_pituus.=9.1
Lauri Tarkkonen: Validiteetti ja reliabiliteetti 9 Ennusteen keskivirhe ja luottamusväli Hajonnan ja validiteetin avulla arvioidaan ennusteen keskivirhe ja luottamusväli. Ennusteen keskivirhe: σ y x =σ y *sqrt(1-ρ yu ) s Weight => σ y =6.848 R=> ρ yu =0.7762 σ y x =3.24 P{ala<u<ylä}=.95 (approksimatiivisesti) alaraja=u-2*σ y x yläraja=u+2*σ y x Luottamusvälin_pituus=yläraja-alaraja Jos u=85 alaraja.=78.5 yläraja.=91.5 Ennusteen_luottamusvälin_pituus.=13.0