TUTKIMUSKURSSI I (407040A-02), OSA A), KVANTITATIIVISEN TUTKIMUKSEN PERUSKURSSI, TILASTOLLISET ANALYYSIMENETELMÄT

Transkriptio

1 TUTKIMUSKURSSI I (407040A-02), OSA A), KVANTITATIIVISEN TUTKIMUKSEN PERUSKURSSI, TILASTOLLISET ANALYYSIMENETELMÄT Jouni Peltonen, 2016 jouni.peltonen@oulu.fi ktk331 Jouni Peltonen

2 Miten kurssi suoritetaan, perustapaus: -TA-luentosarja ja harjoitusryhmät suoritetaan yhtenä kokonaisuutena (3 op) tekemällä joukko tilastoaineiston analyysiin liittyviä tehtäviä -analyysitehtäviä ja vuokaaviotehtävä Jouni Peltonen

3 Jos suoritat vain TA-luentosarjan (-02) -tee ensimmäisen pienryhmäkerran tehtävä- Kokonaisuus ja -joukko luentosarjaan perustuvia analyysitehtäviä ja vuokaaviotehtävä Jos suoritat vain harjoitusryhmät -tee joukko tietokonepohjaisia analyysitehtäviä Jouni Peltonen

4 TA-luentosarja: -johdanto -yksiulotteisen jakauman kuvaaminen -kaksiulotteisen jakauman kuvaaminen -tilastollisen päättelyn perusteita -estimointi -tilastollinen testaus Jouni Peltonen

5 1. JOHDANTO 1.1 Mitä tilastotiede on Empiirinen tutkimus: (1) tietojen hankinnan suunnittelu ja toteuttaminen, (2) aineiston analysointi, joka voidaan jakaa kahteen tilastotieteen osa-alueeseen (a) kuvailu ja (b) päättely ja (4) tulosten esittäminen. Jouni Peltonen

6 2. OTANTA JA OTANTAMENETELMÄT 2.1. Otantaan liittyvät peruskäsitteet -perusjoukko eli populaatio (population) -kokonaistutkimus ja otantatutkimus -otos (sample) ja otanta (sampling) -näyte Jouni Peltonen

7 2. OTANTA JA OTANTAMENETELMÄT 2.1. Otantaan liittyvät peruskäsitteet -perusjoukko eli populaatio (population) -kokonaistutkimus ja otantatutkimus -otos (sample) ja otanta (sampling) -näyte Jouni Peltonen

8 Otantatutkimus, jos (1) perusjoukko on hyvin suuri tai ääretön, (2) koko perusjoukon tutkiminen maksaisi liikaa, kestäisi pitkään tai olisi liian monimutkaista (3) mittaus tuhoaa tutkittavat yksiköt ja/tai (4) ei-otantavirheet saadaan näin pienenemään Edustava otos ja harhainen otos, demonstraatio Jouni Peltonen

9 Edustavuusanalyysi, esimerkki: Jouni Peltonen

10 Edustavuusanalyysi, esimerkki: Jouni Peltonen

11 2.3. Otantamenetelmät Yksinkertainen satunnaisotanta (YSO) (Simple random sampling) Esimerkki YSO:sta: Jouni Peltonen

12 Systemaattinen otanta (SO) (systematic sampling) Esimerkki SO:sta: Jouni Peltonen

13 Nimi 1. A 2. B 3. C 4. D 5. E 6. F 7. G 8. H 9. I 10. J 11. K 12. L Poiminta N = 12 n = 4 k = N/n = 12/4 = 3, joka kolmas havaintoyksikkö poimitaan. Aloituskohta arvotaan a) koko listasta b) 1. poimintavälistä. Jouni Peltonen

14 Nimi Poiminta 1. A 2. B 3. C 4. D 5. E 6. F 7. G 8. H 9. I 10. J 11. K 12. L Jouni Peltonen

15 Nimi Poiminta 1. A 2. B X 3. C 4. D 5. E X 6. F 7. G 8. H X 9. I 10. J 11. K X 12. L Jouni Peltonen

16 Nimi Poiminta 1. A 2. B X 3. C 4. D 5. E X 6. F 7. G 8. H X 9. I 10. J 11. K X 12. L MIHIN TÄTÄ ENÄÄ TARVITAAN? Jouni Peltonen

17 Nimi ja ikä Poiminta 1. A B 21 X 3. C D E 29 X 6. F G H 41 X 9. I J K 55 X 12. L 62 Jouni Peltonen

18 Ositettu otanta (OO) (stratified sampling) Tasainen kiintiöinti Jokaisesta ositteesta poimitaan otokseen yhtä monta havaintoa eli n 1 = n 2 =... = n L = n/l. Esimerkki: Jouni Peltonen

19 Ositettu otanta (OO) (stratified sampling) Tasainen kiintiöinti Jokaisesta ositteesta poimitaan otokseen yhtä monta havaintoa eli n 1 = n 2 =... = n L = n/l. Esimerkki: Jouni Peltonen

20 Suhteellinen kiintiöinti Ositteiden otoskoot määrätään perusjoukon suhteessa. Suuresta ositteesta valitaan suuri otos ja pienestä ositteesta pieni. Ositteen i otoskoko voidaan määrätä seuraavalla kaavalla: n n N / i i N Jouni Peltonen

21 Esimerkki: L 1 : N 1 = 379 L 2 : N 2 = 6621 N = 7000 n = 300 n1 n N1 / N / ,24 16 n2 n N2 / N / , Jouni Peltonen

22 Perusjoukko: Otos, suhteellinen kiintiöinti: Otos, tasainen kiintiöinti: Jouni Peltonen

23 Ryväsotanta (RO) (cluster samplig) Poiminta on yksi- tai monivaiheista: (1) Valitaan havaintoyksikköä suurempia kokonaisuuksia ja tutkitaan näin saatuihin ryppäisiin kuuluvat havaintoyksiköt tai (2) Valitaan suurempia kokonaisuuksia (esimerkiksi kouluja, koululuokkia) ja tämän jälkeen suoritetaan valituksi tulleiden ryppäiden sisällä uusi varsinaisiin havaintoyksikköihin kohdistuva otanta. Jouni Peltonen

24 Esimerkki: N = 500, IQ kiinnostaa Jos YSO, n = 30 Jos ryväsotanta, neljä ryvästä, n 100 Jouni Peltonen

25 1) Jos ryvästyminen on tutkittavien ominaisuuksien suhteen sattumavaraista Poimitaan neljä arvottua ryvästä: vrt. Jouni Peltonen

26 2) Jos ryvästyminen ei ole tutkittujen ominaisuuksien suhteen sattumanvaraista: Poimitaan neljä arvottua ryvästä: vrt. Jouni Peltonen

27 3.TAUSTAA KVANTITATIIVISEN/ TILASTOLLISEN AINEISTON ANALYYSILLE 3.1. Mittaus ja mitta-asteikot Havainto- tai tilastoyksikkö, tilastollinen muuttuja ja mittaus Jouni Peltonen

28 -havainnointi on mittausta -mittauksen kohde on havainto- tai tilastoyksikkö a i, erityisesti jokin siihen liittyvä ominaisuus x, y, z, Näitä ominaisuuksia kutsutaan tilastollisiksi muuttujiksi. -mittaustapahtumassa tilastoyksikön a i ominaisuuteen eli tilastolliseen muuttujaan x j liitetään mittaluku tai mittasymboli x ij. Jouni Peltonen

29 -esimerkkejä mittaustapahtumasta: Jouni Peltonen

30 Mittaustulokset kootaan yleensä havaintomatriisiin: Jouni Peltonen

31 -mittari eli mittafunktio: -sääntö tai sääntökokoelma, ohje, neuvo Jouni Peltonen

32 Mitta-asteikot Jouni Peltonen

33 (A) luokitteluasteikko: Jouni Peltonen

34 (B) Järjestysasteikko: Jouni Peltonen

35 Esimerkki 3.5, sidoksen käsite. On mitattu järjestysasteikollinen tuntiaktiivisuus-muuttuja, tehdään raaka-arvoille muunnos järjestysluvuiksi: Jouni Peltonen

36 Esimerkki 3.5, sidoksen käsite. On mitattu järjestysasteikollinen tuntiaktiivisuus-muuttuja, tehdään raaka-arvoille muunnos järjestysluvuiksi: (x) R(x) 4,5 3 1,5 1,5 6 4,5 7 8,5 8,5 Jouni Peltonen

37 (C) Välimatka-asteikko: Jouni Peltonen

38 (C) Suhdeasteikko ja absoluuttinen asteikko: Jouni Peltonen

39 johdetut suureet: -"suhdesuureet", pinta-ala jne. -myös summamuuttujaa voi ajatella johdettuna suureena! Moniulotteiset suureet eli vektorisuureet Joissain tapauksissa mittaustaso voi asettua edellä esitettyjen asteikkojen väliin! Erityiskysymys: Likert-skaalan tuottaman aineiston mitta-asteikko? Jouni Peltonen

40 4. MUUTTUJIEN KUVAAMINEN Huomio: kaikki empiirinen "tieto" on jo olemassa havaintomatriisissa! Jouni Peltonen

41

42

43

44 Correlati ons Spearman's rho KodinSES Älykkyy s Koulumenes ty s Correlation Coef ficient Sig. (2-t ailed) N Correlation Coef ficient Sig. (2-t ailed) N Correlation Coef ficient Sig. (2-t ailed) N Koulume KodinSES Älykkyy s nesty s 1, 000,062,498.,827, ,062 1, 000,454,827., ,498,454 1, 000,059, Jouni Peltonen

45

46 Miten valita tilastollinen/graafinen esitystapa? (1) mitä taulukon tai kuvion avulla halutaan sanoa ja (2) mille mittaustasolle tai mittaasteikoille sopii mikäkin esitys. Jouni Peltonen

47 Yksiulotteinen frekvenssijakauma eli suora jakauma Tiettyyn luokkaan Ei kuuluvaa havaintojen lukumäärää kutsutaan frekvenssiksi ja merkitään fi. Jouni Peltonen

48 Jouni Peltonen

49 Esimerkki: Seuraava aineistossa on esitetty erään opiskelijajoukon tilanne opintojen valmistumisen suhteen (0 = keskeytti opinnot, 1 = valmistui ja 2 = muu tilanne): Jouni Peltonen

50 Kysymys: frekvenssitaulu antaa ilman muuta nopeamman yleiskuvan kuin matriisi tai vastaava, mutta samalla menetetään informaatiota. Mitä menetettiin? Jouni Peltonen

51 Esimerkki 4.2. Seuraava aineisto on eräälle kurssille osallistuneiden opiskelijoiden iät Luokitus voi olla (1) tasavälinen Jouni Peltonen

52 Luokitus voi olla (1)Tasavälinen Add 1. Miten saadaan alkuperäisestä kvantitatiivisesta aineistosta tasavälinen luokitus halutulla luokkien lukumäärällä? (Keinänen 2008) Jouni Peltonen

53 Jouni Peltonen

54 Jouni Peltonen

55 Jouni Peltonen

56 Jouni Peltonen Jouni Peltonen

57 Jouni Peltonen

58 Jouni Peltonen

59 Pyöristetyt luokkarajat ,5 20,5 24, ,5 36,5 ikä (vuosia) Todelliset luokkarajat Jouni Peltonen

60 Luokkavälin pituus luokituksessa voidaan laskea (4.1.)c i = luokan E i todellinen yläraja - luokan E i todellinen alaraja. Esim. c 1 = 20,5-16,5 = 4 Luokan E i todellinen luokkakeskus x i määrätään pyöristetyn ylärajan ja alarajan keskiarvona: Jouni Peltonen

61 (4.2.) x i = ½ ( luokan E i yläraja + luokan E i alaraja) Esim. x 1 = ½ ( ) = ½ 37 = 18,5. Jouni Peltonen

62 Taulukko 4.2. Kurssille osallistuneiden opiskelijoiden iän frekvenssijakauma Jouni Peltonen

63 i l cp c V T SM T Jouni Peltonen

64 Varoitus: luokitusta voi käyttää tulosten manipulointiin! Huomio: luokitus - pyöristys - mittaustarkkuus Jouni Peltonen

65 Luokkien sopiva lukumäärä? Jouni Peltonen

66 Luokkien sopiva lukumäärä? Jouni Peltonen

67 Suhteellinen frekvenssi fi/n on frekvenssin fi osuus kaikista muuttujan saamista arvoista: Tavallisesti suhteelliset frekvenssit esitetään prosentteina (100 % fi). Jouni Peltonen

68 Jouni Peltonen

69 Jouni Peltonen

70 Jouni Peltonen

71 Jouni Peltonen

72 Jouni Peltonen

73 Jouni Peltonen

74 Jouni Peltonen

75 Yksiulotteisen frekvenssijakauman graafisesta kuvaamisesta Pylväsdiagrammi Jouni Peltonen

76 Jouni Peltonen

77 Histogrammi Histogrammi muodostuu suorakulmioista, joiden kantojen kärkipisteinä ovat todelliset luokkarajat, i = 1, 2,, l ja korkeuksina vastaavat frekvenssit f i. Jouni Peltonen

78 Jouni Peltonen

79 Add. Histogrammi vs. Pylväsdiagrammi Muuttuja x 1 on saatu arpomalla z- jakaumasta arvoja. Jouni Peltonen

80 Pylväsdiagrammi Histogrammi Jouni Peltonen

81 Jouni Peltonen

82 Yhden muuttujan tilastollisesta kuvaamisesta - empiirisen jakauman tunnuslukuja Jouni Peltonen

83 Jouni Peltonen

84 (B) Mediaani (Md) on keskimmäinen havaintoarvo (tai sitä vastaava ekvivalenssiluokka) järjestetyssä havaintojoukossa, kun havaintojen määrä n on pariton. Jos n on parillinen, mediaani on jompikumpi keskimmäisistä arvoista tai (vähintään välimatkaasteikolla) niiden keskiarvo. Jouni Peltonen

85 Jouni Peltonen

86 (C) Fraktiilit, laatikko-janakuvio: -mediaani on 50 % fraktiili. -yleisesti p-prosentin fraktiili x p jakaa järjestetyn havaintoaineiston kahteen osaan siten, että korkeintaan fraktiilin x p suuruisia havaintoja on p % kaikista havainnoista 25 % fraktiilia kutsutaan alakvartiiliksi (merkitään Q 1 ) 75 % fraktiili on nimeltään yläkvartiili (merkitään Q 3 ). Jouni Peltonen

87 Jouni Peltonen

88 Jouni Peltonen

89 Desiilit ovat 10 %, 20 %,..., 90% fraktiileja. Jouni Peltonen

90 x x x Suurin arvo 90 % desiili Äärimmäiset arvot Yläkvartiili Q3 Mediaani Md 50 % arvoista Alakvartiili Q1 x x 10 % desiili Pienin arvo Äärimmäiset arvot Jouni Peltonen

91 ulompi yläraja * 119 extreme-/far outeli voimakkaasti poikkeava arvo sisempi yläraja askel askel sisempi alaraja Q 3 Md Q 1 (2. askel) (2. askel) Joko a) 1,5. ( Q 3 -Q 1 ) = askel tai b) x ( n ) - Q 3 Q 3 -Q 1 (kvartiilivälin pituus) Joko a) 1,5. ( Q 3 -Q 1 ) = askel tai b) - x (1) Q 1 Outlier-/outsideeli poikkeava arvo ulompi alaraja Jouni Peltonen

92 Jouni Peltonen

93 ( x,, (C) Aritmeettinen keskiarvo (M, ) Kysymys: mitä aritmeettinen keskiarvo muuttujan jakaumasta kertoo? Jouni Peltonen

94 Jouni Peltonen

95 ( x,, Leikattu keskiarvo, Winsoroitu keskiarvo ja muut robustit keskiarvoestimaattorit Esimerkki: Jouni Peltonen

96 Jouni Peltonen

97 Jouni Peltonen

98 Jouni Peltonen

99 Figure 7. Mean and standard deviation of male and female subjects in IQ (RPM) Jouni Peltonen

100 Figure 7. Distributions of male and female subjects in IQ (RPM) Jouni Peltonen

101 Figure 8. Pre-treatment and post-treatment means of IQ Jouni Peltonen

102 Hajontaluvut Miksi hajonnan mittaaminen tieteellisessä tutkimuksessa on vähintään yhtä tärkeää kuin jakauman sijainnin? Jouni Peltonen

103 (A) Luokitteluasteikolle sopivia hajontalukuja: entropia ja entropiasuhde, laadullisen vaihtelun indeksi (B) Vähintään järjestysasteikolle sopivia hajonnan mittoja: (C) Vähintään intervalliasteikolle sopivia hajonnan mittoja: Jouni Peltonen

104 Jouni Peltonen

105 Jouni Peltonen

106 Esimerkki: keskipoikkeaman, otosvarianssin ja otoskeskihajonnan laskeminen Jouni Peltonen

107 Jouni Peltonen

108 Jouni Peltonen

109 Jouni Peltonen

110 Jouni Peltonen

111 Momentit, vinous ja huipukkuus Muuttujan x k:s momentti origon suhteen eli origomomentti on Muuttujan x k:s keskusmomentti eli momentti keskiarvon suhteen on Jouni Peltonen

112 Kuvio Oikealle vino eli positiivisesti vino jakauma Jouni Peltonen

113 Kuvio Vasemmalle vino eli negatiivisesti vino jakauma Jouni Peltonen

114 Vinousmittoja: Jouni Peltonen

115 Huipukkuus ja huipukkuusmitat: Mesokurtinen (normaalijakauma) Leptokurtinen (normaalijakaumaa huipukkaampi) Platykurtinen (normaalijakaumaa latteampi/ laakeampi) Jouni Peltonen

116 Esimerkki: Tarkastellaan empiirisen muuttujan jakauman vinoutta ja huipukkuutta. Kuvio Läheisesti normaalijakaumaa noudattavan muuttujan histogrammi Jouni Peltonen

117 Esimerkki: Tarkastellaan empiirisen muuttujan jakauman vinoutta ja huipukkuutta. Jouni Peltonen

118 4.2. Kaksiulotteisen jakauman (kahden muuttujan) kuvaaminen Kaksiulotteisen jakauman käsite Jouni Peltonen

119 4.2. Kaksiulotteisen jakauman (kahden muuttujan) kuvaaminen Kaksiulotteisen jakauman käsite Jouni Peltonen

120 Jouni Peltonen

121 Jouni Peltonen

122 Muuttujaparin (x, y) kaksiulotteisella empiirisellä jakaumalla tarkoitetaan taulukkoa Jouni Peltonen

123 Luokitteluasteikollisten muuttujien kaksiulotteinen kuvaaminen

124 Havaittu (solu)frekvenssi f o Odotettu frekvenssi f e Ehdollinen prosenttinen frekvenssi tai riviprosentti Jouni Peltonen

125 Kysymys: mitä keskeistä taulukosta havaitaan ehdollisia prosentuaalisia osuuksia tarkastelemalla?

126 Jouni Peltonen

127 Jouni Peltonen

128 Jouni Peltonen

129 Jouni Peltonen

130 Luokitteluasteikolliset muuttujat: kontingenssitauluun perustuvat riippuvuusluvut Jouni Peltonen

131 Jouni Peltonen

132 Tehtävä: laske edellisen esimerkin Khiin neliö arvon perusteella C:n arvo esimerkkiaineistossa. Jouni Peltonen

133 Vähintään järjestysasteikolliset muuttujat Jouni Peltonen

134 Jouni Peltonen

135 Kysymys: Mitä Spearmanin järjestyskorrelaatiokerroin ilmaisee? Mitä kaavassa "tapahtuu"? Jouni Peltonen

136 Vähintään välimatka-asteikolliset muuttujat Jouni Peltonen

137 Jouni Peltonen

138 Jouni Peltonen

139 Kysymys: Mitä Pearsonin tulomomenttikorrelaatiokerroin ilmaisee? Mitä kaavassa "tapahtuu"? Jouni Peltonen

140 y y y a) ei korrelaatioita, r = 0 x b)positiivinen lineaarinen korrelaatio, r saa positiivisen arvon x c) negatiivinen lineaarinen korrelaatio, r saa negatiivisen arvon x y y y d) täydellinen posiitivinen lineaarinen riippuvuus, r =1 x e) täydellinen negatiivinen lineaarinen riippuvuus, r =-1 x f) nonlineaarinen riippuvuus, r = lähellä nollaa x Jouni Peltonen

141 Jouni Peltonen

142 Jouni Peltonen

143 Jouni Peltonen

144 Jouni Peltonen

145 Jouni Peltonen

146 Jouni Peltonen

147 Jouni Peltonen

148 a RP S N RP S N Korrelaatiokertoimien tulkinnasta ja käyttämisestä (1) mitta-asteikot; (2) Jos r xy = 0, on silti mahdollista, että x-y (3) kaksiulotteiset outlier-arvot: Jouni Peltonen

149 Jouni Peltonen

150 Jouni Peltonen

151 Jouni Peltonen

152 (4) Ryhmien yhdistäminen ja erottaminen: Jouni Peltonen

153 (4) Huomio: tutkimusongelmat voivat olla myös muotoa Miten x:n ja y:n yhteydet eroavat toisistaan ryhmissä 1, 2,, k? Miten z moderoi x:n ja y:n yhteyttä? Miten z:n tavat moderoida x:n ja y:n yhteyttä eroavat toisistaan ryhmissä 1, 2,, k? Jouni Peltonen

154 (4) Ryhmien yhdistäminen ja erottaminen: (5) Muuttujien mittayksiköt ja niiden vaihtelun määrä vaikuttavat diagrammiin (6) Vain Pearsonin tulomomenttikorrelaatiokerroin on perusjoukon korrelaatiokertoimen estimaattori. (7) Kahden muuttujan välinen korkea korrelaatio ei osoita kausaalisuhdetta. Miksi ei? Jouni Peltonen

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191 Esimerkki 5.7. Keskustan pysäkiltä lähtee linja-autoja linnanmaalle 10 minuutin välein. Pysäkille saapuvan matkustajan minuutteina ilmoitettu odotusaika on satunnaismuuttuja, jonka arvona voi olla mikä hyvänsä välillä [0, 10[ oleva reaaliluku. Jos matkustaja ei tunne aikataulua, ovat kaikki odotusajat (ainakin matkustajan subjektiivisesta näkökulmasta) yhtä mahdollisia. Jakaumaa voidaan tällöin kuvata funktiolla, joka saa vakioarvon a välillä [0, 10[. Vakion a arvoa määriteltäessä otetaan lähtökohdaksi mahdollisten odotusaikojen muodostama väli [0, 10[. Tämän ja suoran p i = a väliin jää suorakulmion muotoinen alue, jonka pintaala asetetaan vastaamaan varman tapauksen todennäköisyyttä (1). Täten 10 a = 1, josta a = 1/10. Näin saatu funktio f(x) = 1/10, kun 0 x < 10 on kyseisen satunnaismuuttujan tiheysfunktio.

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241 Pyöristyksistä:

242

243

244

245

246

247 Olkoon koeryhmä 1 ja kontrolliryhmä 2. Jokaiselle näiden ryhmien jäsenelle lasketaan erotuspistemäärä d lopputestin ja alkutestin erotuksena. Testauskelpoiset tilastolliset Hypoteesit voidaan nyt muotoilla esimerkiksi seuraavasti: H 0 : d 1 d 2 H 0 : d 1 > d 2

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280