MTTTA1 Tilastomenetelmien perusteet 5 op Luento , osa 1. 1 Kokonaisuudet johon opintojakso kuuluu

Transkriptio

1 /1 MTTTA1 Tilastomenetelmien perusteet 5 op Luento , osa 1 1 Kokonaisuudet johon opintojakso kuuluu &idx=1&uilang=fi&lang=fi&lvv=2017

2 /2 2 Osaamistavoitteet x=1&uilang=fi&lang=fi&lvv=2017 Opiskelija osaa käyttää opintojaksolla esiteltyjä tilastollisia menetelmiä sekä ymmärtää niihin liittyvän teorian. Hän osaa annetussa tutkimustilanteessa suorittaa tilastollisen päättelyn joko valmiiksi annettujen tai itse laskemiensa tulosten perusteella. Hän osaa valita asetettuun tutkimusongelmaan liittyen sopivan menetelmän, suorittaa tilanteeseen sopivalla ohjelmistolla kyseisen analyysin sekä tulkita saadut tulokset.

3 /3 Esim. Tampereella keväällä 2006 myynnissä olleita kerrostalohuoneistoja, aineisto _2006.sav sivulta a/ Tutkimuskohteita 1) Vaikuttaako sijainti neliöhintaan? y = neliöhinta x = sijainti SPSS-harj. 1 teht. 3a

4 /4 2) Vaikuttaako huoneiden lukumäärä neliöhintaan? Miten sijainti vaikuttaa tähän riippuvuuteen? y = neliöhinta x = huoneiden lukumäärä (luokiteltuna) z = sijainti SPSS-harj. 1 teht. 3b

5 /5 3) Vaikuttaako sijainti huoneiden lukumäärään? y = huoneiden lukumäärä (luokiteltuna) x = sijainti SPSS-harj. 2 teht. 3 4) Miten huoneiston koko vaikuttaa hintaan? Miten sijainti vaikuttaa tähän riippuvuuteen? y = hinta x = neliöt z = sijainti SPSS-harj. 3 teht. 2

6 /6 3 Kurssin kotisivu Kurssi-info (sisältö, tentit, harjoitushyvitys) Luennot, luentorunko, kaavat, taulukot Harjoitukset, tehtävät, ohjeet (Moodle), ratkaisut Esimerkkiaineistoja Oheiskirjallisuutta Usein kysyttyä Linkkejä

7 /7 4 Kertausta Seuraaviin kohtiin 1) 8) on koottu lyhyesti olennaisimmat asiat, jotka oletetaan opintojaksolla tunnetuiksi aiempien opintojen perusteella. 1) Empiiriset jakaumat yksiulotteiset taulukot, graafiset esitykset, tunnusluvut kaksiulotteiset ristiintaulukko, pisteparvi, korrelaatiokerroin ehdolliset jakaumat riippuvuus, ehdolliset tunnusluvut, laatikkojana-kuvio toteutus SPSS:llä (tai muulla ohjelmistolla)

8 /8 2) Satunnaismuuttuja X todennäköisyysjakauma, tiheysfunktio f(x) kertymäfunktio F(x) = P(X x) E(X) = µ, Var(X) = 2 3) Todennäköisyysjakaumia X ~ N(µ, 2 ), Z = (X - µ)/ ~ N(0, 1) P(Z z) = (z), P(Z z ) =, P(Z z /2 ) = /2 Studentin t-jakauma P(t df t,df ) =, P(t df t /2,df ) = /2

9 /9 4) Satunnaisotos X 1, X 2,..., X n Luentorunko s. 3 entorunko.pdf#page=4 5) Otossuure, otosjakauma Esim. X ~ N(µ, 2 /n), jos satunnaisotos normaalijakaumasta.

10 /10 6) Estimointi Estimointi on populaation tuntemattoman parametrin arviointia otossuureen avulla. Voidaan myös muodostaa väli (luottamusväli), jolla arvioidaan tuntemattoman parametrin olevan. Estimaattori otossuure, jolla estimoidaan tuntematonta parametria. Estimaatti on estimaattorin arvo. Harhaton estimaattori Estimaattorin keskivirhe (= estimaattorin keskihajonta)

11 /11 7) Testaus Tilastollinen hypoteesi väite populaatiosta, usein populaation jakauman parametrista. Hypoteesin testaus on väitteen tutkimista otoksen perusteella. Asetetaan nollahypoteesi (H 0 ) ja vaihtoehtoinen hypoteesi (H 1 ). Testisuure on otossuure, jota käytetään hypoteesin tutkimisessa.

12 /12 Testisuureen jakauma tunnetaan nollahypoteesin ollessa tosi. Otoksesta lasketun testisuureen arvon perusteella nollahypoteesi hyväksytään tai hylätään kiinnitetyllä riskitasolla. p-arvo on pienin riskitaso, jolla H 0 voidaan hylätä. Ks. testauksen vaiheet tarkemmin luentomoniste s entorunko.pdf#page=5

13 /13 8) Joitain testaustilanteita H 0 : µ 1 = µ 2 Jos H 0 on tosi, niin

14 /14 Esim Riippumattomien otosten t-testi odotusarvojen yhtäsuuruuden testaamiseksi. Suoritusajat testissä ryhmittäin: Normaali 204, 218, 197, 183, 227, 233, 191 Kehitysh. 243, 228, 261, 202, 343, 242, 220, 239 H 0 : = K H 1 : < K

15 /15 = = 1453 = = SS N = (1453/7) 2 = 2135,714 = = 1978 = = SS K = (1978/8) 2 = 12631,5

16 /16 -t 0,01;13 = -2,65 < t hav. < -2,16 = -t 0,025;13 H 0 voidaan hylätään 2,5 %:n riskitasolla, mutta ei 1 %:n riskitasolla.

17 SPSS-tulos /17

18 /18

19 /19 H 0 : = 0 Jos H 0 on tosi, niin Esim. Öljy-yhtiö väittää, että erään kaupungin asunnoista 20 % lämmitetään öljyllä. Onko kuitenkin syytä olettaa, että vähemmän kuin viidesosa asunnoista lämmitetään öljyllä, jos 1000 satunnaisesti valitusta kaupungin asunnosta vain 160 lämmitettiin öljyllä?

20 /20 Nyt H 0 : = 20 H 1 : < 20 Jos H 0 tosi, niin Aineiston perusteella testisuureen arvoksi saadaan. z 16 20( ) /1000 3,16 z 0,001 3,08

21 /21 H 0 hylätään 0,1 %:n riskitasolla. Päätellään, että alle viidesosa lämmitetään öljyllä. Pienin riskitaso, jolla H 0 voidaan hylätä, on P(Z < -3,16) = 1 - (3,16) = 1 0,9992 = 0,0008.

22 /22 Lisätietoja: Luentorungon luvussa 1 orunko.pdf#page=3 on lyhyt kertaus olennaisimmista asioista, jotka oletetaan opintojaksolla tunnetuiksi aiempien opintojen perusteella.

23 /23 Tarvittaessa kertaukseen ja tietojensa täydentämiseen voi käyttää kurssien MTTTP1 ( ) MTTTP5 ( ) materiaaleja.

24 /1 MTTTA1 Tilastomenetelmien perusteet Luento , osa 2 Luku 2 Varianssianalyysi 2.1 Yksisuuntainen varianssianalyysi Esim Tutkitaan golfpallojen keskimääräisiä lentomatkoja, saadaan tulokset: Merkki Keskiarvo Keskihajonta Lukumäärä A 251,28 5, B 261,06 3, C 269,95 4,501 10

25 /2 H 0 : µ A = µ B = µ C H 1 : kaikki µ:t eivät samoja F-testisuure H 0 :n testaamiseksi Annettujen lukujen perusteella voidaan laskea testisuureelle arvo, saadaan F hav. = 36,87 ja p-arvo < 0,0001. Hylätään H 0 ja päätellään odotusarvoissa olevan eroja.

26 /3 Fisherin F-jakauman tiheysfunktion kuvaajia F-jakauma määritellään kaksin vapausastein, F df1,df2

27 /4 Määritellään F ;df1, df2 siten, että P(F df1, df2 >F ;df1,df2 )=. Näitä arvoja taulukosta kun = 0,01 tai = 0,05.

28 /5 Esim Testisuure noudattaa H 0 :n ollessa tosi F-jakaumaa vapausastein 2 ja 27. F 0,01;2,27 = 5,49 < F hav. = 36,87, joten H 0 hylätään 1 %:n riskitasolla.

29 /6 Esim Tutkitaan keskimääräisiä neliöhintoja Tampereen keskustassa, Länsi- ja Itä-Tampereella H 0 : µ K = µ L = µ I H 1 : kaikki µ:t eivät samoja Aineisto sivulta

30 /7 Koska p-arvo < 0,001, hylätään ja päätellään eroja olevan. Päättely taulukkoarvon ( ) perusteella: F 0,01; 2, 226 4,61 < F hav. = 173,035, joten H 0 hylätään 1 %:n riskitasolla.

31 /8 Onko kaikkien alueiden välillä eroja? Länsi- ja Itä-Tampereen välillä ei eroja, muissa on. Tutkitaan odotusarvojen yhtäsuuruutta pareittain, päättely p-arvon tai luottamusvälin perusteella.

32 /9 Varianssianalyysin liittyvät oletukset ja laskukaavat Y 11, Y 12,, Y 1n1 satunnaisotos N(µ 1, ):sta Y 21, Y 22,, Y 2n2 satunnaisotos N(µ 2, ):sta... Y I1, Y I2,, Y InI satunnaisotos N(µ I, ):sta Oletetaan, että = = = riippumattomia. ja otokset H 0 : µ 1 = µ 2 = = µ I H 1 : kaikki µ:t eivät samoja

33 /10 SST = ( ), =, = + SSB=, = = ( ) = SST = SSB + SSW MSB = SSB/(I-1) MSW = SSW/(n-I) E(MSW) = 2 aina E(MSB) = 2, jos H 0 tosi F = MSB/MSW ~F I-1, n-i, kun H 0 tosi H 0 hylätään riskitasolla, jos F hav > F ; I-1, n-i.

34 /11 Esim Valmennusmenetelmien vaikutus urheilusuoritukseen H 0 : µ 1 = µ 2 = µ 3 H 1 : kaikki odotusarvot eivät samoja Urheilusuoritukset menetelmittäin Menetelmä 1: 6, 4, 6, 4 Menetelmä 2: 14, 9, 10, 11 Menetelmä 3: 5, 11, 8, 8

35 /12

36 /13 F 0,01; 2, 9 = 8,02 < F hav. = 9, joten H 0 hylätään 1 %:n riskitasolla. Voidaan sanoa, että p-arvo = P(F 2,9 > 9) <0,01.

37 /14

38 SPSS-tulos /15

39 /16 Jos H 0 : µ 1 = µ 2 = = µ I hylätään, niin voidaan tutkia mitkä odotusarvot poikkeavat toisistaan. Tutkitaan odotusarvoja pareittain testin tai luottamusvälin avulla. Esim Vain menetelmien 1 ja 2 välillä eroja.

40 /17 Oletusta varianssien yhtäsuuruudesta voidaan myös testata (Levenen testi). Tällöin H 0 : = =. Jos variansseja ei voida olettaa samoiksi (Levenen testin p-arvo < 0,05), niin käytetään Welchin tai Brown-Forsythen testejä odotusarvojen yhtäsuuruuden testaamisessa.

41 /18 Esim Varianssien yhtäsuuruuden testaaminen H 0 : = = Hyväksytään H 0, koska p-arvo = 0,811 > 0,05. Voidaan siis olettaa varianssit yhtä suuriksi.

42 /19 Nimitys varianssianalyysi tulee siitä, että testisuure on kahden varianssiestimaattorin osamäärä. Jos I = 2, niin H 0 : µ 1 = µ 2. Tällöin t 2 = F.

43 /1 MTTTA1 Tilastomenetelmien perusteet Luento Kertausta ja täydennystä 1-VA H 0 : µ 1 = µ 2 = = µ I H 1 : kaikki µ:t eivät samoja

44 /2 Oletetaan riippumattomat otokset: Y 11, Y 12,, Y 1n1 satunnaisotos N(µ 1, ):sta Y 21, Y 22,, Y 2n2 satunnaisotos N(µ 2, ):sta... Y I1, Y I2,, Y InI satunnaisotos N(µ I, ):sta Oletetaan lisäksi, että = = =.

45 /3 Neliösummat: ( ) = + ( ) 2 ks. kaavakokoelma

46 /4 Esim Tutkitaan autotyyppien A, B, ja C kulutusta (miles per gallon), orunko.pdf#page=15

47 /5

48 /6 Esim Tutkitaan golfpallojen keskimääräisiä lentomatkoja, saadaan tulokset: Merkki Keskiarvo Keskihajonta Lukumäärä A 251,28 5, B 261,06 3, C 269,95 4, H 0 : µ A = µ B = µ C H 1 : kaikki µ:t eivät samoja = 260,76, n = 30, I = 3, n 1 = n 2 = n 3 = 10

49 /7 = ( ) = = , , ,501 = 638,36 SSB= SSB = 10(251,28-260,76) (261,06-260,76) (269,95-260,76) 2 = 1744,17

50 /8 MSB = SSB/(I-1) MSB = 1744,17/2 = 872,08 MSW = SSW/(n-I) MSW = 638,36/27 = 23,64 F = MSB/MSW ~ F I-1, n-i, kun H 0 tosi F hav. = 872,08/23,64 = 36,87 > F 0,01;2,27 = 5,49, joten H 0 hylätään 1 %:n riskitasolla. Päätellään odotusarvoissa olevan eroja. Voidaan sanoa, että p- arvo = P(F 2,27 > 36,87) <0,01.

51 /9 Esim. Miehillä iän vaikutus kudostiheyteen Aineisto rasvaprosentti.sav sivulta

52 /10

53 /11 H 0 : µ 1 = µ 2 = µ 3 = µ 4 H 1 : kaikki odotusarvot eivät samoja Koska p-arvo <0,001, niin H 0 hylätään, päätellään eroja olevan. Monivertailusta huomataan, että kaikkien ikäryhmien välillä ei kuitenkaan ole eroja.

54 /12

55 /13 Populaatioiden varianssit voitiin olettaa samoiksi (H 0 : = = = hyväksytään, koska p-arvo 0,291>0,05), joten varianssianalyysin käyttö sallittua.

56 Varianssianalyysi nettilaskurilla: - > ANOVA -> /14

57 / Kaksisuuntainen varianssianalyysi Esim. Tutkitaan kolmen autotyypin polttoaineen kulutusta (kulutus = mailit/gallona) huomioiden kuljettajan ikä (5 ikäryhmää), aineisto oja/autotnb2va.sav Tehdään aluksi yksisuuntaiset varianssianalyysit.

58 y = kulutus x = autotyyppi /16

59 /17

60 /18

61 y= kulutus x = ikäryhmä /19

62 /20

63 /21

64 /22 Kulutuksen ehdolliset keskiarvot ryhmitellen sekä ikäryhmän että autotyypin mukaan

65 /23 Nyt y= kulutus x 1 = autotyyppi x 2 = ikäryhmä Suoritetaan kaksisuuntainen varianssianalyysi. Halutaan selvittää miten autotyyppi ja ikäryhmä yhdessä vaikuttavat kulutukseen. Tutkitaan autotyypin ikäryhmästä riippumatonta vaikutusta (omavaikutusta), ikäryhmän autotyypistä riippumatonta vaikutusta (omavaikutusta) sekä autotyypin ja ikäryhmän yhdysvaikutusta. Ks. #page=21

66 /24 Päätellään: ikäryhmittäin kuljettajien väliset erot erilaiset eri autotyypeillä. Myös molemmilla selittäjillä on omavaikutusta (p-arvot <0,01).

67 /25 SPSS-ohjeet Ehdolliset keskiarvot graafisesti Graphs-> Line-> Multiple-> Variable -> kulutus-> Category Axis-> ikaryhma -> Define line by->auto 2-VA General Linear Model -> Univariate -> Dependent -> kulutus-> Fixed Factors ->auto, ikaryhma, Model -> auto, ikaryhma, interaction

68 /26 Esim. Rakennusajan ja sijainnin vaikutus keskineliöhintaan, SPSS-monisteen esimerkki 19

69 /27 Aineisto sivulta

70 /1 MTTTA1 Tilastomenetelmien perusteet Luento Luku 3 2 -yhteensopivuus- ja riippumattomuustestit yhteensopivuustesti H 0 : otos peräisin tietystä jakaumasta H 1 : otos ei peräisin tästä jakaumasta Esim. H 0 : otos peräisin normaalijakaumasta H 0 : otos peräisin tasajakaumasta

71 /2 Esim. Eräällä kurssilla opiskelijat generoivat satunnaislukuja vastaamalla kysymyksiin: 1. Ravistele päätäsi ja arvo yksi kokonaisluku heittotulos: n=40 2. Ravistele päätäsi uudelleen ja arvo yksi kokonaisluku heittotulos: n=40

72 /3 3. Ravistele päätäsi ja heitä rahaa klaava kruuna heittotulos: 21 (52,5%) 19 n=40 4. Ravistele päätäsi uudelleen ja heitä rahaa klaava kruuna heittotulos: 13 (32,5%) 27 n=40 Voidaanko ajatella, että ensimmäinen kokonaisluvun valinta on otos diskreetistä tasajakaumasta? Jos olisi, niin jokainen numero olisi esiintynyt 4 kertaa. Voidaanko ajatella, että rahanheiton tulos on otos jakaumasta, jossa klaavoja 50 %? Jos olisi, niin klaavoja pitäisi olla 20 ja kruunia 20.

73 /4 Olkoot riippumattomat Z i ~N(0, 1), i = 1,, k. Tällöin noudattaa nk. jakaumaa vapausastein k, merkitään. Tällöin E( ) = k, Var( ) = 2k. jakauman tiheysfunktion kuvaaja, muoto riippuu vapausasteista

74 /5 Määritellään siten, että. Näitä arvoja on taulukoitu, ks.

75 /6 Tarkastellaan muuttujan frekvenssijakaumaa. Oletetaan, että jakaumassa on k kappaletta luokkia ja näiden luokkien frekvenssit f 1, f 2,, f k. Testataan sitä, ovatko havaitut frekvenssit sopusoinnussa H 0 :n mukaisten nk. teoreettisten eli odotettujen frekvenssien e 1, e 2,, e k kanssa.

76 /7 Jos H 0 : otos peräisin tietystä jakaumasta on tosi, niin = ~. H 0 hylätään riskitasolla, jos >,. Testiä voidaan käyttää, jos kaikki teoreettiset frekvenssit ovat > 1 ja enintään 20 % < 5.

77 /8 Esim. Rahanheitto H 0 : Otos peräisin jakaumasta, jossa klaavoja ja kruunia yhtä paljon 1. rahanheitto f i e i klaavoja kruunia = ( ) + ( ) = 0,1

78 /9., = 3,84 > = 0,1, H 0 hyväksytään 5%:n riskitasolla. Voidaan siis ajatella, että rahanheitto tehty satunnaisesti. 2. rahanheitto f i e i klaavoja kruunia = ( ) Koska + ( ) = 4,9., = 3,84 < = 4,9<., niin 0,025 < p-arvo < 0,05. = 5,02,

79 /10 Esim. Ystäväsi väittää, että suomalaisista 10 % on vasenkätisiä. Tutkit asiaa ja valitset satunnaisesti 400 suomalaista, joista 56 on vasenkätisiä. Uskotko ystäväsi väitteen? H 0 : 10 % suomalaisista on vasenkätisiä f i vasenkätisiä 56 0,1 400 = 40 ei-vasenkätisiä 344 0,9 400 = 360 e i = ( ) + ( ) = 7,11

80 /11 = 6,63 = 7,88,,,, H 0 hylätään 1 %:n riskitasolla, mutta ei 0,5 %:n riskitasolla, siis 0,005 < p-arvo < 0,01. Laskuri ja p- arvon arviointi p 0,008151

81 /12 Toisin H 0 : = 10 H 1 : /400 2,67 p-arvo = 2(1- (2,67)) = 2(1-0,9962) = 0,0076

82 /13 Jos 2 -yhteensopivuustestissä luokkien lukumäärä on kaksi, niin 2 = Z 2. Edellisessä esimerkissä 7,11 2,67 2.

83 /14 Esim Nopanheitto, orunko.pdf#page=26 H 0 : Otos peräisin Tasd(1, 6):sta silmäluku f i e i /6 = 20, / / / / /6

84 /15 = >., (8 20,3) 20,3 = 16, ,3 20,3 = 40,6 H 0 hylätään, nopanheitto ei ole tapahtunut satunnaisesti.

85 /16 Esim Asiakkaiden laskujen maksutavat, orunko.pdf#page=25 H 0 : ei tapahtunut muutosta H 1 : on tapahtunut muutos f i ajoissa 287 0,8x400 = kk myöhässä 49 0,1x400 = 40 2 kk myöhässä 30 0,06x400 = 24 yli 2 kk myöhässä 34 0,04x400 = 16 e i. = ( ) = 27,58 >., = 12,84 Päätellään muutosta tapahtuneen.

86 /17 Laskuri Pelkän p-arvon määrittäminen e_prob.html

87 /18 Esim Onko painoindeksi normaalisti jakautunut? orunko.pdf#page=26 H 0 : Otos peräisin N(25.58, ):sta Painoindeksi frekv. odotettu frekv. alle 20,1 9 11,5 = e 1 20,1-21,4 15 6,3 21,4-25, ,3 25,5-28, ,6 28,5-32, ,1 yli 32,2 9 7,

88 /19 e 1 = 97 P(X 20,1) = 97 ((20,1-25,58)/4,66) = 97 (-1,18) = 97 (1- (1,18)) = 97 0,119= 11,5 Vastaavalla tavalla lasketaan muidenkin luokkien odotetut frekvenssit. Saadaan = >., (9 11,5) 11,5 = 12,84 + 7,5 7,5 = 13,94

89 /20 Päätellään, että otos ei peräisin normaalijakaumasta. Huom! Vapausasteet pienenevät estimoitujen parametrien verran.

90 /21 Laskurin antama tulos, vapausasteissa ei huomioitu estimointia.

91 /22

92 /1 MTTTA1 Tilastomenetelmien perusteet Luento Kertausta ja täydennystä 2 - yhteensopivuustestistä H 0 : otos peräisin tietystä jakaumasta H 1 : otos ei peräisin tästä jakaumasta Jos H 0 : otos peräisin tietystä (väitetystä) jakaumasta on tosi, niin = ~.

93 /2 Esim. Plasma-aineisto, sivulla y = painoindeksi (paino/pituus 2 )

94 /3 H 0 : Otos peräisin N(26.16, ):sta Vaihtoehtoisia testejä normaalisuuden testaamiseksi: SPSS -> Analyze -> Descriptive Statistics -> Explore Plots -> Normality plots with tests H 0 hylätään molemmilla testeillä, koska p-arvot < 0,001. Otos ei peräisin normaalijakaumasta.

95 Esim. Generoitu 100 lukua N(0, 1):stä, SPSSfuntio RV.NORMAL(0,1) /4

96 /5 H 0 : Otos peräisin N(-0.16, 1,018 2 ):sta H 0 hyväksytään molemmilla testeillä, koska p- arvot > 0,05. Satunnaislukugeneraattori OK.

97 / riippumattomuustesti Ristiintaulukon perusteella riippumattomuuden testaaminen H 0 : X ja Y ovat riippumattomia H 1 : X ja Y ovat riippuvia

98 /7 Esim. Tampereella myydyt pienet asunnot, aineisto t_asunnot_2009.sav

99 /8 H 0 : Kunto ja sijainti ovat riippumattomia H 1 : Kunto ja sijainti ovat riippuvia H 0 hyväksytään, koska p-arvo on 0,605 > 0,05.

100 Tarkastellaan yleisesti ristiintaulukkoa /9

101 /10 Määritetään ristiintaulukkoon teoreettiset frekvenssit e ij siten, että oletetaan H 0 : X ja Y riippumattomia on tosi. Tällöin oltava Jos H 0 on tosi, niin

102 /11 Nyt H 0 hylätään riskitasolla, jos >, Jos I =2 ja J = 2 (nelikenttä), niin testisuure voidaan laskea myös kaavalla =

103 /12 Testiä voidaan käyttää: a) (I-1)(J-1) = 1 n >40 20 n 40 kaikkien teoreettisten frekvenssien oltava 5. b) (I-1)(J-1) > 1 kaikkien teoreettisten frekvenssien oltava > 1 ja enintään 20 % saa olla alle 5.

104 /13 Esim. Edellisestä ristiintaulukosta testisuureen laskeminen.

105 /14

106 /15 Esim. Monisteesta Leppälä, R., Ohjeita tilastollisen tutkimuksen toteuttamiseksi IBM SPSS Statistics - ohjelmiston avulla, , esimerkki 13 Kyselylomake eistoja/arviointi_lomake.pdf Y = Opintojakson työläys X = Opintosuunta H 0 : X ja Y ovat riippumattomia H 1 : X ja Y ovat riippuvia

107 /16

108 /17 Testin käyttöön liittyvät oletukset tällä luokituksella kunnossa, vain 16,7 % (1/6) odotetusta frekvensseistä alle 5 ja kaikki > 1. Pienin riskitaso, jolla H 0 voidaan hylätä, on 0,022. Tätä suuremmilla riskeillä H 0 hylätään, pienemmillä hyväksytään.

109 /18

110 /1 MTTTA1 Tilastomenetelmien perusteet Luento Kertausta ja täydennystä 2 -riippumattomuustesti Ristiintaulukon perusteella riippumattomuuden testaaminen H 0 : X ja Y ovat riippumattomia H 1 : X ja Y ovat riippuvia

111 /2 Ristiintaulukkoa Jos H 0 on tosi, niin

112 /3 Nyt H 0 hylätään riskitasolla, jos. >, Jos I =2 ja J = 2 (nelikenttä), niin testisuure voidaan laskea myös kaavalla =

113 /4 Esim Naisten ja miesten tenttimenestyminen orunko.pdf#page=31 Miehet Naiset Yht. Hylätty Hyväksytty Yht H 0 : ei riippuvuutta. = ( ) H 0 hyväksytään, ei riippuvuutta. = 0,09787 < 3,84 =, ;

114 /5 Esim. Tutkimuksessa vertailtiin erään kasvaimen yleisyyttä kahdella rottalajilla A ja B. Valittiin satunnaisesti molemmista ryhmistä 100 samanikäistä rottaa. Rotat pidettiin samankaltaisissa olosuhteissa vuoden ajan. Vuoden seurannan jälkeen kasvain löytyi 25:ltä lajin A rotalta ja 15:ltä lajin B rotalta. Onko kasvaimen yleisyys samanlaista molemmilla lajeilla?

115 /6 H 0 : ei riippuvuutta Laji A Laji B On kasvain Ei kasvainta = ( ) H 0 hyväksytään, yleisyys samanlaista. P( > 3,125) = 0,0771, = 3,125 < 3,84 =, ; ks.

116 /7 Laskureita _NROW_NCOLUMN_form.html

117 /8 Missä mennään? Menetelmien valinnasta ma/menetelmatyypit.html

118 /9 Luku 4 Regressioanalyysi Voidaanko y:n vaihtelua selittää samanaikaisesti useammalla muuttujalla? Voidaanko tätä riippuvuutta mallintaa? Tarkastellaan tilanteita, joissa sekä selitettävä että selittäjät ovat kvantitatiivisia.

119 /10 Esim. Erilaisia pisteparvia, tilastoyksikkönä auto

120 /11

121 /12

122 Malli Kulutus = Teho /13

123 /14 Estimoidaan mallin parametrit 0 ja 1. Saadaan = 4,435, = 0,016 Pisteparveen sovitetun suoran yhtälö = 4, ,016, y = Kulutus, x = Teho

124 /15

125 Merkitään Y = Polttonesteen kulutus (120 km/h) x = Polttonesteen kulutus (90 km/h) Malli Y = x /16

126 /17 Estimoidaan mallin parametrit 0 ja 1. Saadaan = 1,316, = 1,061 Pisteparveen sovitetun suoran yhtälö = 1, ,061

127 /18 Esim. Aineisto Jalkapalloilijat_2006 sivulta

128 Malli ja estimoinnin tulos: /19

129 /20 Esim. Aineisto Rasvaprosentti sivulta

130 Malli ja estimoinnin tulos: /21

131 /1 MTTTA1 Tilastomenetelmien perusteet Luento Regressioanalyysi 4.1 Yksi selittävä muuttuja Esim Poimittu samanikäisiä puita, mitattu poikkileikkauspinta-ala sekä puun kuutiomäärä Pinta-ala Tilavuus 2,59 0,161 3,89 0,273 9,63 0,633

132 /2

133 /3 Malli Tilavuus = Pinta-ala + Estimointi

134 /4 Jos pinta-ala on 4,60, niin arvioitu tilavuus on 0, ,066 4,60 = 0,310. Jos pinta-ala on 4, niin arvioitu tilavuus on 0, ,066 4= 0,270.

135 /5 Yhden selittäjän regressiomalli Y = x +, missä Y on satunnaismuuttuja, havaittavissa oleva, selitettävä x on selittäjä, ei-satunnainen, havaittavissa oleva on satunnaismuuttuja, ei havaittavissa 0 ja 1 mallin parametrit, estimoidaan aineiston avulla

136 /6 Malli voidaan esittää myös muodossa = + +, = 1,2,, (1) Malliin liittyvät oletukset ovat i ~ N(0, 2 ) ja i :t ovat riippumattomia

137 /7 Näistä oletuksista seuraa E(Y i ) = E( x i + i ) = E( 0 ) + E( 1 x i ) + E( i ) = x i Var(Y i ) = Var( x i + i ) = Var( i ) = 2 Lisäksi Y i ~N( x i, 2 ) Jokaista x:n arvoa kohden on olemassa Y:n todennäköisyysjakauma, joka on normaalijakauma. Havainnot näistä normaalijakaumista, graafisesti

138 /8 Mallin (1) parametrien estimointi = = 1 1 = = =

139 /9 Esim Lannoitemäärän vaikutus satoon

140 /10 x i y i x i y i 2 x i = 1 1 = = 0, = = , = 32,857

141 /11 Voidaan osoittaa, että = = Estimoidut y:n arvot saadaan = +, = 1,, Määritellään residuaalit e i = y i - i Tämä suoran on Y:n odotusarvon estimaatti

142 /12 Esim (jatkoa) x i y i i = 32,857+0,06786x i e i = y i - i ,857+0, =39, ,64 = 0, ,857+0, =46, ,43 =-1, =-3, = 5, = 3, =-3, ,857+0, =80, ,36 =-0,36

143 /13 Neliösummat ö = ö + ää ö ö SST = ( ) SSR = ( ) SSE = ( )

144 /14 Selityskerroin R 2 = SSR/SST Selitysaste, selitysprosentti 100 R 2 Korrelaatiokerroin = Mallin (1) tilanteessa (r xy ) 2 = R 2.

145 Esim (jatkoa) /15

146 /16 SST = ( ) = = SSE = ( ) = = 1350 = 0, (-0,36) 2 = 60,7 SSR = SST SSE = ,7 = 1289,3 R 2 = SSR/SST = 0,955

147 /17 = = = = 0,977 (r xy ) 2 = R 2 0,977 2 = 0,955

148 /1 MTTTA1 Tilastomenetelmien perusteet Luento Regressioanalyysi 4.1 Yksi selittävä muuttuja (kertausta ja jatkoa) Regressiomalli = + +, = 1,2,, (1) Malliin liittyvät oletukset i ~ N(0, 2 ) ja i :t ovat riippumattomia

149 /2 Mallin estimointi = = 1 1 = = = = +, e i = y i - i

150 /3 Neliösummat ö = ö + ää ö ö SST = ( ) SSR = ( ) SSE = ( ) MSE = SSE/(n-2) =

151 /4 Selityskerroin R 2 = SSR/SST Selitysaste, selitysprosentti 100 R 2 Korrelaatiokerroin = Mallin (1) tilanteessa (r xy ) 2 = R 2.

152 /5 Testaukset H 0 : 1 = 0 H 1 : 1 0 = ~,, = /

153 /6 H 0 : 0 = 0 H 1 : 0 0 = ~,, = ( 1 + )

154 /7 Esim (jatkoa) Malli: Satomäärä = Lannoitemäärä + Kertoimien testaus

155 /8 SSE = ( ) = 0, (-0,36) 2 = 60,7 SS x = /7= = 2800/7 = 400 MSE = 60,7/(7-2) = 12,143 = = 12,143/ = 0,007 = 12, = 2,

156 /9 Päättelyt taulukkoarvon perusteella: H 0 : 1 = 0 H 1 : 1 0 t 0,01/2,7-2 = 4,032 < 10,304, H 0 hylätään eli lannoitemäärä pidetään mallissa H 0 : 0 = 0 H 1 : 0 0 t 0,01/2,7-2 = 4,032 < 11,157, H 0 hylätään eli vakio syytä olla mallissa

157 /10 Regressiomalli ilman vakiokerrointa = +, = 1,2,, (2) Estimointi = =, Huom! Tällöin R 2 ei ole käytettävissä.

158 /11 Esim. Aineisto Tre_myydyt_asunnot_2009, sivulla Malli: Hinta = Neliöt +

159 /12 Hypoteesi H 0 : 0 = 0 hyväksytään, vakiokerroin voidaan jättää pois mallista.

160 /13 Estimoidaan uusi malli Hinta = Neliöt + Nyt ei voida laskea selitysprosenttia!

161 /14 Estimoinnin tulos origon kautta kulkeva suora = 2310,309 Neliöt

162 /15 Korrelaatiokertoimen testaus Populaatiossa muuttujien X ja Y välinen korrelaatiokerroin = Cov(X, Y)/ X Y. Tätä estimoidaan otoskorrelaatiokertoimella = = ( )( )

163 /16 Testaus H 0 : = 0 H 1 : 0 = 2 ~,

164 /17 Esim Esimerkin muuttujat y = satomäärä x = lannoitemäärä r = 0,977, n = 7 H 0 : = 0 H 1 : 0 0,977 = = 10,304 >, / ; = 4,032 0,977 2 H 0 hylätään 1 %:n riskitasolla. Päätellään lineaarista riippuvuutta olevan.

165 /18 Esim. Aineisto Jalkapalloilijat_2006 sivulla y = paino x = pituus r xy = 0,823679, n = 154

166 /19 H 0 : = 0 H 1 : 0 = 0, , = 17,908 >, ; = 2,617 H 0 hylätään 1 %:n riskitasolla. Päätellään lineaarista riippuvuutta olevan.

167 Regressiomalli: Paino = Pituus + H 0 : 1 = 0 H 1 : /20 t hav. = 17,908 Siis korrelaatiokertoimen testaus on sama kuin regressiomallissa (1) 1 :n testaus!

168 /21 Esim. Aineisto Jalkapalloilijat_2006 sivulla Regressioanalyysin tuloksia jalkapalloilijat.pdf

169 /1 MTTTA1 Tilastomenetelmien perusteet Luento Yksi selittävä muuttuja (täydennystä) Regressiomalli = + +, = 1,2,, (1)

170 /2 Regressiomallissa (1) oletetaan, että i ~ N(0, 2 ) ja i :t ovat riippumattomia Näiden oletusten voimassaoloa tutkitaan residuaalien avulla. Koska satunnaisvirheistä i ei ole havaintoja, niin estimoidaan niitä estimoidun mallin avulla lasketuilla residuaaleilla = = Tutkitaan normaalisuus-, vakiovarianssisuus- ja riippumattomuusoletuksia näiden residuaalien avulla. Voidaan käyttää graafisia esityksiä, esimerkiksi seuraavia:

171 Normaalisuusoletuksen tutkiminen esim. histogrammin avulla /3

172 Vakiovarianssisuuden ja riippumattomuuden tutkiminen pisteparvien avulla /4

173 Ei voida olettaa, että Var( i ) = 2, i = 1,, n (heteroskedastisuus) /5

174 /6 Mallin riittävyyden tutkiminen Esimerkki riittämättömästä mallista Pisteparvissa voidaan käyttää x-akselilla myös selittäjää.

175 /7 Esim. Autojen ominaisuuksia Y = Huippunopeus, x = Teho

176 /8 Jäännöstarkastelut Väärä mallin valinta

177 Y = Kiihtyvyys, x = Teho /9

178 /10 Jäännöstarkastelut Väärä mallin valinta

179 Y = Kulutus 120km/h, x = Kulutus 90 km/h /11

180 Jäännöstarkastelut /12

181 /13 Esim. Aineisto Rasvaprosentti sivulla y = rasvaprosentti x = vyötärön ympärys Ks. kevat2015/ra_rasvaprosentti.pdf

182 Jäännöstarkastelut /14

183 / Useampi selittävä muuttuja Kaksi selittäjää (2-RA) = + + +, = 1,2,, (2) Malliin liittyvät oletukset Estimointi i ~ N(0, 2 ) ja i :t ovat riippumattomia = + +,

184 /16 Testaukset H 0 : 1 = 0 H 1 : 1 0 = ~, H 0 : 2 = 0 H 1 : 2 0 = ~,

185 /17 H 0 : 0 = 0 H 1 : 0 0 = ~, H 0 : 1 = 2 =0 H 1 : molemmat eivät nollia = = 2 3 ~ 2, 3,

186 /18 Neliösummat SST = SSR + SSE MSR = SSR/2, MSE = SSE/(n-3) = Selityskerroin R 2 = SSR/SST

187 /19 Esim. 2 Aineisto Rasvaprosentti sivulla y = rasva% x 1 = vyötärön ympärys x 2 = ikä Regressioanalyysin tulokset /RA_rasvaprosentti.pdf

188 /20 Regressiomallissa hypoteesin = + +, = 1,2,, H 0 : 1 = 0 testaaminen voidaan tehdä joko t-testillä tai F-testillä, testisuureiden välinen yhteys = = =

189 /21 Esim. Jalkapalloilijat y = paino x = pituus t 2 = F

190 /1 MTTTA1 Tilastomenetelmien perusteet Luento Useampi selittävä muuttuja (jatkoa) Selittäjien lukumäärä k (k-ra) = Malliin liittyvät oletukset i ~ N(0, 2 ) ja i :t ovat riippumattomia Estimointi = + +

191 /2 Neliösummat SST = SSR + SSE MSR = SSR/k, MSE = SSE/(n-k-1) = Selityskerroin R 2 = SSR/SST Testaukset H 0 : i = 0 H 1 : i 0 = ~,

192 /3 H 0 : 1 = = k =0 H 1 : ainakin jokin i 0 = = 1 ~, 1,

193 /4 Esim. CTESTI-aineisto muuttujien kuvaukset 004/CTESTI_muuttujienkuvaus.pdf y = cooper x 1 = ikä x 2 = paino x 3 = hengitystilavuus

194 /5

195 /6

196 /7 Regressioanalyysin taulukko R 2 = SSR/SST SSR k MSR F=MSR/MSE SSE n-k-1 MSE ~F(k, n-k-1), kun H 0 tosi SST n-1 H 0 : 1 = = k =0 ( ) = ( ) = ( ) = ~, : = 0 ~, : = 0 ~, : = 0

197 /8 Koska SST = SSR + SSE 1 = SSR/SST + SSE/SST SSE/SST = 1 SSR/SST = 1 R 2, niin F-testisuure voidaan esittää myös R 2 :n avulla = ( 1) = = ( 1) 1

198 /9 Esim. y = kiinteistön myyntihinta (dollars) x 1 = asunnon koko (square feet) x 2 = tontin koko (square feet) x 3 = makuuhuoneiden lukumäärä x 4 = kylpyhuoneiden lukumäärä (Newbold, 1991) Regressiomalli = Estimoinnin tulos (kertoimet ja hajonnat) = 1998,5 + 22,352 x 1 + 1,4686 x ,3 x ,1 x 4 (2,5543) (1,4492) (1820,8) (1996,2) R 2 = 0,9843, n = 20, k = 4

199 /10 H 0 : 1 = 0 H 1 : 1 0 t = 22,352/2,5543 = 8,75 > t 0,05/2,15 = 2,131 H 0 hylätään H 0 : 2 = 0 H 1 : 2 0 t = 1,4686/1,4492 = 1,01< t 0,05/2,15 = 2,131 H 0 hyväksytään

200 /11 H 0 : 3 = 0 H 1 : 3 0 t= 6767,3/1820,8 = 3,72> t 0,05/2,15 = 2,131 H 0 hylätään H 0 : 4 = 0 H 1 : 4 0 t= 2701,1/1996,2 = 1,35< t 0,05/2,15 = 2,131 H 0 hyväksytään

201 /12 H 0 : 1 = = 4 =0 H 1 : ainakin jokin i 0 = 1. = 0, , = 235,1 >, ;, = 4,89 H 0 hylätään

202 /13 Jos selittävät muuttujat ovat keskenään voimakkaasti korreloituneita (multikollineaarisia), saattaa käydä niin, että H 0 : 1 = = k =0 hylätään (tehdään päättely, että ainakin jokin i 0), mutta kaikki hypoteesit H 0 : i = 0 hyväksytään.

203 / Selittävien muuttujien valinnasta ja mallin oletuksista Mallin valinnasta Tarpeeksi selittäjiä, mutta käyttötarkoitukseen sopiva, tulkittavissa oleva malli. Tarvittaessa muunnokset, jotta mallin oletuksen voimaan. Automaattiset mallinvalintamenetelmät - etenevä valinta (Forward) - taaksepäin eliminointi (Backward) - askeltava valinta (Stepwise)

204 /15 Esim Aineisto Liikennekuolemat sivulla y = liikennekuolemat x = liikennemäärät

205 /16 Malli I = + +, = 1, 2,, Mallin oletukset i ~ N(0, 2 ) ja i :t ovat riippumattomia R 2 = 0,914

206 /17 Residuaalitarkastelut: ei voi olettaa, että Var( i ) = 2, kun i = 1, 2,, n.

207 Malli II ln ( )= + ln ( )+, = 1,2,, /18

208 R 2 = 0,910, residuaalitarkastelut OK /19

209 /20 Esim. Aineisto Audi_A6 sivulla neistoja/ y = auton hinta x = vuosimalli z = ajetut kilometrit v = moottorin tilavuus Malleja: Y = x + ln(y) = ln(x) + Y = z + Y = z + 2 z 2 + Y = x + 2 v + Y = x + 2 v + 3 z +

210 /1 MTTTA1 Tilastomenetelmien perusteet Luento Useampi selittävä muuttuja (kertausta) Selittäjien lukumäärä k (k-ra) = Malliin liittyvät oletukset i ~ N(0, 2 ) ja i :t ovat riippumattomia

211 /2 Regressioanalyysin taulukko R 2 = SSR/SST SSR k MSR F=MSR/MSE SSE n-k-1 MSE ~F(k, n-k-1), kun H 0 tosi SST n-1 H 0 : 1 = = k =0 ( ) = ( ) = ( ) = ~, : = 0 ~, : = 0 ~, : = 0

212 /3 Esim. Ilmansaasteille altistumisen vaikutus kuolleisuuteen suurkaupungeissa (Devore&Peck) y = total mortality rate (deaths per 10000) x 1 = mean suspended particle reading (µg/m 3 ) x 2 = smallest sulfate reading ((µg/m 3 )x10) x 3 = population density (people/mi 2 ) x 4 = (percent nonwhite)x10 x 5 = (percent over 65)x10 Ks. myös e=2152&context=tepper

213 /4 Regressiomalli = Estimoinnin tuloksia (kertoimet ja hajontoja) = 19, ,041x 1 + 0,071x 2 + 0,001x 3 + 0,041 x 4 + 0,687x 5 (0,016) (0,007) R 2 = 0,827, n = 117, k = 5

214 /5 H 0 : 1 = 0 H 1 : 1 0 t = 0,041/0,016 = 2,5625 t 0,02/2,111 = 2,358, t 0,01/2,111 = 2,617 Siis 0,01 < p-arvo < 0,02 H 0 : 4 = 0 H 1 : 4 0 t = 0,041/0,007 = 5,86 > t 0,01/2,111 = 2,617 H 0 hylätään

215 /6 H 0 : 1 = = 5 =0 H 1 : ainakin jokin i 0 = 1 ~F k,n 1, kun tosi = 0, , = 106,124 >, ;, = 3,02 H 0 hylätään

216 /7 4.3 Selittävien muuttujien valinnasta ja mallin oletuksista (jatkoa) Esim. Polynomiregressio, y = viinin hinta, x = viinin ikä

217 /8 Malli Y = x + 2 x 2 + Malli Y = x 2 + R 2 = 0,974

218 /9 Esim. Autoregressio Tutkitaan vaikuttaako TV-mainonta tavaratalon myyntiin. Tarkastellaan viikoittaista myyntiä 20 viikon ajan, aineisto myynti_mainonta.sav sivulla y = myynti x = mainonta

219 Malli I: Y t = x t + t /10

220 Autokorreloituneet residuaalit /11

221 /12 Malli II Y t = x t + 2 y t-1 + t

222 /13 Esim Dummy-muuttuja selittäjänä mallissa y = Salary x = Years z = Sex (0 = nainen, 1 = mies)

223 Malli Y = x + 2 z + E(Y) = x, kun Sex=0 (naiset) E(Y) = x + 2, kun Sex = 1 (miehet) /14 Naisilla estimoitu Salary = 13,970+0,765 Years Miehillä estimoitu Salary = 13,970+0,765 Years+9,418 = 23,388+0,765 Years

224 4.4 Varianssianalyysimalli /15

225 /16 Luku 5 Epäparametrisista menetelmistä (ei tenttiin) Ei oletuksia populaatiosta, esim. normaalijakaumaoletusta. Mann-Witneyn testi Kahden riippumattoman otoksen t-testin epäparametrinen vastine (normaalijakaumaoletus ei voimassa) Kruskal-Wallisin testi Epäparametrinen vastine yksisuuntaiselle varianssianalyysille (normaalijakaumaoletusta ei

226 tehdä, selitettävä muuttuja voi olla järjestysasteikollinen) Welchin tai Brown-Forsythen testi Yksisuuntainen varianssianalyysi, kun oletus varianssien yhtäsuuruudesta ei voimassa /17 Ks. luentorunko s. 51, ko.pdf#page=52

227 /18 Tentit ma klo , Pinni B, ls. 3116,. voi osallistua, jos on tehnyt vähintään 30 % harjoituksista pe klo to klo , ls. D10 a+b Osaamistavoitteet o_5_3a_2018.pdf

228 /19 Mitä jatkoksi? Matematiikan ja tilastotieteen tutkinto-ohjelman opiskelijat Matematiikan ja tilastotieteen perusopinnot (tilastotieteen opintopolku) rid=14974&lang=fi&uilang=fi&lvv=2017 Tilastotieteen aineopinnot rid=14585&lang=fi&uilang=fi&lvv=2017

229 Tilastotieteen aineopintokokonaisuus valinnaisina opintoina /20 rid=14644&lang=fi&uilang=fi&lvv=2017