Esim Brand lkm keskiarvo keskihajonta A ,28 5,977 B ,06 3,866 C ,95 4,501

Transkriptio

1 Esim Brand lkm keskiarvo keskihajonta A ,28 5,977 B ,06 3,866 C ,95 4,501 y = 260, 76, n = 30 SS 1 = (n 1 1)s 2 1 = (10 1)5, , 52 SS 2 = (n 2 1)s 2 2 = (10 1)3, , 51 SS 3 = (n 3 1)s 2 3 = (10 1)4, , 33 SSW = SS 1 + SS 2 + SS 3 638, 36 SSB = 10(251, , 76) (261, , 76) (269, , 76) , 17 MSB = SSB/(I 1) = 1744, 17/(3 1) 872, 08 MSW = SSW/(n I) = 638, 36/(30 3) 23, 64 F = MSB/MSE = 872, 08/23, 64 36, 87 F 0.01;2,27 = 5, 49 1

2 Esim Menetelmä 1: 6, 4, 6, 4 y 1 = 5, n 1 = n 2 = n 3 = 4, Menetelmä 2: 14, 9, 10, 11 y 2 = 11, y = 8, n = 12 Menetelmä 3: 5, 11, 8, 8 y 3 = 8 n SST = (y i y) 2 i=1 = (6 8) (8 8) 2 = SSB = n i (y i y) 2 i=1 = 4(5 8) 2 + 4(11 8) 2 + 4(8 8) 2 = 72 3 n i SSW = (y ij y i ) 2 i=1 j=1 = (6 5) 2 + (4 5) 2 + (6 5) 2 + (4 5) 2 + (14 11) 2 + (9 11) 2 + (10 11) 2 + (11 11) 2 + (5 8) 2 + (11 8) 2 + (8 8) 2 + (8 8) 2 = 36 MSB = SSB/(I 1) = 72/(3 1) = 36 MSW = SSW/(n I) = 36/(12 3) = 4 F = MSB/MSE = 36/4 = 9 F 0.01;2,9 = 8.02 Figure 1: Esimerkin tulos SPSS-ohjelmalla 2

3 Figure 1: Esimerkin tulos SPSS-ohjelmalla 1

4 Esimerkki Tampereella myynnissä olleita kerrostalohuoneistoja (Aamulehti ). Hinnat euroina, aineisto a) Asuntojen neliöhinnat keskustassa ja ei-keskustassa (t-testi ja 1-VA) NELIOHIN N = 26 ei 30 kyll Onko asunto keskustassa? NELIOHIN Onko asunto keskustassa? ei kyll Group Statistics Std. Error N Mean Std. Deviation Mean Independent Samples Test Levene's Test for Equality of Variances t-test for Equality of Means NELIOHIN Equal variances assumed Equal variances not assumed F Sig. t df Sig. (2-tailed) Mean Difference Std. Error Difference ANOVA NELIOHIN Between Groups Within Groups Total Sum of Squares df Mean Square F Sig

5 b) Asuntojen neliöhinnat keskusta/länsi/itä (1-VA) NELIOHIN N = keskusta lansi it Asunnon sijainti Descriptives NELIOHIN keskusta lansi it Total 95% Confidence Interval for Mean N Mean Std. Deviation Std. Error Lower Bound Upper Bound Minimum Maximum Test of Homogeneity of Variances NELIOHIN Levene Statistic df1 df2 Sig ANOVA NELIOHIN Between Groups Within Groups Total Sum of Squares df Mean Square F Sig

6 Multiple Comparisons Dependent Variable: NELIOHIN Bonferroni (I) Asunnon sijainti keskusta lansi it (J) Asunnon sijainti lansi it keskusta it keskusta lansi *. The mean difference is significant at the.05 level. Mean Difference 95% Confidence Interval (I-J) Std. Error Sig. Lower Bound Upper Bound * * * *

7 Esim Aineisto Ehdolliset keskiarvot Report PISTEET Sukupuoli Nainen Mies Opetustapa Tavallinen TV Total Tavallinen TV Total Mean N Std. Deviation 14, , , , , , , , , , , ,86560 Kaksisuuntainen varianssianalyysi Dependent Variable: PISTE Source Corrected Model Intercept SUKUPUOL OPETUST SUKUPUOL * OPETUST Error Total Corrected Total Tests of Between-Subjects Effects Type III Sum of Squares df Mean Square F Sig. 213,754 a 3 71,251,483, , , ,674,000 5, ,417,037, , ,901 1,117,294 6, ,217,042, , , , , a. R Squared =,019 (Adjusted R Squared = -,021) Yksisuuntainen varianssianalyysi, selittäjänä opetustapa ANOVA PISTE Between Groups Within Groups Total Sum of Squares df Mean Square F Sig. 203, ,417 1,414, , , , Yksisuuntainen varianssianalyysi, selittäjänä sukupuoli ANOVA PISTE Between Groups Within Groups Total Sum of Squares df Mean Square F Sig.,275 1,275,002, , , ,014 77

8 Esim Lasketaan χ 2 -yhteensopivuustestisuure. f i e i 287 0,8 400 = ,1 400 = , = , = H 0 : ei muutosta. 4 χ 2 (f i e i ) 2 = i=1 e i ( )2 (49 40)2 = , 58 > χ 2 0,05;3 = 12, 84 + (30 24) (34 16)2 16 Voidaan siis päätellä, että on tapahtunut muutosta.

9 Esim H 0 : otos peräisin N(50, 100):sta Luokan(40, 50) teoreettinen frekvenssi saadaan laskemalla H 0 :n mukaisessa tilanteessa vastaava todennäköisyys P(40 X 50) = Φ( joten e i = 0, , ) Φ( ) = = 0,

10 Esim H 0 : otos peräisin T asd(1, 6):sta Jos H 0 on tosi, niin kaikkia silmälukuja tulisi olla saman verran eli 122/6 = 20, 3. χ 2 = 6 (f i e i ) 2 i=1 e i (8 20, 3)2 (39 20, 3)2 = , 3 20, 3 40, 6 > χ 2 0,005;5 = 16, 75 joten nopanheitto ei ole tapahtunut satunnaisesti.

11 Esim Yhteensopivuustestistä, painoindeksi Tutkitaan voisiko painoindeksi olla normaalisti jakautunut. H 0 : otos peräisin N(25,58;4, 66 2 ) Lasketaan χ 2 -yhteensopivuustestisuure. Painoindeksi frekv. odotettu frek. alle 20,1 9 11,5 20,1-21,4 15 6,3 21,4-25, ,0 25,5-28, ,6 28,5-32, ,1 eli 32,2 9 7, ,0 Esimerkiksi 1. luokan teoreettinen frekvenssi saadaan laskemalla H 0 :n mukaisessa tilanteessa vastaava todennäköisyys P(X 20,1) = Φ( joten e 1 = 0, ,5 20, 1 25,58 ) = 1 Φ(1,18) = 0,119 4,66 χ 2 = 6 (f i e i ) 2 i=1 e i = (9 11, 5)2 11, (9 7,5)2 7, 5 13,94 Koska on estimoitu 2 parametria (odotusarvo ja varianssi), niin vapausasteet ovat = 3. Koska χ ;3 = 12,84 ja χ ;3 = 16,27 niin 0,001 < p < 0,005. Päättelemme, että otos ei ole peräisin normaalijakaumasta. 1

12 Figure 1: Esimerkin painoindeksi jakauma ja tunnuslukuja. 2

13 Esim Onko pääaineella vaikutusta siiten, kuinka vaikeana piti opintojaksoa? kansant mat. ja til. tko vaikea (1-2) 23 (16,5) 15 (21,4) 13 (13.,2) sopiva (3) 6 (10,0) 15 (13,0) 10 (8,0) helppo (4-5) 1 (3,5) 9 (4,6) 1 (2,8) Koska odotetuista frekvensseistä 33 % on alle 5, eivät testin oletukset ole voimassa. Muodostetaan uusi ristiintaulukkoa: kansant mat. ja til. tko vaikea (1-2) 23 (16,5) 15 (21,4) 13 (13,2) sopiva tai helppo (3-5) 7 (13,5) 24 (17,6) 11 (10,8) Lasketaan χ 2 -riippumattomuuustestisuure. χ 2 = (23 16, 5)2 16, (11 10, 8)2 10, 8 9, 94 > χ 2 0,01;2 = 9, 21 H 0 : ei riippuvuutta, hylätään 1%:n riskitasolla (mutta ei 0,5%). Voidaan päätellä, että eri koulutusohjelmien opiskelijoiden mielipiteet kurssin vaikeudesta ovat erilaiset. Kansantalousteiteilijöistä 76,7 % piti kurssia vaikeana, kun taas vastaava luku matematiikan ja tilastotieteen koulutusohjelmassa oli 38,5 %.

14 Esim Erään tilastotieteen tentin tulos pääaineen mukaan (odotetut frekvenssit suluissa). kansant mat. ja til. tko yht. Hylätty 13 (14,8) 22 (22,0) 14 (12,2) 49 Hyväksytty 26 (24,2) 36 (36,0) 18 (19,8) 80 yht Lasketaan χ 2 -riippumattomuuustestisuure. χ 2 = (13 14, 8)2 14, (18 19, 88)2 19, 8 0, 81 < χ 2 0,05;2 = 5, 99 H 0 : ei riippuvuutta, hyväksytään.

15 Esim Erään tilastotieteen tentin tulos, esimerkki nelikentästä. Miehet Naiset Yhteensä Hylätty Hyväksytty Yht χ 2 = ( ) , = 0, = z 2 ks. TILTP2 kaava (5.7). p 2(1 Φ(0, 31284) = 2(1 0, 6217) = 0, 7566

16

17

18 Esim x i y i x i y i x 2 i ŷ i e i = y i ŷ i ,64 0, ,43-1, ,21-3, ,00 5, ,79 3, ,57-3, ,36-0, ȳ = 60 x = 400 xi y i ( x i )( y i )/7 ˆβ 1 = x 2 i ( /7 = x i ) 2 / /7 ˆβ 0 = ȳ ˆβ 1 x = 420/7 0, /7 32, 857 0, ŷ i = ˆβ 0 + ˆβ 1 x i = 32, , 06786x i, i = 1,... 7, e i = y i ŷ i = y i (32, , 06786x i ), i = 1,... 7, SSE = e 2 i = (y i ŷ i ) 2 60, 7 SST = (y i ȳ) 2 = 1350, 0 SSR = (ŷ i ȳ) , 286 R 2 = SSR/SST = 0, 955, MSR = SSR/1, MSE = SSE/(7 2) = 12, 143 F = MSR/MSE = 106, 176 > F 0,01;1,5 = 16, 26

19 Esimerkkejä regressioanalyysistä Esim Sadon (y) riippuvuus lannoitemäärästä (x), aineisto esimerkissä y x Pisteparven perusteella lineaarista riippuvuutta. Suoritetaan regressioanalyysi selittäen satoa lannoitemäärällä ja saadaan seuraavat tulokset.: Model 1 Model Summary Adjusted Std. Error of R R Square R Square the Estimate.977 a a. Predictors: (Constant), X Selitysprosentti 100x(R Square) = 95,5 %. Yhden selittäjän tilanteessa sama kuin 100r 2 Model 1 Regression Residual Total a. Predictors: (Constant), X b. Dependent Variable: Y ANOVA b Sum of Squares df Mean Square F Sig a Taulukossa neliösummat ja niiden vapausasteet, keskineliösummat ja F- testisuure (H 0 : β 1 = 0). Ks. laskukaavat kaavakokoelmassa kaavat (3.8), (3.12), (3.13), (3.15)

20 Model 1 (Constant) X a. Dependent Variable: Y Unstandardized Coefficients Coefficients a Standardi zed Coefficien ts B Std. Error Beta t Sig E Estimoitu lisäaineen regressiokerroin 0,06786 ja vakiokerroin 32,857. Lisäaine on merkittävä selittäjä, koska testattaessa hypoteesia H 0 : β 1 = 0 päädytään sen hylkäämiseen (joko F-testin tai t-testin (t=10,304) perusteella). x y estimoitu y residuaalit Esim a) Lapsen syntymäpainon riippuvuus pituudesta PAINO PITUUS Paino näyttäisi riippuvan lineaarisesti pituudesta, r = Ks. korrelaatiokertoimen testaus kaavakokoelmassa kaava (1.4).

21 PAINO PITUUS Correlations Pearson Correlation Sig. (2-tailed) N Pearson Correlation Sig. (2-tailed) N **. Correlation is significant at the 0.01 level PAINO PITUUS 1.720** ** Model 1 Model Summary Adjusted Std. Error of R R Square R Square the Estimate.720 a a. Predictors: (Constant), PITUUS Selitysprosentti 100x(R Square) = 51,8 %. Yhden selittäjän tilanteessa sama kuin 100r 2 =100x0,72 2 Model 1 Regression Residual Total ANOVA b Sum of Squares df Mean Square F Sig a a. Predictors: (Constant), PITUUS b. Dependent Variable: PAINO Model 1 (Constant) PITUUS a. Dependent Variable: PAINO Unstandardized Coefficients Coefficients a Standardi zed Coefficien ts B Std. Error Beta t Sig Estimoitu pituuden regressiokerroin 173,142 ja vakiokerroin 5211,574. Pituus on merkittävä selittäjä, koska testattaessa hypoteesia H 0 : β 1 = 0 päädytään sen hylkäämiseen (joko F-testin (F=126,711) tai t-testin (t=11,257) perusteella). Yhden sentin lisäys pituudessa kohottaa painoa keskimäärin 173,142 g.

22 b) Veden pehmeysarvon riippuvuus lisäaineesta Harj. 3 teht. 8. Model 1 Model Summary Adjusted Std. Error of R R Square R Square the Estimate.909 a a. Predictors: (Constant), Lisäaine Model 1 Regression Residual Total ANOVA b Sum of Squares df Mean Square F Sig a a. Predictors: (Constant), Lisäaine b. Dependent Variable: Veden pehmeys Model 1 (Constant) Lisäaine Unstandardized Coefficients a. Dependent Variable: Veden pehmeys Coefficients a Standardi zed Coefficien ts B Std. Error Beta t Sig c) Matematiikan ja tilastotieteen valintakoe 2001, tehtävä 2. Mittayksikön vaikutus kertoimiin Malli Y = β 0 + β 1 x + ε. ˆ β 1 = x i y i ( x i ) y i ( x i ) 2 / n x i 2 ( )/n = SS xy SS x = r xy s y s x Jos yhden selittäjän regressioanalyysissä tehdään muunnokset z = ax + b ja w = cy + d, niin r zw = r xy,jos ac>0 ja r zw = - r xy jos ac< 0, s z = a s x ja s w = c s y. Regressiokerroin on siis riippuvainen muuttujien mittayksiköistä. Kokeile esim. SAID IT aineistossa muuttamalla esimerkin a) mittayksiköt kiloiksi ja metreiksi.

23 Esim Esimerkin tilanteessa korrelaatiokertoimen testaus. t = H 0 : ρ = 0 r (1 r2 )/(n 2) t n 2, kun H 0 tosi Lasketaan aluksi korrelaatiokerroin ja sitten testisuure. r = SP xy / xi y i ( x i )( y i )/7 SS x SS y = ( x 2 i ( x i ) 2 /7)( yi 2 ( y i ) 2 /7) = t = /7 0, 977 ( /7)( /7) 0, 977 (1 0, 9772 )/(7 2) 10, 304 > t 0,005;5 = 4, 032

24 Esimerkki Regressioanalyysi, logaritmointi ja residuaalitarkasteluja. Aineisto Draper & Smith, Applied Regression Analysis (1981), s. 191, myös Liikennekuolemat (y) Liikennemäärä (x) Linear Fit Linear Fit Summary of Fit RSquare RSquare Adj Root Mean Square Error Mean of Response Observations (or Sum Wgts) 0, , , ,76 50 Analysis of Variance Source Model Error C Total DF Sum of Squares Mean Square ,08 F Ratio 508,4744 Prob>F 0,0000 Parameter Estimates Term Intercept Liikennemäärä (x) Estimate 107, , Std Error 52, , t Ratio 2,05 22,55 Prob> t 0,0454 0,0000

25 Tässä malli näyttää ihan hyvältä, jos tarkastellaan asiaa parametrien testauksen perusteella. Liikennemäärän kerroin on merkittävä ja selitysprosenttikin korkea 91 %. Mallin parametrien testauksen lisäksi mallin sopivuutta tutkitaan myös residuaalien avulla. Tällöin tutkitaan mallin riittävyyttä ja oletusten voimassa olemista. Mallissa Y = β 0 + β 1 x + ε tehdään oletukset, että ε i ~ N(0, σ 2 ) sekä ε i :t toisistaan riippumattomia. Tehdään siis normaalijakaumaoletus, riippumattomuusoletus sekä vakiovarianssisuusoletus ε:sta. Jos malli oikea, niin residuaalien, jotka ovat ε:n estimaatteja, tulisi käyttäytyä ε:n oletusten mukaisesti. Käyttäytymistä voidaan tutkia esim. piirtämällä pisteparvi residuaaleista ja estimoiduista y:n arvoista. Tässä esimerkissä pisteparvi näyttää hajaantuvan y:n estimoitujen arvojen kasvaessa. 750 Residuals Liikennekuolemat (y) Predicted Liikennekuolemat (y) Hajaantuminen on merkki siitä, että ei voida olettaa jokaisella ε i :lla olevan samaa varianssia. Sama asia näkyy kyllä jo alkuperäisessä pisteparvessa, joka ihan selvästi hajoaa x:n kasvaessa. Nyt voidaan menetellä siten, että logaritmoidaan molemmat muuttujat ja suoritetaan regressioanalyysi logaritmoiduilla arvoilla. Näin saadaan seuraavat tulokset:

26 8 7 log(y) log(x) Linear Fit Linear Fit Summary of Fit RSquare RSquare Adj Root Mean Square Error Mean of Response Observations (or Sum Wgts) 0, , , , Analysis of Variance Source Model Error C Total DF Sum of Squares 45, , , Mean Square 45,6387 0,0946 F Ratio 482,4705 Prob>F 0,0000 Parameter Estimates Term Intercept log(x) Estimate 1, , Std Error 0, , t Ratio 9,10 21,97 Prob> t 0,0000 0,0000 Tuloksista nähdään, että mallin parametrit ovat merkittäviä ja selitysprosenttikin 91. Tässä mallissa residuaalit (alla) käyttäytyvät eri tavalla kuin edellä. Voidaan ajatella, että pisteparvi on x akselin suuntainen nauha, joka kertoisi oletusten

27 voimassa olemisesta sekä mallin riittävyydestä. Jos pisteparvessa olisi havaittavissa jotain muuta kuin nauhanomaista käyttäytymistä, niin se kertoisi, että tehdyt oletuksen malliin liittyen eivät pidä paikkaansa. 0,5 Residuals log(y) 0,0-0,5-1,0 4,0 4,5 5,0 5,5 6,0 6,5 7,0 7,5 8,0 8,5 Predicted log(y) Katsotaan vielä residuaalien jakauma, joka pitäisi olla normaalinen. Residuals log(y) -1,0-0,5 0,0 0,5 Quantiles Moments Mean Std Dev Std Err Mean upper 95% Mean lower 95% Mean N Sum Wgts -0, , , , , , ,00000 Jos tässä testataan normaalisuutta, niin päädytään kyllä tulokseen, että otos ei ole peräisin normaalijakaumasta!

28 Esimerkki Autoregressio. Aineisto Newbold, P., Statistics for Business and Economics. Prentice Hall, 1995 s Twenty-eight quarterly observations from the United Kingdom on quantity of money in million pounds (y), income in million pounds (x 1 ) and the local authority interest rate (x 2 ) (aineisto myös t y t y t-1 x 1 x , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,1263 Estimoidaan malli Y = β 0 + β 1 x 1 + β 2 x 2 + β 3 y t-1 + ε.

29 Response: y Summary of Fit RSquare RSquare Adj Root Mean Square Error Mean of Response Observations (or Sum Wgts) 0, , , ,38 27 Parameter Estimates Term Intercept x1 x2 y(t-1) Estimate -2297,819 0, ,30 1, Std Error 1875,241 0, ,172 0, t Ratio -1,23 0,70-2,23 8,42 Prob> t 0,2328 0,4934 0,0361 0,0000 Analysis of Variance Source Model Error C Total DF Sum of Squares Mean Square ,7 F Ratio 311,5323 Prob>F 0,0000 Nyt x 1 näyttää olevan tarpeeton (t = 0,70 ja p = 0,4934), joten jätetään tämä selittäjä pois mallista ja estimoidaan uusi malli Y = β 0 + β 1 x 2 + β 2 y t-1 + ε, joka tuottaa 97,5 %:n selitysasteen ja mallin kertoimet ovat merkittäviä vakiokerrointa lukuun ottamatta (p arvot 0,1574; 0,0035; 0,000). Lisäksi H 0 : β 1 = β 2 = 0, hylätään (F = 477,3098; p = 0,000). Malli on siis näiltä osin kaikin puolin kunnossa. Response: y Summary of Fit RSquare RSquare Adj Root Mean Square Error Mean of Response Observations (or Sum Wgts) 0, , , ,38 27 Parameter Estimates Term Intercept x2 y(t-1) Estimate -1106, ,87 1, Std Error 758, ,272 0, t Ratio -1,46-3,24 21,09 Prob> t 0,1574 0,0035 0,0000

30 Analysis of Variance Source Model Error C Total DF Sum of Squares Mean Square F Ratio 477,3098 Prob>F 0,0000 Tutkitaan vielä residuaalien käyttäytymistä Residual y Predicted Pisteparvi antaa kyllä viitteitä suuntaan, että vakiovarianssisuusoletus ei olisi ehkä voimassa. Toisaalta havaintoja on kovin vähän, joten pidemmän aikasarjan käyttö voisi olla jatkotoimenpiteenä aiheellinen.

31 Esimerkki Dummy -muuttuja selittäjänä regressioanalyysissä. Palkan riippuvuutta palveluvuosista ja sukupuolesta. Aineisto: Younger (1985), A First Course in Linear Regression Salary Years Salary Years Sex (1=mies) Palkan näyttää siis riippuvan paitsi palveluvuosista niin myös sukupuolesta. Voitaisiin tehdä yhden selittäjän regressioanalyysit miehillä ja naisilla erikseen. Yksi tapa olisi myös estimoida kahden selittäjän malli Salary = β 0 + β 1 Years + β 2 Sex + ε, jolloin saadaan estimoiduksi kaksi samansuuntaista suoraa

32 E(Salary) = β 0 + β 1 Years (Naiset, Sex=0), E(Salary) = β 0 + β 1 Years + β 2 (Miehet Sex=1). Estimointitulokset: Response: Salary Summary of Fit RSquare RSquare Adj Root Mean Square Error Mean of Response Observations (or Sum Wgts) 0, , , ,92 25 Parameter Estimates Term Intercept Years Sex Estimate 13, , , Std Error 0, , , t Ratio 22,28 21,19 16,33 Prob> t 0,0000 0,0000 0,0000 Analysis of Variance Source Model Error C Total DF Sum of Squares 1421, , ,8400 Mean Square 710,982 1,994 F Ratio 356,4975 Prob>F 0,0000 Estimoinnin tulos: Naiset : Salary (estimoitu) = 13, , xYears Miehet: Salary (estimoitu) = 13, , xYears + 9, Testaukset tehdään tavanomaiseen tapaan. Selitysprosentti 97.

33 4.4. Varianssianalyysimalli Oletukset yksisuuntaisessa varianssianalyysissä: Y 11,Y 12,...,Y 1n1 satunnaisotos N(µ 1,σ 2 ):sta, Y 21,Y 22,...,Y 2n2 satunnaisotos N(µ 2,σ 2 ):sta,... Y I1,Y I2,...,Y InI satunnaisotos N(µ I,σ 2 ):sta. Halutaan tutkia ovatko jakaumien odotusarvot yhtä suuret, jolloin H 0 : µ 1 = µ 2 =... = µ I H 1 : kaikki odotusarvot eivät ole samoja. Oletuksista seuraa, että varianssianalyysi voidaan ajatella mallina Y ij = µ i + ε ij, missä ε ij ~ N(0,,σ 2 ) µ 1, µ 2,..., µ I ovat mallin parametrit Vaihtoehtoisesti myös Y ij = µ + τ i + ε ij