Tilastolliset menetelmät: Varianssianalyysi

Transkriptio

1 Variassiaalsi Tilastolliset meetelmät: Variassiaalsi 0. Ysisuutaie variassiaalsi. asisuutaie variassiaalsi. olmi- a useampisuutaie variassiaalsi Ila Melli 44

2 Variassiaalsi Ila Melli 44

3 Variassiaalsi Sisälls 0. YSISUUNTAINEN VARIANSSIANALYYSI VARIANSSIANALYYSI: JOHDANTO 446 AHDEN RIIPPUMATTOMAN OTOSEN T-TESTI 446 VARIANSSIANALYYSIN PERUSASETELMA 446 VARIANSSIANALYYSIN NIMI YSISUUNTAISEN VARIANSSIANALYYSIN PERUSASETELMA 446 YSISUUNTAINEN VARIANSSIANALYYSI JA OESUUNNITTELU YSISUUNTAISEN VARIANSSIANALYYSIN SUORITTAMINEN 448 HAVAINNOT JA NIIDEN ESIARVOT 448 VARIANSSIANALYYSIHAJOTELMA 449 TESTI ODOTUSARVOJEN SAMUUDELLE 45 OONAISNELIÖSUMMAN SST JAAUMA JA VAPAUSASTEET 45 RYHMIEN VÄLISEN VAIHTELUN NELIÖSUMMAN SSG JAAUMA JA VAPAUSASTEET 453 RYHMIEN SISÄISEN VAIHTELUN NELIÖSUMMA SSE JA VAPAUSASTEET 454 COCHRANIN LAUSE 456 YSISUUNTAISEN VARIANSSIANALYYSIN F-TESTISUUREEN JAAUMA 457 YSISUUNTAISEN VARIANSSIANALYYSIN F-TESTISUUREEN TULINTA 458 VARIANSSIESTIMAATTORIN MSE HARHATTOMUUS 458 VARIANSSIESTIMAATTORIN MSG HARHATTOMUUS 460 VARIANSSIANALYYSITAULUO YSISUUNTAISEN VARIANSSIANALYYSIN MALLI JA SEN PARAMETROINTI 464 PARAMETROINTI 464 PARAMETROINTI 464 PARAMETROINTIEN JA EVIVALENSSI 465 YSISUUNTAISEN VARIANSSIANALYYSIN MALLI JA YLEINEN LINEAARINEN MALLI YSISUUNTAISEN VARIANSSIANALYYSIN MALLIN PARAMETRIEN ESTIMOINTI 467 YSISUUNTAISEN VARIANSSIANALYYSIN MALLI 467 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI 468 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI YHTÄ SUURTEN ODOTUSARVOJEN TAPAUSESSA 469 TESTI ODOTUSARVOJEN SAMUUDELLE 470 SOVITTEET JA RESIDUAALIT YSISUUNTAISEN VARIANSSIANALYYSIN MALLIN MATRIISIESITYS 47 MATRIIISIESITYS 47 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI LASUTOIMITUSTEN SUORITTAMINEN BARTLETTIN TESTI 477 TESTAUSASETELMA 477 TESTISUURE JA SEN JAAUMA ODOTUSARVOPARIEN VERTAILU 478 LUOTTAMUSVÄLIT JA ODOTUSARVOJEN PARIVERTAILU 479 TESTIT JA ODOTUSARVOJEN PARIVERTAILU 480 LUOTTAMUSVÄLIEN JA TESTIEN EVIVALENSSI 48 SIMULTAANISET LUOTTAMUSVÄLIT JA TESTIT 48 BONFERRONIN EPÄYHTÄLÖ 48 BONFERRONIN EPÄYHTÄLÖ JA SIMULTAANISET TESTIT ONTRASTIT 483 ONTRASTI 483 ONTRASTIEN ESTIMOINTI 484 ONTRASTEJA OSEVAT TESTIT 484 Ila Melli 443

4 Variassiaalsi ONTRASTIEN LUOTTAMUSVÄLIT 487 ORTOGONAALISTEN ONTRASTIEN TESTAAMINEN 487. ASISUUNTAINEN VARIANSSIANALYYSI VARIANSSIANALYYSI: JOHDANTO 49 AHDEN RIIPPUMATTOMAN OTOSEN T-TESTI 49 VARIANSSIANALYYSIN PERUSONGELMA 49.. ASISUUNTAISEN VARIANSSIANALYYSIN PERUSASETELMA 49 INTERATIO: HAVAINNOLLISTUS 493 ASISUUNTAINEN VARIANSSIANALYYSI JA OESUUNNITTELU ASISUUNTAISEN VARIANSSIANALYYSIN SUORITTAMINEN 494 HAVAINTOJEN ESIARVOT 494 VARIANSSIANALYYSIHAJOTELMA 495 ASISUUNTAISEN VARIANSSIANALYYSIN TESTIT 497 NELIÖSUMMIEN JAAUMAT 499 VARIANSSIESTIMAATTOREIDEN HARHATTOMUUS 50 VARIANSSIANALYYSITAULUO ASISUUNTAISEN VARIANSSIANALYYSIN MALLI JA SEN PARAMETROINTI 503 PARAMETROINTI 503 PARAMETROINTI 504 PARAMETROINTIEN JA EVIVALENSSI ASISUUNTAISEN VARIANSSIANALYYSIN MALLIN PARAMETRIEN ESTIMOINTI 506 ASISUUNTAISEN VARIANSSIANALYYSIN MALLI 506 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI 507 SOVITTEET JA RESIDUAALIT LASUTOIMITUSTEN SUORITTAMINEN 509. OLMI- JA USEAMPISUUNTAINEN VARIANSSIANALYYSI 5.. VARIANSSIANALYYSI: JOHDANTO 53 AHDEN RIIPPUMATTOMAN OTOSEN T-TESTI 53 VARIANSSIANALYYSIN PERUSONGELMA 53.. OLMISUUNTAINEN VARIANSSIANALYYSI JA SEN MALLI 53 OLMISUUNTAISEN VARIANSSIANALYYSIN PERUSASETELMA 53 OLMISUUNTAISEN VARIANSSIANALYYSIN TILASTOLLINEN MALLI 55 OLMISUUNTAINEN VARIANSSIANALYYSI JA OESUUNNITTELU OLMISUUNTAISEN VARIANSSIANALYYSIN SUORITTAMINEN 56 HAVAINTOJEN ESIARVOT 56 VARIANSSIANALYYSIHAJOTELMA 57 TESTISUUREET JA NIIDEN JAAUMAT 59 VARIANSSIANALYYSITAULUO 5.4. LASUTOIMITUSTEN SUORITTAMINEN 5 Ila Melli 444

5 0. Ysisuutaie variassiaalsi 0. Ysisuutaie variassiaalsi 0.. Variassiaalsi: Johdato 0. Ysisuutaie variassiaalsi a se suorittamie 0.3. Ysisuutaise variassiaalsi malli a se parametroiti 0.4. Ysisuutaise variassiaalsi malli parametrie estimoiti 0.5. Ysisuutaise variassiaalsi malli matriisiesits 0.6. Lasutoimituste suorittamie 0.7. Bartletti testi 0.8. Odotusarvoparie vertailu 0.9. otrastit Ysisuutaie variassiaalsi o tilastollie meetelmä, ossa perusouo aetaa rhmii hde rhmittelevä teiä suhtee a tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. asi- tai useampisuutaisessa variassiaalsissa perusouo aetaa rhmii ahde tai useamma rhmittelevä teiä suhtee a tällöii tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. Tässä luvussa tarastellaa sisuutaista variassiaalsia. Tarastelu ohteea ovat mm. sisuutaise variassiaalsi malli a se parametroiti, parametrie estimoiti, odotusarvoe htäsuuruude testaamie a lasutoimituste suorittamie. Avaisaat: Aritmeettie esiarvo, Bartletti testi, Boferroi epähtälö, Boferroi meetelmä, Cochrai lause, Estimoiti, F-testi, Fatori, Harha, Harhattomuus, Idiaattorimuuttua, Jääösvaihtelu, Jääösvariassi, χ -testi, ooaisesiarvo, ooaisvaihtelu, otrasti, Luottamuserroi, Luottamustaso, Luottamusväli, Malli, Matriisi, Meritsevstaso, Muuttua, Normaaliaauma, Neliösumma, Odotusarvo, Odotusarvoe parivertailu, Odotusarvoe simultaaie vertailu, Otos, Otostuusluu, Parametri, Parametroiti, Pieimmä eliösumma estimaattori, Pieimmä eliösumma meetelmä, Residuaali, Riippumattomuus, Rhmie sisäie vaihtelu, Rhmie välie vaihtelu, Rhmittel, Rhmä, Rhmäesiarvo, Satuaisuus, Side-ehto, Sovite, t-testi, Taso, Teiä, Testi, Vapausaste, Variassi, Variassiaalsihaotelma, Variassiaalsitauluo, Ysisuutaie variassiaalsi, Yleie lieaarie malli, Yleisesiarvo Ila Melli 445

6 0. Ysisuutaie variassiaalsi 0.. Variassiaalsi: Johdato ahde riippumattoma otose t-testi Moistee Tilastotiede luvu Testeä suhdeasteiollisille muuttuille tarastellaa ahde riippumattoma otose t-testiä. Testi testausasetelma o seuraava: (i) Perusouo oostuu ahdesta rhmästä. (ii) Havaiot oudattavat ummassai rhmässä ormaaliaaumaa. (iii) ummastai rhmästä o poimittu toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe htäsuuruutta. Variassiaalsi perusasetelma Variassiaalsi o ahde riippumattoma otose t-testi leists tilateisii, ossa perusouo oostuu ahdesta tai useammasta rhmästä: (i) Perusouo oostuu ahdesta tai useammasta rhmästä. (ii) Havaiot oudattavat oaisessa rhmässä ormaaliaaumaa. (iii) Joaisesta rhmästä poimitaa toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe htäsuuruutta. Perusouo ao rhmii voidaa tehdä hde tai useamma fatori eli teiä (muuttua) arvoe perusteella. Jos perusouo ao rhmii perustuu htee teiää, puhutaa sisuutaisesta variassiaalsista. Jos perusouo ao rhmii perustuu m teiää, puhutaa m-suutaisesta variassiaalsista. Huomautus: Tässä luvussa äsitellää sisuutaista variassiaalsia; asi- a olmisuutaista variassiaalsia äsitellää seuraavissa luvuissa. Variassiaalsi imi O hvä huomata heti äi alussa, että variassiaalsi imi saattaa ohtaa harhaa. Variassiaalsissa testause ohteea ei ole variassie htäsuuruus, vaa odotusarvoe htäsuuruus. Variassiaalsi imi ohtuu siitä, että odotusarvoe htäsuuruude testaamie perustuu eri periaatteilla määrätte variassie vertailuu; s. äsittelä alla. 0.. Ysisuutaise variassiaalsi perusasetelma Oletetaa, että tutimuse ohteea oleva perusouo voidaa aaa ahtee tai useampaa rhmää oi fatori eli teiä (muuttua) A arvoe suhtee a oletetaa, että teiällä A o tasoa, olloi aossa st rhmää. Oletetaa edellee, että rhmistä o poimittu toisistaa riippumattomat satuaisotoset, oide oot ovat,,, olloi havaitoe ooaisluumäärä o N = + + L + Ila Melli 446

7 0. Ysisuutaie variassiaalsi Oloo i = i. havaito rhmässä, i =,,,, =,,, ätetstä otatameetelmästä seuraa, että havaiot i voidaa olettaa riippumattomisi (a site mös orreloimattomisi) satuaismuuttuisi. Oletetaa, että oaisella havaiolla i o rhmässä sama odotusarvo: E( i ) = μ, i =,,,, =,,, a aiilla havaioilla i o (rhmäaosta riippumatta) sama variassi: Var( i ) = σ, i =,,,, =,,, Oletetaa lisäsi, että aii havaiot i ovat ormaaliaautueita: i N(μ, σ ), i =,,,, =,,, Haluamme testata ollahpoteesia, että rhmäohtaiset odotusarvot E( i ) = μ ovat htä suuria: H 0 : μ = μ = = μ = μ Jos ollahpoteesi H 0 rhmäohtaiste odotusarvoe htäsuuruudesta pätee, rhmät voidaa hdistää aiissa havaitoe esimääräisiä arvoa osevissa tarasteluissa. Se siaa, os ollahpoteesi H 0 hlätää, tiedetää, että muuttua rhmäohtaiset odotusarvot eroavat toisistaa aiai ahdessa rhmässä. Jos ollahpoteesi H 0 o hlätt, rhmäohtaisia odotusarvoa voidaa verrata pareittai tai simultaaisesti toisiisa; s. appaletta Odotusarvoe vertaamie. Ysisuutaie variassiaalsi taroittaa siis ollahpoteesi testaamista. H 0 : μ = μ = = μ = μ Ysisuutaie variassiaalsi a oesuuittelu Ysisuutaista variassiaalsiä voidaa soveltaa oetuloste aalsii seuraavassa oeasetelmassa: (i) Oletetaa, että oee tavoitteea o verrata, mite äsittelt (ii) A, A,, A vaiuttavat iiostuse ohteea oleva vastemuuttua esimääräisii arvoihi. Valitaa äsittel A ohteisi aiie oee ohteisi valittue silöide ouosta satuaisesti silöä, =,,,, olloi havaitoe ooaisluumäärä o N = + + L + (iii) Mitataa vasteet eli iiostuse ohteea oleva muuttua arvot i, i =,,,, =,,,. Huomaa, että oeasetelma o tädellisesti satuaistettu: Sattuma määrää tädellisesti millaise äsittel ohteesi oee ohteisi valitut N silöä outuvat. Ila Melli 447

8 0. Ysisuutaie variassiaalsi 0.3. Ysisuutaise variassiaalsi suorittamie Havaiot a iide esiarvot Havaitoarvot i, i =,,,, =,,, voidaa rhmitellä seuraavalla tavalla: Rhmä : Rhmä :,,,,,, Rhmä :,,, Määritellää havaitoarvoe rhmäesiarvot aavoilla Rhmä : Rhmä : = i i = = i i = Rhmä : = i = i O odotettavissa, että rhmäesiarvot i eivät poiea palo toisistaa, os ollahpoteesi H 0 : μ = μ = = μ = μ pätee. Jos rhmäohtaiset otoset hdistetää hdesi otosesi, hdistet otose havaitoarvoe leis- eli ooaisesiarvo saadaa aavalla ossa = = N i = i= N = N = + + L + o havaitoe ooaisluumäärä hdistetssä otosessa a = i, =,,, i = Ila Melli 448

9 0. Ysisuutaie variassiaalsi Variassiaalsihaotelma iroitetaa idetiteetti = ( ) + ( ) i i ossa i = havaitoarvo i poieama ooaisesiarvosta = rhmäesiarvo poieama ooaisesiarvosta i = havaitoarvo i poieama rhmäesiarvosta Ysisuutaise variassiaalsi testi ollahpoteesille H 0 : μ = μ = = μ = μ perustuu poieamie a i eliösummille. Jos ollahpoteesi H 0 pätee, o odotettavissa, että rhmäesiarvot eivät poiea ovi palo ooaisesiarvosta, olloi poieamat eivät ole itseisarvoiltaa ovi suuria. Määritellää havaitoarvoe ooaisvaihtelua uvaava ooaiseliösumma SST: SST = ( ) = i= i Jos rhmäohtaiset otoset hdistetää hdesi otosesi, saadu hdistet otose variassi o ossa = = ( i ) N N = i= s SST N = + + L + o havaitoe ooaisluumäärä hdistetssä otosessa. Määritellää rhmie välistä (sstemaattista) vaihtelua uvaava (rhmä-) eliösumma SSG: ( ) ( ) = i= = SSG = = Määritellää rhmie sisäistä vaihtelua uvaava (ääös-) eliösumma SSE: SSE = ( ) = i= i Havaitoarvoe i rhmävariassit eli rhmäohtaiset variassit i i= s = ( ), =,,, s saadaa lauseeista Ila Melli 449

10 0. Ysisuutaie variassiaalsi Site rhmie sisäistä vaihtelua uvaava eliösumma SSE lausee voidaa esittää mös muodossa SSE = ( ) s = orottamalla idetiteetti = ( ) + ( ) i i potessii asi a lasemalla htee saadaa variassiaalsihaotelma ( i ) = ( ) + ( i ) = i= = i= = i= oa voidaa edellä esitette meritöe avulla iroittaa lhesti muotoo SST = SSG + SSE Perustelu: orottamalla idetiteetti = ( ) + ( ) i i potessii asi a lasemalla htee saadaa esi ( i ) = ( ) + ( i ) + ( )( i ) = i= = i= = i= = i= Variassiaalsihaotelma ( i ) = ( ) + ( i ) = i= = i= = i= tulee siis todistetusi, os ätämme, että = i= ( )( ) = 0 i Suoraa lasemalla saamme ( )( ) = ( ) ( ) i i = i= = i= = ( ) i = i= = ( ) i i = i= i= = ( ) 0= 0 = ute halusimme. Ila Melli 450

11 0. Ysisuutaie variassiaalsi Variassiaalsihaotelmassa SST = SSG + SSE havaitoe ooaisvaihtelua uvaava eliösumma SST = ( ) = i= o haotettu ahde osateiä summasi, ossa eliösumma i ( ) ( ) = i= = SSG = = uvaa rhmie välistä (sstemaattista) vaihtelua a eliösumma SSE = ( ) = i= uvaa rhmie sisäistä vaihtelua. Testi odotusarvoe samuudelle Jos rhmie välistä vaihtelua uvaava eliösumma i ( ) ( ) = i= = SSG = = o suuri verrattua rhmie sisäistä vaihtelua uvaavaa eliösummaa SSE = ( ) = i= ollahpoteesi H 0 : μ = μ = = μ = μ o stä asettaa seealaisesi. Määritellää F-testisuure ossa N SSG N F = = SSE N = + + L + i = = i= ( ) ( ) o havaitoe ooaisluumäärä hdistetssä otosessa. Jos havaiot ovat ormaaliaautueita a ollahpoteesi H 0 : μ = μ = = μ = μ pätee, testisuure F oudattaa F-aaumaa vapausastei ( ) a (N ): F F(, N ) i Ila Melli 45

12 0. Ysisuutaie variassiaalsi Testisuuree F ormaaliarvo o E( F) = H 0 N N Huomautus: Nollahpoteesi H 0 pätiessä E(F) suurille N. Suuret testisuuree F arvot ohtavat ollahpoteesi H 0 hläämisee. Perustelemme testisuuree F aaumaa oseva tulose alla useassa osassa tarastelemalla erisee ooaiseliösumma, rhmäeliösumma a ääöseliösumma aaumia seä soveltamalla osii s. Cochrai lausetta. ooaiseliösumma SST aauma a vapausasteet Oletetaa, että ollahpoteesi H 0 : μ = μ = = μ = μ pätee. Tällöi satuaismuuttua ossa SST / σ oudattaa χ -aaumaa vapausastei (N ): = ( ) ( ) i χ N i SST σ σ = = N = + + L + o havaitoe ooaisluumäärä hdistetssä otosessa. Perustelu: Oletetaa, että havaiot i ovat riippumattomia a i N(μ, σ ), i =,,,, =,,, Tällöi satuaismuuttuat i μ N(0,), =,,,, =,,, σ ovat riippumattomia, ote suoraa χ -aauma määritelmä muaa i μ = i= σ χ ( N) ossa vapausasteide luumäärä o N = + + L + orvataa lauseeessa i μ = i= σ χ ( N) tutemato parametri μ estimaattorillaa Ila Melli 45

13 0. Ysisuutaie variassiaalsi ossa siis N = i = = N = + + L + i Voidaa osoittaa, että tällöi i SST = χ N = i= σ σ ( ) Meetämme siis hde vapausastee orvatessamme parametri μ estimaattorillaa. Tämä selitt seuraavalla tavalla: (i) Havaitoarvot i (N pl) voivat varioida vapaasti, ote iillä o N vapausastetta. (ii) Erotuset i μ (N pl) voivat varioida vapaasti, ote iillä o N vapausastetta. (iii) Erotuset i (N pl) eivät voi varioida vapaasti, osa iitä sitoo si lieaarie side-ehto: = i= ( ) = 0 i (iv) ohda (iii) si lieaarie side-ehto saa χ -aauma vapausasteide luumäärä väheemää hdellä. Rhmie välise vaihtelu eliösumma SSG aauma a vapausasteet Oletetaa, että ollahpoteesi H 0 : μ = μ = = μ = μ pätee. Tällöi satuaismuuttua σ σ = SSG / σ oudattaa χ -aaumaa vapausastei ( ) : SSG = χ ( ) ( ) Perustelu: Oletetaa, että havaiot i ovat riippumattomia a i N(μ, σ ), i =,,,, =,,, Tällöi satuaismuuttuat σ = i N μ,, =,,, i= ovat riippumattomia, olloi mös satuaismuuttuat μ N(0,), =,,, σ / Ila Melli 453

14 0. Ysisuutaie variassiaalsi ovat riippumattomia a suoraa χ -aauma määritelmä muaa μ χ ( ) = σ / orvataa tässä lauseeessa tutemato parametri μ estimaattorillaa ossa siis N = i = = N = + + L + i Voidaa osoittaa, että tällöi SSG χ = σ / σ = σ = ( ) = ( ) Meetämme siis hde vapausastee orvatessamme parametri μ estimaattorillaa. Tämä selitt seuraavalla tavalla: (i) esiarvot ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. (ii) Erotuset ( μ) ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. (iii) Erotuset ( ) ( pl) eivät voi varioida vapaasti, osa iitä sitoo si lieaarie side-ehto: = ( ) = 0 (iv) ohda (iii) si lieaarie side-ehto saa χ -aauma vapausasteide luumäärä väheemää hdellä. Rhmie sisäise vaihtelu eliösumma SSE a vapausasteet Voidaa osoittaa, että riippumatta siitä päteeö ollahpoteesi H 0 : μ = μ = = μ = μ vai ei, ii satuaismuuttua ossa SSE / σ oudattaa χ -aaumaa vapausastei (N ): = ( ) ( ) i χ N i SSE σ σ = = N = + + L + o havaitoe ooaisluumäärä hdistetssä otosessa. Ila Melli 454

15 0. Ysisuutaie variassiaalsi Perustelu: Oletetaa, että havaiot i ovat riippumattomia a i N(μ, σ ), i =,,,, =,,, Tällöi satuaismuuttuat i μ N(0,), i =,,,, =,,, σ ovat riippumattomia a suoraa χ -aauma määritelmä muaa i μ χ ( ), =,,, i= σ orvataa tässä lauseeessa tutemattomat parametrit μ i estimaattoreillaa = i, =,,, i = Voidaa osoittaa, että tällöi i χ ( ), =,,, i= σ Meetämme siis hde vapausastee orvatessamme parametri μ estimaattorillaa Tämä selitt seuraavalla tavalla: (i) Havaitoarvot i ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. (ii) Erotuset i μ ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. (iii) Erotuset i ( pl) eivät voi varioida vapaasti, osa iitä sitoo si lieaarie side-ehto: ( i ) = 0, =,,, i= (iv) ohda (iii) si lieaarie side-ehto saa χ -aauma vapausasteide luumäärä väheemää hdellä. osa satuaismuuttuat i i= σ ovat riippumattomia, ii χ ( ), =,,,. ossa i SSE = χ N = i= σ σ ( ) Ila Melli 455

16 0. Ysisuutaie variassiaalsi N = ( ) = = N = = Cochrai lause Cochrai lause o täreä matemaattise tilastotietee teoreema, oa avulla voidaa todistaa moet leise lieaarise malli a variassiaalsi testisuureita osevat aaumatuloset. Oletetaa, että satuaismuuttuat z i, i =,,, ν ovat riippumattomia a oudattavat stadardoitua ormaaliaaumaa N(0,): z, z,, zν z N(0,), i =,,, ν χ -aauma määritelmä muaa i Oletetaa, että ν Q= z χ ( ν ) i= i ν i L i= Q= z = Q + Q + + Q ossa s ν a Q i o eliömuoto, oa aste o r(q i ) = ν i, i =,,, s Cochrai lausee muaa eliömuodot s Q, Q,, Q s ovat riippumattomia χ -aautueita satuaismuuttuia, oide vapausteide luumäärä ovat ν, ν,, ν s, os a vai os ν = ν + ν + + ν s Cochrai lauseesta seuraa eritisesti: Oletetaa, että ossa Q= Q + Q + + Q χ ν L s ( ) Q χ ( ν ), i =,,, s i i Tällöi ν = ν + ν + + ν s o välttämätö a riittävä ehto sille, että satuaismuuttuat Q, Q,, Q s ovat riippumattomia. Ila Melli 456

17 0. Ysisuutaie variassiaalsi Ysisuutaise variassiaalsi F-testisuuree aauma Ysisuutaise variassiaalsi testi ollahpoteesille H 0 : μ = μ = = μ = μ o muotoa N SSG F = SSE ossa SSG = rhmie välistä vaihtelua uvaava eliösumma SSE = rhmie sisäistä vaihtelua uvaava eliösumma a N = + + L + o havaitoe ooaisluumäärä hdistetssä otosessa. Nollahpoteesi H 0 pätiessä F F(, N ) Perustelu: Tarastellaa sisuutaise variassiaalsi F-testisuuretta N SSG F = SSE ossa SSG = rhmie välistä vaihtelua uvaava eliösumma SSE = rhmie sisäistä vaihtelua uvaava eliösumma a N = + + L + o havaitoe ooaisluumäärä hdistetssä otosessa. Variassiaalsihaotelma muaa SSG + SSE = SST ossa SST = rhmie ooaisvaihtelua uvaava eliösumma Edellä o todettu, että ollahpoteesi H 0 pätiessä SST χ ( N ) σ SSG χ ( ) σ SSE χ ( N ) σ Ila Melli 457

18 0. Ysisuutaie variassiaalsi Cochrai lausee muaa eliösummat SSG a SSE ovat riippumattomia, osa variassiaalsihaotelma eliösummia vastaavat vapausasteet toteuttavat htälö N = ( ) + (N ) Site suoraa F-aauma määritelmä muaa SSG N SSG ( ) σ F = = F(, N ) SSE SSE ( N ) σ os ollahpoteesi H 0 : μ = μ = = μ = μ pätee. Ysisuutaise variassiaalsi F-testisuuree tulita Testisuure N SSG F = SSE voidaa tulita variassie vertailutestisuureesi, ossa havaitoe i variassi σ estimaattoria verrataa estimaattorii MSG = SSG = ( ) = MSE = SSE = ( i ) N N = i = Estimaattori MSE = SSE N o aia harhato havaitoe i variassille σ, mutta estimaattori MSG = SSG o harhato havaitoe i variassille σ vai, os ollahpoteesi H 0 : μ = μ = = μ = μ pätee. Variassiestimaattori MSE harhattomuus Estimaattori MSE = SSE N Ila Melli 458

19 0. Ysisuutaie variassiaalsi o harhato havaitoe i variassille σ : E( MSE) = σ Perustelu: Oletetaa perustelu siertaistamisesi, että = = = = olloi N = Estimaattori MSE = SSE = ( i ) N N = i = o harhato variassille σ, os E( MSE) = E( SSE) N =σ Todistamme sisi, että E(SSE) = (N )σ Huomautus: Todistusessa ei oleteta, että ollahpoteesi H 0 : μ = μ = = μ = μ pätee. Ysisuutaise variassiaalsi tilastollie malli voidaa esittää seuraavassa muodossa (s. taremmi seuraavaa appaletta): = μ + ε, i =,,,, =,,, i i ossa satuaismuuttuat ε i ovat riippumattomia a ormaaliaautueita: ε σ = = i N(0, ), i,,,,,,, Todetaa esi, että = i = μ + ε, =,,, i= ossa ε = εi, =,,, i= Satuaismuuttuat ε ovat riippumattomia a ormaaliaautueita: Lisäsi σ ε N 0,, =,,, = ε ε, i =,,,, =,,, i i Ila Melli 459

20 0. Ysisuutaie variassiaalsi Edellä esitet muaa ( i ) ( εi ε ) = i= = i= SSE = = ( εi εiε ε ) = i= = + εi ε ε = i= = = = + εi ε = i= = = = εi ε = i= Site E( SSE) = E ( i ) = i= = E εi ε = i= = E( εi ) E( ε ) = i= = = i= = σ σ = ( ) = ( ) σ = ( ) σ = ( N ) σ miä o haluttu tulos. σ σ Variassiestimaattori MSG harhattomuus Jos ollahpoteesi H 0 : μ = μ = = μ = μ pätee, ii estimaattori MSG = SSG o harhato havaitoe i variassille σ : E( MSG) = σ Ila Melli 460

21 0. Ysisuutaie variassiaalsi Perustelu: Oletetaa perustelu siertaistamisesi, että = = = = olloi N = Estimaattori MSG = SSG = ( ) = o harhato variassille σ, os E( MSG) = E( SSG) =σ Todistamme, että estimaattori MSG o harhato variassille σ, os ollahpoteesi H 0 : μ = μ = = μ = μ pätee. Ysisuutaise variassiaalsi tilastollie malli voidaa esittää seuraavassa muodossa (s. taremmi seuraavaa appaletta): ossa = μ + τ + ε, i =,,,, i =,,, i i = τ = 0 a satuaismuuttuat ε i ovat riippumattomia a ormaaliaautueita: ε σ = = i N(0, ), i,,,,,,, Todetaa esi, että = i = μ+ τ + ε, =,,, i= ossa ε = εi, =,,, i= Lisäsi = i = ( μ + τ + ε ) = μ + τ + ε = α + ε N N N ossa = i= = = ε = ε = ε N i = i= N = Ila Melli 46

22 0. Ysisuutaie variassiaalsi Satuaismuuttuat ε = εi, =,,, i= ovat riippumattomia a ormaaliaautueita: σ ε N 0,, =,,, Mös satuaismuuttua ε εi N = i= = o ormaaliaautuut: σ ε N 0, N Lisäsi Edellä oleva muaa = ε ε + τ, =,,, ( ) ( ε ε τ ) = = SSG = = + = ( ε ε) + τ = ( ε ε) ( ε ε) τi τ = = = = + + ( ε ε ε ε ) ( ε ε) τi τ = = = = ε ε ε ( ε ε) τ τ = = = = = ε Nε + ( ε ε) τ + τ = Site E( SSG) = E ( ) = = = = E + ( ) + ε Nε ε ε τ τ = = = E( ε ) NE( ε ) τ E( ε ε) τ = = = = + + Ila Melli 46

23 0. Ysisuutaie variassiaalsi σ σ = N + τ 0+ N = ( ) σ + Site olemme todistaeet, että τ = = = τ τ SSG = E( MSG) = E = σ + osa ollahpoteesi H 0 : μ = μ = = μ = μ o evivaletti ollahpoteesi H 0 : τ = τ = = τ = 0 assa (s. taremmi seuraavaa appaletta), ii ollahpoteesi H 0 pätiessä MSG o variassi σ harhato estimaattori: E(MSG) = σ Variassiaalsitauluo Variassiaalsi tuloset esitetää tavallisesti variassiaalsitauluo muodossa: Variassiaalsitauluo eliösummat toteuttavat htälö SST = SSG + SSE Yhtälö o variassiaalsihaotelma. Variassiaalsitauluo eliösummie vapausasteet df (= degrees of freedom) toteuttavat htälö N = ( ) + (N ) Vaihtelu lähde Neliösumma SS Vapausasteet df Variassiestimaattori MS F-testisuure Rhmie välie vaihtelu Rhmie sisäie vaihtelu SSG SSE N MSG = SSG MSE = SSE N F MSG = MSE N SSG = SSE ooaisvaihtelu SST N Ila Melli 463

24 0. Ysisuutaie variassiaalsi 0.4. Ysisuutaise variassiaalsi malli a se parametroiti Ysisuutaise variassiaalsi tilastollie malli voidaa parametroida ahdella erilaisella tavalla. Parametroiit ovat uitei evivalettea. Parametroiti Ysisuutaise variassiaalsi tilastollie malli voidaa parametroida seuraavalla tavalla: () = μ + ε, i =,,,, =,,, i i ossa ääös- eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () ε σ i = = i N(0, ),,,,,,,, i = -muuttua i. havaitoarvo rhmässä μ = -muuttua odotusarvo rhmässä =,,, Ei-satuaiset vaiot μ a ääösvariassi σ ovat sisuutaise variassiaalsi tilastollise malli () parametrit. Mallia () osevista oletusista seuraa, että E( ) = μ, i =,,,, =,,, i a D ( i ) = σ, =,,,, =,,, i Parametroiti Ysisuutaise variassiaalsi malli voidaa parametroida mös seuraavalla tavalla: ossa () = α + τ + ε, i =,,,, =,,, i i a (3) = i τ = 0 ε σ i = = N(0, ),,,,,,,, Ei-satuaiset vaiot μ a τ seä ääösvariassi σ ovat sisuutaise variassiaalsi tilastollise malli () parametrit. Mallia () osevista oletusista seuraa, että E( ) = μ + τ, i =,,,, =,,, i a σ i D ( i ) =, =,,,, =,,, Ila Melli 464

25 0. Ysisuutaie variassiaalsi Parametroitie a evivalessi Mallissa () = μ + ε, i =,,,, =,,, i i -havaiot esitetää seuraavie teiöide summaa: μ = rhmäohtaie odotusarvo, =,,, ε i = ääöstermi, i =,,,, =,,, Mallissa () = α + τ + ε, i =,,,, =,,, ossa (3) i i = τ = 0 -havaiot esitetää seuraavie teiöide summaa: μ = leisodotusarvo τ = rhmittelevä teiä A taso A vaiutus, =,,, ε i = ääöstermi, i =,,,, =,,, aava () a aavoe () a (3) määrittelemät mallit ovat evivalettea mallit o vai parametroitu eri tavoilla. Perustelu: Määritellää ossa μ N = μ = N = + + L + iroitetaa idetiteetti = μ+ ( μ μ) + ( μ ), i =,,,, =,,, i i a meritää τ = μ μ, =,,, a μ = ε, i =,,,, =,,, i i Ila Melli 465

26 0. Ysisuutaie variassiaalsi Site = μ + ε i i = μ+ ( μ μ) + ( μ ) i i = μ+ τ + ε i i i =,,,, =,,, ossa μ = μ, N = + + L+ = N τ = μ μ, =,,,, τ = 0 = ovat sisuutaise variassiaalsi tilastollise malli evivalettea esitsmuotoa. Malli () = μ + ε, i =,,,, =,,, i i ollahpoteesia H 0 : μ = μ = = μ = μ vastaa aavoe a () = α + τ + ε, i =,,,, =,,, i i (3) = τ = 0 määrittelemässä mallissa ollahpoteesi H 0 : τ = τ = = τ = 0 Malli () iiittää huomio suoraa rhmäohtaisii odotusarvoihi μ, u taas aavoe () a (3) määrittelemässä mallissa rhmäohtaiset odotusarvot μ o esitett leisodotusarvo μ a rhmittelevä teiä tasoo liittvä vaiutuse (efeti) τ summaa. Ysisuutaise variassiaalsi malli a leie lieaarie malli Ysisuutaise variassiaalsi malli o erioistapaus leisestä lieaarisesta mallista; lisätietoa: s. luua Yleie lieaarie malli. Oloo i = i. havaito rhmässä, i =,,,, =,,, Ila Melli 466

27 0. Ysisuutaie variassiaalsi Määritellää rhmäidiaattorit I i, os havaito i uuluu rhmää = 0, os havaito i ei uulu rhmää i =,,,, =,,, Tällöi sisuutaise variassiaalsi malli () = μ + ε, i =,,,, =,,, i i voidaa esittää muodossa (4) = μi + μi + L+ μ I + ε, i =,,,, =,,, i i i i i Malli (4) o lieaarie regressiomalli, ossa selitettävää muuttuaa o, selittäviä muuttuia ovat rhmäidiaattorit I, =,,, a regressioertoimia ovat rhmäohtaiset odotusarvot μ, μ,, μ Malli (4) o leise lieaarise malli erioistapaus, ossa selitettävä muuttua o vatitatiivie, mutta selittäät I valitatiivisia (ategorisia) muuttuia. Huomaa, että regressiomallissa (4) ei saa olla vaiotermiä, osa se lisäämie mallii loisi selittävie muuttua arvoe välille esati lieaarise riippuvuude: Ii + Ii + L+ Ii =, i =,,, sillä aiille i täsmällee si rhmäidiaattoreista I, =,,, saa arvo = a aii muut saavat arvo = Ysisuutaise variassiaalsi malli parametrie estimoiti Ysisuutaise variassiaalsi malli Oloo () = μ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös- eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () ε σ i = = i N(0, ),,,,,,,, i = -muuttua i. havaitoarvo rhmässä μ = -muuttua odotusarvo rhmässä Jos ollahpoteesi H 0 : μ = μ = = μ = μ otetaa huomioo, malli () saa muodo Ila Melli 467

28 0. Ysisuutaie variassiaalsi () = μ + ε, i =,,,, =,,, i i Pieimmä eliösumma estimoiti Tarastellaa malli () parametrie μ, =,,, pieimmä eliösumma estimoitia. Malli () parametrie μ, μ,, μ pieimmä eliösumma estimaattoreisi ˆ μ ˆ ˆ, μ,, μ saadaa havaitoarvoe rhmäesiarvot : i i= ˆ μ = =, =,,, Perustelu: Estimoidaa malli () = μ + ε, i =,,,, =,,, i i parametrit μ, =,,, PNS-meetelmällä. Etsitää eliösumma = i = i = i= = i= SS( μ, μ,, μ ) ε ( μ ) miimi parametrie suhtee tavaomaisee tapaa: (i) Derivoidaa eliösumma SS( μ, μ,, μ ) parametrie μ, =,,, suhtee. (ii) Meritää derivaatat ollisi. (iii) Rataistaa saadut ormaalihtälöt parametrie μ, =,,, suhtee. Normaalihtälöisi saadaa: SS( μ, μ,, μ ) = ( μ ) μ i μ = i= = ( μ ) i= = i μ i= = 0, =,,, Normaalihtälöide rataisuisi saadaa rhmäesiarvot i ˆ μ = =, =,,, i i= Estimoidu malli sovitteet saadaa aavoilla ˆ = ˆ μ =, i =,,,, =,,, i a residuaalit aavoilla Ila Melli 468

29 0. Ysisuutaie variassiaalsi e = ˆ =, i =,,,, =,,, i i i Jääöseliösummasi saadaa rhmie sisäistä vaihtelua uvaava eliösumma ( i ) i = i= = i= SSE = = e Pieimmä eliösumma estimoiti htä suurte odotusarvoe tapausessa Malli () parametri μ pieimmä eliösumma estimaattorisi ˆμ saadaa havaitoarvoe i leis- eli ooaisesiarvo : ossa a ˆ μ = = = N N = + + L + i = = N = = i, =,,, i = Perustelu: Estimoidaa malli () = μ + ε, i =,,,, =,,, i i parametri μ PNS-meetelmällä. Etsitää eliösumma i i = i= = = SS( μ) = ε = ( μ) miimi tavaomaisee tapaa: (i) Derivoidaa eliösumma S(μ) parametri μ suhtee. (ii) Meritää derivaatta ollasi. (iii) Rataistaa saatu ormaalihtälö parametri μ suhtee. Normaalihtälösi saadaa: ossa SS( μ) = ( i μ) μ μ = i= = ( μ) = i= = i Nμ = i= = 0 i Ila Melli 469

30 0. Ysisuutaie variassiaalsi N = + + L + Normaalihtälö rataisusi saadaa leisesiarvo ˆ μ = i = N = i= Estimoidu malli sovitteet saadaa aavoilla ˆ = ˆ μ =, i =,,,, =,,, i a residuaalit aavoilla e = ˆ =, i =,,,, =,,, i i i i Jääöseliösummasi saadaa havaitoarvoe i ooaisvaihtelua uvaava ooaiseliösumma SST = ( ) = i= i Testi odotusarvoe samuudelle Jos ollahpoteesi H 0 : μ = μ = = μ = μ otetaa huomioo, että regressiomalli () ertoimille tulee asetetusi ( ) lieaarista raoitusta eli side-ehtoa: (3) μ μ = 0, =, 3,, Yleise lieaarise malli teoria muaa (s. luvu Eritissmsiä leise lieaarise malli soveltamisessa appaletta Raoitettu pieimmä eliösumma meetelmä) side-ehtoe (3) testaamie voidaa perustaa F-testisuureesee N SST SSE F = SSE ossa SST = ( ) = i= i o havaitoarvoe i ooaisvaihtelua uvaava ooaiseliösumma a SSE = ( ) = i= i o rhmie sisäistä vaihtelua uvaava ääöseliösumma. Ottamalla huomioo variassiaalsihaotelma SST = SSG + SSE testisuure F voidaa iroittaa mös muotoo Ila Melli 470

31 0. Ysisuutaie variassiaalsi ossa N SSG F = SSE ( ) ( ) = i= = SSG = SST SSE = = o rhmie välistä (sstemaattista) vaihtelua uvaava rhmäeliösumma. Jos side-ehdot (3) pätevät, testisuure F oudattaa F-aaumaa vapausastei ( ) a (N ): F F(, N ) Suuret testisuuree F arvot viittaavat siihe, että ollahpoteesi H 0 o stä hlätä. Sovitteet a residuaalit ute edellä o todettii, estimoidu sisuutaise variassiaalsi malli sovitteet saadaa aavoilla ˆ = ˆ μ =, i =,,,, =,,, i a estimoidu malli residuaalit saadaa aavoilla e = ˆ =, i =,,,, =,,, i i i Malli residuaalit o aia stä alistaa samalaisii diagostisii taristusii ui miä tahasa regressiomalli residuaalit. Residuaalie avulla voidaa selvittää oo havaitoe ouossa poieavia havaitoa seä pätevätö malli ääöstermeistä tehdt homosedastisuus-, orreloimattomuus- a ormaalisuusoletuset; s. sitisohtia luvusta Regressiodiagostiia Ysisuutaise variassiaalsi malli matriisiesits Oloo () = μ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös- eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () ε σ i = = i N(0, ),,,,,,,, i = -muuttua i. havaitoarvo rhmässä μ = -muuttua odotusarvo rhmässä Määritellää rhmäidiaattorit, os havaito i uuluu rhmää Ii = 0, os havaito i ei uulu rhmää i =,,,, =,,, Ila Melli 47

32 0. Ysisuutaie variassiaalsi Tällöi sisuutaise variassiaalsi malli () = μ + ε, i =,,,, =,,, i i voidaa esittää muodossa () = μi + μi + L+ μ I + ε, i =,,,, =,,, i i i i i Matriiisiesits Yhtälöt () voidaa iroittaa matriisei seuraavassa muodossa: 00L0 M M M M M 00 0 L 00L0 M M M M M μ 00L0 μ μ = 3 + M M M M L M M M M M M M μ M M M M L M 000L M M M M 000 M L ε M ε ε M ε M M M ε M ε Esitetää tämä matriisihtälö muodossa = Xμ + ε ossa = havaitoarvoe i muodostama N-vetori, N = + + L + X = ollie a öste muodostama täsiasteie N -matriisi μ = regressioertoimie (= rhmäodotusarvoe) muodostama -vetori ε = ääöstermie ε o muodostama N-vetori Huomaa, että matriisi X oaisella rivillä o täsmällee si öe a muut aliot o. rivillä ovat ollia. Pieimmä eliösumma estimoiti Regressioertoimie vetori μ PNS-estimaattori o μˆ = ( XX ) X Ila Melli 47

33 0. Ysisuutaie variassiaalsi Matriisi X erioise raetee taia ähdää helposti, että matriisi X X o diagoaalimatriisi: Lisäsi 0 0 L L 0 = diag(,,, ) = L 0 XX Σ Σ X = Σ M Σ i i i3 osa X X o diagoaalimatriisi, ii i M M M O M L 0 0 L L 0 = = 0 0 L 0 3 M M M O M L ( XX) diag(/,/,,/ ) Site regressioertoimie vetori μ PNS-estimaattorisi ˆμ saadaa rhmäesiarvoe muodostama vetori: = i, =,,, i = Σ i Σ = = = Σ M Σ i i μˆ ( XX ) X 3 i3 3 M Edellä todettii, että os ollahpoteesi H 0 : μ = μ = = μ = μ otetaa huomioo, ii malli Ila Melli 473

34 0. Ysisuutaie variassiaalsi () = μ + ε, i =,,,, =,,, i i saa muodo (3) = μ + ε, i =,,,, =,,, i i Yhtälöt (3) voidaa iroittaa matriisei seuraavaa muotoo: ε M M M ε ε M M M ε = μ + M M M M M M M M M ε M M M ε Esitetää tämä matriisihtälö muodossa = μ + δ ossa = havaitoarvoe i muodostama N-vetori, N = + + L + = öste muodostama N-vetori μ = regressioerroi δ = ääöstermie δ i muodostama N-vetori Regressioertoime μ PNS-estimaattori o Helposti ähdää, että a Site ˆ μ = ( ) = N =ΣΣ i ( ) = N a regressioertoime μ PNS-estimaattorisi ˆμ saadaa havaitoarvoe leisesiarvo : Ila Melli 474

35 0. Ysisuutaie variassiaalsi ˆ μ = ( ) = ΣΣ i = N 0.7. Lasutoimituste suorittamie Oloo () = μ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös- eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () ε σ i = = i N(0, ),,,,,,,, i = -muuttua i. havaitoarvo rhmässä μ = -muuttua odotusarvo rhmässä Määritellää rhmä =,,, havaitoarvoe i summa aavalla T = i, =,,, i= a aiie havaitoarvoe i ooaissumma aavalla Oloo lisäsi i = i= = T = = T N = + + L + havaitoe ooaisluumäärä. Havaitoarvoe rhmäesiarvot saadaa aavoilla = T, =,,, a havaitoarvoe leisesiarvo saadaa aavalla = T N Edellee ooaiseliösumma SST voidaa iroittaa muotoo ( i ) i = i= = i= N SST = = T a rhmie välistä vaihtelua uvaava eliösumma SSG voidaa iroittaa muotoo ( ) ( ) = i= = = N SSG = = = T T Ila Melli 475

36 0. Ysisuutaie variassiaalsi Variassiaalsihaotelmasta seuraa, että rhmie sisäistä vaihtelua uvaava eliösumma SSE saadaa aavalla SSE = SST SSG F-testisuure ollahpoteesi H 0 : μ = μ = = μ = μ testaamisesi o muotoa N SSG F = SSE Bartletti testissä (s. alla) tarvittavat rhmäohtaiset variassit saadaa aavoilla s = ( i ) = i T,,,, i= = i= Site sisuutaise variassiaalsi perustehtävie suorittamisesi riittää lasea seuraavat summat a eliösummat: T = i, =,,, i= T = = T i = i= = i = i=,,,, = i= Lasutoimituset voidaa ärestää esimerisi seuraava tauluo muotoo: i Rhmä Rhmä L Rhmä Summa L N = = L M M M L = i = i= i i L = = i= i = = T T T T T T T L T i i L i i i i = = = = i= i Ila Melli 476

37 0. Ysisuutaie variassiaalsi 0.8. Bartletti testi Bartletti testi o tilastollie testi, olla voidaa testata sisuutaise variassiaalsi oletusta havaitoe rhmäohtaiste variassie htäsuuruudesta. Testausasetelma Oloo () = μ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli. Mallissa () Oloo lisäsi i = -muuttua i. havaitoarvo rhmässä μ = -muuttua odotusarvo rhmässä N = + + L +. havaitoe ooaisluumäärä. Tehdää oletus, että ääös- eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: ε σ i = = i N(0, ),,,,,,,, Oletuse muaa rhmäohtaiset variassit σ i D ( i ) =, =,,,, =,,, voivat erota toisistaa. Ysisuutaise variassiaalsi F-testi ollahpoteesille H 0 : μ = μ = = μ = μ oaa oletusee, oa muaa aiilla havaioilla i o (rhmästä riippumatta) sama variassi: Asetetaa sisi ollahpoteesi Testisuure a se aauma σ i D ( i ) =, =,,,, =,,, H : σ = σ = L = σ = σ 0 Määritellää havaitoarvoe i rhmäohtaiset otosvariassit s aavalla ossa i i= s = ( ), =,,, = i, =,,, i = Ila Melli 477

38 0. Ysisuutaie variassiaalsi o rhmä i havaitoarvoe aritmeettie esiarvo a rhmäohtaisista otosvariasseista hdistett variassi s P aavalla Bartletti testisuure o Q B = h ossa s = s = SSE = MSE N N P ( ) = ( )log( P ) ( )log( ) = Q= N s s a h = + 3( ) = N Jos ollahpoteesi H 0 : σ = σ = L = σ = σ pätee, Bartletti testisuure B oudattaa suurissa otosissa approsimatiivisesti χ -aaumaa vapausastei ( ): B a χ ( ) Testisuuree B ormaaliarvo o suurissa otosissa approsimatiivisesti ( ), osa ossa E( χ ) = χ χ ( ) Site suuret testisuuree χ arvot viittaavat siihe, että ollahpoteesi H 0 o stä hlätä Odotusarvoparie vertailu Oloo () = μ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös- eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: ε σ i = = i N(0, ),,,,,,,, s Mallissa () Oloo lisäsi i = -muuttua i. havaitoarvo rhmässä μ = -muuttua odotusarvo rhmässä N = + + L + Ila Melli 478

39 0. Ysisuutaie variassiaalsi havaitoe ooaisluumäärä. Jos sisuutaise variassiaalsi ollahpoteesi H 0 : μ = μ = = μ = μ hlätää tiedetää, että aiai asi odotusarvoista μ, =,,, eroaa tilastollisesti meritsevästi toisistaa. Jos ollahpoteesi H 0 hlätää, variassiaalsia voidaa ataa rhmittelllä, ossa selvitetää missä rhmissä odotusarvoe erot ovat tilastollisesti meritseviä. Vertailu voidaa tehdä ättämällä luottamusväleä tai testeä. Luottamusvälit a odotusarvoe parivertailu Oletetaa, että haluamme verrata odotusarvoa μ a μ l. Odotusarvoe vertailu voidaa tehdä site, että ostruoidaa odotusarvoe μ a μ l erotuselle μ μ l luottamusväli a tutitaa uuluuo olla ostruoituu välii vai ei. ätetää erotuse μ μ l luottamusväliä väliä ossa ( l) ± tα sp + P ( ) = o s. hdistett variassi, ossa s = s = SSE = MSE N N i i= s = ( ), =,,, l o havaitoarvoe i variassi rhmässä i a luottamustasoa ( α) vastaavat luottamusertoimet t α/ a +t α/ o valittu site, että Pr( t t + t ) = α/ α/ α ossa satuaismuuttua t oudattaa t-aaumaa vapausastei (N ): t t( N ) Huomautusia: Tässä esitett luottamusväli aava eroaa tavaomaisesta ahde riippumattoma ormaaliaautuee otose tapausessa o. aaumie odotusarvoe erotuse luottamusväli aavasta site, että hdistet variassi s P aavassa o hdistett otosvariassit aiista rhmistä eiä vai rhmistä a l. ostruoidut luottamusvälit eivät ole simultaaisia, vaa osevat vai rhmie a l odotusarvoa. Ila Melli 479

40 0. Ysisuutaie variassiaalsi Tehtävie parivertailue luumäärä o ( ) = Testit a odotusarvoe parivertailu Oletetaa, että haluamme verrata odotusarvoa μ a μ l. Odotusarvoe vertailu voidaa tehdä site, että testataa ollahpoteesia H 0 : μ μ l = 0 vaihtoehtoista hpoteesia H : μ μ l 0 vastaa. ätetää testisuureea t-testisuuretta l t = sp + aavassa P ( ) = o s. hdistett variassi, ossa l s = s = SSE = MSE N N i i= s = ( ), =,,, o havaitoarvoe variassi rhmässä i. Jos ollahpoteesi H 0 : μ μ l = 0 pätee, ii testisuure t oudattaa t-aaumaa vapausastei (N ): t t( N ) Itseisarvoltaa suuret testisuuree t arvot ohtavat ollahpoteesi hläämisee. Huomautusia: Tässä ätettävä testisuuree aava eroaa tavaomaisesta ahde riippumattoma otose t-testi aavasta site, että hdistet variassi s P aavassa o hdistett otosvariassit aiista rhmistä eiä vai rhmistä a l. ostruoidut testit eivät ole simultaaisia, vaa osevat vai rhmie a l odotusarvoa. Ila Melli 480

41 0. Ysisuutaie variassiaalsi Tehtävie parivertailue luumäärä o ( ) = Luottamusvälie a testie evivalessi Edellä esitett luottamusväleä ättävä meettel, ossa luottamustasosi valitaa luu α a edellä esitett testausmeettel, ossa meritsevstasosi valitaa luu α ovat evivalettea. Simultaaiset luottamusvälit a testit Simultaaiste luottamusvälie tai testie ostruoimisee o useita erilaisia meetelmiä. Simultaaiset luottamusvälit tai testit ovat tavallisesti uitei vai approsimatiivisia. Boferroi meetelmässä ätetää parivertailue luottamusväleä tai testeä, mutta luu α orvataa luvulla α/m ossa m o tehtävie parivertailue luumäärä: ( ) m = = Boferroi epähtälö Oloot A, A,, A m tapahtumia. Tällöi pätee Boferroi epähtälö c c c Pr( A A L Am) Pr( A) + Pr( A) + L + Pr( Am) Perustelu: Todistetaa Boferroi epähtälö tapausessa m =. Yleie tapaus voidaa todistaa samaa tapaa ui tapaus m = ättäe idutiota. Oloot siis A a A asi otosavaruude S tapahtumaa. Tällöi leisestä hteelasusääöstä seuraa, että Pr( A A ) = Pr( A ) + Pr( A ) Pr( A A ) Pr( A ) + Pr( A ) () c c c c c c c c De Morgai lai muaa A A = ( A A ) c c c Ila Melli 48

42 0. Ysisuutaie variassiaalsi Site omplemettitapahtuma todeäöisde sääöstä a aavasta () seuraa, että Pr( A A ) = Pr(( A A ) ) = Pr( A A ) [Pr( A ) + Pr( A )] c c c c c c c Boferroi epähtälö a simultaaiset testit Boferroi meetelmä odotusarvoe vertailussa perustuu Boferroi epähtälöö. Oletetaa, että tehtävää o suorittaa m tilastollista testiä. Tarastellaa todeäöisttä α, että vähitää si testie ollahpoteeseista hlätää virheellisesti. Määritellää tapahtuma A i = Nollahpoteesia ei hlätä virheellisesti testissä i, i =,,, m Tällöi c A i = Nollahpoteesi hlätää virheellisesti testissä i, i =,,, m Jos aiissa odotusarvoe vertailutesteissä ätetää samaa meritsevstasoa α, ii Pr( A) = α, i =,,, m a i c Pr( A ) = α, i =,,, m i Jos testit i =,,, m ovat riippumattomia, ii todeäöiss, että ollahpoteesia ei hlätä virheellisesti hdessäää testissä o Pr( A A L A ) = Pr( A) Pr( A ) L Pr( A ) m Jos oaisessa testissä ätetää meritsevstasoa samaa luua α, ii tällöi Pr( A A L A ) = ( α) m m a site α = Pr( Vähitää si virheellie hläs ) = ( α) m Jos testit i =,,, m riippuvat toisistaa, ii tämä htälö pätee vai approsimatiivisesti. Boferroi epähtälö muaa Pr( Ei htää virheellistä hlästä ) = Pr( A A L Am ) c c c [Pr( A ) + Pr( A ) + L+ Pr( A )] Jos oaisessa testissä ätetää meritsevstasoa samaa luua α, ii saamme epähtälö Pr( Ei htää virheellistä hlästä ) mα Site vähitää hde virheellise hläse todeäöisdelle α o saatu arvio α = Pr( Vähitää si virheellie hläs ) = Pr( Ei htää virheellistä hlästä ) mα m m Ila Melli 48

43 0. Ysisuutaie variassiaalsi Site valita taaa se, että α = β/m α β 0.0. otrastit Oloo () = μ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös- eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () Oloo lisäsi ε σ i = = i N(0, ),,,,,,,, i = -muuttua i. havaitoarvo rhmässä μ = -muuttua odotusarvo rhmässä N = + + L + havaitoe ooaisluumäärä. otrasti Parametrie μ, μ,, μ lieaariombiaatio o otrasti, os Γ= c μ = otrastit = c = 0 a Γ= c μ = Δ= d μ = ovat ortogoaalisia, os = cd = 0 Ila Melli 483

44 0. Ysisuutaie variassiaalsi Jos = = = = ii otrastit Γ a Δ ovat ortogoaalisia, os = cd = 0 otrastie estimoiti Oloo otrasti C = c = estimaattori, ossa Γ= c μ = = i, =,,, = o havaitoarvoe aritmeettie esiarvo rhmässä a, =,,, o rhmä oo. Ysisuutaise variassiaalsi mallista tehdistä oletusista seuraa, että estimaatori C oudattaa ormaaliaaumaa: ossa C μ σ N( C, C) a μ = E( C) = c μ =Γ σ C = C = D( C) = σ = c otrastea osevat testit Asetetaa ollahpoteesi H : Γ= c μ = 0 0 = a sille asisuutaie vaihtoehtoie hpoteesi H: Γ= c μ 0 = Ila Melli 484

45 0. Ysisuutaie variassiaalsi Määritellää F-testisuure ossa c = F = c MSE = = = i, =,,, o havaitoarvoe aritmeettie esiarvo rhmässä,, =,,, o rhmä oo a ( i ) ( ) = i= = SSE MSE = = = s N N N rhmie sisäistä vaihtelua uvaava eliösumma, ossa N = havaitoe ooaisluumäärä a i i= s = ( ), =,,, o havaitoarvoe variassi rhmässä. Jos ollahpoteesi H : Γ= c μ = 0 0 = pätee, ii testisuure F oudattaa F-aaumaa vapaustei a (N ): F F(, N ) Suuret testisuuree F arvot ohtavat ollahpoteesi H 0 hläämisee. Perustelu: Oloo C Q = D( C) ossa a C = c = Ila Melli 485

46 0. Ysisuutaie variassiaalsi Jos ollahpoteesi c D( C) = σ = pätee, ii Oloo ossa H : Γ= c μ = 0 Q Q 0 = χ () SSE = σ ( i ) ( ) = i= = SSE = = s Voidaa osoittaa, että (s. appaletta Ysisuutaie variassiaalsi a se suorittamie) ossa Q N χ ( ) N = + + L + Määritellää F-testisuure Q / Q F = = ( N ) Q /( N ) Q osa eliösummat Q a Q ovat riippumattomia, F F(, N ) Todetaa lopusi, että testisuure F voidaa iroittaa muotoo ossa c = F = c MSE = ( i ) ( ) = i= = SSE MSE = = = s N N N Ila Melli 486

47 0. Ysisuutaie variassiaalsi Ottamalla edellä esitetstä F-testisuureesta eliöuuri, saadaa t-testisuure t = = MSE c = c Jos ollahpoteesi H : Γ= c μ = 0 0 = pätee, ii testisuure t oudattaa t-aaumaa vapausastei (N ): t t(n ) Itseisarvoltaa suuret testisuuree t arvot ohtavat ollahpoteesi H 0 hläämisee. Edellä esitett F-testi a t-testi ovat evivalettea. otrastie luottamusvälit otrasti Γ= ciμi i= luottamusväli luottamustasolla ( α) o muotoa c ± c tα / MSE = = ossa luottamusertoimet t α/ a +t α/ o määrätt ii, että Pr( t α/ t + t α/ ) = α a t t(n ) Ortogoaaliste otrastie testaamie otrastit a Γ= c μ = Δ= d μ = ovat ortogoaalisia, os = cd = 0 Ila Melli 487

48 0. Ysisuutaie variassiaalsi Toisistaa riippumattomie ortogoaalisia otrastie luumäärä o ossa = Rhmie luumäärä Ortogoaaliset otrastit deompooivat rhmie välistä (sstemaatista) vaihtelua uvaava eliösumma SSG = ( ) = ( ) ompoettii, oista oaise aste =. Site ortogoaalisii otrasteihi liittvät testit ovat riippumattomia. Perustelu: Oloot Γ = c μ, l =,,, l l = ( ) ortogoaalista otrastia odotusarvoille Oloo μ, μ,, μ Tällöi pätee = l c l = SSl =, l =,,, c = SSG = ( ) = SS + SS + L + SS appaleessa Ysisuutaie variassiaalsi a se suorittamie todettii, että SSG χ σ ( ) Edellä esitet muaa satuaismuuttuat SS SS SS,,, σ σ σ oudattavat χ -aaumaa hdellä vapausasteella: SS χ (), l =,,, l Ila Melli 488

49 0. Ysisuutaie variassiaalsi Site Cochrai lauseesta (s. appaletta Ysisuutaie variassiaalsi a se suorittamie) seuraa, että satuaismuuttuat SS SS SS,,, σ σ σ ovat riippumattomia. osa F-testisuureet otrasteille Γ, Γ,, Γ voidaa esittää muodossa SSl Fl =, l =,,. MSE äemme, että testit ortogoaalisille otrasteille ovat riippumattomia. Ila Melli 489

50 . asisuutaie variassiaalsi. asisuutaie variassiaalsi.. Variassiaalsi: Johdato.. asisuutaie variassiaalsi a se suorittamie.3. asisuutaise variassiaalsi malli a se parametroiti.4. asisuutaise variassiaalsi malli parametrie estimoiti.5 Lasutoimituste suorittamie Ysisuutaie variassiaalsi o tilastollie meetelmä, ossa perusouo aetaa rhmii hde rhmittelevä teiä suhtee a tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. asi- tai useampisuutaisessa variassiaalsissa perusouo aetaa rhmii ahde tai useamma rhmittelevä teiä suhtee a tällöii tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. Tässä luvussa tarastellaa asisuutaista variassiaalsia. Tarastelu ohteea ovat mm. asisuutaise variassiaalsi malli a se parametroiti, parametrie estimoiti, odotusarvoe htäsuuruude testaamie a lasutoimituste suorittamie. Avaisaat: Aritmeettie esiarvo, Cochrai lause, Estimoiti, F-testi, Fatori, Harha, Harhattomuus, Idiaattorimuuttua, Iteratio, Jääösvaihtelu, Jääösvariassi, asisuutaie variassiaalsi, ooaisesiarvo, ooaisvaihtelu, Meritsevstaso, Muuttua, Normaaliaauma, Neliösumma, Otos, Otostuusluu, Parametri, Parametroiti, Pieimmä eliösumma estimaattori, Pieimmä eliösumma meetelmä, Päävaiutus, Residuaali, Reuaesiarvo, Riippumattomuus, Rhmie sisäie vaihtelu, Rhmie välie vaihtelu, Rhmittel, Rhmä, Rhmäesiarvo, Satuaisuus, Side-ehto, Sovite, t-testi, Taso, Teiä, Testi, Vapausaste, Variassi, Variassiaalsihaotelma, Variassiaalsitauluo, Yhdsvaiutus, Ysisuutaie variassiaalsi, Yleie lieaarie malli, Yleisesiarvo Ila Melli 490

51 . asisuutaie variassiaalsi.. Variassiaalsi: Johdato ahde riippumattoma otose t-testi Suhdeasteiollisille muuttuille taroitettua testeä äsitelleessä appaleessa tarastellaa ahde riippumattoma otose t-testiä. Testi testausasetelma o seuraava: (i) Perusouo oostuu ahdesta rhmästä. (ii) Havaiot oudattavat ummassai rhmässä ormaaliaaumaa. (iii) ummastai rhmästä o poimittu toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe htäsuuruutta. Variassiaalsi perusogelma Variassiaalsi voidaa mmärtää ahde riippumattoma otose t-testi leistsesi tilateisii, ossa perusouo oostuu ahdesta tai useammasta rhmästä: (i) Perusouo oostuu ahdesta tai useammasta rhmästä. (ii) Havaiot oudattavat oaisessa rhmässä ormaaliaaumaa. (iii) Joaisesta rhmästä poimitaa toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe htäsuuruutta. Perusouo ao rhmii voidaa tehdä hde tai useamma fatori eli teiä (muuttua) arvoe perusteella. Jos perusouo ao rhmii perustuu htee teiää, puhutaa sisuutaisesta variassiaalsista. Jos perusouo ao rhmii perustuu m teiää, puhutaa m-suutaisesta variassiaalsista. Huomautus: Tässä luvussa äsitellää asisuutaista variassiaalsia; sisuutaista variassiaalsia o äsitelt edellisessä luvussa a olmisuutaista variassiaalsia äsitellää seuraavassa luvussa. Variassiaalsi imi ohtaa helposti harhaa. Variassiaalsissa ei testata variassie vaa odotusarvoe htäsuuruutta tilateessa. Nimi ohtuu siitä, että odotusarvoe htäsuuruude testaamie perustuu eri tavoilla määrätte variassie htäsuuruude testaamisee... asisuutaise variassiaalsi perusasetelma Oletetaa, että tutimuse ohteea oleva perusouo voidaa aaa rhmii ahde fatori eli teiä (muuttua) A a B arvoe suhtee a oletetaa, että teiällä A o J tasoa a teiällä B o tasoa, olloi aossa st rhmiä J appaletta. Oletetaa edellee, että rhmistä o poimittu toisistaa riippumattomat satuaisotoset, oide aiie oo o I. osa rhmäoot o oletettu htä suurisi, saomme, että asetelma o tasapaiotettu. Oloo i = i. havaito teiä A taso A a teiä B taso B määräämässä rhmässä (, ), i =,,, I, =,,, J, =,,, ätetstä otatameetelmästä seuraa, että havaiot i voidaa olettaa riippumattomisi (a site mös orreloimattomisi) satuaismuuttuisi. Ila Melli 49

52 . asisuutaie variassiaalsi Oletetaa, että aiilla samaa rhmää (,) uuluvilla havaioilla o sama odotusarvo: E( i ) = μ, i =,,, I, =,,, J, =,,, a aiilla havaioilla o rhmästä riippumatta sama variassi: D ( i ) = σ, i =,,, I, =,,, J, =,,, Oletetaa lisäsi, että havaiot i ovat ormaaliaautueita: i N(μ, σ ), i =,,, I, =,,, J, =,,, Haluamme testata ollahpoteesia siitä, että rhmäohtaiset odotusarvot E( i ) = μ ovat htä suuria: H 0 : μ = μ, =,,, J, =,,, Jos ollahpoteesi rhmäohtaiste odotusarvoe htäsuuruudesta pätee, rhmät voidaa hdistää aiissa havaitoe esimääräisiä arvoa osevissa tarasteluissa. asisuutaisessa variassiaalsissa ollahpoteesi H 0 : μ = μ, =,,, J, =,,, o tapaa aaa olmesi ollahpoteesisi, ota osevat teiä A päävaiutusta, teiä B päävaiutusta seä teiöide A a B iteratiota eli hdsvaiutusta. Teiöide A a B päävaiutusia ei voida tarastella erillisiä, os teiöillä A a B o hdsvaiutusta. Site rhmäohtaiste odotusarvoe htäsuuruutta oseva testausogelma o asisuutaisessa variassiaalsissa palo moimutaisempi ui sisuutaisessa variassiaalsissa. asisuutaisessa variassiaalsissa testattavia ollahpoteesea o siis olme appaletta: (i) Teiöide A a B hdsvaiutusta oseva ollahpoteesi o muotoa H AB : Ei hdsvaiutusta Jos ollahpoteesi H AB ää voimaa, teiöide A a B päävaiutusia voidaa tarastella erillisiä. (ii) Teiä A päävaiutusta oseva ollahpoteesi o muotoa H A : Ei A-vaiutusta (iii) Teiä B päävaiutusta oseva ollahpoteesi o muotoa H B : Ei B-vaiutusta Huomautus: Nollahpoteesit H A a H B ovat sisuutaise variassiaalsi ollahpoteesea. asisuutaie variassiaalsi taroittaa em. testausasetelma ollahpoteesie H AB : Ei hdsvaiutusta H A : Ei A-vaiutusta H B : Ei B-vaiutusta testaamista. Ila Melli 49

53 . asisuutaie variassiaalsi Iteratio: Havaiollistus Tarastellaa siertaiste esimeriuvioide avulla rhmittelevie teiöide A a B iteratio eli hdsvaiutuse ilmeemistä rhmäohtaisia odotusarvoa uvaavissa odotusarvodiagrammeissa. Oletetaa, että molemmilla rhmittelevällä teiöillä A a B o asi tasoa: A : A, =, B : B, =, Oloot vastaavat rhmäodotusarvot μ, =,, =, uvio : Ei hdsvaiutusta. Tapaus : Tapaus : μ i μ i μ μ B μ μ B μ μ B μ B μ A A A A Yhdsvaiutusta ei ole, osa os teiä B tasoa muutetaa tasolta tasolle, ii rhmäodotusarvoissa tapahtuva muutos ei riipu teiä A tasosta: μ μ = μ μ uvio : Yhdsvaiutusta o. Tapaus : Tapaus : μ i μ μ i μ μ B μ μ B B μ μ μ B A A A A Ila Melli 493