Variassiaalsi Tilastolliset meetelmät: Variassiaalsi 0. Ysisuutaie variassiaalsi. asisuutaie variassiaalsi. olmi a useampisuutaie variassiaalsi T @ Ila Melli (006) 433
Variassiaalsi T @ Ila Melli (006) 434
Variassiaalsi Sisälls 0. YSISUUNTAINEN VARIANSSIANALYYSI 437 0.. VARIANSSIANALYYSI: JOHDANTO 438 AHDEN RIIPPUMATTOMAN OTOSEN T TESTI 438 VARIANSSIANALYYSIN PERUSASETELMA 438 VARIANSSIANALYYSIN NIMI 438 0.. YSISUUNTAISEN VARIANSSIANALYYSIN PERUSASETELMA 438 YSISUUNTAINEN VARIANSSIANALYYSI JA OESUUNNITTELU 439 0.3. YSISUUNTAISEN VARIANSSIANALYYSIN SUORITTAMINEN 439 HAVAINNOT JA NIIDEN ESIARVOT 439 VARIANSSIANALYYSIHAJOTELMA 440 TESTI ODOTUSARVOJEN SAMUUDELLE 443 OONAISNELIÖSUMMAN SST JAAUMA JA VAPAUSASTEET 443 RYHMIEN VÄLISEN VAIHTELUN NELIÖSUMMAN SSG JAAUMA JA VAPAUSASTEET 445 RYHMIEN SISÄISEN VAIHTELUN NELIÖSUMMA SSE JA VAPAUSASTEET 446 COCHRANIN LAUSE 447 YSISUUNTAISEN VARIANSSIANALYYSIN F TESTISUUREEN JAAUMA 448 YSISUUNTAISEN VARIANSSIANALYYSIN F TESTISUUREEN TULINTA 449 VARIANSSIESTIMAATTORIN MSE HARHATTOMUUS 450 VARIANSSIESTIMAATTORIN MSG HARHATTOMUUS 45 VARIANSSIANALYYSITAULUO 455 0.4. YSISUUNTAISEN VARIANSSIANALYYSIN MALLI JA SEN PARAMETROINTI 455 PARAMETROINTI 455 PARAMETROINTI 456 PARAMETROINTIEN JA EVIVALENSSI 456 YSISUUNTAISEN VARIANSSIANALYYSIN MALLI JA YLEINEN LINEAARINEN MALLI 458 0.5. YSISUUNTAISEN VARIANSSIANALYYSIN MALLIN PARAMETRIEN ESTIMOINTI 459 YSISUUNTAISEN VARIANSSIANALYYSIN MALLI 459 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI 459 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI YHTÄ SUURTEN ODOTUSARVOJEN TAPAUSESSA 460 TESTI ODOTUSARVOJEN SAMUUDELLE 46 SOVITTEET JA RESIDUAALIT 46 0.6. YSISUUNTAISEN VARIANSSIANALYYSIN MALLIN MATRIISIESITYS 463 MATRIIISIESITYS 463 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI 464 0.7. LASUTOIMITUSTEN SUORITTAMINEN 466 0.8. BARTLETTIN TESTI 468 TESTAUSASETELMA 468 TESTISUURE JA SEN JAAUMA 469 0.9. ODOTUSARVOPARIEN VERTAILU 469 LUOTTAMUSVÄLIT JA ODOTUSARVOJEN PARIVERTAILU 470 TESTIT JA ODOTUSARVOJEN PARIVERTAILU 47 LUOTTAMUSVÄLIEN JA TESTIEN EVIVALENSSI 47 SIMULTAANISET LUOTTAMUSVÄLIT JA TESTIT 47 BONFERRONIN EPÄYHTÄLÖ 47 BONFERRONIN EPÄYHTÄLÖ JA SIMULTAANISET TESTIT 473 0.0. ONTRASTIT 474 ONTRASTI 474 ONTRASTIEN ESTIMOINTI 475 T @ Ila Melli (006) 435
Variassiaalsi ONTRASTEJA OSEVAT TESTIT 475 ONTRASTIEN LUOTTAMUSVÄLIT 478 ORTOGONAALISTEN ONTRASTIEN TESTAAMINEN 478. ASISUUNTAINEN VARIANSSIANALYYSI 48.. VARIANSSIANALYYSI: JOHDANTO 48 AHDEN RIIPPUMATTOMAN OTOSEN T TESTI 48 VARIANSSIANALYYSIN PERUSONGELMA 48.. ASISUUNTAISEN VARIANSSIANALYYSIN PERUSASETELMA 48 INTERATIO: HAVAINNOLLISTUS 484 ASISUUNTAINEN VARIANSSIANALYYSI JA OESUUNNITTELU 485.3. ASISUUNTAISEN VARIANSSIANALYYSIN SUORITTAMINEN 485 HAVAINTOJEN ESIARVOT 485 VARIANSSIANALYYSIHAJOTELMA 486 ASISUUNTAISEN VARIANSSIANALYYSIN TESTIT 488 NELIÖSUMMIEN JAAUMAT 490 VARIANSSIESTIMAATTOREIDEN HARHATTOMUUS 49 VARIANSSIANALYYSITAULUO 493.4. ASISUUNTAISEN VARIANSSIANALYYSIN MALLI JA SEN PARAMETROINTI 494 PARAMETROINTI 494 PARAMETROINTI 495 PARAMETROINTIEN JA EVIVALENSSI 495.5. ASISUUNTAISEN VARIANSSIANALYYSIN MALLIN PARAMETRIEN ESTIMOINTI 497 ASISUUNTAISEN VARIANSSIANALYYSIN MALLI 497 PIENIMMÄN NELIÖSUMMAN ESTIMOINTI 497 SOVITTEET JA RESIDUAALIT 499.6. LASUTOIMITUSTEN SUORITTAMINEN 500. OLMI JA USEAMPISUUNTAINEN VARIANSSIANALYYSI 503.. VARIANSSIANALYYSI: JOHDANTO 504 AHDEN RIIPPUMATTOMAN OTOSEN T TESTI 504 VARIANSSIANALYYSIN PERUSONGELMA 504.. OLMISUUNTAINEN VARIANSSIANALYYSI JA SEN MALLI 504 OLMISUUNTAISEN VARIANSSIANALYYSIN PERUSASETELMA 504 OLMISUUNTAISEN VARIANSSIANALYYSIN TILASTOLLINEN MALLI 506 OLMISUUNTAINEN VARIANSSIANALYYSI JA OESUUNNITTELU 507.3. OLMISUUNTAISEN VARIANSSIANALYYSIN SUORITTAMINEN 507 HAVAINTOJEN ESIARVOT 507 VARIANSSIANALYYSIHAJOTELMA 508 TESTISUUREET JA NIIDEN JAAUMAT 50 VARIANSSIANALYYSITAULUO 5.4. LASUTOIMITUSTEN SUORITTAMINEN 5 T @ Ila Melli (006) 436
0. Ysisuutaie variassiaalsi 0. Ysisuutaie variassiaalsi 0.. Variassiaalsi: Johdato 0. Ysisuutaie variassiaalsi a se suorittamie 0.3. Ysisuutaise variassiaalsi malli a se parametroiti 0.4. Ysisuutaise variassiaalsi malli parametrie estimoiti 0.5. Ysisuutaise variassiaalsi malli matriisiesits 0.6. Lasutoimituste suorittamie 0.7. Bartletti testi 0.8. Odotusarvoparie vertailu 0.9. otrastit Ysisuutaisessa variassiaalsissa perusouo o aettu rhmii hde rhmittelevä teiä suhtee a tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. asi tai useampisuutaisessa variassiaalsissa perusouo o aettu rhmii ahde tai useamma rhmittelevä teiä suhtee a ti tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. Tässä luvussa tarastellaa sisuutaista variassiaalsia. Tarastelu ohteea ovat mm. sisuutaise variassiaalsi malli a se parametroiti, parametrie estimoiti, odotusarvoe htäsuuruude testaamie a lasutoimituste suorittamie. Avaisaat: Aritmeettie esiarvo, Bartletti testi, Boferroi epähtälö, Boferroi meetelmä, Cochrai lause, Estimoiti, F testi, Fatori, Harha, Harhattomuus, Idiaattorimuuttua, Jääösvaihtelu, Jääösvariassi, χ testi, ooaisesiarvo, ooaisvaihtelu, otrasti, Luottamuserroi, Luottamustaso, Luottamusväli, Malli, Matriisi, Meritsevstaso, Muuttua, Normaaliaauma, Neliösumma, Odotusarvo, Odotusarvoe parivertailu, Odotusarvoe simultaaie vertailu, Otos, Otostuusluu, Parametri, Parametroiti, Pieimmä eliösumma estimaattori, Pieimmä eliösumma meetelmä, Residuaali, Riippumattomuus, Rhmie sisäie vaihtelu, Rhmie välie vaihtelu, Rhmittel, Rhmä, Rhmäesiarvo, Satuaisuus, Side ehto, Sovite, t testi, Taso, Teiä, Testi, Vapausaste, Variassi, Variassiaalsihaotelma, Variassiaalsitauluo, Ysisuutaie variassiaalsi, Yleie lieaarie malli, Yleisesiarvo T @ Ila Melli (006) 437
0. Ysisuutaie variassiaalsi 0.. Variassiaalsi: Johdato ahde riippumattoma otose t testi Moistee Tilastotiede luvu Testeä suhdeasteiollisille muuttuille tarastellaa ahde riippumattoma otose t testiä. Testi testausasetelma o seuraava: (i) (ii) Perusouo oostuu ahdesta rhmästä. Havaiot oudattavat ummassai rhmässä ormaaliaaumaa. (iii) ummastai rhmästä o poimittu toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe htäsuuruutta. Variassiaalsi perusasetelma Variassiaalsi o ahde riippumattoma otose t testi leists tilateisii, ossa perusouo oostuu ahdesta tai useammasta rhmästä: (i) (ii) Perusouo oostuu ahdesta tai useammasta rhmästä. Havaiot oudattavat oaisessa rhmässä ormaaliaaumaa. (iii) Joaisesta rhmästä poimitaa toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe samuutta. Perusouo ao rhmii voidaa tehdä hde tai useamma fatori eli teiä (muuttua) arvoe perusteella. Jos perusouo ao rhmii perustuu htee teiää, puhutaa sisuutaisesta variassiaalsista. Jos perusouo ao rhmii perustuu m teiää, puhutaa m suutaisesta variassiaalsista. Huomautus: Tässä luvussa äsitellää sisuutaista variassiaalsia; asi a olmisuutaista variassiaalsia äsitellää seuraavissa luvuissa. Variassiaalsi imi O hvä huomata heti äi alussa, että variassiaalsi imi saattaa ohtaa harhaa. Variassiaalsissa testause ohteea ei ole variassie htäsuuruus, vaa odotusarvoe htäsuuruus. Variassiaalsi imi ohtuu siitä, että odotusarvoe htäsuuruude testaamie perustuu eri periaatteilla määrätte variassie vertailuu; s. äsittelä alla. 0.. Ysisuutaise variassiaalsi perusasetelma Oletetaa, että tutimuse ohteea oleva perusouo voidaa aaa ahtee tai useampaa rhmää oi fatori eli teiä (muuttua) A arvoe suhtee a oletetaa, että teiällä A o tasoa, olloi aossa st rhmää. Oletetaa edellee, että rhmistä o poimittu toisistaa riippumattomat satuaisotoset, oide oot ovat Oloo,,, i = i. havaito rhmässä, i =,,,, =,,, T @ Ila Melli (006) 438
0. Ysisuutaie variassiaalsi ätetstä otatameetelmästä seuraa, että havaiot i voidaa olettaa riippumattomisi (a site mös orreloimattomisi) satuaismuuttuisi. Oletetaa, että oaisella havaiolla i o rhmässä sama odotusarvo: E( i ) = µ, i =,,,, =,,, a aiilla havaioilla i o (rhmäaosta riippumatta) sama variassi: Var( i ) = σ, i =,,,, =,,, Oletetaa lisäsi, että aii havaiot i ovat ormaaliaautueita: i N(µ, σ ), i =,,,, =,,, Haluamme testata ollahpoteesia, että rhmäohtaiset odotusarvot E( i ) = µ ovat htä suuria: H 0 : µ = µ = = µ = µ Jos ollahpoteesi H 0 rhmäohtaiste odotusarvoe htäsuuruudesta pätee, rhmät voidaa hdistää aiissa havaitoe esimääräisiä arvoa osevissa tarasteluissa. Se siaa, os ollahpoteesi H 0 hlätää, tiedetää, että muuttua rhmäohtaiset odotusarvot eroavat toisistaa aiai ahdessa rhmässä. Jos ollahpoteesi H 0 o hlätt, rhmäohtaisia odotusarvoa voidaa verrata pareittai tai simultaaisesti toisiisa; s. appaletta Odotusarvoe vertaamie. Ysisuutaie variassiaalsi taroittaa siis ollahpoteesi testaamista. H 0 : µ = µ = = µ = µ Ysisuutaie variassiaalsi a oesuuittelu Ysisuutaista variassiaalsiä voidaa soveltaa oetuloste aalsii seuraavassa oeasetelmassa: (i) (ii) Oletetaa, että oee tavoitteea o verrata, mite äsittelt A, A,, A vaiuttavat iiostuse ohteea oleva vastemuuttua esimääräisii arvoihi. Valitaa äsittel A ohteesi aiie oee ohteisi valittue silöide ouosta satuaisesti silöä, =,,, a oloo + + + = N. (iii) Mitataa vasteet eli iiostuse ohteea oleva muuttua arvot i, i =,,,, =,,,. Huomaa, että oeasetelma o tädellisesti satuaistettu: Sattuma määrää tädellisesti millaise äsittel ohteesi oee ohteisi valitut silöt outuvat. 0.3. Ysisuutaise variassiaalsi suorittamie Havaiot a iide esiarvot Havaitoarvot i, i =,,,, =,,, T @ Ila Melli (006) 439
0. Ysisuutaie variassiaalsi voidaa rhmitellä seuraavalla tavalla: Rhmä :,,, Rhmä :,,, Rhmä :,,, Määritellää havaitoarvoe rhmäesiarvot aavoilla Rhmä : Rhmä : = i i = = i i = Rhmä : O odotettavissa, että rhmäesiarvot pätee. = i = H 0 : µ = µ = = µ = µ i i eivät poiea palo toisistaa, os ollahpoteesi Jos rhmäohtaiset otoset hdistetää hdesi otosesi, hdistet otose havaitoarvoe leiseli ooaisesiarvo saadaa aavalla ossa = = N i = = N = N = + + L+ o havaitoe ooaisluumäärä hdistetssä otosessa a =, =,,, i = i Variassiaalsihaotelma iroitetaa idetiteetti = ( ) + ( ) i i ossa i = havaitoarvo i poieama ooaisesiarvosta = rhmäesiarvo poieama ooaisesiarvosta T @ Ila Melli (006) 440
0. Ysisuutaie variassiaalsi i = havaitoarvo i poieama rhmäesiarvosta Ysisuutaise variassiaalsi testi ollahpoteesille H 0 : µ = µ = = µ = µ perustuu poieamie a i eliösummille. Jos ollahpoteesi H 0 pätee, o odotettavissa, että rhmäesiarvot eivät poiea ovi palo ooaisesiarvosta, olloi poieamat eivät ole itseisarvoiltaa ovi suuria. Määritellää havaitoarvoe ooaisvaihtelua uvaava ooaiseliösumma SST: SST = ( ) = i= i Jos rhmäohtaiset otoset hdistetää hdesi otosesi, saadu hdistet otose variassi o = = ( i ) N N = i= s SST Määritellää rhmie välistä (sstemaattista) vaihtelua uvaava (rhmä ) eliösumma SSG: ( ) ( ) = i= = SSG = = Määritellää rhmie sisäistä vaihtelua uvaava (ääös ) eliösumma SSE: SSE = ( ) = i= Havaitoarvoe i rhmävariassit eli rhmäohtaiset variassit i i= i s = ( ), =,,, s saadaa lauseeista Site rhmie sisäistä vaihtelua uvaava eliösumma SSE lausee voidaa esittää mös muodossa orottamalla idetiteetti SSE = ( ) s = = ( ) + ( ) i i potessii asi a lasemalla htee saadaa variassiaalsihaotelma ( i ) = ( ) + ( i ) = i= = i= = i= oa voidaa edellä esitette meritöe avulla iroittaa lhesti muotoo Perustelu: SST = SSG + SSE T @ Ila Melli (006) 44
0. Ysisuutaie variassiaalsi orottamalla idetiteetti = ( ) + ( ) i i potessii asi a lasemalla htee saadaa esi ( i ) = ( ) + ( i ) + ( )( i ) = i= = i= = i= = i= Variassiaalsihaotelma ( i ) = ( ) + ( i ) = i= = i= = i= tulee siis todistetusi, os ätämme, että = i= ( )( ) = 0 i Suoraa lasemalla saamme ( )( ) = ( ) ( ) i i = i= = i= = ( ) i i = i= i= = ( ) 0= 0 = = ( ) i = i= ute halusimme. Variassiaalsihaotelmassa SST = SSG + SSE havaitoe ooaisvaihtelua uvaava eliösumma SST = ( ) = i= o haotettu ahde osateiä summasi, ossa eliösumma i ( ) ( ) = i= = SSG = = uvaa rhmie välistä (sstemaattista) vaihtelua a eliösumma SSE = ( ) = i= i T @ Ila Melli (006) 44
0. Ysisuutaie variassiaalsi uvaa rhmie sisäistä vaihtelua. Testi odotusarvoe samuudelle Jos rhmie välistä vaihtelua uvaava eliösumma ( ) ( ) = i= = SSG = = o suuri verrattua rhmie sisäistä vaihtelua uvaavaa eliösummaa ollahpoteesi SSE = ( ) = i= H 0 : µ = µ = = µ = µ o stä asettaa seealaisesi. Määritellää F testisuure N SSG N F = = SSE i = = i= ( ) ( ) Jos havaiot ovat ormaaliaautueita a ollahpoteesi H 0 : µ = µ = = µ = µ pätee, testisuure F oudattaa F aaumaa vapausastei ( ) a (N ): ossa F F(, N ) N = + + L+ Testisuuree F ormaaliarvo o Huomautus: E( F) = H 0 N N E(F) suurille N. Suuret testisuuree F arvot ohtavat ollahpoteesi H 0 hläämisee. Perustelemme testisuuree F aaumaa oseva tulose alla useassa osassa tarastelemalla erisee ooaiseliösumma, rhmäeliösumma a ääöseliösumma aaumia seä soveltamalla osii s. Cochrai lausetta. ooaiseliösumma SST aauma a vapausasteet Oletetaa, että ollahpoteesi H 0 : µ = µ = = µ = µ pätee. Tällöi satuaismuuttua SST / σ oudattaa χ aaumaa vapausastei (N ): i T @ Ila Melli (006) 443
0. Ysisuutaie variassiaalsi ossa Perustelu: = ( ) ( ) i χ N i SST σ σ = = N = + + L+ Oletetaa, että havaiot i ovat riippumattomia a i N(µ, σ ), i =,,,, =,,, Tällöi satuaismuuttuat i µ σ N(0,), =,,,, =,,, ovat riippumattomia, ote suoraa χ aauma määritelmä muaa = i= i µ σ ossa vapausasteide luumäärä N = + + L+ orvataa lauseeessa = i= i µ σ χ ( N) χ ( N) tutemato parametri µ estimaattorillaa = N = i = Voidaa osoittaa, että tällöi i i SST = χ N = i= σ σ ( ) Meetämme siis hde vapausastee orvatessamme parametri µ estimaattorillaa. Tämä selitt seuraavalla tavalla: (i) (ii) Havaitoarvot i (N pl) voivat varioida vapaasti, ote iillä o N vapausastetta. Erotuset i µ (N pl) voivat varioida vapaasti, ote iillä o N vapausastetta. (iii) Erotuset i (N pl) eivät voi varioida vapaasti, osa iitä sitoo si lieaarie side ehto: = i= ( ) = 0 i T @ Ila Melli (006) 444
0. Ysisuutaie variassiaalsi (iv) ohda (iii) si lieaarie side ehto saa χ aauma vapausasteide luumäärä väheemää hdellä. Rhmie välise vaihtelu eliösumma SSG aauma a vapausasteet Oletetaa, että ollahpoteesi H 0 : µ = µ = = µ = µ pätee. Tällöi satuaismuuttua Perustelu: σ σ = SSG / σ oudattaa χ aaumaa vapausastei ( ) : SSG = ( ) χ ( ) Oletetaa, että havaiot i ovat riippumattomia a i N(µ, σ ), i =,,,, =,,, Tällöi satuaismuuttuat σ = i N µ,, =,,, i= ovat riippumattomia, olloi mös satuaismuuttuat σ / µ N(0,), =,,, ovat riippumattomia a suoraa χ aauma määritelmä muaa = µ σ / χ ( ) orvataa tässä lauseeessa tutemato parametri µ estimaattorillaa ossa siis = N = i = N = + + L+ i Voidaa osoittaa, että tällöi SSG χ = σ / σ = σ = ( ) = ( ) Meetämme siis hde vapausastee orvatessamme parametri µ estimaattorillaa. Tämä selitt seuraavalla tavalla: T @ Ila Melli (006) 445
0. Ysisuutaie variassiaalsi (i) esiarvot ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. (ii) Erotuset ( µ ) ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. (iii) Erotuset ( ) ( pl) eivät voi varioida vapaasti, osa iitä sitoo si lieaarie side ehto: = ( ) = 0 (iv) ohda (iii) si lieaarie side ehto saa χ aauma vapausasteide luumäärä väheemää hdellä. Rhmie sisäise vaihtelu eliösumma SSE a vapausasteet Voidaa osoittaa, että riippumatta siitä päteeö ollahpoteesi vai ei, ii satuaismuuttua ossa Perustelu: H 0 : µ = µ = = µ = µ SSE / σ oudattaa χ aaumaa vapausastei (N ): = ( ) ( ) i χ N i SSE σ σ = = N = + + L+ Oletetaa, että havaiot i ovat riippumattomia a i N(µ, σ ), i =,,,, =,,, Tällöi satuaismuuttuat i µ σ N(0,), i =,,,, =,,, ovat riippumattomia a suoraa χ aauma määritelmä muaa i µ χ = i= σ ( ),,,, orvataa tässä lauseeessa tutemattomat parametrit µ i estimaattoreillaa =, =,,, i = Voidaa osoittaa, että tällöi i i χ = i= σ ( ),,,, Meetämme siis hde vapausastee orvatessamme parametri µ estimaattorillaa. T @ Ila Melli (006) 446
0. Ysisuutaie variassiaalsi Tämä selitt seuraavalla tavalla: (i) (ii) Havaitoarvot i ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. Erotuset i µ ( pl) voivat varioida vapaasti, ote iillä o vapausastetta. (iii) Erotuset i ( pl) eivät voi varioida vapaasti, osa iitä sitoo si lieaarie side ehto: i= ( ) = 0, =,,, i (iv) ohda (iii) si lieaarie side ehto saa χ aauma vapausasteide luumäärä väheemää hdellä. osa satuaismuuttuat i χ = i= σ ovat riippumattomia, ii ( ),,,, ossa i SSE = χ N = i= σ σ ( ) N = ( ) = = N = = Cochrai lause Cochrai lause o täreä matemaattise tilastotietee teoreema, oa avulla voidaa todistaa moet leise lieaarise malli a variassiaalsi testisuureita osevat aaumatuloset. Oletetaa, että satuaismuuttuat z i, i =,,, ν ovat riippumattomia a oudattavat stadardoitua ormaaliaaumaa N(0,): z, z,, z z i ν N(0,), i =,,, ν χ aauma määritelmä muaa Oletetaa, että Q ν = i= z χ ( ν) i ν Q= z = Q + Q + L+ Q i= i s T @ Ila Melli (006) 447
0. Ysisuutaie variassiaalsi ossa s ν a Q i o eliömuoto, oa aste o Tällöi eliömuodot r(q i ) = ν i, i =,,, s Q, Q,, Q s ovat Cochrai lausee muaa riippumattomia χ aautueita satuaismuuttuia, oide vapausteide luumäärä ovat ν, ν,, ν s, os a vai os ν = ν + ν + + ν s Cochrai lauseesta seuraa eritisesti: Oletetaa, että ossa Tällöi Q= Q + Q + + Q χ ν L s ( ) Q χ ( ν ), i =,,, s i i ν = ν + ν + + ν s o välttämätö a riittävä ehto sille, että satuaismuuttuat Q, Q,, Q s ovat riippumattomia. Ysisuutaise variassiaalsi F testisuuree aauma Ysisuutaise variassiaalsi testi ollahpoteesille o muotoa ossa a H 0 : µ = µ = = µ = µ N SSG F = SSE Nollahpoteesi H 0 pätiessä Perustelu: SSG = rhmie välistä vaihtelua uvaava eliösumma SSE = rhmie sisäistä vaihtelua uvaava eliösumma N = + + L+ F F(, N ) Tarastellaa sisuutaise variassiaalsi F testisuuretta ossa N SSG F = SSE SSG = rhmie välistä vaihtelua uvaava eliösumma T @ Ila Melli (006) 448
0. Ysisuutaie variassiaalsi a SSE = rhmie sisäistä vaihtelua uvaava eliösumma N = + + L+ Variassiaalsihaotelma muaa ossa SSG + SSE = SST SST = rhmie ooaisvaihtelua uvaava eliösumma Edellä o todettu, että ollahpoteesi H 0 pätiessä SST σ SSG σ SSE σ χ ( N ) χ ( ) χ ( N ) Cochrai lausee muaa eliösummat SSG a SSE ovat riippumattomia, osa variassiaalsihaotelma eliösummia vastaavat vapausasteet toteuttavat htälö N = ( ) + (N ) Site suoraa F aauma määritelmä muaa os ollahpoteesi pätee. SSG N SSG ( ) σ F = = F(, N ) SSE SSE ( N ) σ H 0 : µ = µ = = µ = µ Ysisuutaise variassiaalsi F testisuuree tulita Testisuure N SSG F = SSE voidaa tulita variassie vertailutestisuureesi, ossa havaitoe i variassi σ estimaattoria verrataa estimaattorii MSG = SSG = ( ) = T @ Ila Melli (006) 449
0. Ysisuutaie variassiaalsi Estimaattori MSE = SSE = ( i ) N N = = MSE = SSE N i o aia harhato havaitoe i variassille σ, mutta estimaattori MSG = SSG o harhato havaitoe i variassille σ vai, os ollahpoteesi pätee. H 0 : µ = µ = = µ = µ Variassiestimaattori MSE harhattomuus Estimaattori MSE = SSE N o harhato havaitoe i variassille σ : Perustelu: E( MSE) = σ Oletetaa perustelu siertaistamisesi, että olloi Estimaattori = = = = N = MSE = SSE = ( i ) N N = i = o harhato variassille σ, os Todistamme sisi, että Huomautus: E( MSE) = E( SSE) N =σ E(SSE) = (N )σ Todistusessa ei oleteta, että ollahpoteesi H 0 : µ = µ = = µ = µ pätee. Ysisuutaise variassiaalsi tilastollie malli voidaa esittää seuraavassa muodossa (s. taremmi seuraavaa appaletta): T @ Ila Melli (006) 450
0. Ysisuutaie variassiaalsi = µ + ε, i =,,,, =,,, i i ossa satuaismuuttuat ε i ovat riippumattomia a ormaaliaautueita: Todetaa esi, että ossa ε σ = = i N(0, ), i,,,,,,, = = µ + ε, =,,, i i= ε = εi, =,,, i= Satuaismuuttuat ε ovat riippumattomia a ormaaliaautueita: Lisäsi σ ε N 0,, =,,, = ε ε, i =,,,, =,,, i i Edellä esitet muaa Site ( i ) ( εi ε ) = i= = i= SSE = = ( εi εiε ε ) = i= = + εi ε ε = i= = = = + εi ε = i= = = = εi ε = i= E( SSE) = E ( i ) = i= = E ε ε = i= i = E( εi) E( ε ) = i= T @ Ila Melli (006) 45
0. Ysisuutaie variassiaalsi = = i= = = ( σ σ ) σ = ( ) σ = ( ) σ = ( N ) σ miä o haluttu tulos. σ Variassiestimaattori MSG harhattomuus Jos ollahpoteesi pätee, ii estimaattori H 0 : µ = µ = = µ = µ MSG = SSG o harhato havaitoe i variassille σ : Perustelu: E( MSG) = σ Oletetaa perustelu siertaistamisesi, että olloi Estimaattori = = = = N = MSG = SSG = ( ) = o harhato variassille σ, os E( MSG) = E( SSG) =σ Todistamme, että estimaattori MSG o harhato variassille σ, os ollahpoteesi pätee. H 0 : µ = µ = = µ = µ Ysisuutaise variassiaalsi tilastollie malli voidaa esittää seuraavassa muodossa (s. taremmi seuraavaa appaletta): ossa = µ + τ + ε, i =,,,, i=,,, i i T @ Ila Melli (006) 45
0. Ysisuutaie variassiaalsi = τ = 0 a satuaismuuttuat ε i ovat riippumattomia a ormaaliaautueita: Todetaa esi, että ossa Lisäsi ossa i N(0, ), i,,,,,,, ε σ = = = = µ + τ + ε, =,,, i i= ε = εi, =,,, i= = = ( µ + τ + ε ) = µ + τ + ε = α + ε N N N i = i= = = ε = ε = ε N Satuaismuuttuat i = i= N = ε = εi, =,,, i= ovat riippumattomia a ormaaliaautueita: σ ε N 0,, =,,, Mös satuaismuuttua ε εi N = i= = o ormaaliaautuut: Lisäsi σ ε N 0, N = ε ε + τ, =,,, Edellä oleva muaa T @ Ila Melli (006) 453
0. Ysisuutaie variassiaalsi ( ) ( ε ε τ ) = = SSG = = + = ( ε ε) + τ = ( ε ε) ( ε ε) τi τ = = = = + + ( ε ε ε ε ) ( ε ε) τi τ = = = = + + + ε ε ε ( ε ε) τ τ = = = = + + + = ε Nε + ( ε ε) τ + τ = = = Site E( SSG) = E ( ) = = E + ( ) + ε Nε ε ε τ τ = = = E( ε ) N E( ε ) τ E( ε ε) τ = = = = + + σ σ = N + τ 0+ N = ( ) σ + Site olemme todistaeet, että τ = = = τ osa ollahpoteesi τ SSG = E( MSG) = E = σ + H 0 : µ = µ = = µ = µ o evivaletti ollahpoteesi H 0 : τ = τ = = τ = 0 assa (s. taremmi seuraavaa appaletta), ii ollahpoteesi H 0 pätiessä MSG o variassi σ harhato estimaattori: E(MSG) = σ T @ Ila Melli (006) 454
0. Ysisuutaie variassiaalsi Variassiaalsitauluo Variassiaalsi tuloset esitetää tavallisesti variassiaalsitauluo muodossa: Vaihtelu lähde Neliösumma SS Vapausasteet df Variassiestimaattori MS F testisuure Rhmie välie vaihtelu Rhmie sisäie vaihtelu SSG SSE N MSG = SSG MSE = SSE N F MSG = MSE N SSG = SSE ooaisvaihtelu SST N Variassiaalsitauluo eliösummat toteuttavat htälö SST = SSG + SSE Yhtälö o variassiaalsihaotelma. Variassiaalsitauluo eliösummie vapausasteet df (df = degrees of freedom) toteuttavat htälö N = ( ) + (N ) 0.4. Ysisuutaise variassiaalsi malli a se parametroiti Ysisuutaise variassiaalsi tilastollie malli voidaa parametroida ahdella erilaisella tavalla. Parametroiit ovat uitei evivalettea. Parametroiti Ysisuutaise variassiaalsi tilastollie malli voidaa parametroida seuraavalla tavalla: () = µ + ε, i =,,,, =,,, i i ossa ääös eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () ε σ i = = i N(0, ),,,,,,,, i = muuttua i. havaitoarvo rhmässä µ = muuttua odotusarvo rhmässä =,,, Ei satuaiset vaiot µ a ääösvariassi σ ovat sisuutaise variassiaalsi tilastollise malli () parametrit. T @ Ila Melli (006) 455
0. Ysisuutaie variassiaalsi Mallia () osevista oletusista seuraa, että a E( ) = µ, i =,,,, =,,, i D ( i) = σ, =,,,, =,,, i Parametroiti Ysisuutaise variassiaalsi malli voidaa parametroida mös seuraavalla tavalla: ossa () = α + τ + ε, i =,,,, =,,, i i a (3) i = τ = 0 ε σ i = = N(0, ),,,,,,,, Ei satuaiset vaiot µ a τ seä ääösvariassi σ ovat sisuutaise variassiaalsi tilastollise malli () parametrit. Mallia () osevista oletusista seuraa, että a E( ) = µ + τ, i =,,,, =,,, i D ( i) = σ, =,,,, =,,, i Parametroitie a evivalessi Mallissa () = µ + ε, i =,,,, =,,, i i havaiot esitetää seuraavie teiöide summaa: µ = rhmäohtaie odotusarvo, =,,, ε i = ääöstermi, i =,,,, =,,, Mallissa ossa (3) () = α + τ + ε, i =,,,, =,,, i i = τ = 0 havaiot esitetää seuraavie teiöide summaa: µ = leisodotusarvo T @ Ila Melli (006) 456
0. Ysisuutaie variassiaalsi τ = rhmittelevä teiä A taso A vaiutus, =,,, ε i = ääöstermi, i =,,,, =,,, aava () a aavoe () a (3) määrittelemät mallit ovat evivalettea mallit o vai parametroitu eri tavoilla. Perustelu: Määritellää ossa N = µ = µ N = + + L+ iroitetaa idetiteetti a meritää a = µ + ( µ µ ) + ( µ ), i =,,,, =,,, i i τ = µ µ, =,,, µ = ε, i=,,,, =,,, i i Site = µ + ε i i = µ + ( µ µ ) + ( µ ) i i = µ + τ + ε i i i =,,,, =,,, ossa µ = µ, N = + + L+ = N τ = µ µ, =,,,, τ = 0 = ovat sisuutaise variassiaalsi tilastollise malli evivalettea esitsmuotoa. Malli () = µ + ε, i =,,,, =,,, i i ollahpoteesia H 0 : µ = µ = = µ = µ vastaa aavoe () = α + τ + ε, i =,,,, =,,, i i T @ Ila Melli (006) 457
0. Ysisuutaie variassiaalsi a (3) = α + τ + ε, i =,,,, =,,, i i määrittelemässä mallissa ollahpoteesi H 0 : τ = τ = = τ = 0 Malli () iiittää huomio suoraa rhmäohtaisii odotusarvoihi µ, u taas aavoe () a (3) määrittelemässä mallissa rhmäohtaiset odotusarvot µ o esitett leisodotusarvo µ a rhmittelevä teiä tasoo liittvä vaiutuse (efeti) τ summaa. Ysisuutaise variassiaalsi malli a leie lieaarie malli Ysisuutaise variassiaalsi malli o erioistapaus leisestä lieaarisesta mallista; s. luua Yleie lieaarie malli. Oloo Määritellää rhmäidiaattorit i = i. havaito rhmässä, i =,,,, =,,, I i, os havaito i uuluu rhmää = 0, os havaito i ei uulu rhmää i =,,,, =,,, Tällöi sisuutaise variassiaalsi malli () = µ + ε, i =,,,, =,,, voidaa esittää muodossa i i (4) = µ I + µ I + L+ µ I + ε, i =,,,, =,,, i i i i i Malli (4) o lieaarie regressiomalli, ossa selitettävää muuttuaa o, selittäviä muuttuia ovat rhmäidiaattorit I, =,,, a regressioertoimia ovat rhmäohtaiset odotusarvot µ, µ,, µ Malli (4) o leise lieaarise malli erioistapaus, ossa selitettävä muuttua o vatitatiivie, mutta selittäät I valitatiivisia (ategorisia) muuttuia. Huomaa, että regressiomallissa (4) ei saa olla vaiotermiä, osa se lisäämie mallii loisi selittävie muuttua arvoe välille esati lieaarise riippuvuude: I + I + L+ I =, i=,,, i i i sillä aiille i täsmällee si rhmäidiaattoreista I, =,,, saa arvo = a aii saavat arvo = 0. muut T @ Ila Melli (006) 458
0. Ysisuutaie variassiaalsi 0.5. Ysisuutaise variassiaalsi malli parametrie estimoiti Ysisuutaise variassiaalsi malli Oloo () = µ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () Jos ollahpoteesi ε σ i = = i N(0, ),,,,,,,, i = muuttua i. havaitoarvo rhmässä µ = muuttua odotusarvo rhmässä H 0 : µ = µ = = µ = µ otetaa huomioo, malli () saa muodo () = µ + ε, i=,,,, =,,, i i Pieimmä eliösumma estimoiti Tarastellaa malli () parametrie µ, =,,, pieimmä eliösumma estimoitia. Malli () parametrie µ, µ,, µ pieimmä eliösumma estimaattoreisi ˆ µ ˆ ˆ, µ,, µ saadaa havaitoarvoe rhmäesiarvot : Perustelu: Estimoidaa malli ˆ µ = =, =,,, i i= () = µ + ε, i =,,,, =,,, i i parametrit µ, =,,, PNS meetelmällä. Etsitää eliösumma = i = i = i= = i= SS( µ, µ,, µ ) ε ( µ ) miimi parametrie suhtee tavaomaisee tapaa: (i) Derivoidaa eliösumma SS ( µ, µ,, µ ) parametrie µ, =,,, suhtee. (ii) Meritää derivaatat ollisi. (iii) Rataistaa saadut ormaalihtälöt parametrie µ, =,,, suhtee. Normaalihtälöisi saadaa: T @ Ila Melli (006) 459
0. Ysisuutaie variassiaalsi SS( µ, µ,, µ ) = ( µ ) µ µ i = i= = ( µ ) = i µ i= = 0, =,,, Normaalihtälöide rataisuisi saadaa rhmäesiarvot i= i ˆ µ = =, =,,, i i= Estimoidu malli sovitteet saadaa aavoilla ˆ = ˆ µ =, i =,,,, =,,, i a residuaalit aavoilla e = ˆ =, i =,,,, =,,, i i i Jääöseliösummasi saadaa rhmie sisäistä vaihtelua uvaava eliösumma SSE = ( ) = i= i Pieimmä eliösumma estimoiti htä suurte odotusarvoe tapausessa Malli () parametri µ pieimmä eliösumma estimaattorisi ˆµ saadaa havaitoarvoe i leis eli ooaisesiarvo : ossa a ˆ µ = = = N N = + + L+ i = = N = Perustelu: Estimoidaa malli =, =,,, i = i () = µ + ε, i=,,,, =,,, i i parametri µ PNS meetelmällä. Etsitää eliösumma T @ Ila Melli (006) 460
0. Ysisuutaie variassiaalsi i i = i= = = SS( µ ) = ε = ( µ ) miimi tavaomaisee tapaa: (i) Derivoidaa eliösumma S(µ) parametri µ suhtee. (ii) Meritää derivaatta ollasi. (iii) Rataistaa saatu ormaalihtälö parametri µ suhtee. Normaalihtälösi saadaa: SS( µ ) = ( i µ ) µ µ = i= = ( µ ) = i= = i Nµ = i= = 0 ossa N = + + L+ Normaalihtälö rataisusi saadaa leisesiarvo i ˆ µ = i = N = i= Estimoidu malli sovitteet saadaa aavoilla ˆ = ˆ µ =, i =,,,, =,,, i a residuaalit aavoilla e = ˆ =, i=,,,, =,,, i i i i Jääöseliösummasi saadaa havaitoarvoe i ooaisvaihtelua uvaava ooaiseliösumma SST = ( ) = i= i Testi odotusarvoe samuudelle Jos ollahpoteesi H 0 : µ = µ = = µ = µ otetaa huomioo, että regressiomalli () ertoimille tulee asetetusi ( ) lieaarista raoitusta eli side ehtoa: T @ Ila Melli (006) 46
0. Ysisuutaie variassiaalsi (3) µ µ = 0, =, 3,, Yleise lieaarise malli teoria muaa (s. luvu Eritissmsiä leise lieaarise malli soveltamisessa appaletta Raoitettu pieimmä eliösumma meetelmä) side ehtoe (3) testaamie voidaa perustaa F testisuureesee ossa N SST SSE F = SSE SST = ( ) = i= i o havaitoarvoe i ooaisvaihtelua uvaava ooaiseliösumma a SSE = ( ) = i= i o rhmie sisäistä vaihtelua uvaava ääöseliösumma. Ottamalla huomioo variassiaalsihaotelma SST = SSG + SSE testisuure F voidaa iroittaa mös muotoo ossa N SSG F = SSE ( ) ( ) = i= = SSG = SST SSE = = o rhmie välistä (sstemaattista) vaihtelua uvaava rhmäeliösumma. Jos side ehdot (3) pätevät, testisuure F oudattaa F aaumaa vapausastei ( ) a (N ): F F(, N ) Suuret testisuuree F arvot viittaavat siihe, että ollahpoteesi H 0 o stä hlätä. Sovitteet a residuaalit ute edellä o todettii, estimoidu sisuutaise variassiaalsi malli sovitteet saadaa aavoilla ˆ = ˆ µ =, i =,,,, =,,, i a estimoidu malli residuaalit saadaa aavoilla e = ˆ =, i =,,,, =,,, i i i Malli residuaalit o aia stä alistaa samalaisii diagostisii taristusii ui miä tahasa regressiomalli residuaalit. Residuaalie avulla voidaa selvittää oo havaitoe ouossa poieavia havaitoa seä pätevätö malli ääöstermeistä tehdt homosedastisuus, orreloimattomuus a ormaalisuusoletuset; s. sitisohtia luvusta Regressiodiagostiia. T @ Ila Melli (006) 46
0. Ysisuutaie variassiaalsi 0.6. Ysisuutaise variassiaalsi malli matriisiesits Oloo () = µ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () Määritellää rhmäidiaattorit ε σ i = = i N(0, ),,,,,,,, i = muuttua i. havaitoarvo rhmässä µ = muuttua odotusarvo rhmässä I i, os havaito i uuluu rhmää = 0, os havaito i ei uulu rhmää i =,,,, =,,, Tällöi sisuutaise variassiaalsi malli () = µ + ε, i =,,,, =,,, voidaa esittää muodossa i i () = µ I + µ I + L+ µ I + ε, i =,,,, =,,, Matriiisiesits i i i i i Yhtälöt () voidaa iroittaa matriisei seuraavassa muodossa: ε 00L 0 M M MMM M 00 0 ε L 00 0 ε L M MMM M µ M 00L 0 µ ε µ = 3 MMMLM + M M M M MMM M µ M M MMMLM M 000L MMM M ε 000 M L M ε Esitetää tämä matriisihtälö muodossa = X + T @ Ila Melli (006) 463
0. Ysisuutaie variassiaalsi ossa = havaitoarvoe i muodostama N vetori, N = + + L+ X = ollie a öste muodostama täsiasteie N matriisi µ = regressioertoimie (= rhmäodotusarvoe) muodostama vetori ε = ääöstermie ε o muodostama N vetori Huomaa, että matriisi X oaisella rivillä o täsmällee si öe a muut o. rivi aliot ovat ollia. Pieimmä eliösumma estimoiti Regressioertoimie vetori µ PNS estimaattori o ˆ = ( XX ) X Matriisi X erioise raetee taia ähdää helposti, että matriisi X X o diagoaalimatriisi: Lisäsi 0 0 L 0 0 0 L 0 = diag(,,, ) = 0 0 3 L 0 XX Σ Σ X = Σ M Σ i i i3 osa X X o diagoaalimatriisi, ii i M M M O M 0 0 0 L 0 0 L 0 0 0 L 0 = = 0 0 L 0 3 M M M O M 0 0 0 L ( XX) diag(/,/,,/ ) Site regressioertoimie vetori µ PNS estimaattorisi ˆ saadaa rhmäesiarvoe muodostama vetori: =, =,,, i = i T @ Ila Melli (006) 464
0. Ysisuutaie variassiaalsi Σi Σ = = = Σ M Σ i i ˆ ( XX ) X 3 i3 3 M Edellä todettii, että os ollahpoteesi otetaa huomioo, ii malli saa muodo H 0 : µ = µ = = µ = µ () = µ + ε, i =,,,, =,,, i i (3) = µ + ε, i=,,,, =,,, i i Yhtälöt (3) voidaa iroittaa matriisei seuraavaa muotoo: ε M M M ε ε M M M ε = µ + M M M M M M M M M ε M M M ε Esitetää tämä matriisihtälö muodossa ossa = µ + = havaitoarvoe i muodostama N vetori, N = + + L+ = öste muodostama N vetori µ = regressioerroi δ = ääöstermie δ i muodostama N vetori T @ Ila Melli (006) 465
0. Ysisuutaie variassiaalsi Regressioertoime µ PNS estimaattori o Helposti ähdää, että a Site ˆ µ = ( ) = N = ΣΣ i ( ) = N a regressioertoime µ PNS estimaattorisi ˆµ saadaa havaitoarvoe leisesiarvo : ˆ µ = ( ) = ΣΣ i = N 0.7. Lasutoimituste suorittamie Oloo () = µ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () ε σ i = = i N(0, ),,,,,,,, i = muuttua i. havaitoarvo rhmässä µ = muuttua odotusarvo rhmässä Määritellää rhmä =,,, havaitoarvoe i summa aavalla T =, =,,, i= i a aiie havaitoarvoe i ooaissumma aavalla Oloo lisäsi T = = T i = i= = N = + + L+ havaitoe ooaisluumäärä. Havaitoarvoe rhmäesiarvot saadaa aavoilla T @ Ila Melli (006) 466
0. Ysisuutaie variassiaalsi = T, =,,, a havaitoarvoe leisesiarvo saadaa aavalla = T N Edellee ooaiseliösumma SST voidaa iroittaa muotoo ( i ) i = i= = i= N SST = = T a rhmie välistä vaihtelua uvaava eliösumma SSG voidaa iroittaa muotoo ( ) ( ) = i= = = N SSG = = = T T Variassiaalsihaotelmasta seuraa, että rhmie sisäistä vaihtelua uvaava eliösumma SSE saadaa aavalla SSE = SST SSG F testisuure ollahpoteesi testaamisesi o muotoa H 0 : µ = µ = = µ = µ N SSG F = SSE Bartletti testissä (s. alla) tarvittavat rhmäohtaiset variassit saadaa aavoilla s = ( i ) = i T,,,, i= = i= Site sisuutaise variassiaalsi perustehtävie suorittamisesi riittää lasea seuraavat summat a eliösummat: T =, =,,, i= i T = = i= i i=, =,,, i = i= Lasutoimituset voidaa ärestää esimerisi seuraava tauluo muotoo: i T @ Ila Melli (006) 467
0. Ysisuutaie variassiaalsi Rhmä Rhmä L Rhmä Summa L N = = L M M M L = i = i= i i L = = i= i = = T T T T T T T L T i i L i i i i = = = = i= i 0.8. Bartletti testi Bartletti testi o tilastollie testi, olla voidaa testata sisuutaise variassiaalsi oletusta havaitoe rhmäohtaiste variassie htäsuuruudesta. Testausasetelma Oloo () = µ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli. Mallissa () Oloo lisäsi i = muuttua i. havaitoarvo rhmässä µ = muuttua odotusarvo rhmässä N = + + L +. havaitoe ooaisluumäärä. Tehdää oletus, että ääös eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: ε σ i = = i N(0, ),,,,,,,, Oletuse muaa rhmäohtaiset variassit D ( i) = σ, =,,,, =,,, i voivat erota toisistaa. Ysisuutaise variassiaalsi F testi ollahpoteesille H 0 : µ = µ = = µ = µ oaa oletusee, oa muaa aiilla havaioilla i o (rhmästä riippumatta) sama variassi: Asetetaa sisi ollahpoteesi D ( i ) = σ, =,,,, =,,, i H : σ = σ = L= σ = σ 0 T @ Ila Melli (006) 468
0. Ysisuutaie variassiaalsi Testisuure a se aauma Määritellää havaitoarvoe i rhmäohtaiset otosvariassit s aavalla ossa i i= s = ( ), =,,, =, =,,, i = i o rhmä i havaitoarvoe aritmeettie esiarvo a rhmäohtaisista otosvariasseista hdistett variassi s P aavalla s = s = SSE = MSE N N P ( ) = s Bartletti testisuure o ossa a Jos ollahpoteesi Q B = h ( ) log( P) ( ) log( ) = Q= N s s h= + 3( ) = N H : σ = σ = L = σ = σ pätee, Bartletti testisuure B oudattaa suurissa 0 otosissa approsimatiivisesti χ aaumaa vapausastei ( ): B a χ ( ) Testisuuree B ormaaliarvo o suurissa otosissa approsimatiivisesti ( ), osa ossa E( χ ) = χ χ ( ) Site suuret testisuuree χ arvot viittaavat siihe, että ollahpoteesi H 0 o stä hlätä. 0.9. Odotusarvoparie vertailu Oloo () = µ + ε, i =,,,, =,,, i i T @ Ila Melli (006) 469
0. Ysisuutaie variassiaalsi sisuutaise variassiaalsi tilastollie malli, ossa ääös eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () Oloo lisäsi ε σ i = = i N(0, ),,,,,,,, i = muuttua i. havaitoarvo rhmässä µ = muuttua odotusarvo rhmässä N = + + L+ havaitoe ooaisluumäärä. Jos sisuutaise variassiaalsi ollahpoteesi H 0 : µ = µ = = µ = µ hlätää tiedetää, että aiai asi odotusarvoista µ, =,,, eroaa tilastollisesti meritsevästi toisistaa. Jos ollahpoteesi H 0 hlätää, variassiaalsia voidaa ataa rhmittelllä, ossa selvitetää missä rhmissä odotusarvoe erot ovat tilastollisesti meritseviä. Vertailu voidaa tehdä ättämällä luottamusväleä tai testeä. Luottamusvälit a odotusarvoe parivertailu Oletetaa, että haluamme verrata odotusarvoa µ a µ l. Odotusarvoe vertailu voidaa tehdä site, että ostruoidaa odotusarvoe µ a µ l erotuselle µ µ l luottamusväli a tutitaa uuluuo olla ostruoituu välii vai ei. ätetää erotuse µ µ l luottamusväliä väliä ossa ( l) ± tα sp + P ( ) = o s. hdistett variassi, ossa s = s = SSE = MSE N N i i= s = ( ), =,,, l o havaitoarvoe i variassi rhmässä i a luottamustasoa ( α) vastaavat luottamusertoimet t α/ a +t α/ o valittu site, että Pr( t t + t ) = α/ α/ α ossa satuaismuuttua t oudattaa t aaumaa vapausastei (N ): T @ Ila Melli (006) 470
0. Ysisuutaie variassiaalsi Huomautusia: t t( N ) Tässä ätettävä luottamusväli aava eroaa tavaomaisesta aavasta site, että hdistet variassi s P aavassa o hdistett otosvariassit aiista rhmistä eiä vai rhmistä a l. ostruoidut luottamusvälit eivät ole simultaaisia, vaa osevat vai rhmie a l odotusarvoa. Tehtävie parivertailue luumäärä o ( ) = Testit a odotusarvoe parivertailu Oletetaa, että haluamme verrata odotusarvoa µ a µ l. Odotusarvoe vertailu voidaa tehdä site, että testataa ollahpoteesia vaihtoehtoista hpoteesia vastaa. H 0 : µ µ l = 0 H : µ µ l 0 ätetää testisuureea t testisuuretta aavassa t = s P l + P ( ) = o s. hdistett variassi, ossa l s = s = SSE = MSE N N i i= s = ( ), =,,, o havaitoarvoe variassi rhmässä i. Jos ollahpoteesi H 0 : µ µ l = 0 pätee, ii testisuure t oudattaa t aaumaa vapausastei (N ): t t( N ) Itseisarvoltaa suuret testisuuree t arvot ohtavat ollahpoteesi hläämisee. Huomautusia: T @ Ila Melli (006) 47
0. Ysisuutaie variassiaalsi Tässä ätettävä testisuuree aava eroaa tavaomaisesta ahde riippumattoma otose t testi aavasta site, että hdistet variassi s P aavassa o hdistett otosvariassit aiista rhmistä eiä vai rhmistä a l. ostruoidut testit eivät ole simultaaisia, vaa osevat vai rhmie a l odotusarvoa. Tehtävie parivertailue luumäärä o ( ) = Luottamusvälie a testie evivalessi Edellä esitett luottamusväleä ättävä meettel, ossa luottamustasosi valitaa luu α a edellä esitett testausmeettel, ossa meritsevstasosi valitaa luu α ovat evivalettea. Simultaaiset luottamusvälit a testit Simultaaiste luottamusvälie tai testie ostruoimisee o useita erilaisia meetelmiä. Simultaaiset luottamusvälit tai testit ovat tavallisesti uitei vai approsimatiivisia. Boferroi meetelmässä ätetää parivertailue luottamusväleä tai testeä, mutta luu α orvataa luvulla α/m ossa m o tehtävie parivertailue luumäärä: Boferroi epähtälö Oloot ( ) m= = A, A,, A m tapahtumia. Tällöi pätee Boferroi epähtälö Perustelu: c c c Pr( A A L Am) Pr( A ) + Pr( A) + L+ Pr( Am) Todistetaa Boferroi epähtälö tapausessa m =. Yleie tapaus voidaa todistaa samaa tapaa ui tapaus m = ättäe idutiota. Oloot siis A a A asi otosavaruude S tapahtumaa. Tällöi leisestä hteelasusääöstä seuraa, että () A c A c = A c c c c c c + A A A A + A Pr( ) Pr( ) Pr( ) Pr( ) Pr( ) Pr( ) T @ Ila Melli (006) 47
0. Ysisuutaie variassiaalsi De Morgai lai muaa A A = ( A A ) c c c Site omplemettitapahtuma todeäöisde sääöstä a aavasta () seuraa, että Pr( A A ) = Pr(( A A ) ) = Pr( A A ) [Pr( A ) + Pr( A )] c c c c c c c Boferroi epähtälö a simultaaiset testit Boferroi meetelmä odotusarvoe vertailussa perustuu Boferroi epähtälöö. Oletetaa, että tehtävää o suorittaa m tilastollista testiä. Tarastellaa todeäöisttä α, että vähitää si testie ollahpoteeseista hlätää virheellisesti. Määritellää tapahtuma Tällöi A i = Nollahpoteesia ei hlätä virheellisesti testissä i, i =,,, m c A i = Nollahpoteesi hlätää virheellisesti testissä i, i =,,, m Jos aiissa odotusarvoe vertailutesteissä ätetää samaa meritsevstasoa α, ii a Pr( A) = α, i =,,, m i c Pr( A ) = α, i =,,, m i Jos testit i =,,, m ovat riippumattomia, ii todeäöiss, että ollahpoteesia ei hlätä virheellisesti hdessäää testissä o Pr( A A L A ) = Pr( A) Pr( A ) LPr( A ) m Jos oaisessa testissä ätetää meritsevstasoa samaa luua α, ii tällöi a site Pr( A A L A ) = ( α) m m α = Pr( Vähitää si virheellie hläs ) = ( α) m Jos testit i =,,, m riippuvat toisistaa, ii tämä htälö pätee vai approsimatiivisesti. Boferroi epähtälö muaa Pr( Ei htää virheellistä hlästä ) = Pr( A A L A ) [Pr( A ) + Pr( A ) + L+ Pr( A )] m c c c m Jos oaisessa testissä ätetää meritsevstasoa samaa luua α, ii saamme epähtälö Pr( Ei htää virheellistä hlästä ) mα Site vähitää hde virheellise hläse todeäöisdelle α o saatu arvio m T @ Ila Melli (006) 473
0. Ysisuutaie variassiaalsi Site valita taaa se, että α = Pr( Vähitää si virheellie hläs ) = Pr( Ei htää virheellistä hlästä ) mα α = β/m α β 0.0. otrastit Oloo () = µ + ε, i =,,,, =,,, i i sisuutaise variassiaalsi tilastollie malli, ossa ääös eli virhetermit ε i ovat riippumattomia a ormaaliaautueita satuaismuuttuia: Mallissa () Oloo lisäsi ε σ i = = i N(0, ),,,,,,,, i = muuttua i. havaitoarvo rhmässä µ = muuttua odotusarvo rhmässä N = + + L+ havaitoe ooaisluumäärä. otrasti Parametrie µ, µ,, µ lieaariombiaatio o otrasti, os Γ= = c µ otrastit = c = 0 a Γ= = c µ = = d µ T @ Ila Melli (006) 474
0. Ysisuutaie variassiaalsi ovat ortogoaalisia, os = cd = 0 Jos = = = = ii otrastit Γ a ovat ortogoaalisia, os = cd = 0 otrastie estimoiti Oloo otrasti C= c = estimaattori, ossa Γ= = c µ = =, =,,, o havaitoarvoe aritmeettie esiarvo rhmässä a, =,,, i o rhmä oo. Ysisuutaise variassiaalsi mallista tehdistä oletusista seuraa, että estimaatori C oudattaa ormaaliaaumaa: ossa C µ σ N( C, C) a µ = E( C) = c µ =Γ σ C = C = D ( C) = σ = c otrastea osevat testit Asetetaa ollahpoteesi H : Γ= c µ = 0 0 = T @ Ila Melli (006) 475
0. Ysisuutaie variassiaalsi a sille asisuutaie vaihtoehtoie hpoteesi Määritellää F testisuure H : Γ= c µ 0 = ossa c = F = c MSE = =, =,,, = o havaitoarvoe aritmeettie esiarvo rhmässä,, =,,, o rhmä oo a i ( i ) ( ) = i= = SSE MSE = = = s N N N rhmie sisäistä vaihtelua uvaava eliösumma, ossa N = + + + havaitoe ooaisluumäärä a i i= s = ( ), =,,, o havaitoarvoe variassi rhmässä. Jos ollahpoteesi H : Γ= c µ = 0 0 = pätee, ii testisuure F oudattaa F aaumaa vapaustei a (N ): F F(, N ) Suuret testisuuree F arvot ohtavat ollahpoteesi H 0 hläämisee. Perustelu: Oloo C Q = D ( C) ossa T @ Ila Melli (006) 476
0. Ysisuutaie variassiaalsi a C= c = Jos ollahpoteesi c D ( C) = σ = pätee, ii Oloo ossa H : Γ= c µ = 0 Q Q 0 = χ () SSE = σ ( i ) ( ) = i= = SSE = = s Voidaa osoittaa, että (s. appaletta Ysisuutaie variassiaalsi a se suorittamie) ossa Q N χ ( ) N = + + L+ Määritellää F testisuure Q / Q F = = ( N ) Q /( N ) Q osa eliösummat Q a Q ovat riippumattomia, F F(, N ) Todetaa lopusi, että testisuure F voidaa iroittaa muotoo ossa c = F = c MSE = T @ Ila Melli (006) 477
0. Ysisuutaie variassiaalsi ( i ) ( ) = i= = SSE MSE = = = s N N N Ottamalla edellä esitetstä F testisuureesta eliöuuri, saadaa t testisuure t= = MSE c = c Jos ollahpoteesi H : Γ= c µ = 0 0 = pätee, ii testisuure t oudattaa t aaumaa vapausastei (N ): t t(n ) Itseisarvoltaa suuret testisuuree t arvot ohtavat ollahpoteesi H 0 hläämisee. Edellä esitett F testi a t testi ovat evivalettea. otrastie luottamusvälit otrasti Γ=c iµ i i = luottamusväli luottamustasolla ( α) o muotoa c ± c tα / MSE = = ossa luottamusertoimet t α/ a +t α/ o määrätt ii, että Pr( t α/ t + t α/ ) = α a t t(n ) Ortogoaaliste otrastie testaamie otrastit a Γ= = c µ T @ Ila Melli (006) 478
0. Ysisuutaie variassiaalsi = = ovat ortogoaalisia, os = cd d µ = 0 Toisistaa riippumattomie ortogoaalisia otrastie luumäärä o ossa = Rhmie luumäärä Ortogoaaliset otrastit deompooivat rhmie välistä (sstemaatista) vaihtelua uvaava eliösumma SSG = ( ) = ( ) ompoettii, oista oaise aste =. Site ortogoaalisii otrasteihi liittvät testit ovat riippumattomia. Perustelu: Oloot Γ = c µ, l =,,, l l = ( ) ortogoaalista otrastia odotusarvoille Oloo µ, µ,, µ Tällöi pätee = l c l = SSl =, l =,,, c = SSG = ( ) = SS + SS + L+ SS appaleessa Ysisuutaie variassiaalsi a se suorittamie todettii, että SSG σ χ ( ) Edellä esitet muaa satuaismuuttuat T @ Ila Melli (006) 479
0. Ysisuutaie variassiaalsi SS SS SS,,, σ σ σ oudattavat χ aaumaa hdellä vapausasteella: SS χ (), l =,,, l Site Cochrai lauseesta (s. appaletta Ysisuutaie variassiaalsi a se suorittamie) seuraa, että satuaismuuttuat SS SS SS,,, σ σ σ ovat riippumattomia. osa F testisuureet otrasteille Γ, Γ,, Γ voidaa esittää muodossa SSl Fl =, l =,,. MSE äemme, että testit ortogoaalisille otrasteille ovat riippumattomia. T @ Ila Melli (006) 480
. asisuutaie variassiaalsi. asisuutaie variassiaalsi.. Variassiaalsi: Johdato.. asisuutaie variassiaalsi a se suorittamie.3. asisuutaise variassiaalsi malli a se parametroiti.4. asisuutaise variassiaalsi malli parametrie estimoiti.5 Lasutoimituste suorittamie Ysisuutaisessa variassiaalsissa perusouo o aettu rhmii hde rhmittelevä teiä suhtee a tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. asi tai useampisuutaisessa variassiaalsissa perusouo o aettu rhmii ahde tai useamma rhmittelevä teiä suhtee a ti tavoitteea o testata hpoteesia, oa muaa iiostuse ohteea oleva muuttua rhmäohtaiset odotusarvot ovat htä suuria. Tässä luvussa tarastellaa asisuutaista variassiaalsia. Tarastelu ohteea ovat mm. asisuutaise variassiaalsi malli a se parametroiti, parametrie estimoiti, odotusarvoe htäsuuruude testaamie a lasutoimituste suorittamie. Avaisaat: Aritmeettie esiarvo, Cochrai lause, Estimoiti, F testi, Fatori, Harha, Harhattomuus, Idiaattorimuuttua, Iteratio, Jääösvaihtelu, Jääösvariassi, asisuutaie variassiaalsi, ooaisesiarvo, ooaisvaihtelu, Meritsevstaso, Muuttua, Normaaliaauma, Neliösumma, Otos, Otostuusluu, Parametri, Parametroiti, Pieimmä eliösumma estimaattori, Pieimmä eliösumma meetelmä, Päävaiutus, Residuaali, Reuaesiarvo, Riippumattomuus, Rhmie sisäie vaihtelu, Rhmie välie vaihtelu, Rhmittel, Rhmä, Rhmäesiarvo, Satuaisuus, Side ehto, Sovite, t testi, Taso, Teiä, Testi, Vapausaste, Variassi, Variassiaalsihaotelma, Variassiaalsitauluo, Yhdsvaiutus, Ysisuutaie variassiaalsi, Yleie lieaarie malli, Yleisesiarvo T @ Ila Melli (006) 48
. asisuutaie variassiaalsi.. Variassiaalsi: Johdato ahde riippumattoma otose t testi Suhdeasteiollisille muuttuille taroitettua testeä äsitelleessä appaleessa tarastellaa ahde riippumattoma otose t testiä. Testi testausasetelma o seuraava: (i) (ii) Perusouo oostuu ahdesta rhmästä. Havaiot oudattavat ummassai rhmässä ormaaliaaumaa. (iii) ummastai rhmästä o poimittu toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe samuutta. Variassiaalsi perusogelma Variassiaalsi voidaa mmärtää ahde riippumattoma otose t testi leistsesi tilateisii, ossa perusouo oostuu ahdesta tai useammasta rhmästä: (i) (ii) Perusouo oostuu ahdesta tai useammasta rhmästä. Havaiot oudattavat oaisessa rhmässä ormaaliaaumaa. (iii) Joaisesta rhmästä poimitaa toisistaa riippumattomat satuaisotoset. (iv) Tehtävää o testata rhmäohtaiste odotusarvoe samuutta. Perusouo ao rhmii voidaa tehdä hde tai useamma fatori eli teiä (muuttua) arvoe perusteella. Jos perusouo ao rhmii perustuu htee teiää, puhutaa sisuutaisesta variassiaalsista. Jos perusouo ao rhmii perustuu m teiää, puhutaa m suutaisesta variassiaalsista. Huomautus: Tässä luvussa äsitellää asisuutaista variassiaalsia; sisuutaista variassiaalsia o äsitelt edellisessä luvussa olmisuutaista variassiaalsia äsitellää seuraavassa luvussa. Variassiaalsi imi ohtaa helposti harhaa. Variassiaalsissa ei testata variassie vaa odotusarvoe htäsuuruutta tilateessa. Nimi ohtuu siitä, että odotusarvoe htäsuuruude testaamie perustuu eri tavoilla määrätte variassie htäsuuruude testaamisee... asisuutaise variassiaalsi perusasetelma Oletetaa, että tutimuse ohteea oleva perusouo voidaa aaa rhmii ahde fatori eli teiä (muuttua) A a B arvoe suhtee a oletetaa, että teiällä A o J tasoa a teiällä B o tasoa, olloi aossa st rhmiä J appaletta. Oletetaa edellee, että rhmistä o poimittu toisistaa riippumattomat satuaisotoset, oide aiie oo o I. osa rhmäoot o oletettu htä suurisi, saomme, että asetelma o tasapaiotettu. Oloo i = i. havaito teiä A taso A a teiä B taso B määräämässä rhmässä (,), i =,,, I, =,,, J, =,,, T @ Ila Melli (006) 48
. asisuutaie variassiaalsi ätetstä otatameetelmästä seuraa, että havaiot i voidaa olettaa riippumattomisi (a site mös orreloimattomisi) satuaismuuttuisi. Oletetaa, että aiilla samaa rhmää (,) uuluvilla havaioilla o sama odotusarvo: E( i ) = µ, i =,,, I, =,,, J, =,,, a aiilla havaioilla o rhmästä riippumatta sama variassi: D ( i ) = σ, i =,,, I, =,,, J, =,,, Oletetaa lisäsi, että havaiot i ovat ormaaliaautueita: i N(µ, σ ), i =,,, I, =,,, J, =,,, Haluamme testata ollahpoteesia siitä, että rhmäohtaiset odotusarvot E( i ) = µ ovat htä suuria: H 0 : µ = µ, =,,, J, =,,, Jos ollahpoteesi rhmäohtaiste odotusarvoe htäsuuruudesta pätee, rhmät voidaa hdistää aiissa havaitoe esimääräisiä arvoa osevissa tarasteluissa. asisuutaisessa variassiaalsissa ollahpoteesi H 0 : µ = µ, =,,, J, =,,, o tapaa aaa olmesi ollahpoteesisi, ota osevat teiä A päävaiutusta, teiä B päävaiutusta seä teiöide A a B iteratiota eli hdsvaiutusta. Tämä teee rhmä ohtaiste odotusarvoe htäsuuruutta oseva testausogelma oleaisesti moimutaisemmasi ui sisuutaisessa variassiaalsissa. Tämä ohtuu siitä, että teiöide A a B päävaiutusia ei voida tarastella erillisiä, os teiöillä A a B o hdsvaiutusta. Site asisuutaisessa variassiaalsissa testattavia ollahpoteesea o olme appaletta: (i) (ii) (iii) Teiöide A a B hdsvaiutusta oseva ollahpoteesi o muotoa H AB : Ei hdsvaiutusta Jos ollahpoteesi H AB ää voimaa, teiöide A a B päävaiutusia voidaa tarastella erillisiä. Teiä A päävaiutusta oseva ollahpoteesi o muotoa H A : Ei A vaiutusta Teiä B päävaiutusta oseva ollahpoteesi o muotoa Huomautus: H B : Ei B vaiutusta Nollahpoteesit H A a H B ovat sisuutaise variassiaalsi ollahpoteesea. asisuutaie variassiaalsi taroittaa em. testausasetelma ollahpoteesie testaamista. H AB : Ei hdsvaiutusta H A : Ei A vaiutusta H B : Ei B vaiutusta T @ Ila Melli (006) 483
. asisuutaie variassiaalsi Iteratio: Havaiollistus Tarastellaa siertaiste esimeriuvioide avulla rhmittelevie teiöide A a B iteratio eli hdsvaiutuse ilmeemistä rhmä ohtaisia odotusarvoa uvaavissa odotusarvodiagrammeissa. Oletetaa, että molemmilla rhmittelevällä teiöillä A a B o asi tasoa: A : A, =, B : B, =, Oloot vastaavat rhmäodotusarvot µ, =,, =, uvio : Ei hdsvaiutusta. Tapaus : Tapaus : µ i µ i µ µ B µ µ B µ µ B µ B µ A A Jos teiä B tasoa muutetaa, rhmäodotusarvoissa tapahtuva muutos ei riipu teiä A tasosta: µ µ = µ µ uvio : Yhdsvaiutusta esiit. Tapaus : Tapaus : A A µ i µ µ i µ µ B µ µ B B µ µ µ B A A A A T @ Ila Melli (006) 484