(c) lkka Mellin (005) Useampisuuntainen varianssianalsi ohdatus tilastotieteeseen Useampisuuntainen varianssianalsi (c) lkka Mellin (005) Useampisuuntainen varianssianalsi: Mitä opimme? arkastelemme tässä luvussa seuraavaa ksmstä: Miten tavanomainen kahden riippumattoman otoksen t-testi leistetään tilanteeseen, jossa rhmiä on useampia kuin kaksi? Yksisuuntaisessa varianssianalsissa perusjoukko on jaettu rhmiin hden tekijän suhteen ja tavoitteena on testata rhmistä poimittuihin toisistaan riippumattomiin ksinkertaisiin satunnaisotoksiin perustuen hpoteesia, jonka mukaan tarkasteltavan muuttujan rhmäkohtaiset odotusarvot ovat htä suuria. aksi- tai useampisuuntaisessa varianssianalsissa perusjoukko on jaettu rhmiin kahden tai useamman tekijän suhteen ja tavoitteena on testata rhmistä poimittuihin toisistaan riippumattomiin ksinkertaisiin satunnaisotoksiin perustuen hpoteesia, jonka mukaan tarkasteltavan muuttujan rhmäkohtaiset odotusarvot ovat htä suuria. Useampisuuntainen varianssianalsi >> (c) lkka Mellin (005) 3 (c) lkka Mellin (005) 4 ahden otoksen t-testi Avainsanat ahden riippumattoman otoksen t-testi m-suuntainen varianssianalsi Odotusarvo Rhmä esti Varianssi Yksisuuntainen varianssianalsi Suhdeasteikollisille muuttujille tarkoitettuja testejä käsitelleessä kappaleessa tarkasteltiin kahden riippumattoman otoksen t-testiä. estin testausasetelma on seuraava: (i) Perusjoukko koostuu kahdesta rhmästä. (ii) Havainnot noudattavat kummassakin rhmässä normaalijakaumaa. (iii) ummastakin rhmästä on poimittu toisistaan riippumattomat ksinkertaiset satunnaisotokset. (iv) ehtävänä on testata rhmäkohtaisten odotusarvojen htäsuuruutta. (c) lkka Mellin (005) 5 (c) lkka Mellin (005) 6
(c) lkka Mellin (005) 7 Varianssianalsin perusongelma Rhmiin jako varianssianalsissa Varianssianalsi voidaan mmärtää kahden riippumattoman otoksen t-testin leistkseksi tilanteisiin, jossa perusjoukko koostuu useammasta kuin kahdesta rhmästä: (i) Perusjoukko koostuu kahdesta tai useammasta rhmästä. (ii) Havainnot noudattavat jokaisessa rhmässä normaalijakaumaa. (iii) okaisesta rhmästä poimitaan toisistaan riippumattomat ksinkertaiset satunnaisotokset. (iv) ehtävänä on testata rhmäkohtaisten odotusarvojen htäsuuruutta. Perusjoukon jako rhmiin voidaan tehdä hden tai useamman tekijän perusteella. os perusjoukon jako rhmiin perustuu hteen tekijään, puhutaan ksisuuntaisesta varianssianalsista. os perusjoukon jako rhmiin perustuu m tekijään, puhutaan m-suuntaisesta varianssianalsista. Huomautus: ässä luvussa käsitellään kolmisuuntaista varianssianalsia. (c) lkka Mellin (005) 8 Varianssianalsin nimi Useampisuuntainen varianssianalsi Varianssianalsin nimi on harhaanjohtava. Varianssianalsissa testataan rhmäkohtaisten odotusarvojen htäsuuruutta tilanteessa, jossa perusjoukko on jaettu kahteen tai useampaan rhmään. Varianssianalsin nimi johtuu siitä, että rhmäkohtaisten odotusarvojen htäsuuruuden testaaminen perustuu eri tavoilla määrättjen varianssien htäsuuruuden testaamiseen F-testeillä. >> (c) lkka Mellin (005) 9 (c) lkka Mellin (005) 0 olmisuuntaisen varianssianalsin perusasetelma /6 Avainsanat F-testi nteraktio äännösneliösumma aksisuuntainen varianssianalsi χ -testi okonaiskeskiarvo okonaisneliösumma okonaisvaihtelu olmisuuntainen varianssianalsi Marginaalikeskiarvo Neliösumma Odotusarvo Päävaikutus Reunakeskiarvo Rhmien sisäinen vaihtelu Rhmien välinen vaihtelu Rhmä Rhmäkeskiarvo Rhmäneliösumma aso esti Vapausaste Varianssi Varianssianalsihajotelma Varianssianalsitaulukko Yhdsvaikutus Yleinen lineaarinen malli Oletetaan, että tutkimuksen kohteena oleva perusjoukko voidaan jakaa rhmiin kolmen tekijän (tai muuttujan) A, B ja C suhteen. Oletetaan, että tekijällä A on tasoa, tekijällä B on tasoa ja tekijällä C on tasoa, jolloin jaossa snt rhmiä kappaletta. Oletetaan, että rhmistä on poimittu toisistaan riippumattomat ksinkertaiset satunnaisotokset, joiden koko on. (c) lkka Mellin (005) (c) lkka Mellin (005)
(c) lkka Mellin (005) 3 olmisuuntaisen varianssianalsin perusasetelma /6 Olkoon l. havainto tekijän A tason i, tekijän B tason j ja tekijän C tason k määräämässä rhmässä (i, j, k) l,,, i,,,, j,,,, k,,, ätetstä otantamenetelmästä seuraa, että havainnot voidaan olettaa riippumattomiksi (ja siten mös korreloimattomiksi) satunnaismuuttujiksi. olmisuuntaisen varianssianalsin perusasetelma 3/6 Oletetaan, että havainnot ovat normaalijakautuneita: N(µ ijk, σ ) l,,, i,,,, j,,,, k,,, (c) lkka Mellin (005) 4 olmisuuntaisen varianssianalsin perusasetelma 4/6 Havainnoista tehdstä oletuksesta seuraa: (i) aikilla samaan rhmään (i, j, k) kuuluvilla havainnoilla on sama odotusarvo: E( ) µ ijk l,,, i,,,, j,,,, k,,, (ii) aikilla havainnoilla on rhmästä riippumatta sama varianssi: D ( ) σ l,,, i,,,, j,,,, k,,, olmisuuntaisen varianssianalsin perusasetelma 5/6 Haluamme testata nollahpoteesia siitä, että rhmäkohtaiset odotusarvot E( ) µ ijk, l,,, i,,,, j,,,, k,,, ovat htä suuria. Asetetaan siis nollahpoteesi H 0 : µ ijk µ i,,,, j,,,, k,,, os nollahpoteesi rhmäkohtaisten odotusarvojen htäsuuruudesta pätee, rhmät voidaan hdistää kaikissa havaintojen keskimääräisiä arvoja koskevissa tarkasteluissa. (c) lkka Mellin (005) 5 (c) lkka Mellin (005) 6 olmisuuntaisen varianssianalsin perusasetelma 6/6 olmisuuntaisessa varianssianalsissa nollahpoteesi H 0 : µ ijk µ i,,,, j,,,, k,,, on tapana jakaa seitsemäksi nollahpoteesiksi, jotka koskevat tekijöiden A, B ja C päävaikutuksia, tekijöiden A, B ja C pareittaisia interaktiota eli hdsvaikutuksia ja tekijöiden A, B ja C hdsvaikutusta. olmisuuntaisen varianssianalsin nollahpoteesit /3 olmisuuntaisessa varianssianalsissa testattavia nollahpoteeseja on seitsemän kappaletta. ekijöiden A, B ja C hdsvaikutusta koskeva nollahpoteesi on muotoa H ABC : Ei hdsvaikutusta ABC (c) lkka Mellin (005) 7 (c) lkka Mellin (005) 8
(c) lkka Mellin (005) 9 olmisuuntaisen varianssianalsin nollahpoteesit /3 ekijöiden A ja B hdsvaikutusta koskeva nollahpoteesi on muotoa H AB : Ei hdsvaikutusta AB ekijöiden A ja C hdsvaikutusta koskeva nollahpoteesi on muotoa H AC : Ei hdsvaikutusta AC ekijöiden A ja B hdsvaikutusta koskeva nollahpoteesi on muotoa H BC : Ei hdsvaikutusta BC os nollahpoteesit H ABC, H AB, H AC, H BC jäävät voimaan, tekijöiden A, B ja C vaikutusta voidaan tutkia erillisinä. olmisuuntaisen varianssianalsin nollahpoteesit 3/3 ekijän A vaikutusta koskeva nollahpoteesi on muotoa H A : Ei A-vaikutusta ekijän B vaikutusta koskeva nollahpoteesi on muotoa H B : Ei B-vaikutusta ekijän A vaikutusta koskeva nollahpoteesi on muotoa H C : Ei C-vaikutusta Huomautus: Nollahpoteesit H A, H B, H C ovat ksisuuntaisen varianssianalsin nollahpoteeseja. (c) lkka Mellin (005) 0 olmisuuntainen varianssianalsi: Määritelmä olmisuuntainen varianssianalsi tarkoittaa em. testausasetelman nollahpoteesien H ABC : Ei hdsvaikutusta ABC H AB : Ei hdsvaikutusta AB H AC : Ei hdsvaikutusta AC H BC : Ei hdsvaikutusta BC H A : Ei A-vaikutusta H B : Ei B-vaikutusta H C : Ei C-vaikutusta testaamista. olmisuuntaisen varianssianalsin tilastollinen malli /4 olmisuuntaisen varianssianalsin tilastollinen malli voidaan parametroida seuraavalla tavalla: µ + αi + β j + γk + ( αβ) ij + ( αγ ) ik + ( βγ ) jk + ( αβγ ) ijk + ε l,,,, i,,,, j,,,, k,,, jossa jäännöstermit ε ovat riippumattomia ja normaalijakautuneita: ε N(0, σ ) l,,,, i,,,, j,,,, k,,, (c) lkka Mellin (005) (c) lkka Mellin (005) olmisuuntaisen varianssianalsin tilastollinen malli /4 Ei-satunnaiset vakiot µ α i, β j, γ k (αβ) ij, (αγ) ij, (βγ) jk, (αβγ) ijk i,,,, j,,,, k,,, ja jäännösvarianssi σ ovat kolmisuuntaisen varianssianalsin tilastollisen mallin parametreja. olmisuuntaisen varianssianalsin tilastollinen malli 3/4 olmisuuntaisen varianssianalsin tilastollisen mallin parametreja sitoo htälöt: α β γ 0 i j k i j k ( αβ ) ij ( αβ ) ij 0 i j ( αγ ) ik ( αγ ) ik 0 i k ( βγ ) jk ( βγ ) jk 0 j k αβγ ijk αβγ ijk αβγ ijk i j k ( ) ( ) ( ) 0 (c) lkka Mellin (005) 3 (c) lkka Mellin (005) 4
(c) lkka Mellin (005) 5 olmisuuntaisen varianssianalsin tilastollinen malli 4/4 Mallia koskevista oletuksista seuraa, että E( ) µ + αi + β j + γk + ( αβ) ij + ( αγ ) ik + ( βγ ) jk + ( αβγ ) ijk l,,,, i,,,, j,,,, k,,, ja D( ) σ l,,,, i,,,, j,,,, k,,, olmisuuntaisen varianssianalsin tilastollinen malli ja mallia koskevat nollahpoteesit olmisuuntaisen varianssianalsin nollahpoteesit voidaan ilmaista mallin parametrien avulla seuraavassa muodossa: H ABC : (αβγ) ijk 0 i, j, k H AB : (αβ) ij 0 i, j H AC : (αγ) ik 0 i, k H BC : (βγ) jk 0 j, k H A : α i 0 i H B : β j 0 j H C : γ k 0 k (c) lkka Mellin (005) 6 olmisuuntainen varianssianalsi ja sen suorittaminen olmisuuntainen varianssianalsi ja koesuunnittelu / olmisuuntaista varianssianalsiä voidaan kättää koetulosten analsiin seuraavassa koeasetelmassa: (i) Oletetaan, että kokeen tavoitteena on verrata, miten käsittelt A, A,, A ja B, B,, B ja C, C,, C vaikuttavat kiinnostuksen kohteena olevan muuttujan keskimääräisiin arvoihin. olmisuuntainen varianssianalsi ja sen suorittaminen olmisuuntainen varianssianalsi ja koesuunnittelu / (ii) Valitaan käsittelkombinaation (A i, B j, C k ) kohteeksi kaikkien kokeen kohteiksi valittujen ksilöiden joukosta satunnaisesti ksilöä, i,,,, j,,,, k,,, ja N. (iii) Mitataan vasteet ijkl eli kiinnostuksen kohteena olevan muuttujan arvot: ijkl, l,,, i,,,, j,,,, k,,, Huomaa, että koeasetelma on tädellisesti satunnaistettu: Sattuma määrää tädellisesti millaisen käsitteln kohteeksi kokeen kohteiksi valitut ksilöt joutuvat. (c) lkka Mellin (005) 7 (c) lkka Mellin (005) 8 Useampisuuntainen varianssianalsi Rhmäkeskiarvot >> Määritellään havaintoarvojen rhmäkeskiarvot eli rhmäkohtaiset aritmeettiset keskiarvot tekijän A tason i, tekijän B tason j ja tekijän C tason k määräämässä rhmässä (i, j, k): iijk l i,,,, j,,,, k,,, (c) lkka Mellin (005) 9 (c) lkka Mellin (005) 30
(c) lkka Mellin (005) 3 okonaiskeskiarvo Reunakeskiarvot os rhmäkohtaiset otokset hdistetään hdeksi otokseksi, hdistetn otoksen havaintoarvojen leis- eli kokonaiskeskiarvo on i j k l jossa N on havaintojen kokonaislukumäärä. Määritellään havaintoarvojen. kertaluvun marginaali-eli reunakeskiarvot kaavoilla: iii i kijl, i,,, j k l ii ji, j,,, iiik, k,,, kijl i i l kijl i j l (c) lkka Mellin (005) 3 Reunakeskiarvot Poikkeamat keskiarvoista Määritellään havaintoarvojen. kertaluvun marginaali-eli reunakeskiarvot kaavoilla: iiji kijl, i,,,, j,,, k l ii i k kijl, i,,,, k,,, j l ii jk kijl, j,,,, k,,, i l irjoitetaan identiteetti ( ) + ( ii ji ) + ( iii k ) + ( iiji ii ji + ) + ( iik i iiik + ) + ( ii jk ii ji iiik + ) + ( iijk iiji iiik ii jk + + ii ji + iiik ) + ( ) iijk 3-suuntaisen varianssianalsin testit perustuvat näiden sulkulausekkeilla esitettjen poikkeamien neliösummille. (c) lkka Mellin (005) 33 (c) lkka Mellin (005) 34 okonaisneliösumma Päävaikutusten neliösummat Määritellään havaintoarvojen kokonaisvaihtelua kuvaava kokonaisneliösumma: SS ( ) i j k l os rhmäkohtaiset otokset hdistetään hdeksi otokseksi, saadun hdistetn otoksen varianssi on s SS jossa N on havaintojen kokonaislukumäärä. Määritellään tekijöiden A ja B ja C päävaikutuksia kuvaavat neliösummat: SSA ( ) i SSB ( ) j k ii ii ii ji SSC ( ) iiik (c) lkka Mellin (005) 35 (c) lkka Mellin (005) 36
(c) lkka Mellin (005) 37. kertaluvun hdsvaikutusten neliösummat Määritellään tekijöiden A ja B, A ja C, B ja C hdsvaikutuksia kuvaavat neliösumma: SSAB ( + ) i j SSAC ( + ) i k k iiji ii ii ii ji iik i ii ii iiik SSBC ( + ) ii jk ii ji iiik. kertaluvun hdsvaikutuksen neliösumma ja jäännösneliösumma Määritellään tekijöiden A ja B ja C hdsvaikutusta kuvaava neliösumma: ( iijk iiji iiik ii jk i j k + + ii ji + iiik ) SSABC Määritellään rhmien sisäistä vaihtelua kuvaava (jäännös-) neliösumma: ( ) i j k l iijk (c) lkka Mellin (005) 38 äännösneliösumman tulkinta Varianssianalsihajotelma Havaintoarvojen rhmävarianssit eli rhmäkohtaiset varianssit saadaan lausekkeista s ijk ( ijk ) i k i,,,, j,,,, k,,, Siten rhmien sisäistä vaihtelua kuvaava neliösumman lauseke voidaan esittää mös muodossa ( ) s ijk i j k Neliösummat SS, SSA, SSB, SSC, SSAB, SSAC, SSBC, SSABC, toteuttavat varianssianalsihajotelman SS SSA + SSB + SSC + SSAB + SSAC + SSBC + SSABC + ja neliösummiin liittvät vapausasteiden lukumäärät toteuttavat htälön ( ) + ( ) + ( ) + ( )( ) + ( )( ) + ( )( ) + ( )( )( ) + ( ) (c) lkka Mellin (005) 39 (c) lkka Mellin (005) 40 estisuure. kertaluvun hdsvaikutukselle ABC ja ( ) SSABC FABC ( )( )( ) jossa SSABC on tekijöiden A ja B ja C hdsvaikutusta kuvaava neliösumma ja on rhmien sisäistä vaihtelua kuvaava neliösumma. os nollahpoteesi H ABC : Ei hdsvaikutusta ABC FABC F(( )( )( ), ( )) Suuret testisuureen F ABC arvot johtavat nollahpoteesin hlkäämiseen. (c) lkka Mellin (005) 4 estisuure. kertaluvun hdsvaikutukselle AB ja ( ) SSAB FAB ( )( ) jossa SSAB on tekijöiden A ja B hdsvaikutusta kuvaava neliösumma ja on rhmien sisäistä vaihtelua kuvaava neliösumma. os nollahpoteesi H AB : Ei hdsvaikutusta AB FAB F(( )( ), ( )) Suuret testisuureen F AB arvot johtavat nollahpoteesin hlkäämiseen. (c) lkka Mellin (005) 4
(c) lkka Mellin (005) 43 estisuure. kertaluvun hdsvaikutukselle AC ja ( ) SSAC FAC ( )( ) jossa SSAC on tekijöiden A ja C hdsvaikutusta kuvaava neliösumma ja on rhmien sisäistä vaihtelua kuvaava neliösumma. os nollahpoteesi H AC : Ei hdsvaikutusta AC FAC F(( )( ), ( )) Suuret testisuureen F AC arvot johtavat nollahpoteesin hlkäämiseen. estisuure. kertaluvun hdsvaikutukselle BC ja ( ) SSBC FBC ( )( ) jossa SSBC on tekijöiden B ja C hdsvaikutusta kuvaava neliösumma ja on rhmien sisäistä vaihtelua kuvaava neliösumma. os nollahpoteesi H BC : Ei hdsvaikutusta BC FBC F(( )( ), ( )) Suuret testisuureen F BC arvot johtavat nollahpoteesin hlkäämiseen. (c) lkka Mellin (005) 44 estisuure päävaikutukselle A ja ( ) SSA FA jossa SSA on tekijän A päävaikutusta kuvaava neliösumma ja on rhmien sisäistä vaihtelua kuvaava neliösumma. os nollahpoteesi H A : Ei päävaikutusta A FA F(( ), ( )) Suuret testisuureen F A arvot johtavat nollahpoteesin hlkäämiseen. estisuure päävaikutukselle B ja ( ) SSB FB jossa SSB on tekijän B päävaikutusta kuvaava neliösumma ja on rhmien sisäistä vaihtelua kuvaava neliösumma. os nollahpoteesi H B : Ei päävaikutusta B FB F(( ), ( )) Suuret testisuureen F B arvot johtavat nollahpoteesin hlkäämiseen. (c) lkka Mellin (005) 45 (c) lkka Mellin (005) 46 estisuure päävaikutukselle C ja Varianssianalsitaulukko / ( ) SSC FC jossa SSC on tekijän C päävaikutusta kuvaava neliösumma ja on rhmien sisäistä vaihtelua kuvaava neliösumma. os nollahpoteesi H C : Ei päävaikutusta C FC F(( ), ( )) Suuret testisuureen F C arvot johtavat nollahpoteesin hlkäämiseen. Vaihtelun lähde A B C AB AC BC ABC äännös okonaisvaihtelu SS SSA SSB SSC SSAB SSAC SSBC SSABC SS df ( )( ) ( )( ) ( )( ) ( )( )( ) ( ) MS MSA MSB MSC MSAB MSAC MSBC MSABC MSE F F A MSA/MSE F B MSB/MSE F C MSC/MSE F AB MSAB/MSE F AC MSAC/MSE F BC MSBC/MSE F ABC MSABC/MSE (c) lkka Mellin (005) 47 (c) lkka Mellin (005) 48
(c) lkka Mellin (005) 49 Varianssianalsitaulukko / Useampisuuntainen varianssianalsi Varianssianalsitaulukon neliösummat toteuttavat htälön SS SSA + SSB + SSC + SSAB + SSAC + SSBC + SSABC + Yhtälö on varianssianalsihajotelma. Varianssianalsitaulukon neliösummien vapausasteet toteuttavat htälön ( ) + ( ) + ( ) + ( )( ) + ( )( ) + ( )( ) + ( )( )( ) + ( ) >> (c) lkka Mellin (005) 50 Rhmäsummat ja. kertaluvun reunasummat. kertaluvun reunasummat ja kokonaissumma Määritellään seuraavat summat: iijk iii i ii ji iiik l j k l i k l i j l i,,,, j,,,, k,,, Määritellään seuraavat summat: iiji ii i k ii jk iii k l j l i l i j k l i,,,, j,,,, k,,, (c) lkka Mellin (005) 5 (c) lkka Mellin (005) 5 Havaintoarvojen neliöiden summat Määritellään tekijän A tason i, tekijän B tason j ja tekijän C tason k määräämän rhmän (i, j, k) havaintoarvojen neliöiden summa kaavalla, i,,,, j,,,, k,,, l ja kaikkien havaintoarvojen neliöiden kokonaissumma kaavalla i j k l Rhmävarianssien ja kokonaisvarianssin laskeminen Havaintoarvojen rhmävarianssit saadaan kaavoilla s iijk ijk ijk i i l i,,,, j,,,, k,,, ja kokonaisvarianssi saadaan kaavalla s j j l (c) lkka Mellin (005) 53 (c) lkka Mellin (005) 54
(c) lkka Mellin (005) 55 okonaisneliösumman laskeminen Päävaikutusten neliösummien laskeminen okonaisneliösumma SS voidaan laskea kaavalla SS i j k l ekijöiden A, B ja C päävaikutuksia kuvaavat neliösummat SSA, SSB ja SSC saadaan kaavoilla SSA i iii i SSB ii ji j iiik k SSC (c) lkka Mellin (005) 56. kertaluvun hdsvaikutusten neliösummien laskeminen ekijöiden A ja B, A ja C, B ja C hdsvaikutuksia kuvaavat neliösumma SSAB, SSAC ja SSBC saadaan kaavoilla SSAB iiji SSA SSB i j iik i i k ii jk j k SSAC SSA SSC SSBC SSB SSC. kertaluvun hdsvaikutuksen neliösumman laskeminen ekijöiden A ja B ja C hdsvaikutusta kuvaava neliösumma SSABC saadaan kaavalla SSABC SS SSA SSB SSC SSAB SSAC SSBC jossa SS ( ) i j k iijk iijk i j k on rhmäkeskiarvojen kokonaisvaihtelua kuvaava neliösumma. (c) lkka Mellin (005) 57 (c) lkka Mellin (005) 58 äännösneliösumman laskeminen Rhmien sisäistä vaihtelua kuvaava jäännösneliösumma saadaan varianssianalsihajotelman nojalla kaavalla SS SSA SSB SSC SSAB SSAC SSBC SSABC tai kaavalla SS SS jossa SS on rhmäkeskiarvojen kokonaisvaihtelua kuvaava neliösumma. (c) lkka Mellin (005) 59