2. TILASTOLLINEN TESTAAMINEN...

Transkriptio

1 !" #

2 1. 1. JOHDANTO TILASTOLLINEN TESTAAMINEN T-TESTI RANDOMISAATIOTESTI SIMULOINTI OTOSTEN POIMINTA TESTAUS TESTIEN TULOSTEN VERTAILU TULOKSET TESTIEN VERTAILU NORMAALIJAKAUTUNEILLA OTOKSILLA TESTIEN VERTAILU LOGNORMAALIJAKAUTUNEILLA OTOKSILLA TESTIEN VERTAILU KATKAISTUSTA NORMAALIJAKAUMASTA POIMITUILLA OTOKSILLA POHDINTA LÄHDELUETTELO

3 Keskiarvojen vertailutestejä on olemassa useita erilaisia. Osa testeistä perustuu testisuureen jakaumasta tehtävään oletukseen, kuten t-testi. Osa testeistä on yleisiä, jollain tapaa otosten järjestykseen perustuvia testejä, kuten randomisaatiotesti. Koska testit ovat kaikki hieman erilaisia, on odotettavissa että niiden antamat tuloksetkin ovat erilaisia. Testien antamat tulokset ovat usein keskimäärin samanlaisia, mutta saattavat tapauskohtaisesti erota paljonkin toisistaan. Laadunvarmistukseen liittyvissä testeissä usein käytetty tilastollinen jakauma on lognormaali-jakauma. Se on jakauma josta poimittujen muutujien logaritmit ovat normaalijakautuneita. Sitä käytetään kuvaamaan sellaisia suureita, jotka voivat saada vain positiivisia arvoja ja myös hyvin suuria arvoja. Tällaisia suureita ovat esimerkiksi paperin laadunvarmistuksessa käytetyt taittoluku ja yleensä vian ilmaantumiseen kuluva aika. Kaikissa tapauksissa mitattava suure ei kuitenkaan ole lognormaalisesti jakautunut vaikka näin oletetaankin. Tällöin tilastollisen testin oletukset eivät enää pidäkkään paikkaansa ja testistä saatu tulos saattaa on väärä. Lognormaalijakauman tapauksessa käytetään normaalijakautuneille satunnaismuuttujille tarkoitettuja tilastollisia testejä, joita varten havainnot logaritmoidaan. Odotusarvon testaamiseen on kuitenkin olemassa testejä, jotka eivät tee oletuksia tutkittavien muuttujien jakaumista. ertailtaillaan kahta tilastollista testiä, joita molempia voidaan käyttää kahden otoksen keskiarvon vertailuun. Näitä testejä, t-testi ja randomisaatiotesti, tarkastellaan käyttäen eri jakaumista poimittuja otoksia. Testeissä käytetään normaali-, lognormaalijakautuneita ja katkaistusta normaalijakaumasta poimittuja otoksia. Testit toteutetaan simuloimalla ja jokaista jakaumaa kohden poimitaan useita otospareja. Simuloinneista saatuja tuloksia vertaillaan eri testeillä pareittain, jolloin testien tapauskohtaiset erot on helppo havaita. Näden avulla voidaan havainnollistaa, kuinka usein toinen testeistä johtaa eri johtopäätökseen kuin toinen. 3

4 aina läsnä esitetään havainnoista saatua dataa vasten not kyllin vahvasti osoita toisin Mikäli nollahypoteesi hyväksytään, tarkoittaa se yleensä ettei merkittäviä eroja löytynyt. päde Mikäli vaihtoehtoinen hypoteesi hyväksytään, tarkoittaa se yleensä, että havainnoista saadun datan perusteella eroja löytyi.!!! testi, Se perustuu Testisuureen "testisuureen ja normaaliarvon välillä ei ole suurta eroa, katsotaan nollahypoteesi hyväksytyksi. [Laininen 1998] ksia an#$ "#$ ##$ #$ ja tästä johtuen P-arvo on nollahypoteesin pätiessä tasajakautunut [Manly]. Ennen testiä asetetaan riskitaso % äköisyys, jonka alittava P-arvo johtaa nollahypoteesin hylkäämiseen. Tämä riskitaso asetetaan yleensä pieneksi jotta todennäköisyys nollahypoteesin virheelliselle hylkäämiselle olisi pieni. Virhettä jossa nollahypoteesi virheellisesti hylätään kutsutaan I-lajin virheeksi. Mikäli nollahypoteesi tulee virheellisesti hyväksytyksi on kyseessä II-lajin virhe. [Miller & Freund 1985] Nollahypoteesinä on siis, että molemmat otokset ovat samasta jakaumasta. Käytetyt testit ovat t-testi ja randomisaatiotesti jotka esitellään seuraavana. Kahden keskiarvon erotuksen t-testissä tarkastellaan kahta riipumatonta normaalijakautunutta satunnaismuuttujaa X 1 & '( 1 ) 2 ) ja X 2 &'( 2 ) 2 ). Näillä muuttujilla on sama varianssi, mutta mahdollisesti eri odotusarvo. Odotusarvojen vertaamiseksi lasketaan havainnoista keskiarvot m 1 ja m 2 ja tarkastellaan näiden erotusta. Koska tässä tapauksessa nollahypoteesinä on se, että nämä kaksi otosta ovat samasta jakaumasta, saadaan t-testisuureelle seuraava lauseke 4

5 t 0 m1 m2 = [1] 1 1 s p + n n ( n1 1) s1 + ( n2 1) s2 s p = [2] n + n missä m 1 ja m 2 ovat otoksesta lasketut keskiarvot, n 1 ja n 2 otosten koot, sekä s 1 ja s 2 otoksista lasketut keskihajonnat. Tämä kyseinen muuttuja on t-jakau *+ 1 + n 2 2. P-arvoksi saadaan jakaumasta P-arvo = P( T = t 0 ). [Laininen 1998] Kahden otoksen vertailuun voidaan myös käyttää randomisaatio testiä, jossa otosten keskiarvojen erotusta verrataan satunnaisesti alkuperäisistä otoksista muodostettujen otosten keskiarvojen erotuksiin. Vaiheittain esitettynä testi etenee seuraavasti: 1. Havainnoista koostuvien otosten keskiarvojen erotusta m 1 -m 2 merkitään d Uusi näyte 1 muodostetaan poimimalla kaikista havainnoista puolet. Jäljelle jäävät alkiot muodostavat näytteen 2. Näistä avulla lasketaan keskiarvojen erotus uudelle jaolle d 2 = m 1 -m Askelta 2. toistetaan R-1 kertaa, jolloin saadaan R erotusta d 1,..., d R. 4. Erotukset d i järjestetään pienimmästä suurimpaan. 5. P-arvo saadaan jakamalla alkuperäisistä näytteistä lasketun erotuksen d1 järjestysnumero suurimmasta alkaen R:llä. Mikäli nollahypoteesi pitää paikkansa tulisi d 1 :n olla tyypillinen arvo R:n erotuksen joukossa ja sen voisi olettaa olevan missä tahansa erotustejen listalla. Mikäli näytteet kuitenkin tulevat eri jakaumista, on d 1 :llä tällöin suurempi arvo kuin erotuksilla yleensä ja se on lähempänä listan alkua. Tällöin sillä on siis vastaavasti pienempi P-arvo. [Manly] 5

6 !,-,./ 0 12/ 12/ 3 Tässä paketissaon3 $hieman jotta kaikille otoksille olisi jakaumista n 4 - #$ Aluksi testejä vertailtiin poimimalla näytteet normaalijakaumasta. Jakaumina käytettiin N(2,2 2 ) ja N(4,2 2 ) jakaumia. Näytteiden poimimiseen käytettiin MATLAB:in NORMRND funktiota. Seuraavaksi niitä vertailtiin käyttämällä otoksia lognormaalijakaumasta, käytetyt jakaumat olivat logn(2,2 2 ) ja logn(4,2 2 ) jakaumia. Nämä otokset saatiin LOGNRND-funktion avulla. Myös katkaistusta normaalijakaumasta olevien otosten generointiin käytettiin!,-,./56!67$ 3 Tällöin funktion palauttamat negatiiviset arvot poimittiin uudelleen. Käytetyt jakaumat olivat '88 8 9' Käytetyt jakaumat on esitetty kuvassa [Mathworks 2001] 800 N(2,2) 500 logn(2,2) 600 kn(2,2) N(3,2) 500 logn(3,2) 600 kn(3,2) Kuva 1. Käytetyt jakaumat. 6

7 !,-,./3 $ :$3 0 12/ : 3 Käytetty funktio on kaavojen [1] ja [2] mukainen. 6!,-,./ 6 6 ;!,-,./ 6,7#:6!$3 $ <<< 4 Lognormaalisuus oletuksen vuoksi arvot logaritmoitiin ennen T-testiä. Vertailutestissä, jossa otokset olivat normaalijakaumista tätä ei tietenkään tehty. [Mathworks 2001]! #$ ;$3 #$!,-,./ #-5$3 #$ ;$ 3 #$ [Mathworks 2001] #$ 3 % 6 4 = voidaan tulkita johtivatpäätelmään [Laininen 1998] 7

8 Testeissä tarkoituksena oli tutkia millä tavalla t-testin antamat P-arvot poikkeavat vertailu eli randomisaatiotestin antamista P-arvoista. Erityisenä mielenkiinnon kohteena on tilanne, jossa muuttujien jakauma ei olekaan t-testin oletusten mukainen, eli normaalijakautunut. Normaalijakautuneilla otoksilla saatiin H 0 oletuksen pätiessä kuvan 2 mukaiset tulokset. Kuvasta näkyy, että molempien testien P-arvot ovat tasajakautuneet, kuten odotettua. Lisäksi alemmista kuvista nähdään että testien P-arvot eivät merkittävästi poikkea toisistaan. Kuva 2. Testien vertailu kun molemmat otokset N(2,2)-jakaumasta. 8

9 Kuvista siis nähdään, että kun näyteet ovat normaalijakaumasta, niin käyttetyt testit vastaavat hyvin toisiaan. Taulukko 1. Testien pohjalta tehtyjen päätösten frekvenssit eri riskitason arvoilla kun molemmat otokset ovat N(2,2)-jakaumasta. = 0.01 = 0.05 = 0.10 t-testi t-testi t-testi rand. H1 H0 H1 H0 H1 H0 H H Taulukosta nähdään, ettei testien välillä ole suurta eroa. Peri % äärä, joissa t-testi hyväksyisi nollahypoteesin randomisaatiotestin hylätessä sen on samaa suuruusluokkaa kuin randomisaatiotestissä hylättyjen määrä. Vaihtoehtoisen hypoteesin pätiessä saadut tulokset on esitetty kuvassa 3. Kuten ylemmistä kuvista näkyy, eivät testien P-arvot ole enää tasajakautuneet ja pieniä arvoja saadaan paljon enemmän, mikä onkin odotettua. Histogrammit näyttävät kuitenkin molempien testien tapauksessa hyvinkin samanlaisilta. Kuva 3. Testien vertailu kun otokset N(2,2) ja N(3,2)-jakaumista. Vasemmasta alakuvasta nähdään, etteivät testien arvot ole kovin kaukana toisistaan. Tosin oikean puoleisen kuvan mukaan vaihtelun pitäisi olla hieman suurempaa kuin H 0 9

10 hypoteesin tapauksessa. Kuvan mukaan testien tulosten pitäisi kuitenkin edelleen vastata toisiaan. Taulukko 2. Testien pohjalta tehtyjen päätöksien frekvenssit eri riskitason arvoilla kun otokset N(2,2) ja N(3,2)-jakaumista. alfa 0.01 alfa 0.05 alfa 0.10 t-testi t-testi t-testi rand. H1 H0 H1 H0 H1 H0 H H Taulukosta 2 nähdään että eri tulokseen johtavien testien lukumäärä on hieman suurempi kuin nollahypoteesin tapauksessa, mutta on edelleen kuitenkin melko pieni. H 0 hylkäävien tapausten määrä on kokonaisuudessaan noussut kuten odotettua. Lognormaalijakaumalla päädyttiin nollahypoteesin pätiessä kuvan 4 mukaisiin tuloksiin. Yläkuvista nähdään, että testien antamat P-arvot ovat melko hyvin tasajakautuneet. Alakuvista kuitenkin nähdään, etteivät testien P-arvot olekkaan enää kovin lähellä toisiaan. Kuva 4. Testien vertailu kun otokset ovat logn(2,2)-jakaumasta. Alempien kuvien mukaan erot normaalijakautuneisiin otoksiin ovat merkittävät. 10

11 Taulukko 3. Testien pohjalta tehtyjen päätöksien frekvenssit eri riskitason arvoilla kun otokset logn(2,2)-jakaumasta. alfa 0.01 alfa 0.05 alfa 0.10 t-testi t-testi t-testi rand. H1 H0 H1 H0 H1 H0 H H Taulukosta 3 nähdään, että testien antamat tulokset ovat usein ristiriidassa keskenään. Randomisaation testin hylätessä nollahypoteesin t-testi useammin hyväksyy hypoteesin kuin hylkää. Vastaava pätee myös kun t-testi hylkää nollahypoteesin. Voidaan siis sanoa, että testien välillä on merkittävä ero. Myös vaihtoehtoisen hypoteesin pätiessä testien välillä tuloksissa on huomattavia eroja, kuten kuvassa 5 on esitetty. Yläkuvista nähdään, että vaikkakin P-arvon jakaumat ovat testien osalta samansuuntaisia, on t-testillä taipumusta antaa pienempiä arvoja. Kuva 5. Testien vertailu kun otokset ovat logn(2,2) ja logn(3,2)-jakaumista. 11

12 Alakuvista nähdään että testien välillä on selvä ero. Oikean puoleisesta kuvasta nähdään, että t-testi antaa pienempiä arvoja kuin randomisaatiotesti. Taulukko 4. Testien pohjalta tehtyjen päätöksien frekvenssit eri riskitason arvoilla kun otokset logn(2,2) ja logn(3,2)--jakaumista. alfa 0.01 alfa 0.05 alfa 0.10 t-testi t-testi t-testi rand. H1 H0 H1 H0 H1 H0 H H Myös taulukon 4 mukaan t-testi hylkää nollahypoteesin todennäköisemmin kuin randomisaatiotesti. Ero testien välillä on huomattava. Kun otokset olivat samasta katkaistusta normaalijakaumasta päädyttiin kuvan 6 mukaisiin tuloksiin. Ylemmistä kuvista nähdään, että P-arvot ovat molemmilla testeillä tasajakautuneet. Alakuvista nähdään, että testien P-arvojen välillä on eroa, etenkin suurilla arvoilla. Kuva 6. Testien vertailu kun otokset ovat katkaistusta N(2,2)-jakaumasta. 12

13 Testit siis antavat kuvien mukaan keskimäärin samansuuruisia arvoja, mutta niiden otoskohtaisten tulosten välillä on eroa. Taulukko 5. Testien pohjalta tehtyjen päätöksien frekvenssit eri riskitason arvoilla kun otokset katkaistusta N(2,2)-jakaumasta. alfa 0.01 alfa 0.05 alfa 0.10 t-testi t-testi t-testi rand. H1 H0 H1 H0 H1 H0 H H Taulukosta 5 nähdään, ettei testien välillä ole kovin suuria eroja. Erot ovat suurinpiirtein samaa luokkaa, kuin normaalijakautuneiden otosten tapauksessa. Vaihtoehtoisen hypoteesin tapauksessa simuloinnilla saatiin tulokset jotka on esitetty kuvassa 7. Testien P-arvot ovat melko tavalla samalla tavalla jakautuneet. Randomisaatio testi saa ehkä hieman suurempia arvoja. Kuva 7. Testien vertailu kun otokset ovat katkaistuista N(2,2) ja N(3,2)-jakaumista. Alakuvista nähdään että P-arvoissa on eroja, ja että t-testi saa hieman suurempia arvoja kuin randomisaatio testi. 13

14 Taulukko 6. Testien pohjalta tehtyjen päätöksien frekvenssit eri riskitason arvoilla kun otokset katkaistuista N(2,2) ja N(3,2)--jakaumista. alfa 0.01 alfa 0.05 alfa 0.10 t-testi t-testi t-testi rand. H1 H0 H1 H0 H1 H0 H H Taulukosta 6 nähdään, että vaihtoehtoisen hypoteesin pätiessä testien välille alkaa ilmaantua eroja. Riskitasolla 0.01 t-testin todennäköisyys hyväksyä H0 hypoteesi on lähes yhtäsuuri, kuin todennäköisyys sen hylkäämistodennäköisyys randomisaatio testin hylätessä tämän. 14

15 Testien vertailu eri tavalla jakautuneilla syötteillä osoitti, että niiden välillä on eroja. Tutkittaessa tavallisia normaalijakautuneita otoksia näytti, että testien antamat tulokset ovat lähellä toisiaan. Kuitenkin, kun testit tehtiin lognormaalijakautuneilla otoksilla, eroja syntyikin heti. Myös katkaistun normaalijakauman tapauksessa testien välille syntyi eroja, tosin hieman pienempiä. Ainoa laskennallinen ero normaali- ja lognormaalijakauman välillä oli se, että lognormaalijakautuneilla otoksilla randomisaatiotesti tehtiin ilman logaritmointia, jolloin sen testaamat otokset olivat lognormaali jakautuneita, eivätkä normaalijakautuneita, niinkuin t-testin tapauksessa. Taulukko 7. Testien antamat tulokset nollahypoteesin pätiessä. alfa=0.0 1 alfa=0.0 5 alfa=0.1 t-testi rand. t-testi rand. t-testi rand. Normaali H0 0,991 0,989 0,947 0,948 0,899 0,897 H1 0,009 0,011 0,053 0,052 0,101 0,103 Lognormaali H0 0,989 0,987 0,953 0,947 0,901 0,899 H1 0,011 0,013 0,048 0,054 0,099 0,101 Katkaistu H0 0,992 0,991 0,955 0,947 0,9 0,895 H1 0,008 0,009 0,045 0,053 0,1 0,015 Keskimäärin testien antamat tulokset olivat oikeat. Kaikkien jakaumien tapauksessa molempien testien I-lajin virheen todennäköisyys vastaa riskitasoa % ä voidaan nähdä taulukosta 7. Vaihtoehtoisen hypoteesin tapauksessa testien keskimääräiset tulokset vaihtelevat huomattavasti enemmän. Normaalijakauman tapauksessa eroja ei juurikaan ole ja suurin ero testien väliltä löytyy lognormaalijakauman tapauksessa. Katkaistun jakauman testien ero on näiden kahden väliltä. Vaihtoehtoisen hypoteesin tapauksessa eroja on vaikea analysoida, koska ne riippuvat siitä kuinka erilaisia testissä käytetyt jakaumat oikein ovat. Vaihtoehtoisen hypoteesin mukaiset II-lajin virheen todennäköisyydet nähdään taulukossa 8. 15

16 Taulukko 8. Testien antamat tulokset vaihtoehtoisen hypoteesin pätiessä. alfa=0.0 1 alfa=0.0 5 alfa=0.1 t-testi rand. t-testi rand. t-testi rand. Normaali H0 0,854 0,847 0,656 0,657 0,528 0,528 H1 0,145 0,152 0,345 0,344 0,472 0,472 Lognormaali H0 0,854 0,905 0,66 0,777 0,528 0,676 H1 0,145 0,094 0,34 0,223 0,472 0,324 Katkaistu H0 0,932 0,902 0,788 0,753 0,683 0,628 H1 0,068 0,098 0,212 0,247 0,317 0,372 Kuten edellä on esitetty, ei kumpikaan testeistä johda toista useammin nollahypoteesin hylkäämiseen. Koska eroja kuitenkin on, täytyy sen johtua siitä, että testit saattavat tapauskohtaisesti johtaa eri johtopäätökseen. Tällöin käytettävällä testillä saattaa olla merkitystä testin lopputuloksen suhteen ja tämä tulisi ottaa huomioon kokeita tehtäessä. Tämä kannattaisi ottaa testauksessa huomioon, eikä luottaa vain yhden testin antamiin tuloksiin. 16

17 !"# -#.1998,, Otatieto Mathworks, 2001, Statistics Toolbox User's Guide, MATLAB documentation, Mathworks Manly, B. F. J., 2001, Statistics for Environmental Science and Management, Chapmann & Hall, New York Miller, I. ja J. E. Freund, 1985, Probability and Statistics for Engineers, 3rd edition, Prentice-Hall 17