Havaintoaineiston trimmauksen vaikutus otoskeskiarvoon
|
|
- Onni Palo
- 6 vuotta sitten
- Katselukertoja:
Transkriptio
1 TEKNILLINEN KORKEAKOULU Teknillisen fysiikan ja matematiikan koulutusohjelma Mat-.108 Sovelletun matematiikan erikoistyöt Havaintoaineiston trimmauksen vaikutus otoskeskiarvoon Kalle Soukka 4193W
2 Sisällysluettelo Sisällysluettelo Johdanto Tavoitteet Tutkimusmenetelmät... Havaintoaineiston tunnusluvut Otoskeskiarvon luottamusväli Tilastollinen testaus Trimmaus Havaintoaineiston generointi Satunnaislukugeneraattori Havaintoaineiston trimmaus Trimmatun havaintoaineiston keskiarvon luottamusväli Tulokset Trimmauksen vaikutus keskiarvon jakaumaan Tilastollinen testaus trimmatulla aineistolla Johtopäätökset Lähteet
3 1 Johdanto Useita ilmiöitä tutkitaan tekemällä niistä mittauksia. Esimerkiksi fysikaalista ilmiötä voidaan havainnoida toistamalla sama tilanne useita kertoja ja mittaamalla kiinnostavien suureiden arvot. Mittausten perusteella tutkittavaa ilmiötä voidaan pyrkiä karakterisoimaan. Mittaustulosten keskiarvolla voidaan mallintaa ilmiön odotusarvoa. Tietyillä oletuksilla ilmiön tilastollisesta käyttäytymisestä (ilmiön tulee olla normaalijakautunut, jotta voimme käyttää t-testiä) voidaan suorittaa tilastollisia testejä esimerkiksi uuden havainnon kuulumisesta tiettyyn joukkoon. Testauksella voidaan siis selvittää onko aineistosta laskettu parametri tietyllä tilastollisella todennäköisyydellä juuri se arvo, jonka sen arvellaan olevan. Lisäksi saamme tilastollisen todennäköisyyden testin perusteella tehdyn päätelmän todenmukaisuudesta. Usein mittaukset sisältävät virheellisiä havaintoja satunnaisista mittausvirheistä johtuen. Tämän vuoksi käytettyjen tilastollisten menetelmien tulisi olla mahdollisimman robusteja eli mittausvirhesietoisia. Tällöin yksittäiset poikkeamat mittaustuloksissa eivät pääse vaikuttamaan testien perusteella tehtyihin johtopäätöksiin. 1.1 Tavoitteet Tässä erikoistyössä tutkitaan havaintoaineiston trimmauksen vaikutusta aineiston arvoista laskettuun otoskeskiarvoon. Trimmauksella tarkoitetaan havaintoaineiston suurimpien ja pienimpien arvojen poistamista. Trimmauksella t poistetaan aineistosta t kappaletta suurimpia ja t kappaletta pienimpiä havaintoja. Trimmaus on perusteltua, koska satunnaiset mittausvirheet ovat todennäköisesti outliereitä ja samalla aineiston ääriarvoja. Trimmatusta aineistosta laskettu tilastollinen tunnusluku sietää paremmin virheellisiä havaintoja. Trimmatusta otoksesta lasketaan keskiarvo ja sitä vastaava tilastollinen suure, jonka avulla voidaan määrittää keskiarvon tilastollinen tiettyä todennäköisyyttä vastaava luottamusväli. Työn tarkoitus on tutkia trimmauksen vaikutusta tähän suureeseen. Normaalijakautuneella trimmaamattomalla aineistolla jakaumaa kutsutaan t-jakaumaksi. 1. Tutkimusmenetelmät Havaintoaineiston trimmausta tutkittiin simuloimalla normaalijakautuneita satunnaisotoksia, jotka trimmattiin ja joista laskettiin otoskeskiarvon jakaumaa kuvaavia suureita.
4 Havaintoaineiston generointi ja laskenta suoritettiin Matlab-ohjelmistolla. Simulointien nopeuttamiseksi Matlab-koodi käännettiin C-kielelle Matlab:in C-kääntäjällä. 3
5 Havaintoaineiston tunnusluvut Ilmiötä mitattaessa tuloksena saadaan n kappaletta havaintoja. Havainnoista lasketaan haluttuja tunnuslukuja. Yleisimmät ovat otoskeskiarvo [Milton ja Arnold 1990, s.188] x x = 1 + x x n ja otosvarianssi S = n ( x x) i= 1 i n 1 n = n i= 1 x / n i x, 1 x,..., x n (.1). (.) Otosvarianssista saadaan otoskeskihajonta.1 Otoskeskiarvon luottamusväli S = S. Havaintoaineistosta laskettu keskiarvo ei ole sama kuin mitatun ilmiön teoreettinen keskiarvo µ x. x kuvaa ainoastaan kyseessä olevien havaintojen keskiarvoa. Tuloksena on yksittäinen arvo. Jotta tietäisimme onko se edes lähellä teoreettista keskiarvoa, on tarpeen selvittää x :n jakauma. Teoreema.1 [Milton ja Arnold 1990, s.15]: Olkoon x 1, x,..., x n n havaintoa normaalijakautuneesta jakaumasta, jonka keskiarvo on µ ja varianssi σ. Tällöin x σ on normaalijakautunut keskiarvolla µ ja varianssilla. n Olemme kiinnostuneet kuinka varmasti x on lähellä µ x :a. Tätä varten määritellään luottamusväli Määritelmä.1 (luottamusväli): 100(1-α )%:n luottamusväli parametrille θ on väli [, ] L L siten, että 1 [ θ L ] P L α. (.3) 1 1 x µ Satunnaismuuttuja on siis (0,1) normaalijakautunut. Teoreeman.1 ja Määritelmän σ / n.1 perusteella x :n luottamusväliksi tulee väli, joka toteuttaa ehdon 4
6 x µ σ P zα/ zα/ = 1 α. x :n luottamusväli on siis x ± zα /. σ / n n Edellä esitetty luottamusväli perustuu oletukseen, että ilmiön varianssi on tunnettu. Tämä ei ole realistinen oletus. Usein havaintoaineistoa mitataan tarkoituksena tutkia ennalta tuntematonta ilmiötä, jolloin ilmiön keskiarvo tai varianssi eivät ole tunnettuja. Voimme korvata σ :n havaintoaineistosta estimoidulla S :llä, mutta tällöin satunnaismuuttuja x µ S/ n ei ole enää normaalijakautunut. Voidaan osoittaa, että muuttuja n S σ on ( 1) / χ - jakautunut vapausasteella n 1. Tämän perusteella päästään seuraavaan teoreemaan. Teoreema. [Milton ja Arnold 1990, s.40]: Olkoon x 1, x,..., x n n havaintoa normaalijakautuneesta jakaumasta. jonka keskiarvo on µ ja varianssi σ. Tällöin muuttuja x µ t = (.4) S/ n noudattaa T-jakaumaa vapausasteella n 1. Nyt x :n 100(1-α )%:n luottamusväli saadaan kaavalla S x ± tα / (.5) n. Tilastollinen testaus Useimmiten havainnoitavan ilmiön luonteesta ei ole ennalta tietoa. Tilastollisella testauksella voidaan selvittää, onko lasketun parametrin arvo hypoteesin mukainen. Tämä hypoteesi on H 0. Vaihtoehtoinen hypoteesi on, että oletus ei pidä paikkaansa. Merkitsemme tätä mahdollisuutta H 1 :llä. Testattavana voi olla esimerkiksi keskiarvon suuruus. Tällöin testi kirjoitetaan muotoon: H0 : µ = µ 0 H : µ µ 1 0 (.6) jossa µ 0 on oletettu keskiarvon suuruus. Testausta varten mitatusta aineistosta lasketaan (.4):n mukainen arvo t sijoittamalla kaavaan µ = µ 0. Tätä arvoa verrataan t-jakauman arvoon haluttua todennäköisyyttä vastaavaan arvoon. Jos t on suurempi kuin t 1 α /, joka 5
7 toteuttaa [ ] PT t α = α, on meidän hylättävä hypoteesi, ja tiedämme, että n 1 1 / / todennäköisyydellä 1 α johtopäätös on oikea. H 0 6
8 3 Trimmaus Trimmausta tutkitaan generoimalla normaalijakautuneita satunnaisotoksia, joiden voitaisiin ajatella olevan mittaustuloksia tutkittavasta ilmiöstä. Otosta trimmataan ja lasketaan sekä alkuperäisestä että trimmatusta otoksesta tunnuslukuja; tässä erikoistyössä otoskeskiarvo ja keskihajonta. Näistä lasketaan kaavan (.4) mukainen tunnusluku, joka trimmaamattomalla otoksella noudattaa t-jakaumaa. Otoksen generointi toistetaan riittävän monta kertaa, jolloin saadaan muodostettua jakauma trimmattujen otosten tapauksessa. Otoskeskiarvolle laskettu luottamusväli muuttuu siis trimmauksen funktiona. 3.1 Havaintoaineiston generointi Simulointeja varten tarvitaan (0,1)-normaalijakautuneita satunnaislukuja. Lukujen generoinnissa käytetään hyväksi Matlab:in satunnaislukugeneraattorin tuottamia (0,1)- tasajakautuneita satunnaislukuja. 4:n (0,1)-tasajakautuneen satunnaisluvun summa on (1,)-normaalijakautunut [Glyn 1996, s.888]: 4 i= 1 x = y, i y ~ N(1,), kunx ~ T(0,1) i Jakauma muutetaan vielä (0,1)-normaalijakautuneeksi seuraavasti: ' y (3.1) = ( y 1) / (3.) ' y :n arvoja generoimalla tuotettiin otoksia, joiden otoskoot ovat 10, 0, 30 ja 50 havaintoa Satunnaislukugeneraattori Työssä käytettiin Matlab:in versio 6.1 (release 1.1) satunnaislukugeneraattoria, joka ohjelmiston käyttöohjeen mukaan [Using Matlab 000] tuottaa tasajakautuneita lukuja välillä, luvun jälkeen Käyttöoppaan mukaan teoriassa sarja alkaa toistaa itseään :n generoidun Matlab:in satunnaislukugeneraattoria testattiin khiin neliön testillä [Sedgewick 1990, s517]. Testiä varten generoidaan N satunnaista kokonaislukua f i välillä 1-r. Näin oletettaisiin saatavan noin N / r kappaletta jokaista arvoa. Esiintymistaajuuksien ei kuitenkaan tule olla 7
9 täysin samat. Silloin generaattorin tuottamat luvut eivät olisi satunnaisia. Testissä luvuista lasketaan testisuure r i= 0 χ = ( f N / r) i N / r (3.3) N:n tulee olla suurempi kuin 10 r. Mikäli testisuure on lähellä r:ää, satunnaisluvut ovat testin mukaan satunnaisia. Arvon katsotaan olevan lähellä r:ää, jos poikkeama on korkeintaan r. Testauksessa käytettiin arvoja N = ja r = 100. Viisi ajokertaa antoivat tuloksiksi , , , ja Testin perusteella generaattori antaa siis riittävän satunnaisia lukuja. Testauksessa käytetty Matlab M-tiedosto on liitteessä A. Jokaisen otoksen generoinnin jälkeen generaattorin siemenluku talletettiin tiedostoon, josta se taas luettiin seuraavan otoksen generointia varten. Näin varmistettiin, etteivät generoidut otokset ole samoja simuloinnin eri ajokerroilla. 3. Havaintoaineiston trimmaus Trimmauksen tarkoituksena on poistaa havaintoaineistosta satunnaisen mittausvirheen aiheuttamia poikkeavia havaintoja, jotka muuten vääristäisivät aineistosta laskettuja tunnuslukuja. Jatkuvalla jakaumalla α -trimmattu keskiarvo on [Huber 1981, s.9]: 1 α 1 1 Xα = Fn () t d 1 α t (3.4) α Tässä työssä tarkastellaan kuitenkin diskreettiä joukkoa havaintoja, jolloin kaava (3.4) voidaan kirjoittaa erilaiseen muotoon. Generoiduista otoksista tuotettiin uusia otoksia järjestämällä havainnot suuruusjärjestykseen ja poistamalla niistä n kappaletta suurimpia ja pienimpiä havaintoja. Jos alkuperäinen otos on x1,..., xn, järjestetään havainnot ensin suuruusjärjestykseen, jolloin havaintojoukko on ' ' x1,..., xn. Kun aineistosta trimmataan k suurinta ja pienintä arvoa, saadaan x,..., 1 x ' ' k+ n k. k-trimmatun aineiston keskiarvoksi saadaan x tk n k 1 = xi n (3.5) k i= k+ 1 8
10 3.3 Trimmatun havaintoaineiston keskiarvon luottamusväli Kun havaintoaineistoa on trimmattu, se ei enää ole otos normaalijakaumasta. Näin ei tunnusluku (.4) noudattaa jotain muuta kuin t-jakaumaa. Nimitämme laskettua tunnuslukua z :lla: x µ z =, (3.6) S/ n jossa x on havaintoaineiston otoskeskiarvo ja S otoskeskihajonta. Simulointien avulla selvitetään z :n jakauman muutosta trimmauksen funktiona. 9
11 4 Tulokset Havaintoaineistojen generointi ja trimmaus toteutettiin Matlab-ohjelmistolla edellä esitetyllä tavalla. Simulointia varten tehdyt Matlab M-tiedostot löytyvät liitteestä B. Ajojen nopeuttamiseksi M-tiedostot käännettiin Matlab:in C-kääntäjällä exe-tiedostoiksi. Tämä mahdollisti riittävän suuren määrän toistoja (N= ), eli halutun kokoinen havaintoaineisto generoitiin ja trimmattiin N kertaa. Trimmauksen suuruuksina käytettiin 1, ja 3. Alkuperäisestä ja trimmatuista otoksista laskettiin tunnusluku (3.6). Trimmatusta aineistosta laskettu luku noudattaa eri jakaumaa kuin alkuperäisestä otoksesta laskettu, koska trimmattu otos ei enää edusta otosta normaalijakaumasta. Tuloksista selviää mikä trimmauksen vaikutus on. Tuloksena saatiin arvoa jokaisella valitulla otoskoolla ja trimmauksella. 4.1 Trimmauksen vaikutus keskiarvon jakaumaan Seuraavassa on kuvattu z :n arvot histogrammeina trimmaamattomalla ja trimmatuilla aineistoilla otoskoon ollessa 10. Käyrien ja koordinaatiston x-akselin väliin jäävä pinta ala on skaalattu arvoon 1, jolloin z :n voidaan katsoa kuvaavan satunnaismuuttujan tiheysfunktiota. Kuvan punainen käyrä on t-jakauman kuvaaja vapausasteella ν = n 1= 9. Kuva 4-1. z:n histogrammikuvaajat otoskoolla 10. Trimmauksina 1, ja 3. 10
12 Kuvaan 4-1 piirretty trimmaamattomista otoksista laskettujen z -arvojen histogrammi kulkee hyvin lähellä t-jakauman kuvaajaa, kuten pitääkin. Tämän voidaan katsoa osoittavan että simulointi antaa luotettavia tuloksia. Kuvasta nähdään, että jakauman huipukkuus pienenee trimmauksen kasvaessa. Tästä seuraa, että keskiarvon luottamusväli on trimmatulla aineistolla suurempi. Histogrammeista lasketut eri luottamusvälejä vastaavat pisteet [ ] ( PZ z = p) laskettiin siten, että z -arvot järjestettiin, jolloin arvoista voitiin poimia α α pisteet, joiden ulkopuolelle jäi haluttu määrä eli ( 1 α)100% havainnoista. Näiden arvojen itseisarvojen keskiarvo on t-jakauman pistettä vastaava arvo. Tulokset ovat alla olevassa taulukossa. Trimmaus Luottamusvälin α Taulukko 4-1. Eri luottamusvälejä vastaavat z-jakauman pisteet otoskoolla 10. Aluksi voimme verrata trimmaamattoman aineiston pisteitä t-jakauman vastaaviin pisteisiin. T-jakauman pisteet löytyvät taulukosta 4-. PT [ t] 9 = 0.9 kun t = α :n arvoja 0.95 ja vastaavat pisteet ovat ja.6. Arvojen voidaan katsoa olevan riittävän lähellä t-jakauman arvoja. Suurin ero tulee α :n arvolla 0.975, jolloin laskettu arvo poikkeaa 0.01 oikeasta arvosta. Tämä arvo on kaikkein vaikein simuloitava, koska kumpaankin häntäjakaumaan jää vain.5/ = 1.5% havainnoista. Lisäksi otoskoko 10 on suhteellisen pieni. Todennäköisyyksiä 0.95 ja 0.9 vastaavat arvot ovat huomattavasti lähempänä t- jakauman arvoja. P ν=9 ν=19 ν=9 ν= Taulukko 4-. t-jakauman vertailupisteet. 11
13 Kuvissa 4-, 4-3 ja 4-4 ovat tilanteet otoskoon ollessa 0, 30 ja 50. Otoskoon kasvaessa huipukkuuden pieneneminen on vähäisempää. Tämä oli odotettavissa, koska suuremmalla otoskoolla trimmaus vähentää havaintojen määrää suhteellisesti vähemmän. Kuten n=10 tapauksessa, trimmaamattomista havainnoista laskettujen arvojen jakauma noudattaa t- jakaumaa tarkasti. Luottamusvälejä 0.9, 0.95 ja vastaavat jakaumien pisteet ovat taulukoissa 4-3, 4-4 ja 4-5. Suuremmilla otoskoon arvoilla myös luottamusvälejä vastaavat pisteet ovat tarkemmin yhteneviä t-jakauman vastaavien arvojen kanssa. Kuva 4-. z:n histogrammikuvaajat otoskoolla 0. Trimmauksina 1, ja 3. Trimmaus Luottamusvälin α Taulukko 4-3. Eri luottamusvälejä vastaavat z-jakauman pisteet otoskoolla 0. 1
14 Kuva 4-3. z:n histogrammikuvaajat otoskoolla 30. Trimmauksina 1, ja 3. Kuva 4-4. z:n histogrammikuvaajat otoskoolla 50. Trimmauksina 1, ja 3. 13
15 Trimmaus Luottamusvälin α Taulukko 4-4. Eri luottamusvälejä vastaavat z-jakauman pisteet otoskoolla 30. Trimmaus Luottamusvälin α Taulukko 4-5. Eri luottamusvälejä vastaavat z-jakauman pisteet otoskoolla Tilastollinen testaus trimmatulla aineistolla Trimmattua aineistoa vastaava z-jakauma on tulosten perusteella leveämpi ja matalampi kuin trimmaamattoman otoksen tapauksessa. Samaa todennäköisyyttä vastaavat keskiarvon luottamusvälin pisteet ovat suurempia eli etäämmällä keskiarvosta, joka kaikilla simuloiduilla aineistoilla on nolla. Tämä on seurausta pienemmästä otoskoosta ja keskihajonnasta. Etäisyys on sitä suurempi, mitä enemmän aineistoa on trimmattu. Havaintoaineiston trimmaus muuttaa tilastollista testausta. Koska tiettyä todennäköisyyttä vastaava z-jakauman arvo on suurempi kuin t-jakauman arvo, saamme suuremman varmuuden hypoteesin hylkäämisen tai hyväksymisen oikeellisuudesta. Esimerkiksi testissä (.6) todennäköisyyttä α vastaava jakauman arvo on suurempi. Jos olisimme testaamassa hypoteesia H 0 1 : µ = 0 H : µ 0 (4.1) jossa µ on otoksen keskiarvo, pitäisi otoskeskiarvon poiketa nollasta paljon enemmän kuin trimmaamattoman havaintoaineiston tapauksessa, jotta voisimme hylätä nollahypoteesin. Tämä ilmiö vahvistuu trimmauksen kasvaessa. 14
16 Trimmatulla otoksella keskiarvon testaus on turvallista, koska havaintoja on poistettu yhtä paljon keskiarvon molemmin puolin. Sen sijaan esimerkiksi otoksen keskihajonnan laskeminen antaisi vääristyneitä tuloksia. Trimmauksen käyttöä tulisikin harkita aina tilanteesta riippuen. 15
17 5 Johtopäätökset Trimmauksella saatiin parannettua havaintoaineistosta estimoitujen parametrien tarkkuutta. Tilastollinen testaus onnistui kuten trimmaamattomallakin aineistolla. z-jakauman pisteet vain poikkesivat t-jakauman vastaavista pisteistä. Kuten edellisessä luvussa todettiin, sopii trimmaus vain tiettyjen parametrien estimointiin ja testaukseen. Tämä tulee muistaa ennen kuin aineistoa trimmataan. Trimmaus voi vääristää merkittävästi joidenkin parametrien arvoja ja tuottaa niihin harhaa. Trimmaukseen tulisi olla selvä syy. Näin on esimerkiksi jos on aihetta epäillä että aineistossa todella on mukana satunnaisia mittausvirheitä. Useimmiten kannattaa käyttää tietämystä mitattavasta ilmiöstä hyväkseen. Ihmisaivojen hahmontunnistus on hyvä keino karsia poikkeavia havaintoja pois aineistosta. Tämä pätee kuitenkin vain kun tutkittava aineisto on suhteellisen pieni ja yksinkertainen. Lisäksi tulee muistaa, ettei täydellisiä tuloksia tavoitteleva tutkija saisi valita haluamiaan havaintoja ja näin vaikuttaa tekemiensä analyysien lopputulokseen. Tervettä maalaisjärkeä pitää aina käyttää. Erikoistyön teossa on oletettu koko ajan, että havainnoitava ilmiö on normaalijakautunut. Tämä ei useinkaan pidä tarkalleen paikkaansa. Joissakin tapauksissa ilmiön voidaan olettaa olevan normaalijakautunut, mutta ehdon ulkopuolelle jää suuri osa ilmiöistä. Tämän vuoksi olisi mielenkiintoista tutkia trimmauksen vaikutusta ei-normaalijakautuneilla havaintoaineistoilla. Tutkimus tulisi suorittaa kiinnittämällä taustajakauma ja simuloida trimmausta tämän erikoistyön simulointien tapaan. Eräs vaihtoehto simulointien suoritukseen olisi käyttää bootstrap-simulointia. Tällöin generoidusta havaintoaineistosta muodostettaisiin satunnaisia havaintojen alijoukkoja, joista jokaisesta lasketaan haluttu parametri, esimerkiksi keskiarvo. Alijoukon generointi toistetaan useita kertoja. Sopiva luku voisi olla kertaa. Näin parametrista voidaan muodostaa jakauma. Bootstrap on riippuvainen (generoidusta) alkuperäisestä otoksesta. Pienillä otoskoon arvoilla tulokset saattaisivat olla vääristyneitä. Eräänä vaihtoehtona voisi olla tässä työssä esitetyn simuloinnin ja bootstrapin yhdistelmä. Tietyn kokoisen otoksen voisi generoida n kertaa, ja jokaista otosta bootstrap-simuloitaisiin m kertaa. 16
18 Lähteet Huber, Peter J.: Robust Statistics, John Wiley & Sons 1981 James, Glyn: Modern Engineering Mathematics, second edition, Addison-Wesley 1996 Milton, J.S, Arnold, Jesse C.: Introduction to Probability and Statistics, second edition, McGraw-Hill 1990 Sedgewick, Robert: Algorithms in C, Addison-Wesley 1990 Using Matlab: The Language of Technical Computing, fifth printing, The MathWorks, Inc
19 Liite A Matlab M-tiedosto Satunnaislukugeneraattorin testaukseen käytetty % Lasketaan khiin neliön arvo generoiduille satunnaisluvuille % N: generoitavien satunnaislukujen määrä % r: generoitavat arvot skaalataan välille 1-r function x = rand_chisq(n, r) load seed.mat s; rand('state', s); f = zeros(r,1); rvalues = ceil(rand(n,1)*r); s = rand('state'); save seed.mat s; for I=1:N end f(rvalues(i)) = f(rvalues(i)) + 1; t = 0; for I=1:r end t = t + f(i)^; x = (r*t/n) - N;
20 Liite B Simuloinneissa käytetyt Matlab M-tiedostot Pääajo, joka suorittaa havaintoaineistojen generoinnin ja laskee eri luottamusvälien päätepisteet. function main_batch z=trim_loop( ,10,3); save trim_ _10.mat z fprintf(1,'trim_ _10.mat.5' ); conf_points(z(:,1),.5) conf_points(z(:,),.5) conf_points(z(:,3),.5) conf_points(z(:,4),.5) fprintf(1,'trim_ _10.mat 5.0' ); conf_points(z(:,1), 5) conf_points(z(:,), 5) conf_points(z(:,3), 5) conf_points(z(:,4), 5) fprintf(1,'trim_ _10.mat 10.0' ); conf_points(z(:,1), 10) conf_points(z(:,), 10) conf_points(z(:,3), 10) conf_points(z(:,4), 10) z=trim_loop( ,0,3); save trim_ _0.mat z fprintf(1,'trim_ _0.mat.5' ); conf_points(z(:,1),.5) conf_points(z(:,),.5) conf_points(z(:,3),.5) conf_points(z(:,4),.5) fprintf(1,'trim_ _0.mat 5.0' ); conf_points(z(:,1), 5) conf_points(z(:,), 5) conf_points(z(:,3), 5) conf_points(z(:,4), 5) fprintf(1,'trim_ _0.mat 10.0' ); conf_points(z(:,1), 10) conf_points(z(:,), 10) conf_points(z(:,3), 10) conf_points(z(:,4), 10) z=trim_loop( ,30,3); save trim_ _30.mat z fprintf(1,'trim_ _30.mat.5' ); conf_points(z(:,1),.5)
21 conf_points(z(:,),.5) conf_points(z(:,3),.5) conf_points(z(:,4),.5) fprintf(1,'trim_ _30.mat 5.0' ); conf_points(z(:,1), 5) conf_points(z(:,), 5) conf_points(z(:,3), 5) conf_points(z(:,4), 5) fprintf(1,'trim_ _30.mat 10.0' ); conf_points(z(:,1), 10) conf_points(z(:,), 10) conf_points(z(:,3), 10) conf_points(z(:,4), 10) z=trim_loop( ,50,3); save trim_ _50.mat z fprintf(1,'trim_ _50.mat.5' ); conf_points(z(:,1),.5) conf_points(z(:,),.5) conf_points(z(:,3),.5) conf_points(z(:,4),.5) fprintf(1,'trim_ _50.mat 5.0' ); conf_points(z(:,1), 5) conf_points(z(:,), 5) conf_points(z(:,3), 5) conf_points(z(:,4), 5) fprintf(1,'trim_ _50.mat 10.0' ); conf_points(z(:,1), 10) conf_points(z(:,), 10) conf_points(z(:,3), 10) conf_points(z(:,4), 10) Havaintoaineiston luonti yhdelle otoskoolle. %luo loop_size kertaa sample_size -kokoisen normaalijakautuneen aineiston ja %trimmaa siitä max_trim kertaa suurimman ja pienimmän arvon pois. %*Tuloksena saadaan v-jakauman arvot taulukossa (jonka koko on max_trim+1 x loop_size) function x = trim_loop(loop_size,sample_size,max_trim) x = zeros(loop_size,max_trim+1); for i = 1:loop_size x(i,1:max_trim+1) = trim_sample(normal_sample(sample_size),max_trim)'; end
22 Yhden otoksen generointi. %x = normal_sample(sample_size) %Generoidaan vektori, jossa on sample_size kpl (0,1)-normaalijakautunutta %lukua. Luvut generoidaan 4 (0,1)-tasajakautuneen satunnaisluvun summana. %4:n (0,1)-tasajakautuneen satunnaisluvun summa on %(1,)-normaalijakautunut. function x = normal_sample(sample_size) x = zeros(sample_size,1); load seed.mat s; rand('state', s); for i = 1:sample_size end x(i) = (sum(rand(4,1))-1)/; s = rand('state'); save seed.mat s; Yhden otoksen trimmaus. %Trimmaa havaintoaineiston data, ja laskee arvon mean(x)/(std_dev(x)*sqrt(size(x))), %joka trimmaamattomalla otoksella, jonka havainnot ovat normaalijakautuneita, %noudattaa t-jakaumaa. function v_values = trim_sample(data,max_trim) data = sort(data); s = size(data); s = s(1); v_values = zeros(max_trim,1); for i = 0:max_trim v_values(i+1) = mean(data)/(std(data)/sqrt(s)); data = data(:s-1); s = s-; end
23 Halutun luottamusvälin päätepisteiden haku. %Lasketaan aineistosta conf prosentin aluetta vastaavat pisteet, eli joiden %ulkopuolelle jää conf % aineistosta. function x = conf_points(data, conf) data_sorted = sort(data); data_size = size(data); data_size = data_size(1); x = conf; conf_size = size(conf); for I = 1:conf_size(1) point=floor(data_size*conf(i)/100); x(i,) = data_sorted(point+1); x(i,3) = data_sorted(data_size-point-1); x(i,4) = (abs(x(i,))+abs(x(i,3)))/; end
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
LisätiedotTilastollisen analyysin perusteet Luento 2: Tilastolliset testit
Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
Lisätiedot2. TILASTOLLINEN TESTAAMINEN...
!" # 1. 1. JOHDANTO... 3 2. 2. TILASTOLLINEN TESTAAMINEN... 4 2.1. T-TESTI... 4 2.2. RANDOMISAATIOTESTI... 5 3. SIMULOINTI... 6 3.1. OTOSTEN POIMINTA... 6 3.2. TESTAUS... 7 3.3. TESTIEN TULOSTEN VERTAILU...
LisätiedotTilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta
Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 18. lokakuuta 2007 Antti Rasila () TodB 18. lokakuuta 2007 1 / 19 1 Tilastollinen aineisto 2 Tilastollinen malli Yksinkertainen satunnaisotos 3 Otostunnusluvut
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 15. marraskuuta 2007 Antti Rasila () TodB 15. marraskuuta 2007 1 / 19 1 Tilastollisia testejä (jatkoa) Yhden otoksen χ 2 -testi varianssille Kahden riippumattoman
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai
LisätiedotTilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin
Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 2. luento: Tilastolliset testit Kai Virtanen 1 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotTilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle
Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle - Sisältö - - - Varianssianalyysi Varianssianalyysissä (ANOVA) testataan oletusta normaalijakautuneiden otosten odotusarvojen
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi. Viikko 5
MS-A Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko Tilastollinen testaus Tilastollisten testaaminen Tilastollisen tutkimuksen kohteena olevasta perusjoukosta on esitetty jokin väite tai
LisätiedotHarjoitus 2: Matlab - Statistical Toolbox
Harjoitus 2: Matlab - Statistical Toolbox Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen tavoitteet Satunnaismuuttujat ja todennäköisyysjakaumat
LisätiedotJohdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman
LisätiedotOtoskoko 107 kpl. a) 27 b) 2654
1. Tietyllä koneella valmistettavien tiivisterenkaiden halkaisijan keskihajonnan tiedetään olevan 0.04 tuumaa. Kyseisellä koneella valmistettujen 100 renkaan halkaisijoiden keskiarvo oli 0.60 tuumaa. Määrää
LisätiedotTilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä
Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme
LisätiedotParametrin estimointi ja bootstrap-otanta
Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18 1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
LisätiedotMat Sovellettu todennäköisyyslasku A
TKK / Systeemianalyysin laboratorio Mat-.090 Sovellettu todennäköisyyslasku A Harjoitus 11 (vko 48/003) (Aihe: Tilastollisia testejä, Laininen luvut 4.9, 15.1-15.4, 15.7) Nordlund 1. Kemiallisen prosessin
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen 1 Jakaumaoletuksien testaamiseen soveltuvat testit χ 2 -yhteensopivuustesti yksi otos otoksen
Lisätiedot10. laskuharjoituskierros, vko 14, ratkaisut
10. laskuharjoituskierros, vko 14, ratkaisut D1. Eräässä kokeessa verrattiin kahta sademäärän mittaukseen käytettävää laitetta. Kummallakin laitteella mitattiin sademäärät 10 sadepäivän aikana. Mittaustulokset
LisätiedotTilastollisen analyysin perusteet Luento 5: Jakaumaoletuksien. testaaminen
Tilastollisen analyysin perusteet Luento 5: Sisältö Tilastotieteessä tehdään usein oletuksia havaintojen jakaumasta. Useat tilastolliset menetelmät toimivat tehottomasti tai jopa virheellisesti, jos jakaumaoletukset
Lisätiedot031021P Tilastomatematiikka (5 op) viikko 5
031021P Tilastomatematiikka (5 op) viikko 5 Jukka Kemppainen Mathematics Division Hypoteesin testauksesta Tilastollisessa testauksessa on kyse havainnoista tapahtuvasta päätöksenteosta. Kokeellisen tutkimuksen
LisätiedotTutkimusongelmia ja tilastollisia hypoteeseja: Perunalastupussien keskimääräinen paino? Nollahypoteesi Vaihtoehtoinen hypoteesi (yksisuuntainen)
1 MTTTP3 Luento 29.1.2015 Luku 6 Hypoteesien testaus Tutkimusongelmia ja tilastollisia hypoteeseja: Perunalastupussien keskimääräinen paino? H 0 : µ = µ 0 H 1 : µ < µ 0 Nollahypoteesi Vaihtoehtoinen hypoteesi
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus TKK (c) Ilkka Mellin (2007) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset
Lisätiedot806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy (1 α) = 99 1 α = 0.
806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy 2012 1. Olkoon (X 1,X 2,...,X 25 ) satunnaisotos normaalijakaumasta N(µ,3 2 ) eli µ
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotFoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo
FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 6. luento Pertti Palo 1.11.2012 Käytännön asioita Harjoitustöiden palautus sittenkin sähköpostilla. PalautusDL:n jälkeen tiistaina netistä löytyy
LisätiedotTilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta
Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman
LisätiedotMat Tilastollisen analyysin perusteet. Tilastollisten aineistojen kerääminen ja mittaaminen Tilastollisten aineistojen kuvaaminen Väliestimointi
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Tilastollisten aineistojen kerääminen ja mittaaminen Tilastollisten aineistojen kuvaaminen Väliestimointi Diskreetit muuttujat,
Lisätiedot9. laskuharjoituskierros, vko 12-13, ratkaisut
9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t
LisätiedotTeema 8: Parametrien estimointi ja luottamusvälit
Teema 8: Parametrien estimointi ja luottamusvälit Todennäköisyyslaskennan perusteet (Teemat 6 ja 7) antavat hyvän pohjan siirtyä kurssin viimeiseen laajempaan kokonaisuuteen, nimittäin tilastolliseen päättelyyn.
LisätiedotLisätehtäviä ratkaisuineen luentomonisteen lukuun 6 liittyen., jos otoskeskiarvo on suurempi kuin 13,96. Mikä on testissä käytetty α:n arvo?
MTTTP5, kevät 2016 15.2.2016/RL Lisätehtäviä ratkaisuineen luentomonisteen lukuun 6 liittyen 1. Valitaan 25 alkion satunnaisotos jakaumasta N(µ, 25). Olkoon H 0 : µ = 12. Hylätään H 0, jos otoskeskiarvo
LisätiedotMTTTA1 Tilastomenetelmien perusteet 5 op Luento Kokonaisuudet johon opintojakso kuuluu
10.1.2019/1 MTTTA1 Tilastomenetelmien perusteet 5 op Luento 10.1.2019 1 Kokonaisuudet johon opintojakso kuuluu https://www10.uta.fi/opas/opintojakso.htm?rid=14600 &idx=1&uilang=fi&lang=fi&lvv=2018 10.1.2019/2
LisätiedotTilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1
Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus KE (2014) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet
LisätiedotJohdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2004) 1 Testit laatueroasteikollisille muuttujille Laatueroasteikollisten muuttujien testit Testi suhteelliselle
LisätiedotJohdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Tilastolliset testit TKK (c) Ilkka Mellin (2005) 1 Tilastolliset testit Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet testauksessa
LisätiedotMTTTA1 Tilastomenetelmien perusteet 5 op Luento , osa 1. 1 Kokonaisuudet johon opintojakso kuuluu
5.3.2018/1 MTTTA1 Tilastomenetelmien perusteet 5 op Luento 5.3.2018, osa 1 1 Kokonaisuudet johon opintojakso kuuluu https://www10.uta.fi/opas/opintojakso.htm?rid=14600 &idx=1&uilang=fi&lang=fi&lvv=2017
LisätiedotJohdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin
LisätiedotTestit laatueroasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten
LisätiedotTilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5
TKK (c) Ilkka Mellin (4) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (4) : Mitä opimme? 1/5 Tilastollisessa tutkimuksessa tutkimuksen kohteena olevasta perusjoukosta esitetään tavallisesti väitteitä
LisätiedotMTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)
21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotTilastollisia peruskäsitteitä ja Monte Carlo
Tilastollisia peruskäsitteitä ja Monte Carlo Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Tilastollisia peruskäsitteitä ja Monte Carlo 1/13 Kevät 2003 Tilastollisia
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotTestit järjestysasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.04 Tilastollisen analyysin perusteet, kevät 007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen Jakaumaoletuksien testaamiseen soveltuvat testit χ -yhteensopivuustesti yksi otos otoksen vertaaminen
LisätiedotTodennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1
Todennäköisyyslaskun kertaus Vilkkumaa / Kuusinen 1 Satunnaismuuttujat ja todennäköisyysjakaumat Vilkkumaa / Kuusinen 2 Motivointi Kokeellisessa tutkimuksessa tutkittaviin ilmiöihin liittyvien havaintojen
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu
Lisätiedot¼ ¼ joten tulokset ovat muuttuneet ja nimenomaan huontontuneet eivätkä tulleet paremmiksi.
10.11.2006 1. Pituushyppääjä on edellisenä vuonna hypännyt keskimäärin tuloksen. Valmentaja poimii tämän vuoden harjoitusten yhteydessä tehdyistä muistiinpanoista satunnaisesti kymmenen harjoitushypyn
LisätiedotTilastollisen analyysin perusteet Luento 4: Testi suhteelliselle osuudelle
Tilastollisen analyysin perusteet Luento 4: Sisältö Testiä suhteelliselle voidaan käyttää esimerkiksi tilanteessa, jossa tarkastellaan viallisten tuotteiden osuutta tuotantoprosessissa. Tilanne palautuu
LisätiedotPOPULAATIO. Oikeastaan arvot, joista ollaan kiinnostuneita (mitatut numeeriset suureet, luokittelut).
KÄSITTEITÄ POPULAATIO Joukko, jota tutkitaan (äärellinen, ääretön). Oikeastaan arvot, joista ollaan kiinnostuneita (mitatut numeeriset suureet, luokittelut). Näiden välillä ei aina tehdä eroa, kun puhutaan
Lisätiedotedellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾
ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Tilastollisen merkitsevyyden testaus Osa II Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotNormaalijakaumasta johdettuja jakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma
LisätiedotKäytetään satunnaismuuttujaa samoin kuin tilastotieteen puolella:
8.1 Satunnaismuuttuja Käytetään satunnaismuuttujaa samoin kuin tilastotieteen puolella: Esim. Nopanheitossa (d6) satunnaismuuttuja X kertoo silmäluvun arvon. a) listaa kaikki satunnaismuuttujan arvot b)
LisätiedotLuottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.
5.10.2017/1 MTTTP1, luento 5.10.2017 KERTAUSTA Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria. Muodostetaan väli, joka peittää parametrin etukäteen valitulla todennäköisyydellä,
LisätiedotJos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan
17.11.2006 1. Kahdesta kohteesta (A ja K) kerättiin maanäytteitä ja näistä mitattiin SiO -pitoisuus. Tulokset (otoskoot ja otosten tunnusluvut): A K 10 16 Ü 64.94 57.06 9.0 7.29 Oletetaan mittaustulosten
LisätiedotLuottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.
6.10.2016/1 MTTTP1, luento 6.10.2016 KERTAUSTA JA TÄYDENNYSTÄ Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria. Muodostetaan väli, joka peittää parametrin etukäteen valitulla
LisätiedotLuentokalvoja tilastollisesta päättelystä. Kalvot laatinut Aki Taanila Päivitetty 30.11.2012
Luentokalvoja tilastollisesta päättelystä Kalvot laatinut Aki Taanila Päivitetty 30.11.2012 Otanta Otantamenetelmiä Näyte Tilastollinen päättely Otantavirhe Otanta Tavoitteena edustava otos = perusjoukko
LisätiedotTutkimustiedonhallinnan peruskurssi
Tutkimustiedonhallinnan peruskurssi Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo hannu.toivonen, marko.salmenkivi, inkeri.verkamo@cs.helsinki.fi Helsingin yliopisto Hannu Toivonen, Marko Salmenkivi,
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon
LisätiedotKoska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
LisätiedotGripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta
MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotTilastollinen päättömyys, kevät 2017 Harjoitus 6B
Tilastollinen päättömyys, kevät 7 Harjoitus 6B Heikki Korpela 8. helmikuuta 7 Tehtävä. Monisteen teht. 6... Olkoot Y,..., Y 5 Nµ, σ, ja merkitään S 5 i Y i Y /4. Näytä, että S/σ on saranasuure eli sen
LisätiedotEstimointi. Otantajakauma
Otantajakauma Otantajakauma kuvaa jonkin parametrin arvojen (esim. keskiarvon) jakauman kaikille tietyn kokoisille otoksille. jotka perusjoukosta voidaan muodostaa Histogrammissa otantajakauman parametrin
LisätiedotLuottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.
6.10.2015/1 MTTTP1, luento 6.10.2015 KERTAUSTA JA TÄYDENNYSTÄ Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria. Muodostetaan väli, joka peittää parametrin etukäteen valitulla
LisätiedotJohdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1
Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n
Lisätiedot031021P Tilastomatematiikka (5 op) viikko 4
031021P Tilastomatematiikka (5 op) viikko 4 Jukka Kemppainen Mathematics Division Tilastollinen aineisto Tilastolliset menetelmät ovat eräs keino tutkia numeerista havaintoaineistoa todennäköisyyslaskentaa
LisätiedotMatematiikan kotitehtävä 2, MAA 10 Todennäköisyys ja tilastot
Matematiikan kotitehtävä 2, MAA 10 Todennäköisyys ja tilastot Sievin lukio Tehtävien ratkaisut tulee olla esim. Libre officen -writer ohjelmalla tehtyjä. Liitä vastauksiisi kuvia GeoGebrasta ja esim. TI-nSpire
Lisätiedot6. laskuharjoitusten vastaukset (viikot 10 11)
6. laskuharjoitusten vastaukset (viikot 10 11) 1. a) Sivun 102 hypergeometrisen jakauman määritelmästä saadaan µ µ 13 39 13! 13 12 11 10 9 µ 0! 8! 1! 2 2! 2 1 0 49 48! 47!! 14440 120 31187200 120 1287
LisätiedotVALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170
VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE 4.6.2013 Ratkaisut ja arvostelu 1.1 Satunnaismuuttuja X noudattaa normaalijakaumaa a) b) c) d) N(170, 10 2 ). Tällöin P (165 < X < 175) on likimain
Lisätiedotr = 0.221 n = 121 Tilastollista testausta varten määritetään aluksi hypoteesit.
A. r = 0. n = Tilastollista testausta varten määritetään aluksi hypoteesit. H 0 : Korrelaatiokerroin on nolla. H : Korrelaatiokerroin on nollasta poikkeava. Tarkastetaan oletukset: - Kirjoittavat väittävät
LisätiedotEstimointi. Luottamusvälin laskeminen keskiarvolle α/2 α/2 0.1
Estimointi - tehdään päätelmiä perusjoukon ominaisuuksista (keskiarvo, riskisuhde jne.) otoksen perusteella - mitä suurempi otos, sitä tarkemmat estimaatit Otokseen perustuen määritellään otantajakaumalta
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
LisätiedotTilastollisen analyysin perusteet Luento 3: Epäparametriset tilastolliset testit
Tilastollisen analyysin perusteet Luento 3: Epäparametriset tilastolliset testit s t ja t kahden Sisältö t ja t t ja t kahden kahden t ja t kahden t ja t Tällä luennolla käsitellään epäparametrisia eli
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
Lisätiedot