031021P Tilastomatematiikka (5 op) viikko 6 Jukka Kemppainen Mathematics Division
Odotusarvojen erotuksen testi, hajonnat σ 1 σ 2 tuntemattomia Oletetaan jälleen, että X ja Y ovat normaalijakautuneita. Ongelmana on, ettemme tiedä sopivaa testimuuttujaa, jonka jakaantumislaki olisi tiedossa. Käytetään asymptoottisesti t-jakautunutta muuttujaa T = X Y (µ 1 µ 2 ) t S 2 ν, 1 n 1 + S2 2 n 2 missä vapausasteet lasketaan Welch-Satterthwaiten yhtälöstä ν = ( s 2 1 n 1 + s2 2 n2 ) 2 (s1 2/n 1) 2 n 1 1 + (s2 2 /n 2) 2 n 2 1. (1) Jukka Kemppainen Mathematics Division 2 / 40
Odotusarvojen erotuksen testi, hajonnat σ 1 σ 2 tuntemattomia Huomaa, että yleisesti ν ei ole kokonaisluku kaavassa (1), mutta laskimille/tietokoneille se ei ole mikään ongelma. Taulukkoa käyttävä joutuu pyöristämään ν:n lähimpään kokonaislukuun. Tilastollinen testaus menee tässäkin tapauksessa samoja latuja kuin aiemmin. Jukka Kemppainen Mathematics Division 3 / 40
Esimerkki Esim. 43 Jokeen joutui fosforihappoa, jonka pitoisuus [mg/l] selvitettiin kahdella eri mittauspaikalla. Mittauspaikalta 1 otettiin 15 näytettä ja mittauspaikalta 2 otettiin 12 näytettä. Pitoisuuksiksi saatiin x 1 = 3.84 ja s 1 = 3.07 mittauspaikalta 1 sekä x 2 = 1.49 ja s 2 = 0.80. Tutki riskitasolla α = 0.05, poikkeavatko pitoisuudet toisistaan olettamalla, että pitoisuudet noudattavat normaalijakaumaa. Jukka Kemppainen Mathematics Division 4 / 40
Parittainen vertailu Tarkastellaan nyt tilannetta, jossa otokset ovat parittain riippuvia toisistaan. Saatetaan esimerkiksi olla kiinnostuneita saman yksikön ominaisuuksista kahdessa eri olosuhteessa. Havainnot muodostuvat mittaustuloksien pareista (X 1i,X 2i ), i = 1,2,...,n. Muodostetaan erotukset D i = X 1i X 2i, i = 1,2,...,n. Käytetään tämän jälkeen yhden otoksen testiä muuttujille D i. Jukka Kemppainen Mathematics Division 5 / 40
Esimerkki Esim. 44 Eräällä terästehtaalla tutkittiin työntekijöiden työtehoa eri olosuhteissa A ja B. Tutkimuksessa saatiin kahdeksalle koehenkilölle seuraavat suhteelliset työtehot A 105 108 86 103 103 107 124 105 B 89 92 84 97 103 107 111 97 Testaa riskitasolla α = 5% onko eri työolosuhteilla vaikutusta työntekijöiden työtehoon. Jukka Kemppainen Mathematics Division 6 / 40
Satunnaismuuttujien välinen riippuvuus Kokeellisen tutkimuksen keskeinen tehtävä on selvittää mitattavien muuttujien välisiä yhteyksiä. Tarkastellaan yksinkertaisuuden vuoksi kahta muuttujaa X ja Y. Jos X ja Y ovat riippumattomia, niin toisen arvojen tunteminen ei vaikuta millään tavalla toisen saamiin arvoihin. Riippumattomuuden toisena ääripäänä satunnaismuuttujien välisestä vuorovaikutuksesta on funktionaalinen riippuvuus, jolloin toisen satunnaismuuttujan arvo täysin määrää myös toisen arvon. Erityisen vahva funktionaalinen riippuvuus on lineaarinen riippuvuus, eli Y on muotoa Y = ax + b todennäköisyydellä yksi. Jukka Kemppainen Mathematics Division 7 / 40
Satunnaismuuttujien välinen riippuvuus Yleisessä tapauksessa riippuvuus on jotain edellisten ääripäiden välillä; toisen muuttujan arvon tunteminen vaikuttaa toisen jakautumiseen, mutta ei määrää sen arvoa yksikäsitteisesti. Tällaista riippuvuutta sanotaan stokastiseksi riippuvuudeksi. Jukka Kemppainen Mathematics Division 8 / 40
Esimerkki Esim. 45 Tarkastellaan kahden nopan heittoon liittyviä satunnaismuuttujia X = ensimmäisen nopan pisteluku ; Y = toisen nopan pisteluku ; Z = X + Y; U = parittomien pistelukujen lukumäärä ; V = parillisten pistelukujen lukumäärä. Määrää eri satunnaismuuttujien välisen riippuvuuden luonne. Jukka Kemppainen Mathematics Division 9 / 40
Korrelaatio Käytännössä usein populaatiota koskevat päätelmät joudutaan tekemään osittaisen informaation perusteella, koska koko populaatiota on liian kallista tai mahdotonta tutkia. Tutkitaan miten lineaarisen riippuvuuden voimakkuutta voidaan tutkia kokeellisesti. Jos muuttujia on kaksi, X ja Y, niin niiden saamien arvojen välistä yhteyttä voidaan tutkia pisteparien (x,y) muodostaman sirontakuvion avulla. Jukka Kemppainen Mathematics Division 10 / 40
Sirontakuvioita Kuva : Sirontakuvio Kuva : Sirontakuvio Jukka Kemppainen Mathematics Division 11 / 40
Korrelaatio Oheisista kuvista ensimmäisessä muuttujien välillä näyttäisi vallitsevan lineaarinen riippuvuus, kun taas toisessa muuttujien välillä ei näyttäisi olevan minkäänlaista riippuvuutta. Ensimmäisestä kuviosta nähdään myös, että muuttujien välillä on positiivinen riippuvuus, eli muuttujan x kasvaessa myös muuttuja y kasvaa. Vastaavasti negatiivinen riippuvuus tarkoittaa, että x-arvojen kasvaessa y:n arvot pienenevät. Esitetään seuraavassa lineaariselle riippuvuudelle kvantitatiivinen mittari. Jukka Kemppainen Mathematics Division 12 / 40
Pearsonin tulomomenttikorrelaatiokerroin Olkoon (x 1,...,x n ) otos muuttujasta X ja (y 1,...,y n ) otos muuttujasta Y. Tarkastellaan summaa n (x i x)(y i y), (2) i=1 missä x ja y ovat otoksista lasketut keskiarvot. Mitä (2) kuvaa? Jos poikkeamat x i x ja y i y ovat samanmerkkiset, niin (2)>0. Jos poikkeamat ovat erimerkkiset, niin (2)<0. Jos muuttujien välillä ei ole yhteyttä, niin positiiviset ja negatiiviset poikkeamat kumoavat toisensa, jolloin (2) on lähellä nollaa. Jukka Kemppainen Mathematics Division 13 / 40
Pearsonin tulomomenttikorrelaatiokerroin Kun (2) skaalataan sopivasti, saadaan Määr. 23 Lukua r = 1 n 1 1 n 1 (xi x)(y i y) = (xi x) 2 (yi y) 2 1 n 1 s xy sxx syy, missä s xx = s 2 x, s yy = s 2 y ja s xy = 1 (xi x)(y i y), n 1 sanotaan Pearsonin tulomomenttikorrelaatiokertoimeksi. Jukka Kemppainen Mathematics Division 14 / 40
Ominaisuudet ja tulkinta Kerroin ei riipu mittayksiköiden valinnasta. Kerroin on symmetrinen x:n ja y:n suhteen. Kerroin saa arvoja välillä [ 1, 1]. Jos r on lähellä arvoa +1, on x:n ja y:n välillä huomattava positiivinen riippuvuus. Jos taas r 1, on suureiden välillä huomattava negatiivinen riippuvuus. r = 1 ainoastaan silloin, kun kaikki pisteparit (x i,y i ) ovat jollakin kasvavalla suoralla. Vastaavasti, r = 1 ainoastaan silloin, kun kaikki pisteparit ovat jollakin vähenevällä suoralla. Toisin sanoen, näissä ääritapauksissa vallitsee täydellinen lineaarinen riippuvuus. Jukka Kemppainen Mathematics Division 15 / 40
Ominaisuudet ja tulkinta Kerroin r on ainoastaan suureiden x ja y lineaarisen riippuvuuden mittari. Arvo r 0 ei tarkoita, etteikö suureiden välillä voisi olla riippuvuutta. Muuttujat voivat olla epälineaarisesti riippuvia, vaikka r on lähellä nollaa. Kerroin riippuu havaintojen lukumäärästä. Erityisesti, jos havaintojen määrä on pieni, on r herkkä poikkeaville havainnoille. Jukka Kemppainen Mathematics Division 16 / 40
Kuvia Kuvassa on sirontakuvio ja dataan sovitettu suora. Tässä x:t on peräisin jakaumasta N(5,2.5 2 ) ja muuttujien välillä vallitsee riippuvuus y i = x 2 i +ǫ i, missä ǫ i :t ovat virheitä ja peräisin jakaumasta N(0,0.01 2 ). Korrelaatiokerroin on r = 0.958. Jukka Kemppainen Mathematics Division 17 / 40
Kuvia Kuvassa on sirontakuvio, datapisteiden riippuvuutta kuvaava käyrä ja dataan sovitettu suora. Tässä x:t on peräisin jakaumasta N(5,2.5 2 ) ja muuttujien välillä vallitsee riippuvuus y i = 10x i x 2 i +ǫ i, missä ǫ i :t ovat virheitä ja peräisin jakaumasta N(0,0.01 2 ). Korrelaatiokerroin on r = 0.136. Jukka Kemppainen Mathematics Division 18 / 40
Kuvien tulkinnasta Edellä kuvatuissa esimerkeissä molemmissa muuttujien välillä vallitsi epälineaarinen riippuvuus ja korrelaatiokerroin vaihteli läheltä nollaa lähelle lukua 1. Ensimmäisessä kuvassa x:n kasvaessa myös y kasvoi, jolloin riippuvuutta voitiin kohtuullisen hyvin kuvata suoran avulla. Jälkimmäisessä kuvassa taasen osassa dataa x:n kasvaessa myös y kasvoi, mutta osassa x:n kasvaessa y pieneni, mitkä kumuloituivat niin, että korrelaatiokertoimesta tuli itseisarvoltaan pieni, mikä näkyy hyvin jo pelkästään sirontakuviota katsoessa. Sirontakuviosta voi siis jo alustavasti päätellä jotain muuttujien välisestä riippuvuudesta. Huomaa, että sirontakuvio paljastaa epälineaarisen riippuvuuden myös ensimmäisessä kuvassa. Vaikka laskenta antaakin suuren kertoimen, ei siitä voi päätellä, että riippuvuus olisi lineaarista. Jukka Kemppainen Mathematics Division 19 / 40
Populaation korrelaatiokerroin Korrelaatiokerroin r mittaa muuttujien x ja y lineaarisen riippuvuuden voimakkuuden otoksessa. Koko populaatiolle on olemassa vastaava mittari, jota sanotaan populaation korrelaatiokertoimeksi ja jolle käytetään merkintää ρ. Käytännössä lukua ρ ei useinkaan lasketa eikä sen laskeminen ole välttämättä edes mahdollista, koska emme tiedä satunnaismuuttujien X ja Y, joista otokset on peräisin, tarkkaa jakaumaa koko populaatiossa. On kuitenkin hyvä tietää, että tällainen luku ρ on olemassa, ja on hyvä peilata sen ominaisuuksia kertoimeen r nähden. Jukka Kemppainen Mathematics Division 20 / 40
Populaation korrelaatiokerroin Kertoimella ρ on seuraavat ominaisuudet (vertaa näitä r:n vastaaviin): 1. ρ saa arvoja välillä [ 1, 1], on symmetrinen muuttujien suhteen ja se ei riipu valittavista mittayksiköistä. 2. ρ = ±1 jos ja vain jos muuttujat X ja Y ovat lineaarisesti riippuvia. 3. Jos muuttujat X ja Y ovat ovat riippumattomia, niin ρ = ρ(x, Y) = 0. Käänteinen väite ei pidä paikkansa! Jukka Kemppainen Mathematics Division 21 / 40
Korrelaatio ja kausaatio Korrelaatiokerroin mittaa lineaarisen riippuvuuden astetta, mutta riippuvuudesta ei seuraa kausaatio. Muuttujilla voi usein olla voimakas korrelaatio, muttei sen vuoksi, että toinen olisi toisen seuraus, vaan sen vuoksi, että muuttujilla on voimakas riippuvuus johonkin muuhun muuttujaan. Esimerkiksi jäätelönsyönnin ja hukkumiskuolemien välillä vallinnee voimakas korrelaatio, mutta tuskin jäätelönsyönti on potentiaalinen syy hukkumiselle. Voimakkaan riippuvuuden selittänee molempien yhteys säähän. Mitä parempi sää, sitä enemmän jäätelöä syödään ja ollaan vesillä, jolloin myös hukkumisen riski kasvaa. Jukka Kemppainen Mathematics Division 22 / 40
Regressiosuora ja PNS-menetelmä Yritetään muodostaa matemaattinen malli muuttujien välisen riippuvuuden kuvaamiseksi. Vaikka tällä kurssilla käsitellään ainoastaan lineaarista mallia, voidaan tässä kuvattu menetelmä yleistää myös epälineaariseen tapaukseen. Pyritään määräämään kertoimet a ja b niin, että malli y = ax + b kuvaa mahdollisimman hyvin x:n ja y:n välistä riippuvuutta sopivassa mielessä. Suoraa y = ax + b sanotaan regressiosuoraksi. Määrätään kertoimet pienimmän neliösumman (PNS) menetelmällä. Tarkastellaan havaintojen y i poikkeamia suorasta neliösumman avulla: f(a,b) := n (y i (ax i +b)) 2 = (y 1 ax 1 b) 2 + +(y n ax n b) 2. i=1 Jukka Kemppainen Mathematics Division 23 / 40
Kuva y (x 2,y 2 ) d 2 d 4 d 3 (x 4,y 4 ) d 1 (x 3,y 3 ) (x 1,y 1 ) (x 5,y 5 ) d 5 y = ax + b x Jukka Kemppainen Mathematics Division 24 / 40
Kuva PNS-menetelmässä minimoidaan siis etäisyyksien neliöiden summaa n f(a,b) = di 2, missä i=1 d i = y i ax i b on pisteen (x i,y i ) y-akselin suuntainen etäisyys suorasta y = ax + b. Jukka Kemppainen Mathematics Division 25 / 40
PNS-menetelmä Yllä f on muuttujien a ja b funktio. Neliösumman minimi löytyy funktion f osittaisderivaattojen nollakohdista: ( xi ) a+nb = yi, ( x 2 i ) a+ ( xi ) b = xi y i. Yhtälöparin ratkaisuksi saadaan a = s xy s xx ja b = y ax. (3) Määr. 24 Pistepareille (x 1,y 1 ),...,(x n,y n ) laskettu regressiosuora on y = ax + b, missä a ja b saadaan yhtälöistä (3). Jukka Kemppainen Mathematics Division 26 / 40
Regressiosuora Regressiosuora kirjoitetaan usein muodossa ŷ = ax + b, missä ŷ tarkoittaa, että ŷ on y:n ennuste annetulla x. Nimitys regressio tulee siitä, että ennuste ŷ poikkeaa keskihajonnan mielessä vähemmän keskiarvosta y kuin x poikkeaa x:stä. Voidaan nimittäin osoittaa, että jos x x = s x, niin ŷ y = r s y eli suhteellinen poikkeama pienenee kertoimella r. Tämän havaitsi ensimmäisenä Sir Francis Galton ja ilmiö on nimeltään regressio keskiarvoa kohti. Aiemmissa kuvissa mainittu dataan sovitettu suora oli nimenomaan regressiosuora, joka oli piirretty kuviin punaisella. Jukka Kemppainen Mathematics Division 27 / 40
Selitysaste Suuretta y kutsutaan usein selitettäväksi suureeksi ja suuretta x selittäväksi suureeksi. Selitysaste on mittari, joka kuvaa kuinka hyvin malli on sopusoinnussa havaintojen kanssa. Summaa s Res = (y i ŷ i ) 2 sanotaan residuaalisummaksi tai jäännössummaksi, jota ei voi selittää x:n vaihtelulla. Huomaa, että PNS-menetelmässä tämä suure minimoitiin. Voidaan osoittaa, että r 2 = 1 s Res (n 1)s yy, mistä nähdään, että mitä pienempi s Res on, sitä suurempi on r 2. Jukka Kemppainen Mathematics Division 28 / 40
Selitysaste Niinpä sopivaksi mittariksi voidaan valita Määr. 25 Korrelaatiokertoimen neliötä r 2 sanotaan mallin selitysasteeksi. Jos esimerkiksi r = 0.6, on r 2 = 0.36 eli 36% y-havaintojen kokonaisvaihtelusta voidaan selittää lineaarisesti x:n vaihteluilla. Usein käytetään seuraavaa luokittelua: jos r 0.5, on selitysaste heikko; jos 0.5 < r 0.8, on selitysaste kohtalainen; jos r > 0.8, on selitysaste vahva. Jukka Kemppainen Mathematics Division 29 / 40
Esimerkki Esim. 46 Tarkastellaan dataa x i 0.815 0.906 0.127 0.913 0.632 0.098 0.278 y i 0.663 0.810 0.027 0.825 0.383 0.036 0.086 x i 0.547 0.958 0.965 y i 0.316 0.906 0.935 Laske korrelaatiokerroin ja määrää selitysaste. Määrää havaintoja vastaava regressiosuora. Jukka Kemppainen Mathematics Division 30 / 40
Kuva Kuvassa on edellisen esimerkin sirontakuvio, datapisteiden riippuvuutta kuvaava käyrä ja dataan sovitettu suora. Tässä x:t on peräisin jakaumasta Tas(0,1) ja muuttujien välillä vallitsee riippuvuus y i = x 2 i +ǫ i, missä ǫ i :t ovat virheitä ja peräisin jakaumasta N(0,0.01 2 ). Jukka Kemppainen Mathematics Division 31 / 40
Pisteittäiset residuaalit Kuvaan on piirretty edellisen esimerkin pisteittäiset residuaalit (x i,y i ŷ i ). Joskus on hyödyllistä tarkastella residuaaleja sovituksen jälkeen, jolloin nähdään miten virheet ovat jakaantuneet eri havaintopisteissä. Kuva viittaa selvästi käyräviivaiseen riippuvuuteen suureiden välillä. Jukka Kemppainen Mathematics Division 32 / 40
Esimerkki Esim. 47 Tutkittiin glukoosikonsentraation y [g/l] vaikutusta erään maltaan käymisaikaan x [vrk] ja saatiin seuraava taulukko x i 1 2 3 4 5 6 7 8 y i 74 54 52 51 52 53 58 71 Määrää korrelaatiokerroin ja selitysaste. Jukka Kemppainen Mathematics Division 33 / 40
Kuva Kuvaan on piirretty edellisen esimerkin sirontakuvio, regressiosuora ja PNS-menetelmällä laskettu neliöllinen sovitus ŷ = ax 2 + bx + c. Kuten jo sirontakuviosta nähdään, on lineaarinen sovitus järjetön tässä tapauksessa. Sama asia todettiin laskemalla r 2 9.1 10 5. Neliöllisen sovituksen selitysasteeksi saadaan 89.5%. Jukka Kemppainen Mathematics Division 34 / 40
Käyräviivainen regressio Edellä tarkasteltua PNS-menetelmää voidaan hyödyntää sellaisenaan myös tapauksessa, jossa suureiden x ja y välillä on käyräviivainen riippuvuus. Jos kyseessä on vaikkapa polynomiaalinen riippuvuus kuten esimerkkiin 47 liittyvässä kuvassa mainittiin, haetaan kuten edellä havainnoille y i mahdollisimman hyvää ennustetta ŷ i = β 0 +β 1 x i +β 2 x 2 i + +β m x m i (4) määräämällä kertoimet β 0,...,β n niin, että neliösumma f(β 0,β 1,...,β m ) = n (y i ŷ i ) 2 minimoituu. Tällöinkin puhutaan itse asiassa lineaarisesta regressiosta, sillä (4) on lineaarinen estimoitavien parametrien β 0,...,β n suhteen. Jukka Kemppainen Mathematics Division 35 / 40 i=1
Käyräviivainen regressio Edellä esitetyt mallit voidaan kirjoittaa yksinkertaisesti muodossa ŷ i = g(x i ;β), (5) missä g on jokin funktio, joka riippuu parametrivektorista β = (β 0,β 1,...,β m ) T. Funktion g riippuvuus β:sta voi olla myös epälineaarista, mutta myös tällöin β:lle voidaan hakea parasta mahdollista estimaattia minimoimalla neliösumma n f(β) = (y i ŷ i ) 2. i=1 Saatavaa yhtälöryhmää ei välttämättä pysty ratkaisemaan analyyttisesti, jolloin β:lle joudutaan hakemaan likimääräistä ratkaisua numeerisesti jollakin iteratiivisella laskentamenetelmällä. Käytettyjä menetelmiä ovat mm. Gauss-Newtonin algoritmi tai Levenberg-Marquardt n algoritmi. Jukka Kemppainen Mathematics Division 36 / 40
Useampiulotteinen regressio Huomaa, että määritelmän 24 antama malli voidaan kirjoittaa muodossa ŷ i = (1,x i ) (b,a), i = 1,...,n, missä on pistetulo, tai yhtälailla matriisimuodossa ^y = Xβ, missä ^y = (ŷ 1,...,ŷ n ) T, β = (b,a) T ja ( 1 1... 1 X = x 1 x 2... x n ) T. (6) Tämä antaa aiheen otaksua, että yleinen lineaarinen malli olisi kirjoitettavissa matriisimuodossa. Jukka Kemppainen Mathematics Division 37 / 40
Useampiulotteinen regressio Näin on asian laita. Olkoon (y 1,...,y n ) otos Y :stä. Haetaan havainnoille y k muuttujista x 1,x 2,...,x m riippuvaa ennustetta ŷ k kaavan ŷ k = β 0 +β 1 x k,1 +β 2 x k,2 + +β m x k,m, k = 1,...,n, mukaisesti, missä x k,i on k:s havainto muuttujasta x i. Tällöin malli voidaan kirjoittaa matriisimuodossa ^y = Xβ, (7) missä ^y = (ŷ 1,ŷ 2,...,ŷ n ) T, β = (β 0,β 1,...,β m ) T ja X on n (m+ 1)-matriisi, joka on kaavassa (6) esiintyvää muotoa luonnollisin lisäyksin. Parametrivektorille β voidaan hakea PNS-estimaattia aivan kuten edellä. Jukka Kemppainen Mathematics Division 38 / 40
Approksimaation tarkkuudesta Huomaa, että emme edellä olettaneet mitään muuttujien x ja y taustalla olevista jakaumista. Se ei ollut edellä tarpeen, mutta toisaalta emme edellä myöskään sanoneet mitään saamamme mallin tarkkuudesta selitysastetta lukuun ottamatta. Mikäli haluamme tietää jotain laskemiemme kertoimien a ja b sekä ennusteen ŷ = ax + b tarkkuudesta, meillä täytyy olettaa jotain virheen y ŷ jakaumasta. Jälleen kerran kuvaan astuu normaalijakauma. Oletetaan, että havainnot x i ja y i ovat muuttujien X i ja Y i realisaatioita ja että näiden välillä on yhteys Y i = αx i +β +ǫ i (8) annetulla X i = x i, missä ǫ i N(0,σ 2 ) ovat riippumattomia sm:ia ja α,β ovat todelliset regressiokertoimet. Jukka Kemppainen Mathematics Division 39 / 40
Approksimaation tarkkuudesta Kaava (8) on tilastollinen regressiomalli muuttujien X i ja Y i välillä. Huomaa, että malli on lineaarinen parametrien α ja β suhteen. Huomaa lisäksi, että kun x i on annettu, niin E(Y i ) = αx i +β ja Var(Y i ) = σ 2. Niinpä Y i N(αx i +β i,σ 2 ) oletuksen ǫ i N(0,σ 2 ) nojalla. Voidaan osoittaa, että parametrien α ja β sekä virheen y ŷ tarkkuuden analysointiin löytyy sopivat testimuuttujat. Kiinnostavia kysymyksiä voisivat olla: parametrien α, β luottamusvälin määrääminen, mikä kuvaa laskettujen parametrien tarkkuutta, ennusteen ŷ luottamusvälin määrääminen, hypoteesien H 0 : α = 0 vastaan H 1 : α 0 testaus, eli riippuuko E(Y) lineaarisesti x:stä. Mutta näistä enemmän joillakin muilla kursseilla. Jukka Kemppainen Mathematics Division 40 / 40