MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Transkriptio

1 MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 6 Tilastollinen riippuvuus ja lineaarinen regressio Kalle Kytölä, Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015

2 Sisältö Kahden muuttujan aineiston kuvaileminen Pienimmän neliösumman menetelmä Lineaarinen regressiomalli Normaalijakautuneisuuden testaaminen

3 Sisältö Kahden muuttujan aineiston kuvaileminen Pienimmän neliösumman menetelmä Lineaarinen regressiomalli Normaalijakautuneisuuden testaaminen

4 Kahden muuttujan aineiston kuvaileminen Kerätty aineisto: n havaintoyksikköä, p muuttujaa. Valitaan kaksi muuttujaa tarkasteluun, jolloin analysoitava aineisto (x, y) koostuu pareista (x 1, y 1 ),..., (x n, y n ).

5 Esim. Kurssin arvostelu Onko harjoituspisteillä vaikutusta tenttipisteisiin? id tentti (y) raportti harjoitukset (x) arvosana Syöte (selittäjä): x = (0, 20, 0, 16, 20, 17, 3, 9, 12, 0, 19, 0, 17) Vaste (selitettävä): y = (0, 17, 15, 12, 19, 21, 0, 13, 19, 0, 15, 12, 13)

6 Hajontakuvio Aineisto: (x 1, y 1 ),..., (x n, y n )

7 Otoskovarianssi Aineistovektoreiden x ja y otoskovarianssi määritellään kaavalla s(x, y) = 1 n 1 n (x i m(x))(y i m(y)), i=1 missä m(x) ja m(y) ovat aineistovektoreiden keskiarvot Huom: s(x, x) = s 2 (x) on x:n otosvarianssi s(y, y) = s 2 (y) on y:n otosvarianssi s(x, x) = s(x) on x:n otoskeskihajonta s(y, y) = s(y) on y:n otoskeskihajonta

8 Esim. Kurssin arvostelu id tentti (y) raportti harjoitukset (x) arvosana Otoskovarianssi s(x, y) = cov(x,y) = Tämä luku pitää normalisoida, jotta sen voi hahmottaa.

9 Otoskorrelaatio Aineistovektoreiden x ja y Pearsonin otoskorrelaatio määritellään kaavalla r(x, y) = s(x, y) [ 1, +1] s(x)s(y) Otoskorrelaatio mittaa (tilastollista) lineaarista riippuvuutta: Karl Pearson FRS Jos r(x, y) > 0, niin x ja y ovat positiivisesti korreloituneita Jos r(x, y) = 0, niin x ja y ovat korreloimattomia Jos r(x, y) < 0, niin x ja y ovat negatiivisesti korreloituneita

10 Esim. Kurssin arvostelu id tentti (y) raportti harjoitukset (x) arvosana Pearsonin otoskorrelaatio r(x, y) = cor(x,y) = Harjoituspisteet ja tenttipisteet vaikuttavat positiivisesti korreloituneilta Vai onko kyseessä satunnaisvaihtelun tuotos?

11 Korreloituneisuuden testaaminen Pohjahypoteesi (stokastinen malli): Havaitut lukuparit (x i, y i ) ovat realisaatioita riippumattomista satunnaisvektoreista (X i, Y i ) N 2 (µ X, µ Y, σ 2 X, σ2 Y, ρ XY ). H 0 : ρ XY = 0 vs. H 1 : ρ XY 0 Yleisen hypoteesin ja nollahypoteesin pätiessä testisuure t(x, Y ) = r(x, Y ) n 2 1 r(x, Y ) 2 William S Gosset (a.k.a. Student ) noudattaa t-jakaumaa vapausastein n 2. Itseisarvoltaan suuret testisuureen arvot puoltavat nollahypoteesin hylkäämistä

12 Esim. Kurssin arvostelu id tentti (y) raportti harjoitukset (x) arvosana Noudattavatko laskuharjoituspisteet ja tenttipisteet 2-ulotteista normaalijakaumaa? Ei. Molemmat ovat diskreettejä, eikä jakauma yleensä ole edes symmetrinen. Tässä tapauksessa korreloituneisuuden testaaminen edellä mainitulla testillä ei ole perusteltua.

13 Esim. Isien ja poikien pituudet Height Son Father Noudattavatko isien ja poikien pituudet 2-ulotteista normaalijakaumaa?

14 Father Esim. Isien ja poikien pituudet f Son

15 Esim. Isien ja poikien pituudet Density Histogram of Fathers Height Density Histogram of Sons Height

16 Esim. Isien ja poikien pituudet Noudattavatko isien ja poikien pituudet normaalijakaumaa? Pituuksien jakaumaa voidaan pitää likipitäen kaksiulotteisena normaalijakaumana. Korreloituneisuutta voisi olla perusteltua testata edellä mainitulla testillä. Otoskorrelaatio on cor(x,y) = Aineistosta laskettu testisuure t(x, y) = p-arvo Pr( t(x, Y ) 18.85) = 2*(1-pt(18.85,1076)) = 0 Koska p-arvo on alle 0.01, nollahypoteesi (ρ XY = 0) hylätään 1 % merkitsevyystasolla Johtopäätös: isien ja poikien pituuksien välillä on (tilastollista) lineaarista riippuvuutta.

17 Sisältö Kahden muuttujan aineiston kuvaileminen Pienimmän neliösumman menetelmä Lineaarinen regressiomalli Normaalijakautuneisuuden testaaminen

18 Esim. Kurssin arvostelu id tentti (y) raportti harjoitukset (x) arvosana Pearsonin otoskorrelaatio r(x, y) = Muuttujien välillä kohtuullisen vahva lineaarinen riippuvuus Mikä suora parhaiten kuvastaa lineaarista riippuvuutta?

19 Hajontakuvio Aineisto: (x 1, y 1 ),..., (x n, y n )

20 Suoran sovittaminen Sovitteet: ŷ i = β 0 + β 1 x i

21 Sovitusvirhe Jäännöstermit: e i = y i ŷ i

22 Sovitusvirheen minimointi Miten valitaan suoran kulmakerroin β 1 ja vakiotermi β 0 optimaalisesti?

23 Sovitusvirheen minimointi Suoran ŷ = β 0 + β 1 x virhetermien neliösumma SSE(β 0, β 1 ) = n (y i ŷ i ) 2 = i=1 n (y i β 0 β 1 x i ) 2 i=1 Pienimmän neliösumman menetelmä Etsitään (β 0, β 1 ) s.e. virhetermien neliösumma minimoituu. Ratkaisu: Derivoi SSE(β 0, β 1 ) β 0 :n ja β 1 :n suhteen, aseta molemmat derivaatat nolliksi, ja ratkaise kyseiset yhtälöt. Vastaus: (β 0, β 1 ) = (b 0, b 1 ), missä b 1 = r(x, y) s(y) s(x), b 0 = m(y) b 1 m(x).

24 Esim. Kurssin arvostelu id tentti (y) raportti harjoitukset (x) arvosana Keskiarvot: m(x) = 10.2, m(y) = 12.0 Otoskeskihajonnat: s(x) = 8.51, s(y) = 7.39 Pearsonin otoskorrelaatio r(x, y) = b 1 = r(x, y) s(y) s(x) = 0.60 b 0 = m(y) b 1 m(x) = 5.82

25 Esim. Isien ja poikien pituudet Height Son Father Keskiarvot: m(x) = , m(y) = Otoskeskihajonnat: s(x) = 6.98, s(y) = 7.14 Pearsonin otoskorrelaatio r(x, y) = b 1 = r(x, y) s(y) s(x) = 0.51 b 0 = m(y) b 1 m(x) = 86.83

26 Esim. Isien ja poikien pituudet Height Son Father

27 Sisältö Kahden muuttujan aineiston kuvaileminen Pienimmän neliösumman menetelmä Lineaarinen regressiomalli Normaalijakautuneisuuden testaaminen

28 Sovitetun suoran luottamusväli Jos kahden muuttujan aineistoon sovittaa suoran pienimmän neliösumman menetelmällä, millä tarkkuudella kyseinen suora ennustaa vasteen arvoja? Millä tn suoralta ennustettu vastemuuttujan arvo on lähellä mittauksessa havaittavaa arvoa? Tarvitaan tilastokokeen stokastinen malli

29 Lineaarinen regressiomalli Oletetaan, että vastemuuttuja Y riippuu syötemuuttujasta x seuraavasti: Y = β 0 + β 1 x + ɛ, missä ɛ N(0, σ 2 ). Kun tehdään n riippumatonta mittausta syötemuuttujan arvoilla x 1,..., x n, saadaan vastemuuttujan arvot Y k = β 0 + β 1 x k + ɛ k, k = 1,..., n, ja stokastisen mallin satunnaiset virhetermit ɛ 1,..., ɛ n ovat riippumattomat N(0, σ 2 )-jakautuneet. Mallissa on 3 tuntematonta parametria: (β 0, β 1, σ 2 ).

30 Lineaarisen regressiomallin parametrien estimointi Parametrien β 0, β 1 suurimman uskottavuuden estimaattorit ovat pienimmän neliösumman menetelmällä saadut kertoimet b 1 = r(x, y) s(y) s(x), b 0 = m(y) b 1 m(x). Tuntemattoman varianssiparametrin σ 2 estimaattorina käytetään S 2 = 1 n 2 n j=1 (y j ŷ j ) 2 = 1 n 2 n (y j b 0 b 1 x j ) 2. j=1

31 Vastemuuttujan ennusteväli Halutaan ennustaa syötemuuttujaa x vastaava vastemuuttujan arvo Y ( x) havaitun aineiston (x 1,..., x n ; y 1,..., y n ) pohjalta. Ennuste on Ŷ ( x) = b 0 + b 1 x, missä b 0, b 1 estimoidaan aineistosta PNS-menetelmällä. Vasteen (1 α) ennustevälin päätepisteet ovat b 0 + b 1 x ± t α/2 S n + ( x m(x))2 (n 1)s 2 (x), missä t α/2 on luku, jolle t(n 2)-jakatunut satunnaisluku T toteuttaa Pr( t α/2 T t α/2 ) = α. Huom: Ennusteväli on sitä leveämpi, mitä kauempana x on havaitun aineiston keskiarvosta m(x).

32 Esim. Kurssin arvostelu Voidaanko harjoituspisteistä ennustaa tenttipisteet? id tentti (y) raportti harjoitukset (x) arvosana Ei ainakaan edellä mainitulla regressiomallilla, koska jäännösten ei voida olettaa noudattavan normaalijakaumaa.

33 Esim. Isien ja poikien pituudet Voidaanko poikien pituudet ennustaa isien pituuksista?

34 Esim. Isien ja poikien pituudet Height Son Father

35 Regressiomallin jäännökset, kun isä on noin 165cm Histogram of residuals vs. normal distribution Density Residual

36 Esim. Isien ja poikien pituudet Height Son Father

37 Regressiomallin jäännökset, kun isä on noin 170cm Histogram of residuals vs. normal distribution Density Residual

38 Esim. Isien ja poikien pituudet Voidaanko poikien pituudet ennustaa isien pituuksista? Vaikuttaisi siltä, että jäännösten normaalijakautuneisuus ja varianssiehto toteutuvat, joten regressiomallia voidaan soveltaa.

39 Pojan pituus, kun isän pituus on noin 165cm Heights of sons Density Height Poikien pituuksien jakauma ja 90% ennusteväli, kun isän pituus on 165cm.

40 Pojan pituus, kun isän pituus on noin 170cm Heights of sons Density Height Poikien pituuksien jakauma ja 90% ennusteväli, kun isän pituus on 170cm.

41 Esim. Isien ja poikien pituudet (90 % ennusteväli) Height Sons Fathers

42 Sisältö Kahden muuttujan aineiston kuvaileminen Pienimmän neliösumman menetelmä Lineaarinen regressiomalli Normaalijakautuneisuuden testaaminen

43 Onko aineisto peräisin normaalijakaumasta? x = ( ) Ovatko havaitut luvut riippumattomien normaalijakautuneiden satunnaismuuttujien (X 1,..., X n ) realisaatioita? Aineiston tunnuslukuja Keskiarvo m(x) = Otoskeskihajonta s(x) = Minimi min(x) = 15.1 Maksimi max(x) = 67.5 Histogrammi Histogrammi ei näytä normaalijakautuneelta. Voiko tämä johtua pienen otoksen satunnaisvaihtelusta?

44 Empiirinen kertymäfunktio x = ( ) Aineiston x empiirinen kertymäfunktio t F x (t) kertoo, millä tn aineistosta umpimähkään valittu luku on enintään t. F x (t) = lkm{k : x k t} n Glivenko Cantelli: Jos aineisto peräisin F :stä, niin F (X1,...,X n)(t) F (t) suurilla n.

45 Kolmogorovin Smirnovin testisuure x = ( ) Nollahypoteesi H 0 : Aineisto on peräisin jakaumasta F. H 0 :n pätiessä stokastisen mallin X = (X 1,..., X n ) testisuure D (X1,...,X n) = n max t R F (X 1,...,X n)(t) F (t) noudattaa likimain Kolmogorovin jakaumaa, kertymäfunktio H(t) = 1 2 ( 1) k 1 e 2k2 t 2, t 0. k=1 Suuret testisuureen arvot puoltavat H 0 :n hylkäämistä.

46 Empiirinen kertymäfinktio vs. normaalijakauma Kolmogorv Smirnovin testi R:llä, ks.test(x,"pnorm",mx,sx): testisuure: D = , p-arvo= nollahypoteesia aineisto on jakaumasta N(m(x), s 2 (x)) ei hylätä.

47 Kolmogorovin Smirnovin testi Testin avulla voi testata mitä tahansa muutakin jakaumaoletusta, kuin normaalisuutta. Testin nollahypoteesi väittää, että aineisto on jostakin tietystä jakaumasta, joten nollahypoteesi voi olla syytä hylätä paljon suuremmilla p-arvoilla kuin aiemmin käsitellyissä testeissä. Jos otos on pieni, niin nollahypoteesin hylkäämisen todennäköisyys on pieni, vaikka aineisto ei olisi likimainkaan nollahypoteesin mukaisesta jakaumasta. Erittäin suurilla otoksilla puolestaan todella pienetkin poikkeamat johtavat nollahypoteesin hylkäämiseen, joka ei myöskään ole aina toivottavaa.

48 Kertauskysymyksiä Mitä eroa on keskiarvolla ja odotusarvolla? Voiko aineiston yläkvartiili olla vähemmän kuin keskiarvo? Milloin keskeinen raja-arvolause toimii? Mikä on luottamusväli? Mikä on p-arvo? Voiko nollahypoteesi olla totta, vaikka p-arvo olisi pieni?

49 Miten tästä eteenpäin?

50 Stochastics and Statistics Courses MS-C2111 S TOKASTISET PROSESSIT MS-E1600 P ROBABILITY THEORY Periodi I, 5 op, tekn. kand. Luennoitsija: Lasse Leskelä Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A000X Matriisilaskenta MS-A020X Differentiaali- ja integraalilaskenta 2 Stokastisilla prosesseilla mallinnetaan tekniikan, talouden ja luonnontieteiden sovelluksissa esiintyviä ajasta riippuvia satunnaisilmiöitä. Tällä kurssilla opimme analysoimaan stokastisia populaatiomalleja Markov-prosessien avulla sekä ennakoimattomien tapahtumien esiintymistä Poisson-prosessien avulla. Lisäksi opimme analysoimaan yksinkertaisten uhkapelien sijoitusstrategioita martingaalien avulla. Tämän kurssin tiedot ovat tärkeitä useimmilla stokastiikan ja tilastotieteen jatkokursseilla. Period III, 5 cr, MSc Lecturer: Prerequisites: MS-C2103 KOESUUNNITTELU JA TILASTOLLISET MALLIT MS-C2128 E NNUSTAMINEN JA AIKASARJA - ANALYYSI la. Kurssin tavoitteena on oppia, kuinka aikasarjoja analysoidaan ja miten niiden avulla laaditaan ennusteita. Kurssi kattaa yleisimmät mallit, kuten ARIMA-mallit ja dynaamiset regressiomallit, mutta myös muita tulosten kannalta oleellisia asioita, kuten diagnostiikan ja mallin valinnan. Kurssilla käytetään R-ohjelmistoa. -Niels Bohr Jos tietyt matemaattiset oletukset täyttyvät, voidaan tehdä käyttökelpoisia ennusteita historiallisten aikasarja-aineistojen perusteel "Ennustaminen on vaikeaa, varsinkin tulevaisuuden" Date MS-E1601 B ROWNIAN MOTION AND STOCHASTIC ANALYSIS Period II, 5 cr, MSc Lecturer: Prerequisites: Lauri Viitasaari MS-E1600 Probability theory (MS-C2111 Stokastiset prosessit) This course introduces the foundations of stochastic analysis and stochastic integration with respect to a Brownian motion. The course starts with a construction of Brownian motion and analysis of its basic properties, and continues with the construction of Ito stochastic integral. We derive the Ito formula which is the equivalent of the fundamental theorem of calculus for stochastic integrals, and discuss its applications to mathematical finance. MS-E1996 M ULTIVARIATE LOCATION AND SCATTER Where is the data? How is it scattered? When dealing with multivariate observations, the very first questions that come to mind are: 20 Pauliina Ilmonen At least one matrix algebra and one MSc level statistics/probability course 5 Period II, 5 cr, MSc Lecturer: Prerequisites: Periodit III IV, 5 op, tekn. kand./di Luennoitsija: Heikki Seppälä Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi Kurssilla esitellään tavallisimpia koejärjestelyitä sekä menetelmiä tilastollisen analyysin tekemiseen. Tavoitteena on oppia valitsemaan sopiva koejärjestely tilastollisen testin toteuttami- seksi, suorittamaan testi ja analysoimaan tulokset. Kurssi kattaa regressioanalyysin perusteet, varianssianalyysin sekä valikoituja koejärjestelyitä, kuten lohkoasetelmat, faktorikokeet sekä vastepintamenetelmän. Kurssilla käytetään R-ohjelmistoa. 20 Tenor basis spread (bp) 40 Periodi II, 5 op, tekn. kand. Luennoitsija: Heikki Seppälä Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A020X Differentiaali- ja integraalilaskenta 2 (MS-C2111 Stokastiset prosessit) Kalle Kytölä MS-C1540 Euklidiset avaruudet This course is about the mathematical foundations of randomness. Most advanced topics in stochastics and statistics rely on probability theory. The basic constructions are identical to measure theory, but there are a number of distinctly probabilistic features such as independence, notions of convergence of random variables, information contained in a sigma-algebra, conditional expectation, characteristic functions and generating functions, laws of large numbers and central limit theorems, etc. These questions are discussed together with selected applications. This is an advanced course in statistics for MSc and doctoral students. Only 10 students are admitted to this course, so the lecturer ASAP to register. Topics include: M-estimates of location and scatter, MCD-estimates, spatial sign and rank based estimates, multivariate location tests, autocovariance matrices and applications, PCA using different location and scatter estimates, multivariate regression analysis based on spatial signs and ranks, scatter matrix based ICA, complex time series ICA, ICS and skewness and kurtosis. MS-C2104 T ILASTOLLISEN ANALYYSIN PERUSTEET Periodit III IV, 5 op, tekn. kand./di Luennoitsija: Pauliina Ilmonen Esitiedot: MS-A050X Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A000X Matriisilaskenta Kurssi on johdatus tietokoneavusteiseen tilastolliseen analyysiin ja tilastolliseen päättelyyn. Kurssin aiheita ovat estimointi ja väliestimointi, yksinkertaiset parametriset ja epäparametriset testit, tilastollinen riippuvuus ja korrelaatio, lineaarinen regressioanalyysi ja varianssianalyysi. Kurssilla käytetään R-ohjelmistoa. MS-E2112 M ULTIVARIATE STATISTICAL ANALYSIS Periods III IV, 5 cr, MSc Lecturer: Pauliina Ilmonen Prerequisites: At least one statistics/probability and one matrix algebra course This course is an introduction to multivariate statistical analysis. The goal is to learn basics of common multivariate data analy- sis techniques and to use the methods in practice. Software R is used in the exercises of this course. The topics of the course are multivariate location and scatter, principal component analysis, bivariate correspondence analysis, multivariate correspondence analysis, canonical correlation analysis, discriminant analysis, classification, and clustering. MS-E1602 L ARGE RANDOM SYSTEMS Period IV, 5 cr, MSc Lecturers: Lasse Leskelä and Kalle Kytölä Prerequisites MS-E1600 Probability theory, (MS-C2111 Stokastiset prosessit) Many interesting random systems contain a large number of simpler constituents interacting with each other. This course covers both mathematical techniques for the study of such systems, and important probabilistic models of a range of different phenomena. The theory focuses on tightness and weak convergence of probability measures. Examples include random walk and Brownian motion, percolation, Curie-Weiss model and Ising model, and voter model and contact process.

51 Kurssi päättyy tähän. Kiitoksia osallistumisesta ja onnea välikokeisiin!

52 Aineistolähteet Luentokalvot pohjautuvat osittain kurssin edellisten vuosien (Ilkka Mellin, Milla Kibble, Juuso Liesiö) luentokalvoihin.