Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Koko: px
Aloita esitys sivulta:

Download "Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio"

Transkriptio

1 Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen

2 Sisältö lineaarinen lineaarinen

3 lineaarinen

4 Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n ), pareja (x, y). Oletetaan, että arvot y i ovat muuttujan y satunnaisia havaittuja arvoja ja oletetaan, että arvot x i ovat muuttujan x p-ulotteisia ei-satunnaisia havaittuja arvoja. (Oletamme siis, että x i on p-ulotteinen vektori.) Oletetaan, että p < n. Oletetaan, että muuttujan y arvot riippuvat muuttujan x arvoista lineaarisesti. voidaan nyt esittää seuraavalla tavoin. y i = b 0 + b T x i + ε i, i 1,..., n, missä kertoimet b 0 ja b = (b 1,..., b p ) T ovat tuntemattomia vakioita ja virhetermien (jäännöstermien) ε i odotusarvo E[ε i ] = 0. Malli voidaan esittää myös muodossa lineaarinen y i = b 0 + b 1 (x i ) 1 + b 2 (x i ) b p (x i ) p + ε i, i 1,..., n.

5 Lineaarinen, yleiset oletukset Lineaarisia malleja käytettäessä tehdään yleensä seuraavat yleiset oletukset. Vektorimuuttujan x arvot x i on mitattu virheettömästi. Arvot (x i ) s, (x i ) k, s k ovat toisistaan riippumattomia. Virhetermit ovat riippumattomia muuttujan x arvoista. Virhetermit ovat samoin jakautuneita. Virhetermien odotusarvo E[ε i ] = 0, kaikilla i 1,..., n. Virhetermit ovat homoskedastisia eli niillä on kaikilla sama varianssi E[ε 2 i ] = σ2. Virhetermit ovat korreloimattomia eli ρ(ε i, ε j ) = 0, i j. lineaarinen

6 Lineaarinen Kun edellä esitetyt yleiset oletukset pätevät, niin muuttujalla y on seuraavat ominaisuudet. Odotusarvo E[y i ] = b 0 + b T x i i 1,..., n, Varianssi var(y i ) = var(ε i ) = σ 2. Korrelaatiokerroin ρ(y i, y j ) = 0, i j. lineaarinen

7 lineaarinen

8 Lineaarisen n y i = b 0 + b T x i + ε i, i 1,..., n, lineaarinen parametrit ovat kertoimet b 0 ja b = (b 1,..., b p ) T ja jäännöstermien varianssi E[ε 2 i ] = σ2. Nämä parametrit ovat yleensä tuntemattomia ja ne halutaan estimoida havainnoista.

9 Oletuksen E[ε i ] = 0, kaikilla i 1,..., n pätiessä lineaarinen voidaan esittää muodossa y i = E[y i ] + ε i, i 1,..., n, lineaarinen missä E[y i ] = b 0 + b T x i on n ns. systemaattinen osa ja ε i on n satunnainen osa.

10 Regressiotaso Lineaarisen n systemaattinen osa määrittää tason E[y i ] = b 0 + b T x i lineaarinen y = b 0 + b T x. Virhetermien varianssi E[ε 2 i ] = σ2 kuvaa havaintopisteiden vaihtelua tason ympärillä.

11 lineaarinen Lineaarisessa analyysissä tavoitteena on etsiä kertoimille b 0 ja b = (b 1,..., b p ) T sellaiset estimaatit, että niiden määräämä taso selittäisi mahdollisimman hyvin selitettävän muuttujan arvojen vaihtelun.

12 Pienimmän neliösumman menetelmä Olkoon β = (b 0, b 1,..., b p ) T, olkoon X n (p + 1) datamatriisi, jonka ensimmäinen sarake koostuu luvuista 1 ja sarakkeet 2 p + 1 havainnoista x i ja olkoon Y n 1 datavektori, joka koostuu havainnoista y i. Nyt kertoimille b 0 ja b = (b 1,..., b p ) T voidaan käyttää estimaattia ˆβ = (ˆb 0, ˆb 1,..., ˆb p ) T = (X T X) 1 X T Y. lineaarinen Tämä estimaatti minimoi jäännöstermien neliösumman n ε 2 i = i=1 n (y i b 0 b T x i ) 2 i=1 kertoimien b 0 ja b = (b 1,..., b p ) T suhteen.

13 Käänteismatriisin olemassaolo Edellä oletimme, että matriisilla X T X on käänteismatriisi. Jos näin ei ole, niin jotkin selittävistä muuttujista riippuvat toisistaan lineaarisesti (täydellisesti). Tällöin osa muuttujista voidaan jättää pois ilman, että mitään informaatiota menetetään. lineaarinen

14 lineaarinen Pienimmän neliösumman estimaatti määrittää nyt estimoidun tason ŷ = ˆb 0 + ˆb T x.

15 Sovitteet ja residuaalit Muuttujan y i sovite havaintopisteessä x i on ŷ i = ˆb 0 + ˆb T x i, i 1,..., n. Estimoidun n residuaali ˆε i on selitettävän muuttujan y havaitun arvon y i ja sovitteen ŷ i antaman arvon erotus ˆε i = y i ŷ i, i 1,..., n. lineaarinen Huomaa että y i = ŷ i + ˆε i, i 1,..., n. Regressio selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä lähempänä sovitteet ovat selitettävän muuttujan havaittuja arvoja. Toisin sanoen, selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun n residuaalit.

16 Jäännösvarianssin estimointi Jos lineaarisen n yleiset oletukset pätevät, niin jäännösvarianssin var(ε i ) = σ 2 harhaton estimaatti on var(ˆε) = 1 n p 1 n ˆε 2 i. i=1 lineaarinen (Oheisessa kaavassa otoskoosta n vähennetään estimoitujen parametrien (b 0, b 1,..., b p ) lukumäärä.) Jäännösvarianssin estimaatti kuvaa havaintopisteiden vaihtelua estimoidun tason ympärillä.

17 Varianssihajotelma Kokonaisneliösumma SST (total sum of squares) n (y i ȳ) 2 i=1 kuvaa selitettävän muuttujan y havaittujen arvojen y i kokonaisvaihtelua. Jäännösneliösumma SSE (sum of squares of errors) n (ˆε i ) 2 i=1 kuvaa residuaalien ˆε i vaihtelua. Mallineliösumma SSM (model sum of squares) n (ŷ i ȳ) 2 i=1 kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka lineaarinen on selittää. lineaarinen

18 Selitysaste Selitysaste R 2 = 1 SSE SST = SSM SST mittaa n selittämää osuutta selitettävän muuttujan havaittujen arvojen kokonaisvaihtelusta. Selitysasteelle pätee 0 R 2 1. lineaarinen Selitysaste ilmaistaan tavallisesti prosentteina 100R 2 %.

19 Numeerinen esimerkki usean selittävän muuttujan lineaarisesta sta lineaarinen Kallen keksifirman salaisessa laboratoriossa valmistetaan uudenlaista keksiä firman hittituotteeksi: Kallen superherkkumakuelämysnomparelli-suklaahippukeksejä. Salaisessa laboratoriossa tutkitaan nomparellien ja suklaahippujen määrän vaikutusta keksin massaan.

20 Nomparelli Suklaahippu Massa lineaarinen Taulukko: Nomparellien ja suklaahippujen määrä ja mitattu keksin massa.

21 Regressiokertoimien (b 0, b 1, b 2 ) T estimaattit, jotka minimoivat jäännöstermien neliösumman, saadaan matriisien X = ja Y = lineaarinen avulla. Estimaatit (ˆb 0, ˆb 1, ˆb 2 ) T = (X T X) 1 X T Y = ( , , ) T Estimaattien avulla voidaan laskea massalle sovite ŷ i = ˆb 0 + ˆb T x i ja laskea residuaalit ˆε i = y i ŷ i

22 Nomparelli Suklaahippu Massa Sovite Residuaali lineaarinen Taulukko: Nomparellien ja sulkaahippujenmäärän vaikutus massaan. Taulukossa myös sovitteen sekä residuaalien arvot.

23 Massojen keskiarvo ȳ = 26.6 ja kokonaisneliösumma n SST = (y i ȳ) = i=1 Jännösneliösumma SSE = ja neliösumma 10 i=1 10 i 1 (y i 26.6) 2 = (ˆε i ) 2 = lineaarinen SSM = n (ŷ i ȳ) 2 = i=1 10 i=1 (ŷ i 26.6) 2 = Selitysaste on näin ollen R 2 = SSM SST = = = 93.67%

24 lineaarinen lineaarinen

25 lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n ), pareja (x, y). Oletetaan, että arvot y i ovat muuttujan y q-ulotteisia satunnaisia havaittuja arvoja ja oletetaan, että arvot x i ovat muuttujan x p-ulotteisia ei-satunnaisia havaittuja arvoja. (Oletamme siis, että y i on q-ulotteinen vektori ja että x i on p-ulotteinen vektori.) Oletetaan, että p < n. Oletetaan, että muuttujan y arvot riippuvat muuttujan x arvoista lineaarisesti. lineaarinen voidaan nyt esittää seuraavalla tavoin. lineaarinen y i = b o + B T x i + ε i, i 1,..., n, missä q 1 vektorin b 0 ja p q matriisin B alkiot ovat tuntemattomia vakioita ja virhetermien ε i odotusarvo E[ε i ] = 0.

26 Lineaarinen, yleiset oletukset Lineaarisia malleja käytettäessä tehdään yleensä seuraavat yleiset oletukset. Vektorimuuttujan x arvot x i on mitattu virheettömästi. Arvot (x i ) s, (x i ) k, s k ovat toisistaan riippumattomia. Virhetermit ovat riippumattomia muuttujan x arvoista. Virhetermit ovat samoin jakautuneita. Virhetermien odotusarvo E[ε i ] = 0, kaikilla i 1,..., n. Virhetermeillä on kaikilla sama kovarianssimatriisi E[ε i ε T i ] = Σ. Virhetermeille pätee ρ((ε i ) k, (ε j ) k ) = 0, kaikilla k ja kaikilla i j. lineaarinen

27 Yleistetty pienimmän neliösumman menetelmä Olkoon β = [b 0, B T ] T, olkoon X n (p + 1) datamatriisi, jonka ensimmäinen sarake koostuu luvuista 1 ja sarakkeet 2 p + 1 havainnoista x i ja olkoon Y n q datamatriisi, joka koostuu havainnoista y i. Nyt parametreille b 0 ja B voidaan käyttää estimaattia lineaarinen ˆβ = [ˆb 0, ˆB T ] T = (X T X) 1 X T Y.

28 Sovitteet ja residuaalit Muuttujan y i sovite havaintopisteessä x i on ŷ i = ˆb 0 + ˆB T x i, i 1,..., n. Sovitteet voidaan esittää myös matriisimuodossa Ŷ = X ˆβ. lineaarinen Estimoidun n residuaali ˆε i on selitettävän muuttujan y havaitun arvon y i ja sovitteen ŷ i antaman arvon erotus ˆε i = y i ŷ i, i 1,..., n. Huomaa, että y i = ŷ i + ˆε i, i 1,..., n.

29 Selitysaste Olkoon Y n q datamatriisi, joka koostuu keskistetyistä havainnoista y i. (Tällöin siis alkuperäisistä havainnoista on vähennetty niiden keskiarvo.) Olkoon X n (p + 1) datamatriisi, jonka ensimmäinen sarake koostuu luvuista 1 ja sarakkeet 2 p + 1 havainnoista x i ja olkoon ˆβ keskistetylle aineistolle laskettu kerroinmatriisi. Olkoon Ŷ = X ˆβ, lineaarinen ja olkoon Ê = Y X ˆβ D = (Y T Y ) 1 Ê T Ê. T Selvästi matriisi Ê Ê vaihtelee nollamatriisin, jolloin kaikki Y :n vaihtelu selittyy lla, ja matriisin Y T Y, jolloin X ei selitä Y :n vaihtelua lainkaan, välillä.

30 Jälkikorrelaatio ja determinanttikorrelaatio Olisi mukavaa, että myös moniulotteisen selitysasteen arvo vaihtelisi välillä [0, 1]. Tämä toivottu ominaisuus toteutuu, kun käytetään selitysasteen mittana jälkikorrelaatiota (trace correlation) r T tai determinanttikorrelaatiota (determinant correlation) r D : rt 2 = 1 tr(i D), p lineaarinen r 2 D = det(i D). Huomaa, että kerroin r D on nolla jos ja vain jos ainakin yksi matriisin I D ominaisarvoista on nolla, ja r T on nolla jos ja vain jos kaikki matriisin I D ominaisarvot ovat nollia.

31 Testit ja luottamusvälit Kuten yhden selittävän muuttujan analyysissä, voidaan myös usean selittävän muuttujan analyysissä ja moniulotteisessa analyysissä konstruoida testejä ja luottamusvälejä parametreille. Muuttujan y arvoa ja odotusarvoa ennustetaan kuten yhden selittävän muuttujan analyysissä ja myös näille ennusteille voidaan konstruoida luottamusvälejä. lineaarinen

32 lineaarinen

33 muuttujan analyysissä ja moniulotteisessa analyysissä selittävien muuttujien oletetaan olevan toisistaan riippumattomia. Aivan täydellistä riippumattomuutta ei useinkaan käytännössä kyetä saavuttamaan, jos in halutaan valita useampia kuin yksi selittävä muuttuja. Selittävät muuttujat eivät kuitenkaan saa riippua toisistaan lineaarisesti kovin voimakkaasti. Multikollineaarisuus tekee sta epävakaan ja estää yksittäisten muuttujien muutoksen vaikutuksen tarkastelun. lineaarinen

34 VIF-kerroin Selittävien muuttujien multikollineaarisuutta voidaan mitata VIF-kertoimen avulla (VIF - variance inflation factor). Selittävälle muuttujalle (x i ) k VIF-kerroin määritellään seuraavasti: 1 VIF k = 1 Rk 2, missä Rk 2 on sellaisen lineaarisen n selitysaste, jossa muuttuja (x i ) k on selitettävä muuttuja ja loput (x i ) s ovat selittäviä muuttujia. VIF-kerroin määritetään siis erikseen jokaiselle selittävälle muuttujalle (x i ) k. Jos muuttuja (x i ) k on riippumaton muista selittävistä muuttujista, niin VIF-kerroin on 1. Jos VIF-kerroin on suurempi tai yhtäsuuri kuin 10, niin sitä pidetään jo voimakkaana merkkinä multikollineaarisuudesta. lineaarinen

35 muuttujan ssa ja moniulotteisessa ssa selittävät muuttujat pyritään valitsemaan siten, että n selitysaste on mahdollisimman korkea ja selittävät muuttujat ovat mahdollisimman riippumattomia toisistaan. Muuttujien valinnassa voidaan käyttää apuna VIF-kertoimia (tai jotakin muuta riippuvuuden mittaa). Muuttujia voidaan lisätä tai vähentää yksi kerrallaan ja seurata selitysasteen ja VIF-kertoimien muutosta. lineaarinen

36 Numeerinen esimerkki VIF-kertoimelle. Selvitetään ovatko edellisen esimerkin nomparellien määrä ja suklaahippujen määrä multikollineaarisia VIF-kertoimen avulla. Esimerkin aineisto löytyyy edellä olevasta taulukosta. Nomparelli Suklaahippu lineaarinen Taulukko: Nomparellien ja sulkaahippujen määrä.

37 Selitysastetta varten tarvitaan otoskeskihajonnat nomparellien määrälle s x = ja suklaahippujen määrälle s y = , otoskeskiarvot x = 11.8 ja ȳ = 7.9 sekä otoskorrelaatiokerroin ˆρ(x, y) = Sovite ŷ i = ȳ+ˆρ(x, y) s y s x (x i x) = 7.8+( ) (x i 11.8) Näin kokonaismeliösummaksi SST = 133, jäännösneliösummaksi SSE = ja neliösummaksi SSM = Selitysasteeksi saadaan ja VIF-kertoimeksi R 2 = SSM SST = = VIF = 1 1 R 2 = = Nomparellien ja sulkaahippujen määrät näyttäisivät riippuvan toisistaan! lineaarinen

38 lineaarinen

39 - vielä kerran Regressioa ei pidä käyttää ennustamiseen muuttujan x havaitun arvojoukon ulkopuolella. Häntäkäyttäytyminen voi poiketa yleisestä! Edellä kuvattu menetelmä ei sovellu tilanteeseen, jossa muuttujien x ja y välillä on ei-lineaarinen yhteys. Pienimmän neliösumman menetelmä (l 2 ) on hyvin herkkä poikkeaville havainnoille. lineaarinen

40 K. V. Mardia, J. T. Kent, J. M. Bibby: Multivariate Analysis, Academic Press 2003 (reprint of 1979). J. S. Milton, J. C. Arnold: Introduction to Probability and Statistics, McGraw-Hill Inc R. V. Hogg, J. W. McKean, A. T. Craig: Introduction to Mathematical Statistics, Pearson Education P. Laininen: Todennäköisyys ja sen tilastollinen soveltaminen, Otatieto 1998, numero 586. I. Mellin: Tilastolliset menetelmät, lineaarinen

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla

Lisätiedot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),

Lisätiedot

Regressioanalyysi. Kuusinen/Heliövaara 1

Regressioanalyysi. Kuusinen/Heliövaara 1 Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin

Lisätiedot

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1 Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen

Lisätiedot

Johdatus regressioanalyysiin. Heliövaara 1

Johdatus regressioanalyysiin. Heliövaara 1 Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen

Lisätiedot

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta

Lisätiedot

Harjoitus 9: Excel - Tilastollinen analyysi

Harjoitus 9: Excel - Tilastollinen analyysi Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli

Lisätiedot

Tilastollisen analyysin perusteet Luento 4: Testi suhteelliselle osuudelle

Tilastollisen analyysin perusteet Luento 4: Testi suhteelliselle osuudelle Tilastollisen analyysin perusteet Luento 4: Sisältö Testiä suhteelliselle voidaan käyttää esimerkiksi tilanteessa, jossa tarkastellaan viallisten tuotteiden osuutta tuotantoprosessissa. Tilanne palautuu

Lisätiedot

Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle

Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle - Sisältö - - - Varianssianalyysi Varianssianalyysissä (ANOVA) testataan oletusta normaalijakautuneiden otosten odotusarvojen

Lisätiedot

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme

Lisätiedot

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja

Lisätiedot

2. Teoriaharjoitukset

2. Teoriaharjoitukset 2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien

Lisätiedot

Yleinen lineaarinen malli

Yleinen lineaarinen malli MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2

Lisätiedot

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

Kaksisuuntainen varianssianalyysi. Heliövaara 1

Kaksisuuntainen varianssianalyysi. Heliövaara 1 Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän

Lisätiedot

Yleistetyistä lineaarisista malleista

Yleistetyistä lineaarisista malleista Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen

Lisätiedot

Tilastollisen analyysin perusteet Luento 3: Epäparametriset tilastolliset testit

Tilastollisen analyysin perusteet Luento 3: Epäparametriset tilastolliset testit Tilastollisen analyysin perusteet Luento 3: Epäparametriset tilastolliset testit s t ja t kahden Sisältö t ja t t ja t kahden kahden t ja t kahden t ja t Tällä luennolla käsitellään epäparametrisia eli

Lisätiedot

Korrelaatiokertoinen määrittely 165

Korrelaatiokertoinen määrittely 165 kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x

Lisätiedot

Tilastollisen analyysin perusteet Luento 5: Jakaumaoletuksien. testaaminen

Tilastollisen analyysin perusteet Luento 5: Jakaumaoletuksien. testaaminen Tilastollisen analyysin perusteet Luento 5: Sisältö Tilastotieteessä tehdään usein oletuksia havaintojen jakaumasta. Useat tilastolliset menetelmät toimivat tehottomasti tai jopa virheellisesti, jos jakaumaoletukset

Lisätiedot

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept

Lisätiedot

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1 Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu

Lisätiedot

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.104 Tilastollisen analyysin erusteet, kevät 007 Regressiomallin (selittäjien valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-2.2104 Tilastollisen analyysin erusteet, kevät 2007 10. luento: Regressiomallin (selittäjien) valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen

Lisätiedot

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi

Lisätiedot

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin

Lisätiedot

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n =

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n = 1. Tutkitaan paperin ominaispainon X(kg/dm 3 ) ja puhkaisulujuuden Y (m 2 ) välistä korrelaatiota. Tiettyä laatua olevasta paperierästä on otettu satunnaisesti 10 arkkia ja määritetty jokaisesta arkista

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien

Lisätiedot

Todennäköisyyden ominaisuuksia

Todennäköisyyden ominaisuuksia Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset

Lisätiedot

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾ ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos

Lisätiedot

Vastepintamenetelmä. Kuusinen/Heliövaara 1

Vastepintamenetelmä. Kuusinen/Heliövaara 1 Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,

Lisätiedot

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1 Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että

Lisätiedot

Yhden selittäjän lineaarinen regressiomalli

Yhden selittäjän lineaarinen regressiomalli Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007) Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit

Lisätiedot

Lohkoasetelmat. Heliövaara 1

Lohkoasetelmat. Heliövaara 1 Lohkoasetelmat Heliövaara 1 Kiusatekijä Kaikissa kokeissa, kokeen tuloksiin voi vaikuttaa vaihtelu joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla mahdollisesti on vaikutusta vastemuuttujan arvoon,

Lisätiedot

Harha mallin arvioinnissa

Harha mallin arvioinnissa Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, kesä 2016 Laskuharjoitus 5, Kotitehtävien palautus laskuharjoitusten

Lisätiedot

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä

Lisätiedot

Lohkoasetelmat. Kuusinen/Heliövaara 1

Lohkoasetelmat. Kuusinen/Heliövaara 1 Lohkoasetelmat Kuusinen/Heliövaara 1 Kiusatekijä Kaikissa kokeissa kokeen tuloksiin voi vaikuttaa vaihtelu, joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla on mahdollisesti vaikutusta vastemuuttujan

Lisätiedot

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen

Lisätiedot

Johdatus regressioanalyysiin

Johdatus regressioanalyysiin Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21

Lisätiedot

Väliestimointi (jatkoa) Heliövaara 1

Väliestimointi (jatkoa) Heliövaara 1 Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo

Lisätiedot

Harjoitus 3: Regressiomallit (Matlab)

Harjoitus 3: Regressiomallit (Matlab) Harjoitus 3: Regressiomallit (Matlab) SCI-C0200 Fysiikan ja matematiikan menetelmien studio SCI-C0200 Fysiikan ja matematiikan menetelmien studio 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka

Lisätiedot

Estimointi. Vilkkumaa / Kuusinen 1

Estimointi. Vilkkumaa / Kuusinen 1 Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman

Lisätiedot

Lineaarialgebra, kertausta aiheita

Lineaarialgebra, kertausta aiheita Lineaarialgebra, kertausta aiheita Matriisitulo käänteismatriisi determinantin kehittäminen determinantin ominaisuudet adjungaatti ja Cramerin kaavat yhtälöryhmän eri esitystavat Gauss-Jordan -algoritmi

Lisätiedot

1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO

1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Usean selittäjän lineaarinen regressiomalli Estimaatti, Estimaattori, Estimointi, Jäännösneliösumma, Jäännöstermi, Jäännösvarianssi,

Lisätiedot

Tilastollinen aineisto Luottamusväli

Tilastollinen aineisto Luottamusväli Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden

Lisätiedot

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1 Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n

Lisätiedot

Regressiodiagnostiikka ja regressiomallin valinta

Regressiodiagnostiikka ja regressiomallin valinta Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy

Lisätiedot

Talousmatematiikan perusteet: Luento 10. Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi

Talousmatematiikan perusteet: Luento 10. Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi Talousmatematiikan perusteet: Luento 10 Lineaarikuvaus Matriisin aste Determinantti Käänteismatriisi Lineaarikuvaus Esim. Yritys tekee elintarviketeollisuuden käyttämää puolivalmistetta, jossa käytetään

Lisätiedot

Inversio-ongelmien laskennallinen peruskurssi Luento 2

Inversio-ongelmien laskennallinen peruskurssi Luento 2 Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +

Lisätiedot

Regressiodiagnostiikka ja regressiomallin valinta

Regressiodiagnostiikka ja regressiomallin valinta Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015

Lisätiedot

Harjoitus 3: Regressiomallit (Matlab)

Harjoitus 3: Regressiomallit (Matlab) Harjoitus 3: Regressiomallit (Matlab) MS-C2107 Sovelletun matematiikan tietokonetyöt MS-C2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä mallin sovittamisessa

Lisätiedot

Inversio-ongelmien laskennallinen peruskurssi Luento 4

Inversio-ongelmien laskennallinen peruskurssi Luento 4 Inversio-ongelmien laskennallinen peruskurssi Luento 4 Kevät 20 Regularisointi Eräs keino yrittää ratkaista (likimääräisesti) huonosti asetettuja ongelmia on regularisaatio. Regularisoinnissa ongelmaa

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0. Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +

Lisätiedot

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1 Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin

Lisätiedot

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Yksisuuntainen varianssianalyysi Bartlettin testi, Bonferronin menetelmä, F-testi, Jäännösneliösumma, χ 2 -testi, Kokonaiskeskiarvo,

Lisätiedot

2. Tietokoneharjoitukset

2. Tietokoneharjoitukset 2. Tietokoneharjoitukset Demotehtävät 2.1 Jatkoa kotitehtävälle. a) Piirrä aineistosta pistediagrammi (KULUTUS, SAIRAST) ja siihen estimoitu regressiosuora. KULUTUS on selitettävä muuttuja. b) Määrää estimoidusta

Lisätiedot

MS-C1340 Lineaarialgebra ja

MS-C1340 Lineaarialgebra ja MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto PNS-ongelma PNS-ongelma

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma

Lisätiedot

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾. 24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ

Lisätiedot

Kaksisuuntaisen varianssianalyysin tilastollisessa malli voidaan esittää seuraavassa muodossa:

Kaksisuuntaisen varianssianalyysin tilastollisessa malli voidaan esittää seuraavassa muodossa: Mat-.03 Koesuunnittelu ja tilastolliset mallit Mat-.03 Koesuunnittelu ja tilastolliset mallit / Ratkaisut Aiheet: Avainsanat: Kaksisuuntainen varianssianalsi Aritmeettinen keskiarvo, Estimointi, F-testi,

Lisätiedot

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme? TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35 Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen

Lisätiedot

Simuloinnin strategisia kysymyksiä

Simuloinnin strategisia kysymyksiä Simuloinnin strategisia kysymyksiä Timo Tiihonen Tietotekniikan laitos 2010 Simuloinnin strategisia kysymyksiä Miten toimitaan, kun halutaan tietää enemmän kuin yhden simulointimallin tulos. Miten tulos

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 6: 1 Kalmanin suodatin Aiemmin käsitellyt

Lisätiedot

tilastotieteen kertaus

tilastotieteen kertaus tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla

Lisätiedot

6. Tietokoneharjoitukset

6. Tietokoneharjoitukset 6. Tietokoneharjoitukset 6.1 Tiedostossa Const.txt on eräällä Yhdysvaltalaisella asuinalueella aloitettujen rakennusurakoiden määrä kuukausittain, aikavälillä 1966-1974. Urakoiden määrä on skaalattu asuinalueen

Lisätiedot

Harjoitusten 5 vastaukset

Harjoitusten 5 vastaukset Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin

Lisätiedot

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Tilastollinen testaus. Vilkkumaa / Kuusinen 1 Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää

Lisätiedot

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio. Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi

Lisätiedot

54. Tehdään yhden selittäjän lineaarinen regressioanalyysi, kun selittäjänä on määrällinen muuttuja (ja selitettävä myös):

54. Tehdään yhden selittäjän lineaarinen regressioanalyysi, kun selittäjänä on määrällinen muuttuja (ja selitettävä myös): Tilastollinen tietojenkäsittely / SPSS Harjoitus 5 Tarkastellaan ensin aineistoa KUNNAT. Kyseessähän on siis kokonaistutkimusaineisto, joten tilastollisia testejä ja niiden merkitsevyystarkasteluja ei

Lisätiedot

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos: 8 Kanta Tässä luvussa tarkastellaan aliavaruuden virittäjävektoreita, jotka muodostavat lineaarisesti riippumattoman jonon. Merkintöjen helpottamiseksi oletetaan luvussa koko ajan, että W on vektoreiden

Lisätiedot

Aki Taanila YHDEN SELITTÄJÄN REGRESSIO

Aki Taanila YHDEN SELITTÄJÄN REGRESSIO Aki Taanila YHDEN SELITTÄJÄN REGRESSIO 26.4.2011 SISÄLLYS JOHDANTO... 1 LINEAARINEN MALLI... 1 Selityskerroin... 3 Excelin funktioita... 4 EKSPONENTIAALINEN MALLI... 4 MALLIN KÄYTTÄMINEN ENNUSTAMISEEN...

Lisätiedot

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH 8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH Osa aikasarjoista kehittyy hyvin erityyppisesti erilaisissa tilanteissa. Esimerkiksi pörssikurssien epävakaus keskittyy usein lyhyisiin

Lisätiedot