2. Teoriaharjoitukset
|
|
- Tuomas Hovinen
- 10 kuukautta sitten
- Katselukertoja:
Transkriptio
1 2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien normaalisuusoletusta. Gauss- Markovin lauseen perusteella regressiokertoimien PNS-estimaattori b = (X T X) 1 X T y, on paras lineaarinen estimaattori, harhattomien estimaattoreiden joukossa. Kansainvälisessä kirjallisuudessa esiintyy usein termi BLUE (Best Linear Unbiased Estimator). Tässä asiayhteydessä parhaalla estimaattorilla tarkoitetaan pienimmän varianssin omaava estimaattoria. Olkoon b jokin lineaarinen regressiokertoimien harhaton estimaattori. Tällöin Gauss-Markovin lauseen todistamiseksi tulee näyttää Cov(b ) Cov(b) olevan positiivisesti semidefiniitti kaikille lineaarisille regressiokertoimien harhattomille estimaattoreille b. Harjoitustehtävän 1.3 perusteella b on harhaton estimaattori ja Merkitään Cov(b) = σ 2 (X T X) 1. b = Cy = (D + (X T X) 1 X T )y, missä C = D + (X T X) 1 X T on ei-satunnainen matriisi kokoa (k + 1) n ja D on jokin ei-satunnainen matriisi. Estimaattorin b harhattomuudesta saadaan E(b ) = E ( D + (X T X) 1 X T )y ) = E (( D + (X T X) 1 X T ) (Xβ + ε) ) = E(D(Xβ + ε)) + E(β) = DXβ + β = (DX + I)β, mistä nähdään että DX = 0. Huomaa että Cov(y) = σ 2 I (harjoitustehtävä 1.1), missä σ 2 on virhetermien varianssi. Kovarianssimatriisiksi saadaan ( ) Cov(b ) = E (b E(b )) (b E(b )) T = E ((Cy ) E(Cy)) (Cy E(Cy)) T ) = E (C (y E(y)) (y E(y)) T C T = CCov(y)C T = σ 2 CC T = σ 2 ( D + (X T X) 1 X T ) ( D + (X T X) 1 X T ) T = σ 2 ( DD T + DX(X T X) 1 + (X T X) 1 X T D T + (X T X) 1) = σ 2 DD T + σ 2 (X T X) 1 = σ 2 DD T + Cov(b). Kovarianssimatriisien erotukseksi saadaan Cov(b ) Cov(b) = σ 2 DD T, 1 / 6
2 joka on positiivisesti semidefiniitti matriisi, sillä DD T on symmetrinen ja a T (DD T )a = b T b = b 2 2 0, missä b = D T a ja 2 on tavanomainen l 2 -vektorinormi. 2.2 Olkoon y = Xβ + ε, X R n (k+1) tavanomaiset oletukset toteuttava yleinen lineaarinen malli, jonka regressiokertoimien vektoria β sitoo lineaarinen rajoitus Rβ = r, jossa R on täysiasteinen m (k + 1)-matriisi, m < k + 1. Johda regressiokertoimien vektorin β rajoitettu PNS-estimaattori ja näytä että se on parempi kuin tavanomainen PNS-estimaattiori Gauss-Markovin lauseen mielessä. Vihje: Käytä Lagrangen menetelmää minimin määräämiseen ja huomaa, että k + 1 m n = muutujien lkm = rajoitteiden lkm = havaintojen lkm Ratkaisu. Oletetaan, että y = Xβ + ε, X R n (k+1) on standardioletukset toteuttava yleinen lineaarinen malli, jonka regressiokertoimien vektoria β sitoo lineaarinen rajoitus Rβ = r, missä R on täysiasteinen m (k+1)-matriisi, m < k+1. Oletetaan lisäksi että k+1 < n, eli toisin sanoen että havaintoja on enemmän kuin muuttujia. Minimoidaan neliösumma ε T ε = (y Xβ) T (y Xβ) ehdolla Muodostetaan minimoitava funktio Rβ = r. f(β, λ) = (y Xβ) T (y Xβ) + 2λ T (Rβ r) = y T y 2y T Xβ + β T X T Xβ + 2λ T Rβ 2λ T r, 2 / 6
3 missä 2λ on Lagrangen kertoimien muodostama (k + 1)-vektori (kerroin 2 on mukana mukavuussyistä). Huomaa että, β T X T y ja y T Xβ ovat skalaareja, jolloin pätee y T Xβ = β T X T y. Derivoidaan funktio f(β, λ) sekä muuttujan β että kerroinvektorin λ suhteen ja merkitään derivaatat nolliksi (tarvittaessa kertaa viikon 1 teoriaharjoituksista matriisien derivoiminen): f(β, λ) = 2y T X + 2β T X T X + 2λ T R = 0, β (1) f(β, λ) = 2β T R T 2r T = 0. λ (2) Yhtälöt (1) ja (2) muodostavat yhtälösysteemin, jossa tuntemattomia ovat vektorit β ja λ. Huomaa että yhtälöt ovat vaakavektori-muodossa ja voidaan halutessa transponoida. Kerrotaan yhtälöä (1) oikealta matriisilla (X T X) 1 R T (ja luvulla -1/2), jolloin saadaan: y T X(X T X) 1 R T β T R T = λ T R(X T X) 1 R T. (3) Matriisin R(X T X) 1 R T voidaan näyttää olevan täysiasteinen m m -matriisi seuraavien teoreemien avulla, jotka löytyvät esimerkiksi Matrix Analysis (Horn & Johnson, 1985) kirjasta sivulta 13. (i) Jos A R m n, niin rank(a T A) = rank(a). (ii) Jos A R m k ja B R k n, niin rank(a) + rank(b) k rank(ab) min (rank(a), rank(b)). Huomaa lisäksi että kääntyvän matriisin A asteluku on sama kuin A 1 asteluku. Oletuksesta m < k + 1 < n ja teoreemasta (i) seuraa että rank((x T X) 1 ) = k + 1 ja rank(r) = rank(r T ) = m. Merkitään X = (X T X) 1 ja käytetään teoreemaa (ii) kahdesti ja saadaan seuraavat epäyhtälöt rank(r) + rank( X) (k 1) rank(r X) min(rank( X), rank(r)) m rank(r X) m ja rank(r X) + rank(r T ) m rank(r XR T ) min(rank(r X), rank(r T )) m rank(r XR T ) m, joista seuraa että R(X T X) 1 R T on täysiasteinen (astetta m) eli kääntyvä matriisi. Käytetään yhtälöä 2 ja ratkaistaan vektori λ yhtälöstä 3: λ T = (y T X(X T X) 1 R T β T R T )(R(X T X) 1 R T ) 1 = (b T R T r T )(R(X T X) 1 R T ) 1, missä b = (X T X) 1 X T y 3 / 6
4 on tavanomainen PNS-estimaattori vektorille β. Sijoitetaan ratkaistu vektori λ T yhtälöön (1), jolloin saadaan yhtälö y T X + β T X T X + (b T R T r T )(R(X T X) 1 R T ) 1 R = 0 Ratkaisemalla β tästä yhtälöstä saadaan regressiokertimien vektorin β rajoitettu PNSestimaattori: b T R = y T X(X T X) 1 (b T R T r T )(R(X T X) 1 R T ) 1 R(X T X) 1 = b T (b T R T r T )(R(X T X) 1 R T ) 1 R(X T X) 1 b R = b (X T X) 1 R T (R(X T X) 1 R T ) 1 (Rb r) Rajoitetulla PNS-estimaattorilla b R on seuraavat ominaisuudet: i) Rajoitettu PNS-estimaattori b R on rajoitusten Rβ = r pätiessä regressiokertoimien β harhaton estimaattori: E(b R ) = E ( b (X T X) 1 R T (R(X T X) 1 R T ) 1 (Rb r) ) = E(b) (X T X) 1 R T (R(X T X) 1 R T ) 1 (RE(b) r) = β (X T X) 1 R T (R(X T X) 1 R T ) 1 (Rβ r) = β Huomaa, että kaava (ABC) 1 = C 1 B 1 A 1 ei päde yhtälöön (R(X T X) 1 R T ) 1, sillä R ei ole neliömatriisi! ii) Johdetaan rajoitetun PNS-estimaattorin b R kovarianssimatriisi, kun virhetermin ε varianssi on σ 2. Huomataan että b = (X T X) 1 X T y = (X T X) 1 X T (Xβ + ε) = β + (X T X) 1 X T ε, ja että r = Rβ, jolloin saadaan b R = β + (X T X) 1 X T ε (X T X) 1 R T (R(X T X) 1 R T ) 1 (R(β + (X T X) 1 X T ε) Rβ) = β + (X T X) 1 X T ε (X T X) 1 R T (R(X T X) 1 R T ) 1 R(X T X) 1 X T ε b r β = ( (X T X) 1 (X T X) 1 R T (R(X T X) 1 R T ) 1 R(X T X) 1) X T ε = ( (X T X) 1 C(C T X T XC) 1 C T ) X T ε, missä C = (X T X) 1 R T. 4 / 6
5 Cov(b R ) = E ( (b R E(b R ))(b R E(b R )) T ) = E ( (b R β)(b R β) T ) = (X T X) 1 X T E(εε T )X(X T X) 1 (X T X) 1 X T E(εε T )XC(C T X T XC) 1 C T C(C T X T XC) 1 C T X T E(εε T )X(X T X) 1 + C(C T X T XC) 1 C T X T E(εε T )XC(C T X T XC) 1 C = σ 2 ( (X T X) 1 C(C T X T XC) 1 C T ) = σ 2 ( (X T X) 1 (X T X) 1 R T (R(X T X) 1 R T ) 1 R(X T X) 1) Tällöin Cov(b) Cov(b R ) = σ 2 C(C T X T XC) 1 C T = σ 2 (X T X) 1 R T (R(X T X) 1 R T ) 1 R(X T X) 1, on positiivisesti semidefiniitti matriisi. Huomaa että positiivisesti semidefiniittisyyden osoittaminen tässä tilanteessa ei ole triviaalia. Todistus löytyy esimerkiksi lähteestä bhansen/econometrics/econometrics.pdf, sivulta 181. Kotitehtävät 2.4 Oletetaan seuraava aineisto: x 1 = {1, 2} x 2 = {3, 4} x 3 = {5, 6} a) Muodosta aineiston kaikki mahdolliset eri permutaatiot siten että permutoit toista alkiota ensimmäisen alkion suhteen (vihje: 6 erilaista permutaatiota). b) Ota aineistosta 5 bootstrap-otosta käyttäen apunasi arpakuutiota. 2.5 Tarkastellaan seuraavia regressioyhtälöitä, y = α 0 + α 1 x + ε, (4) y = β 0 + β 1 x + β 2 z + ν, (5) missä z, y ja x sisältävät n havaintoa. Ratkaistaan regressiokertoimien estimaatit pienimmän neliösumman menetelmällä ja merkitään estimaatteja hatulla. Missä tilanteissa seuraavat väitteet ovat totta (tarkastele jokaista kohtaa erikseen): a. ˆα 1 = ˆβ 1 b. n i=1 ˆε2 i n i=1 ˆν2 i (ˆε ja ˆν ovat estimoituja residuaaleja). 5 / 6
6 c. ˆα 1 on tilastollisesti merkitsevä (5% merkitsevyystasolla), mutta ˆβ 1 ei ole. d. ˆα 1 ei ole tilastollisesti merkitsevä (5% merkitsevyystasolla), mutta ˆβ 1 on. e. Mallin (4) selitysaste on suurempi kuin mallin (5). f. Mallin (5) varianssin inflaatio-tekijä on suurempi kuin mallin (4) varianssin inflaatiotekijä. 6 / 6
Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
Regressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
Regressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli
Mat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
Johdatus regressioanalyysiin. Heliövaara 1
Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen
Yleinen lineaarinen malli
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2
ABHELSINKI UNIVERSITY OF TECHNOLOGY
Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.
Luento 9: Yhtälörajoitukset optimoinnissa
Luento 9: Yhtälörajoitukset optimoinnissa Lagrangen kerroin Oletetaan aluksi, että f, g : R R. Merkitään (x 1, x ) := (x, y) ja johdetaan Lagrangen kerroin λ tehtävälle min f(x, y) s.t. g(x, y) = 0 Olkoon
Inversio-ongelmien laskennallinen peruskurssi Luento 2
Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla
4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
Luento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori = (,..., ). Reaalisten m n-matriisien joukkoa merkitään
Luento 8: Epälineaarinen optimointi
Luento 8: Epälineaarinen optimointi Vektoriavaruus R n R n on kaikkien n-jonojen x := (x,..., x n ) joukko. Siis R n := Määritellään nollavektori 0 = (0,..., 0). Reaalisten m n-matriisien joukkoa merkitään
TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET
TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen
Paikannuksen matematiikka MAT
TA M P E R E U N I V E R S I T Y O F T E C H N O L O G Y M a t h e m a t i c s Paikannuksen matematiikka MAT-45800 4..008. p.1/4 Käytännön järjestelyt Kotisivu: http://math.tut.fi/courses/mat-45800/ Luennot:
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset
TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept
Sovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
Ominaisvektoreiden lineaarinen riippumattomuus
Ominaisvektoreiden lineaarinen riippumattomuus Lause 17 Oletetaan, että A on n n -matriisi. Oletetaan, että λ 1,..., λ m ovat matriisin A eri ominaisarvoja, ja oletetaan, että v 1,..., v m ovat jotkin
Sovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
3. Teoriaharjoitukset
3. Teoriaharjoitukset Demotehtävät 3.1 a Olkoot u ja v satunnaumuuttujia, joilla on seuraavat ominaisuudet: E(u = E(v = 0 Var(u = Var(v = σ 2 Cov(u, v = E(uv = 0 Näytä että deterministinen prosessi. x
Inversio-ongelmien laskennallinen peruskurssi Luento 3
Inversio-ongelmien laskennallinen peruskurssi Luento 3 Kevät 2011 1 Singulaariarvohajotelma (Singular Value Decomposition, SVD) Olkoon A R m n matriisi 1. Tällöin A voidaan esittää muodossa A = UΣV T,
Ratkaisuehdotukset LH 7 / vko 47
MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [
Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
Harjoitus 9: Excel - Tilastollinen analyysi
Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin
Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen
Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä
Esimerkki 19. Esimerkissä 16 miniminormiratkaisu on (ˆx 1, ˆx 2 ) = (1, 0).
Esimerkki 9 Esimerkissä 6 miniminormiratkaisu on (ˆx, ˆx (, 0 Seuraavaksi näytetään, että miniminormiratkaisuun siirtyminen poistaa likimääräisongelman epäyksikäsitteisyyden (mutta lisääntyvän ratkaisun
3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a
1 Lineaariavaruus eli Vektoriavaruus
1 Lineaariavaruus eli Vektoriavaruus 1.1 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä V epätyhjä joukko. Oletetaan, että joukossa V on määritelty laskutoimitus
Ominaisarvo ja ominaisvektori
Määritelmä Ominaisarvo ja ominaisvektori Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka
(1.1) Ae j = a k,j e k.
Lineaarikuvauksen determinantti ja jälki 1. Lineaarikuvauksen matriisi. Palautetaan mieleen, mikä lineaarikuvauksen matriisi annetun kannan suhteen on. Olkoot V äärellisulotteinen vektoriavaruus, n = dim
Inversio-ongelmien laskennallinen peruskurssi Luento 7 8
Inversio-ongelmien laskennallinen peruskurssi Luento 7 8 Kevät 2011 1 Iteratiivisista menetelmistä Tähän mennessä on tarkasteltu niin sanottuja suoria menetelmiä, joissa (likimääräinen) ratkaisu saadaan
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit
Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä
Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen
MS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto PNS-ongelma PNS-ongelma
7 Vapaus. 7.1 Vapauden määritelmä
7 Vapaus Kuten edellisen luvun lopussa mainittiin, seuraavaksi pyritään ratkaisemaan, onko annetussa aliavaruuden virittäjäjoukossa tarpeettomia vektoreita Jos tällaisia ei ole, virittäjäjoukkoa kutsutaan
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma
MS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Matriisinormi, häiriöalttius Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Matriisinormi Matriisinormi Matriiseille
1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 017 Harjoitus 5 Ratkaisuehdotuksia Tehtäväsarja I 1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X
Matematiikan tukikurssi
Matematiikan tukikurssi Kurssikerta 9 1 Implisiittinen derivointi Tarkastellaan nyt yhtälöä F(x, y) = c, jossa x ja y ovat muuttujia ja c on vakio Esimerkki tällaisesta yhtälöstä on x 2 y 5 + 5xy = 14
Ortogonaalisen kannan etsiminen
Ortogonaalisen kannan etsiminen Lause 94 (Gramin-Schmidtin menetelmä) Oletetaan, että B = ( v 1,..., v n ) on sisätuloavaruuden V kanta. Merkitään V k = span( v 1,..., v k ) ja w 1 = v 1 w 2 = v 2 v 2,
Inversio-ongelmien laskennallinen peruskurssi Luento 4
Inversio-ongelmien laskennallinen peruskurssi Luento 4 Kevät 20 Regularisointi Eräs keino yrittää ratkaista (likimääräisesti) huonosti asetettuja ongelmia on regularisaatio. Regularisoinnissa ongelmaa
Taustatietoja ja perusteita
Taustatietoja ja perusteita Vektorit: x R n pystyvektoreita, transpoosi x T Sisätulo: x T y = n i=1 x i y i Normi: x = x T x = ni=1 x 2 i Etäisyys: Kahden R n :n vektorin välinen etäisyys x y 1 Avoin pallo:
Todennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35
Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen
Ominaisarvoon 4 liittyvät ominaisvektorit ovat yhtälön Ax = 4x eli yhtälöryhmän x 1 + 2x 2 + x 3 = 4x 1 3x 2 + x 3 = 4x 2 5x 2 x 3 = 4x 3.
Matematiikan ja tilastotieteen laitos Lineaarialgebra ja matriisilaskenta II Ylimääräinen harjoitus 6 Ratkaisut A:n karakteristinen funktio p A on λ p A (λ) det(a λi ) 0 λ ( λ) 0 5 λ λ 5 λ ( λ) (( λ) (
802320A LINEAARIALGEBRA OSA I
802320A LINEAARIALGEBRA OSA I Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 72 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä
Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,
Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, kesä 2016 Laskuharjoitus 5, Kotitehtävien palautus laskuharjoitusten
b 1. b m ) + ( 2b Ax) + (b b)
TEKNILLINEN KORKEAKOULU Systeemianalyysin laboratorio Mat-9 Optimointioppi Kimmo Berg 5 harjoitus - ratkaisut min Ax b (vertaa PNS-tehtävät) a x + + a n x n a) Ax b = a m x + + a mn x n = x a a m }{{}
12. Hessen matriisi. Ääriarvoteoriaa
179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä
Lineaarialgebra, kertausta aiheita
Lineaarialgebra, kertausta aiheita Matriisitulo käänteismatriisi determinantin kehittäminen determinantin ominaisuudet adjungaatti ja Cramerin kaavat yhtälöryhmän eri esitystavat Gauss-Jordan -algoritmi
110. 111. 112. 113. 114. 4. Matriisit ja vektorit. 4.1. Matriisin käsite. 4.2. Matriisialgebra. Olkoon A = , B = Laske A + B, 5 14 9, 1 3 3
4 Matriisit ja vektorit 4 Matriisin käsite 42 Matriisialgebra 0 2 2 0, B = 2 2 4 6 2 Laske A + B, 2 A + B, AB ja BA A + B = 2 4 6 5, 2 A + B = 5 9 6 5 4 9, 4 7 6 AB = 0 0 0 6 0 0 0, B 22 2 2 0 0 0 6 5
Harha mallin arvioinnissa
Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö
3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21
5 OMINAISARVOT JA OMINAISVEKTORIT
5 OMINAISARVOT JA OMINAISVEKTORIT Ominaisarvo-ongelma Käsitellään neliömatriiseja: olkoon A n n-matriisi. Luku on matriisin A ominaisarvo (eigenvalue), jos on olemassa vektori x siten, että Ax = x () Yhtälön
Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.
Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi
Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka
Ratkaisuehdotukset LH 8 / vko 47
Ratkaisuehdotukset LH 8 / vko 47 Tehtävä 1: Olkoot A R n n matriisi, jonka singulaariarvohajotelma on A [ ] [ ] Σ U 1 U r 0 [V1 ] T 2 V 0 0 2 Jossa Σ r on kääntyvä matriisi, [ U 1 U 2 ] ja [ V1 V 2 ] ovat
Kaksisuuntainen varianssianalyysi. Heliövaara 1
Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän
Insinöörimatematiikka D
Insinöörimatematiikka D M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Matematiikan ja tilastotieteen laitos Turun yliopisto 2015 M. Hirvensalo mikhirve@utu.fi V. Junnila viljun@utu.fi Luentokalvot
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016 Antti Rasila
Matriisilaskenta, LH4, 2004, ratkaisut 1. Hae seuraavien R 4 :n aliavaruuksien dimensiot, jotka sisältävät vain
Matriisilaskenta LH4 24 ratkaisut 1 Hae seuraavien R 4 :n aliavaruuksien dimensiot jotka sisältävät vain a) Kaikki muotoa (a b c d) olevat vektorit joilla d a + b b) Kaikki muotoa (a b c d) olevat vektorit
Numeeriset menetelmät
Numeeriset menetelmät Luento 6 To 22.9.2011 Timo Männikkö Numeeriset menetelmät Syksy 2011 Luento 6 To 22.9.2011 p. 1/38 p. 1/38 Ominaisarvotehtävät Monet sovellukset johtavat ominaisarvotehtäviin Yksi
Likimääräisratkaisut ja regularisaatio
Luku 3 Likimääräisratkaisut ja regularisaatio Käytännön inversio-ongelmissa annettu data y ei aina ole tarkkaa, vaan sisältää häiriöitä. Tuntemattomasta x on annettu häiriöinen data y F (x + }{{}}{{} ε.
Mat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin erusteet, kevät 2007 10. luento: Regressiomallin (selittäjien) valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
Koodausteoria, Kesä 2014
Koodausteoria, Kesä 2014 Topi Törmä Matemaattisten tieteiden laitos 5.2 BCH-koodin dekoodaus Tarkastellaan t virhettä korjaavaa n-pituista BCH-koodia. Olkoon α primitiivinen n:s ykkösen juuri, c = c(x)
Lineaarikuvauksen R n R m matriisi
Lineaarikuvauksen R n R m matriisi Lauseessa 21 osoitettiin, että jokaista m n -matriisia A vastaa lineaarikuvaus L A : R n R m, jolla L A ( v) = A v kaikilla v R n. Osoitetaan seuraavaksi käänteinen tulos:
Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44
Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Tehtävät 1-3 lasketaan alkuviikon harjoituksissa, verkkotehtävien dl on lauantaina aamuyöllä. Tehtävät 4 ja 5 lasketaan loppuviikon harjoituksissa.
Yhtälöryhmä matriisimuodossa. MS-A0004/A0006 Matriisilaskenta. Tarkastellaan esimerkkinä lineaarista yhtälöparia. 2x1 x 2 = 1 x 1 + x 2 = 5.
2. MS-A4/A6 Matriisilaskenta 2. Nuutti Hyvönen, c Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 5.9.25 Tarkastellaan esimerkkinä lineaarista yhtälöparia { 2x x 2 = x + x 2
1 Kertaus. Lineaarinen optimointitehtävä on muotoa:
1 Kertaus Lineaarinen optimointitehtävä on muotoa: min c 1 x 1 + c 2 x 2 + + c n x n kun a 11 x 1 + a 12 x 2 + + a 1n x n b 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 (11) a m1 x 1 + a m2 x 2 + + a mn x n
2 Konveksisuus ja ratkaisun olemassaolo
2 Konveksisuus ja ratkaisun olemassaolo Ratkaisun olemassaolon tutkimiseen tarvitaan perustietoja konvekseista joukoista ja lineaarialgebrasta. Niitä tarvitaan myös ratkaisualgoritmin ymmärtämiseen. Tutkitaan
Kohdeyleisö: toisen vuoden teekkari
Julkinen opetusnäyte Yliopisto-opettajan tehtävä, matematiikka Klo 8:55-9:15 TkT Simo Ali-Löytty Aihe: Lineaarisen yhtälöryhmän pienimmän neliösumman ratkaisu Kohdeyleisö: toisen vuoden teekkari 1 y y
3.2.2 Tikhonovin regularisaatio
3 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx + ε R m (316 annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu x M + y Q N (M x + M
Ratkaisuehdotukset LH 3 / alkuvko 45
Ratkaisuehdotukset LH 3 / alkuvko 45 Tehtävä : Olkoot A, B, X R n n, a, b R n ja jokin vektorinormi. Kätetään vektorinormia vastaavasta operaattorinormista samaa merkintää. Nätä, että. a + b a b, 2. A
MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat.
MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 6: Ääriarvojen luokittelu. Lagrangen kertojat. Jarmo Malinen Matematiikan ja systeemianalyysin laitos 1 Aalto-yliopisto Kevät 2016 1 Perustuu
Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
Väliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
Pienimmän neliösumman menetelmä (PNS)
neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1
JAKSO 2 KANTA JA KOORDINAATIT
JAKSO 2 KANTA JA KOORDINAATIT Kanta ja dimensio Tehtävä Esittele vektoriavaruuden kannan määritelmä vapauden ja virittämisen käsitteiden avulla ja anna vektoriavaruuden dimension määritelmä Esittele Lause
Vektoreiden virittämä aliavaruus
Vektoreiden virittämä aliavaruus Määritelmä Oletetaan, että v 1, v 2,... v k R n. Näiden vektoreiden virittämä aliavaruus span( v 1, v 2,... v k ) tarkoittaa kyseisten vektoreiden kaikkien lineaarikombinaatioiden
Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina klo
HY / Avoin yliopisto Lineaarialgebra ja matriisilaskenta II, kesä 2015 Harjoitus 1 Ratkaisut palautettava viimeistään maanantaina 10.8.2015 klo 16.15. Tehtäväsarja I Tutustu lukuun 15, jossa vektoriavaruuden
Pienimmän neliösumman menetelmä (PNS)
neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1
Osoita, että täsmälleen yksi vektoriavaruuden ehto ei ole voimassa.
LINEAARIALGEBRA Harjoituksia 2016 1. Olkoon V = R 2 varustettuna tavallisella yhteenlaskulla. Määritellään reaaliluvulla kertominen seuraavasti: λ (x 1, x 2 ) = (λx 1, 0) (x 1, x 2 ) R 2 ja λ R. Osoita,
1 Rajoittamaton optimointi
Taloustieteen matemaattiset menetelmät 7 materiaali 5 Rajoittamaton optimointi Yhden muuttujan tapaus f R! R Muistutetaan mieleen maksimin määritelmä. Funktiolla f on maksimi pisteessä x jos kaikille y
Harjoitusten 5 vastaukset
Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin
Numeeriset menetelmät TIEA381. Luento 6. Kirsi Valjus. Jyväskylän yliopisto. Luento 6 () Numeeriset menetelmät / 33
Numeeriset menetelmät TIEA381 Luento 6 Kirsi Valjus Jyväskylän yliopisto Luento 6 () Numeeriset menetelmät 4.4.2013 1 / 33 Luennon 6 sisältö Interpolointi ja approksimointi Polynomi-interpolaatio: Vandermonden
Vastepintamenetelmä. Vilkkumaa / Kuusinen 1
Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin
Ominaisarvo ja ominaisvektori
Ominaisarvo ja ominaisvektori Määritelmä Oletetaan, että A on n n -neliömatriisi. Reaaliluku λ on matriisin ominaisarvo, jos on olemassa sellainen vektori v R n, että v 0 ja A v = λ v. Vektoria v, joka
1. Normi ja sisätulo
Kurssimateriaalia K3/P3-kursille syksyllä 3 83 Heikki Apiola Sisältää otteita Timo Eirolan L3-kurssin lineaarialgebramonisteesta, jonka lähdekoodin Timo on ystävällisesti antanut käyttööni Normi ja sisätulo
Pienimmän neliösumman menetelmä (PNS)
neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1
9. laskuharjoituskierros, vko 12-13, ratkaisut
9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t
5 Lineaariset yhtälöryhmät
5 Lineaariset yhtälöryhmät Edellisen luvun lopun esimerkissä päädyttiin yhtälöryhmään, jonka ratkaisemisesta riippui, kuuluuko tietty vektori eräiden toisten vektorien virittämään aliavaruuteen Tämäntyyppisiä
2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio. 2.2 Gaussin eliminaatio
x = x 2 = 5/2 x 3 = 2 eli Ratkaisu on siis x = (x x 2 x 3 ) = ( 5/2 2) (Tarkista sijoittamalla!) 5/2 2 Tämä piste on alkuperäisten tasojen ainoa leikkauspiste Se on myös piste/vektori jonka matriisi A