Luku 1. Yhden selittäjän lineaarinen regressio. 1.1 Regressiomalli
|
|
- Pauliina Auvinen
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Luku 1 Yhden selittäjän lineaarinen regressio Tämä luku on tiivistelmä Jørgensenin kirjan luvusta 1. Tässä luvussa käsitellään yksinkertaisilla tarkasteluilla yhden selittäjän lineaarista regressiota, mutta suoraviivaisia laskuja ei ole tässä laskettu auki, vaan ne esitetään luennoilla tai jätetään lukijan tarkistettavaksi. Luvussa 2 tarkastellaan sitten yleistä lineaarista regressiota käyttämällä hienostuneempia matemaattisia työkaluja. 1.1 Regressiomalli Analysoitavana on n:n havaintoyksikön suuruinen aineisto, jonka muuttujista yksi, y, on luonteeltaan selitettävä ja toinen, x, selittää selitettävän muuttujan y vaihtelua. Olkoot (x 1, y 1 ),..., (x n, y n ) vastaavat havainnot. Muuttujien x ja y välinen yhteyden ajatellaan olevan osapuilleen lineaarinen. Kutsumme muuttujaa y selitettäväksi muuttujaksi tai vasteeksi (dependent variable, response variable). Kutsumme muuttujaa x selittäväksi muuttujaksi (independent variable, explanatory variable). Ajattelmme, että y i :t ovat vastaavien satunnaismuuttujien Y i havaittuja arvoja. Sen sijaan ajattelemme, että selittävät muuttujat x i ovat ei-satunnaisia eli vakioita. Tällainen oletus on luonteva, jos x i :t ovat kokeen suunnittelijan valittavissa olevia lukuja. Joissakin tapauksissa lineaarista regressiota sovelletaan tilanteessa, jossa ei ole luontevaa olettaa, että x i :t ovat vakioita, vaan on luontevaa olettaa, että ne ovat tiettyjen satunnaismuuttujien X 1,..., X n havaittuja arvoja. Tällöin 1
2 ajatellaan, että koko analyysi tehdään ehdollistamalla selittävien muuttujien havaittuihin arvoihin, eli tällöin tarkastellaan selitettävien muuttujien Y 1,..., Y n ehdollista jakaumaa ehdolla X 1 = x 1,..., X n = x n. Yhden selittäjän lineaarisessa mallissa tehdään seuraavat oletukset. Selittävien muuttujien arvot x i ovat kiinteitä annettuja lukuja. Havaintoja y i vastaavat satunnaismuuttujat Y i ovat riippumattomia, ja ne noudattavat jakaumaa Y i N(µ i, σ 2 ), i = 1,..., n, jossa keskiarvot µ i = EY i toteuttavat yhtälöt µ i = β 1 + β 2 x i, i = 1,..., n. Keskiarvoille tehty oletus on rakenneoletus: se kertoo, miten selitettävän muuttujan vaihtelu riippuu selittävästä muuttujasta. Normaalisuusoletus on jakaumaoletus, joka kertoo, minkälaista satunnaisvaihtelua mallissa on rakenneosan lisäksi. Mallissa on kolme parametria, vakiotermi (intercept) β 1 R, kulmakerroin (slope) β 2 R ja varianssiparametri σ 2 R +. Toinen tapa esittää sama malli on kirjoittaa Y i = β 1 + β 2 x i + ɛ i, i = 1,..., n, jossa virheet ɛ i N(0, σ 2 ) riippumattomasti, ja ɛ i on havaintoyksikköön i liittyvä ei-havaittu satunnaismuuttuja. Mallissa tehdään siis seuraavat oletukset, jotka alla luetellaan tilastolisen analyysin järkevyyden kannalta summittaisessa tärkeysjärjestyksessä. (i) Y i :n odotusarvo riippuu lineaarisesti x i :stä. (ii) Muuttujat Y 1,..., Y n ovat riippumattomia. (iii) Muuttujan Y i varianssi on vakio (homoskedastisuus). (iv) Muuttujalla Y i on normaalijakauma. Nämä oletukset pitäisi yrittää verifioida aineiston ja sitä koskevan taustatiedon perusteella. Hajontakuvio on tätä varten tärkeä apuväline, ja siitä voi yrittää arvioida (i) lineaarisuutta ja (iii) vakiovarianssisuutta. Normaalisuutta (iv) voi yrittää tutkia residuaalikuvioiden avulla. Riippumattomuutta (ii) ei voida verifioida aineistosta, vaan se yleensä oikeutetaan koetta koskevalla taustatiedolla. 2
3 1.2 Parametrien SU-estimaatit Johdamme parametrien suurimman uskottavuuden estimaatit eli SU-estimaatit. Mallin mukaan Y i N(β 1 + β 2 x i, σ 2 ) riippumattomasti, joten uskottavuusfunktio on n { L(β 1, β 2, σ 2 ) = (2πσ 2 ) 1/2 exp 1 } 2σ (y 2 i β 1 β 2 x i ) 2, josta logaritminen uskottavuusfunktio saadaan kirjoitettua muotoon l(β 1, β 2, σ 2 ) = log L(β 1, β 2, σ 2 ) = n 2 log(2πσ2 ) 1 2σ 2 n (y i β 1 β 2 x i ) 2 = n 2 log(2πσ2 ) 1 2σ 2 D(β 1, β 2 ). Kutsumme poikkeamien neliösummaa D(β 1, β 2 ) nimellä devianssi. Tästä muodosta huomaamme seuraavaa. Oli σ 2 > 0 mikä tahansa kiinteä arvo, niin logaritmisen uskottavuusfunktion maksimoi parametrien β 1 ja β 2 suhteen ne arvot, jotka minimoivat devianssin D(β 1, β 2 ). Kirjoitetaan nyt rakenneyhtälö muotoon EY i = µ i = β 1 + β 2 x i = β 1 + β 2 (x i x) + β 2 x ja uudelleenparametroidaan malli käyttämällä alkuperäisten selittävien muuttujien arvojen sijasta keskistettyjä arvoja Tällöin malli muuntuu muotoon t i = x i x. EY i = µ i = α + β 2 t i, jossa otettiin käyttöön uusi parametri α = β 1 + β 2 x. Uudessa mallissa parametreina ovat α, β 2 ja σ 2. Alkuperäisen mallin parametri β 1 saadaan laskettua uusista parametreistä kaavalla β 1 = α β 2 x, 3
4 ja muut kaksi parametria ovat samoja alkuperäisessä ja keskistetyssä mallissa. Parametrien α, β 2 ja σ 2 avulla ilmaistuna logaritminen uskottavuusfunktio on samaa muotoa kuin alkuperäisten parametrien avulla ilmaistuna sillä erolla, että devianssin lausekkeena on D(α, β 2 ) = n (y i α β 2 t i ) 2. Derivoimalla devianssin lauseketta kahteen kertaan, saadaan selville, että mikäli S t > 0, devianssilla on yksikäsitteinen minimipiste kohdassa ˆα = ȳ, ˆβ2 = S ty S t, jossa ȳ = 1 n n y i, S ty = n t i y i, S t = n t 2 i. (Aina S t 0, ja jos S t = 0, niin kaikki x i :t ovat yhtäsuuria, eikä lineaarinen malli ole mielekäs!) Keskistetyn mallin parametrien α ja β 2 SU-estimaatit ovat edellä johdetut ˆα ja ˆβ 2. Alkuperäisen mallin parametrien β 1 ja β 2 SU-estimaatit ovat ˆβ 1 = ˆα ˆβ 2 x. (SU-estimaatin invarianssiominaisuus!) Huomaa, että sovitettu regressiosuora y = ˆβ 1 + ˆβ 2 x kulkee aina aineiston painopisteen ( x, ȳ) kautta, sillä edellisen nojalla ˆβ 1 + ˆβ 2 x = ȳ. Jos varianssi σ 2 > 0 kiinnitetään, ja log-uskottavuusfunktio maksimoidaan muiden parametrien suhteen, niin tulokseksi saadaan l(σ 2 ) = n 2 log(2πσ2 ) 1 2σ 2 D( ˆβ 1, ˆβ 2 ). Tätä σ 2 :n funktioita kutsutaan parametrin σ 2 logaritmiseksi profiiliuskottavuusfunktioksi. Parametrin σ 2 SU-estimaatti saadaan ratkaistua ratkaisemalla tämän funktion maksimipiste. Derivoimalla SU-estimaatille saadaan johdettua kaava ˆσ 2 = 1 n D( ˆβ 1, ˆβ 2 ) = 1 n n (y i ˆβ 1 ˆβ 2 x i ) 2. 4
5 1.3 Estimaattorien ominaisuuksia Kun puhumme estimaattoreista, tarkoitamme estimaatteja vastaavia satunnaismuuttujia. Oletamme, että lineaarinen malli pitää paikkansa, ja tutkimme satunnaismuuttujien ˆα = Ȳ = 1 n n Y i, ˆβ2 = S ty S t = n t iy i n t2 i jne. jakaumia (ts. estimaattorien otantajakaumia, sampling distribution) ja muita ominaisuuksia Tyhjentävyys Tilastollisessa mallissa, jossa havaintovektorin Y = (Y 1,..., Y n ) yhteisjakaumalla on parametrina tai parametrivektorina θ, tunnusluku T = t(y ) on tyhjentävä, jos Y :n ehdollinen jakauma ehdolla T ei ole θ:n funktio. Tällöin tunnusluku T sisältää parametrista yhtä paljon tietoa kuin alkuperäinen havaintovektori. Tilastollisen päättelyn teorian nojalla tiedetään, että tunnusluku T on tyhjentävä silloin ja vain silloin, kun havaintojen (yhteis)tiheys f Y voidaan kirjoittaa faktoroidussa muodossa f Y (y; θ) = g(t(y); θ)h(y), y, θ. (Myös satunnaismuuttujan T otosvastinetta kutsutaan tyhjentäväksi tunnusluvuksi.) Tämän perusteella on helppo näyttää, että yhden selittäjän lineaarisessa regressiossa tunnusluku t(y) = (S y, y +, S ty ) on tyhjentävä, jossa S y = n yi 2, y + = 1 n y i, S ty = 1 n t i y i. Pienillä laskuilla nähdään tämän perusteella, että myöskin parametrien SUestimaattorit (ˆα, ˆβ 1, ˆσ 2 ) muodostavat tyhjentävän tunnusluvun Regressiokertoimien estimaattorien jakaumat Palautetaan ensin mieleen kahden satunnaismuuttujan U ja V välinen kovarianssi, joka määritellään kaavalla Cov(U, V ) = E[(U EU)(V EV )]. 5 1
6 Muuttujan U varianssi Var U on sama kuin Cov(U, U). Yksinkertainen lasku osoittaa, että kovarianssi on bilineaarinen (eli lineaarinen molempien argumenttien suhteen) ts., jos α i :t ja β j ovat vakioita ja U i :t ja V j :t satunnaismuuttujia, niin Cov( i α i U i, j β j V j ) = ij α i β j Cov(U i, V j ). Koska muttujien Y 1,..., Y n yhteisjakauma on moniulotteinen normaalijakauma eli multinormaalijakauma, ja koska keskistetyn mallin SU-estimaattorit ˆα ja ˆβ 2 ovat niiden lineaarikombinaatioita, on niiden yhteisjakauma kaksiulotteinen normaalijakauma. Helposti saadaan johdettua tulokset ˆα N(α, σ2 n ), ˆβ2 N(β 2, σ2 S t ), sekä Cov(ˆα, ˆβ 2 ) = 0. Siis keskistetyn mallin parametrit ˆα ja ˆβ 2 ovat korreloimattomia. Koska niiden yhteisjakauma on kaksiulotteinen normaalijakauma, tästä seuraa, että ne ovat peräti riippumattomia. Alkuperäisen mallin kertoimien β 1 ja β 2 SU-estimaattorien yhteisjakauma on myöskin kaksiulotteinen normaalijakauma, ja laskemalla saadaan selville, että ( )) 1n ˆβ 1 N (β 1, σ 2 + x2 ja S t Cov( ˆβ 1, ˆβ 2 ) = x σ2 S t, joten alkuperäisen mallin estimaattorit ovat korreloituneita ja riippuvia. Jos x-arvot sijaitsevat kaukana origosta ( x on iso verrattuna arvoon S t ), niin vakiotermin estimaattorin ˆβ 1 varianssi on suuri, eli estimaattori ˆβ 1 on epästabiili. Tämän takia kannattaa useimmiten käyttää keskistettyä mallia, jonka kertoimien tulkinta on lisäksi usein mielekkäämpää kuin keskistämättömän mallin parametrien tulkinta. Huomaa, että regressiokertoimien estimaattorit ovat harhattomia ja että niiden jakaumat riippuvat (tuntemattomasta) varianssiparametrista σ 2, minkä vuoksi näitä tuloksia ei voi suoraan käyttää esim. parametrien luottamusvälien johtamiseen. 6
7 1.3.3 Varianssiparametri Tässä luvussa johdetaan se tärkeä tulos, että ˆσ 2 on riippumaton regressioparametrien estimaattoreista. Tätä varten tarkastellaan ensin residuaalien ominaisuuksia, jossa r i = y i ˆµ i = y i ˆβ 1 ˆβ 2 x i = y i ˆα ˆβ 2 t i ˆµ i = ˆβ 1 + ˆβ 2 x i = ˆα + ˆβ 2 t i on i:s sovite (fitted value). Olkoon R i residuaalia r i vastaava satunnaismuuttuja, R i = Y i ˆβ 1 ˆβ 2 x i = Y i ˆα ˆβ 2 t i. Nyt ja pienillä laskuilla havaitaan, että ER i = EY i E ˆα t i E ˆβ 2 = 0, Cov(R i, ˆα) = Cov(R i, ˆβ 2 ) = 0. Nyt satunnaismuuttujilla ˆα, ˆβ 2 ja R i on yhteisjakaumana multinormaalijakauma, sillä ne saadaan lineaarikombinaatioina satunnaismuuttujista Y 1,..., Y n, joilla on multinormaalijakauma. Koska multinormaalijakaumassa korreloimattomuudesta seuraa riippumattomuus, on R i riippumaton parista (ˆα, ˆβ 2 ). Koska ˆσ 2 = 1 n Ri 2, n seuraa, että myös ˆσ 2 on riippumaton parista (ˆα, ˆβ 2 ). Yhdistettynä edellä johdettuun tulokseen ˆα ˆβ2 tästä seuraa, että keskistetyn mallin kaikki kolme parametriestimattoria ovat keskenään riippumattomia. Keskistämättömässä mallissa nähdään vastaavilla laskuilla, että ˆσ 2 on riippumaton parista ( ˆβ 1, ˆβ 2 ). Satunnaismuuttujan R i reunajakauma on normaalijakauma, jonka varianssi saadaan laskettua helposti käyttämällä edellä johdettuja riippumattomuustuloksia. R i :n jakaumaksi saadaan R i N ( (0, σ )) n t2 i S t Osoittautuu, että varianssiparametrin SU-estimaattorin jakauma on skaalausta vaille tietty χ 2 -jakauma (khiin neliö tai khii toiseen). Palautetaan mieleen χ 2 -jakauman määritelmä. Olkoot Z 1,..., Z k riippumattomia standardinormaalijakaumaa noudattavia satunnaismuuttujia. Tällöin satunnaismuuttujalla U = Z Z 2 k 7
8 on χ 2 -jakauma k:lla vapausasteella (degrees of freedom, df), eli U χ 2 (k). Tunnetusti tämän jakauman odotusarvo on k ja varianssi on 2k. Luvun 2 tuloksista selviää aikanaan, että D( ˆβ 1, ˆβ 2 ) = n Ri 2 σ 2 χ 2 (n 2), (kahden parametrin estimointiin kuluu kaksi vapausastetta), joten Eˆσ 2 = 1 n ED( ˆβ 1, ˆβ 2 ) = σ 2 n 2 n. SU-estimaattori ˆσ 2 on siis alaspäin harhainen, ja sen sijasta tavallisesti käytetään harhatonta estimaattoria σ 2 = 1 n Ri 2 = 1 n 2 n 2 D( ˆβ 1, ˆβ 2 ). 1.4 Residuaalit Edellisessä kappaleessa johdettiin residuaalia vastaavalle satunnaismuuttujalle jakaumana ( R i N (0, σ )) n t2 i. S t Sovitteelle ˆµ i saadaan helposti johdettua jakauma ( ( )) 1 ˆµ i N µ i, σ 2 n + t2 i. S t Sellaisessa suuressa otoksessa, jossa myös S t on suuri, residuaalien varianssit menevät kohti arvoa σ 2 ja sovitteiden varianssit kohti nollaa. Residuaalien avulla voidaan yrittää selvittää, ovatko havainnot Y i normaalijakautuneita. Jos lineaarinen malli pitää paikkansa, residuaalit ovat normaalijakautuneita, niiden varianssi on osapuilleen σ 2, ja ne ovat osapuilleen (mutta ei tarkalleen) korreloimattomia. Residuaalien normaalisuutta voidaan selvittää vertaamalla residuaalien jakaumaa normaalijakaumaan normaalisen kvantiilikuvion (eli fraktiilikuvion) (normal probability plot, normal QQ plot) avulla. Siinä piirretään pistekuvio, jossa toiselle akselille piirretään arvot u i = Φ 1 ((i 1/2)/n), 8
9 jossa Φ 1 on standardinormaalijakauman kertymäfunktion käänteisfunktio, ja toiselle akselille arvot r (i), jossa r (i) on i:nneksi pienin residuaaleista, r (1) r (2) r (n). Kirjassa suositellaan, että järjestetyt residuaalit esitetään vaaka-akselilla ja u i :t pystyakselilla, mutta usein akselit valitaan toisin päin. Jos lineaarisen mallin oletukset pitävät paikkansa, pisteet asettuvat suunnilleen origon kautta kulkevalle suoralle, jonka kulmakerroin on σ 1, mikäli residuaali esitetään vaaka-akselilla ja σ, mikäli ne esitetään pystyakselilla. 1.5 Parametreja koskeva päättely Jos mallin parametrit β 1 ja β 2 tunnettaisiin, niin varianssiparametri σ 2 voitaisiin estimoida lausekkeella 1 n D(β 1, β 2 ), sillä D(β 1, β 2 ) σ 2 χ 2 (n). Varianssiparametrin SU-estimaattorin alaspäinen harha syntyy siitä, että tähän lausekkeeseen sijoitetaan tuntemattomien parametrien tilalle niiden SU-estimaattorit, jotka lasketaan minimoimalla tätä samaista lauseketta. Kuten jo mainittiin, varianssiparametrille käytetään tavallisesti harhaisen SU-estimaattorin sijasta harhatonta estimaattoria σ 2 = 1 n 2 n R 2 i = 1 n 2 D( ˆβ 1, ˆβ 2 ). Palautetaan mieleen (Studentin) t-jakauma. Jos satunnaismuuttujat U N(0, 1), V χ 2 (k) ovat riippumattomia, niin satunnaismuuttujalla Z = U V/k on t-jakauma k:lla vapausasteella, eli Z t(k). Edellä johdimme tuloksen ˆβ 2 N(β 2, σ2 S t ), 9
10 minkä motivoimana määrittelemme estimaattorin ˆβ 2 keskivirheen (standard error, s.e.) eli estimaattorin otantajakauman keskihajonnan otosestimaatin kaavalla s. e.( ˆβ 2 ) = σ, St jossa siis tuntemattoman varianssiparametrin sijalle on sijoitettu sen harhaton estimaatti σ 2. Parametrin β 2 t-testisuure määritellään kaavalla t(y ) = ˆβ 2 β 2 s. e.( ˆβ 2 ). Seuraavaksi osoitetaan, että t(y ):llä on t-jakauma n 2:lla vapausasteella, (kun määritelmässä käytetty β 2 on ko. parametrin todellinen arvo). Nyt t(y ) = ( ˆβ 2 β 2 ) S t /σ s. e.( ˆβ 2 ) S t /σ jossa osoittajan ja nimittäjä ovat riippumattomia satunnaismuuttujia, koska ˆβ 2 σ 2. Osoittajan jakauma on N(0, 1), ja nimittäjä on neliöjuuri lausekkeesta σ 2 σ χ2 (n 2), 2 n 2 missä käytettiin tietoa (n 2) σ 2 σ 2 χ 2 (n 2). Siis t(y ) t(n 2). Tätä tulosta voidaan käyttää parametria β 2 koskevien testien konstruointiin sekä sen luottamusvälin laskemiseen. Olkoon β (0) 2 annettu vakio (kulmakertoimen β 2 kohdalla tyypillisesti β (0) 2 = 0), ja tarkastellaan hypoteesia H 0 : β 2 = β (0) 2, käyttämällä kaksisuuntaista vastahypoteesia Tällöin voidaan käyttää tunnuslukua H A : β 2 β (0) 2. t(y ) = ˆβ 2 β (0) 2 s. e.( ˆβ 2 ), 10
11 Kuva 1.1: Kaksisuuntaisen t-testin kriittinen alue koostuu kahdesta häntäalueesta, joihin kumpaankin jää osuus a/2 todennäköisyysmassasta. jonka jakauma on t(n 2) silloin, kun H 0 pätee. Nollahypoteesin kannalta kriittisiä ovat ne tapaukset, joissa t(y ) on suuri. Nollahypoteesi hylätään merkitsevyystasolla a, jos t(y) > t 1 a/2 (n 2), missä oikealla puolella oleva merkintä tarkoittaa sitä pistettä, jossa t(n 2) jakauman kertymäfunktio saavuttaa arvon 1 a/2, ks. kuvaa 1.1. (Tässä käytettiin hyväksi t-jakauman symmetrisyyttä.) Palautetaan mieleen, että testin p-arvo eli havaittu merkitsevyystaso tarkoittaa todennäköisyyttä, että nollahypoteesin pätiessä testisuuretta vastaava satunnaismuuttuja saa arvon, joka on yhtä suuri tai suurempi kuin nyt havaittu testisuureen arvo. Ylläolevan testin p-arvo on P H0 ( t(y ) t(y)) = 2(1 G( t(y) )), jossa G on jakauman t(n 2) kertymäfunktio (ja jossa jälleen käytettiin hyväksi t-jakauman symmetrisyyttä). Koska todennäköisyydellä 1 a pätee epäyhtälö t(y ) = ˆβ 2 β 2 s. e.( ˆβ 2 ) < t 1 a/2(n 2), niin ratkaisemalla tämä epäyhtälö parametrin β 2 suhteen päädytään seuraavaan parametrin β 2 luottamusväliin luottamustasolla 1 a, [ ˆβ 2 t 1 a/2 (n 2) s. e.( ˆβ 2 ), ˆβ 2 + t 1 a/2 (n 2) s. e.( ˆβ 2 )]. 11
12 Parametrien β 1 ja α kohdalla testisuureet konstruoidaan samalla periaatteella. Esimerkiksi parametrin β 1 kohdalla lähdetään liikkeelle tuloksesta ˆβ 1 N(β 1, σ 2 ( 1 n + x2 S t )), jonka perusteella ˆβ 1 :n keskivirheeksi määritellään s. e.( ˆβ 1 1 ) = σ n + x2, S t ja sen t-testisuureeksi määritellään t(y ) = ˆβ 1 β 1 s. e.( ˆβ 1 ). Tämän jälkeen konstruoida testejä ja luottamusvälejä parametrille β 1 kuten edellä β 2 :lle. Varianssiparametrin kohdalla lähdetään liikkeelle tiedosta σ 2 σ χ2 (n 2), 2 n 2 josta saadaan johdettua hypoteesiä H 0 : σ 2 = σ(0) 2 koskeva testi sekä seuraavaa luottamustason 1 a luottamusväli [ ] (n 2) σ 2 (n 2) σ 2 χ 2 1 a/2 (n 2), χ 2 a/2 (n 2) jossa χ 2 b (k) tarkoittaa sitä pistettä, jossa χ2 (k)-jakauman kertymäfunktio saa arvon b. 12
13 Luku 2 Yleinen lineaarinen malli Huomautus: yleinen lineaarinen malli on englanniksi general linear model. Yleistetty lineaarinen malli, generalized linear model, on taas aivan eri asia. 2.1 Lineaarinen malli lineaarialgebran käsitteillä Kehitämme seuraavaksi geometrisen lähestymistavan lineaarisen mallin käsittelyyn. Tarkastelemme havaintovektoria y, vastaavaa satunnaisvektoria Y sekä sen odotusarvovektoria µ vektoriavaruuden R n pisteinä, jossa y 1 y = (y 1,..., y n ) T =. y n, Y = Y 1. Y n, µ = µ 1. Yleisessä lineaarisessa mallissa asetetaan lineaarisia rajoitteita keskiarvovektorille µ. Yhden selittäjän lineaarisessa regressiossa oletettiin, että µ i = β 1 + β 2 x i, i = 1,..., n. Voimme esittää tämän rakenneoletuksen vektorimerkinnöillä muodossa µ = β β 2 x, jossa käytettiin seuraavia n-komponenttisia pystyvektoreita x 1 1 = 1., x = x n. µ n.
14 Toisin sanoen malli voidaan ilmaista siten, että µ on kahden annetun vektorin 1 ja x lineaarikombinaatio eli µ kuuluu näiden kahden vektorin virittämään aliavaruuteen. Määritelmä. Yleisessä lineaarisessa mallissa oletetaan, että havaintoja y i vastaavat satunnaismuuttujat Y i ovat riippumattomia ja että Y i N(µ i, σ 2 ), i = 1,..., n, jossa keskiarvovektori µ (joka on parametri eli tuntematon vakiovektori) toteuttaa rajoitteen (hypoteesin, rakenneoletuksen) µ L, jossa L on annettu (tunnettu ja ei-satunnainen) avaruuden R n aliavaruus ja σ 2 > 0 on parametri (eli tuntematon vakio). Palautetaan mieleen lineaarialgebran käsitteitä. Joukko L R n on aliavaruus, jos on voimassa x, y L ja a, b R ax + by L. Erityisesti nollavektori kuuluu jokaiseen aliavaruuteen. Vektorit x 1,..., x k L muodostavat aliavaruuden L kannan, jos (i) ne virittävät L:n, eli mikä tahansa L:n alkio y voidaan esittää niiden lineaarikombinaationa y = a 1 x a k x k. (ii) joukko {x 1,..., x k } on lineaarisesti riippumatton (eli vapaa) ts. a 1 x a k x k = 0 a 1 = = a k = 0. Lineaarialgebrasta tiedetään, että jokaisella R n :n aliavaruudella on olemassa kanta ja että jokaisella L:n kannalla on yhtä monta kantavektoria. Tätä tarvittavaa kantavektoreiden lukumäärää kutsutaan aliavaruuden dimensioksi, dim(l). Huomaa, että kantavektoreiden lineaarisen riippumattomuuden ansiosta vektorin x L esitys kantavektoreiden lineaarikombinaationa on yksikäsitteinen. Jos x 1,..., x k on lineaarisen mallin aliavaruuden L kanta, niin rakenneoletus µ L voidaan ilmaista muodossa µ = k x j β j = Xβ, j=1 14
15 jossa X on tunnettu vakiomatriisi, jonka sarakkeet (pystyvektorit) ovat x 1,..., x k, ja kerroinvektori β = (β 1,..., β k ) T on parametri, eli se on tuntematon vakiovektori. Matriisia X kutustaan tällöin asetelmamatriisiksi (design matrix) tai mallimatriisiksi (model matrix). Huomaa, että tällä kurssilla mallimatriisin sarakkeet ovat aina lineaarisesti riippumattomia (ellei erityisesti toisin mainita). On hyödyllistä tarkastella lineaarista mallia toisaalta tietyn kannan (ja tietyn mallimatriisin) avulla lausuttuna ja toisaalta koordinaattivapaasti eli pelkästään aliavaruuden L avulla ilmaistuna. Joskus aliavaruudelle L käytetään kahta eri kantaa ja mallimatriisia µ = X 1 β ja µ = X 2 ψ. Kun n k-mallimatriisin X 1 sarakkeet esitetään n k-mallimatriisin X 2 sarakkeiden muodostaman kannan avulla, päädytään esitykseen X 1 = X 2 A, jossa k k-matriisin A sarakkeet ovat lineaarisesti riippumattomat (sillä muuten X 1 :n sarakkeet olisivat lineaarisesti riippuvat). Tämän takia A on kääntyvä matriisi. Koska µ = X 1 β = X 2 ψ = X 2 Aβ, on ψ = Aβ ja β = A 1 ψ. Aliavaruuden L kannan vaihto on sama asia kuin tällainen lineaarisen mallin lineaarinen uudelleenparametrointi. Vektoreiden x, y R n sisätulo on x y = x T y = y T x = n x i y i, ja vektorin x normi on x = x T x. Vektorit x ja y ovat ortogonaaliset eli toisiaan vastaan kohtisuorat, jos x T y = 0, mikä voidaan ilmaista merkinnällä x y. Pythagoraan lause sanoo, että x y x + y 2 = x 2 + y 2. Aliavaruuden L ortogonaalikomplementti L on L = {x R n : x z z L}. L on tunnetusti aliavaruus. 15
16 Jos L on aliavaruus ja y R n, niin tunnetusti on olemassa yksikäsitteinen vektori p L (y) L siten, että tai ekvivalentisti siten, että y p L (y) L y p L (y) z z L. Vektoria p L (y) kutsutaan vektorin y ortogonaaliprojektioksi aliavaruuteen L. Huomaa, että ortogonaaliprojektio p L (y) on pistettä y lähin aliavaruuden L piste, eli p L (y) on optimointitehtävän y z = min! rajoitteella z L, yksikäsitteinen ratkaisu, sillä jos z L, niin Pythagoraan lauseen mukaan y z 2 = y p L (y) 2 + p L (y) z 2 y p L (y) 2, ja epäyhtälö on aito, jos z p L (y). Ortogonaaliprojektio on lineaarinen kuvaus, sillä kun y 1, y 2 R n esitetään muodossa y j = p L (y j ) + (y p L (y j )), j = 1, 2, jossa p L (y j ) L ja y p L (y j ) L, niin havaitaan, että kaikille skalaareille α 1, α 2 pätee α 1 y 1 + α 2 y 2 = [α 1 p L (y 1 ) + α 2 p L (y 2 )] + [α 1 (y 1 p L (y 1 )) + α 2 (y 2 p L (y 2 ))], jossa oikean puolen ensimmäinen termi kuuluu aliavaruuteen L ja toinen termi aliavaruuteen L. Näin ollen p L (α 1 y 1 + α 2 y 2 ) = α 1 p L (y 1 ) + α 2 p L (y 2 ) y 1, y 2 α 1, α 2. Koska kuvaus y p L (y) on lineaarinen, sen välitää tietty n n-matriisi H, eli p L (y) = Hy, y Luvussa annetaan matriisille H lauseke käyttämällä mielivaltaista aliavaruuden L kantaa. 16
17 Ortogonaaliprojektion käsittely on yksinkertaista, jos aliavaruudelle L tunnetaan ortogonaalinen kanta e 1,..., e k, eli kanta, jonka vektorit ovat keskenään kohtisuorat (ja kaikille aliavaruuksille löytyy ortogonaalinen kanta). Tällöin ortogonaaliprojektio saadaan lausekkeella p L (y) = k j=1 e j y e j 2 e j. Tämä todistetaan tarkistamalla, että lausekkeen oikea puoli kuuluu aliavaruuteen L kaikilla y ja että y:n ja väitetyn lausekkeen erotus on kohtisuorassa L:n kantavektoreita vastaan. Mielivaltainen aliavaruuden kanta voidaan ortogonalisoida Gramin Schmidtin ortogonalisointiprosessilla. Otetaan käyttöön merkintä span S, S R n tarkoittamaan joukon S virittämää aliavaruutta (eli pienintä aliavaruutta, joka sisältää joukon S.) Olkoon a 1,..., a k aliavaruuden L kanta, ja määritellään Määritellään e 1 = a 1 ja sen jälkeen L j = span{a 1,..., a j }. e j = a j p Lj 1 (a j ), j = 2,..., k. Tällöin e 1,..., e j on aliavaruuden L j ortogonaalinen kanta, ja erityisesti e 1,..., e k on aliavaruuden L ortogonaalinen kanta. Yllä ortogonaaliprojektio p Lj 1 (a j ) saadaan laskettua helposti, sillä indeksin j kohdalla yllä olevassa iteraatiossa tunnetaan aliavaruuden L j 1 ortogonaalinen kanta e 1,..., e j 1. Jos L 1 ja L 2 ovat aliavaruuksia, niin myös niiden leikkaus ja summa ovat aliavaruuksia. Aliavaruuksien L 1 ja L 2 summa on juokko L 1 + L 2 = {v 1 + v 2 : v 1 L 1, v 2 L 2 }. Aliavaruudet L 1 ja L 2 ovat ortogonaaliset, mikä voidaan ilmaista merkinnällä L 1 L 2, jos v 1 v 2 kaikilla v 1 L 1 ja v 2 L 2. Tällöin aliavaruuksien L 1 ja L 2 summaa kutsutaan ortogonaaliseksi suoraksi summaksi, ja sitä merkitään L 1 L 2. (Huomaa, että monissa muissa lähteissä merkintää L 1 L 2 käytetään myös aliavaruuksien suoralle summalle, jossa summattavilta aliavaruuksilta vaaditaan ainoastaan, että L 1 L 2 = {0}, mikä tietenkin pitää paikkansa, jos L 1 ja L 2 ovat ortogonaalisia.) 17
18 Jos L 2 L 1 R n ovat aliavaruuksia, niin L 2 :n ortogonaalikomplementti L 1 :ssä on L 1 L 2 = L 1 L 2 = {x L 1 : x z z L 2 }. Erityisesti tavanomaiselle ortogonaalikomplementille L voidaan käyttää merkintää R n L. 2.2 SU-estimaatit Tarkastelemme lineaarista mallia µ L, jossa L on aliavaruus. Uskottavuusfunktio on n { L(µ, σ 2 ) = (2πσ 2 ) 1/2 exp 1 } 2σ (y 2 i µ i ) 2 { = (2πσ 2 ) n/2 exp 1 } y µ 2. 2σ2 Oli σ 2 > 0 mikä tahansa arvo, niin µ:n suhteen tämän funktion maksimoi se µ L, joka minimoi lausekkeen y µ 2, ja tämän tehtävän ratkaisu on ˆµ = p L (y). Argumentin µ suhteen maksimoitu uskottavuusfunktio eli parametrin σ 2 profiiliuskottavuusfunktio on { L(σ 2 ) = L(ˆµ, σ 2 ) = (2πσ 2 ) n/2 exp 1 } y ˆµ 2. 2σ2 Varianssiparametrin σ 2 > 0 SU-estimaatti löydetään maksimoimalla tätä funktiota, ja maksimipisteeksi saadaan helpoilla laskuilla ˆσ 2 = 1 y ˆµ 2 n olettaen, että y L. Jos y L, niin σ 2 :n SU-estimaatti ei ole määritelty. (Uskottavuusfunktio lähestyy tässä tapauksessa ääretöntä, kun σ 2 lähestyy nollaa, mutta arvo nolla ei kuulu parametriavaruuteen.) Jos lineaarinen malli pitää paikkansa ja L on avaruuden R n aito aliavaruus, niin tapauksen {Y L} todennäköisyys on nolla, joten rajoitus y L ei ole huolestuttava. Kootaan tulokset lauseeksi. 18
19 Lause 1. Lineaarisen mallin µ L SU-estimaatit ovat olemassa jos ja vain jos y L, ja tällöin niillä on lausekkeet Uskottavuusfunktion maksimiarvo on ˆµ = p L (y), ˆσ 2 = 1 n y ˆµ 2. L(ˆµ, ˆσ 2 ) = (2πˆσ 2 ) n 2 e n 2 Varianssiparametrin SU-estimaatin ˆσ 2 sijasta sille tullaan käyttämään estimaattia σ 2 = 1 n k y ˆµ 2, jossa k = dim(l). Tässä y = (y ˆµ) + ˆµ, jossa y ˆµ L ja ˆµ L, joten termit ovat ortogonaalisia. Pythagoraan lauseen nojalla ko. estimaatin lauseke voidaan kirjoittaa myös muodossa σ 2 = 1 n k ( y 2 ˆµ 2 ) Ortogonaaliprojektion matriisiesitys Olkoon x 1,..., x k lineaariavaruuden L kanta ja olkoon X = [ x 1,..., x k ] matriisi, jonka sarakkeina on kyseiset kantavektorit. Jos µ L, niin k µ = x j β j = Xβ j=1 jollekin β R k, ja tämä esitys on yksikäsitteinen. Koska myös ˆµ L, on olemassa yksikäsitteinen ˆβ, jolla ˆµ = p L (y) = X ˆβ. Tällöin ˆµ = X ˆβ on parametrin µ SU-estimaatti aliavaruutta L vastaavassa lineaarisessa mallissa. Seuraavaksi johdamme lausekkeen estimaatille ˆβ. Kerroinvektorin ˆβ lauseke voidaan johtaa joko derivoimalla (kuten kirjassa) tai seuraavalla geometrisella tarkastelulla. Koska vektorit x 1,..., x k muodostavat L:n kannan, seuraavat asiat ovat ekvivalentteja. X ˆβ = p L (y) y X ˆβ z z L y X ˆβ x j j = 1,..., k X T (y X ˆβ) = 0. 19
20 Edellä johdettua yhtälöä X T X ˆβ = X T y kutsutaan normaaliyhtälöksi (tai normaaliyhtälöiksi tai normaaliyhtälöryhmäksi). Koska X:n sarakkeet muodostavat kannan, ovat ne lineaarisesti riippumattomia. Todistamme seuraavaksi, että tästä seuraa se seikka, että X T X on säännöllinen matriisi, eli että tällä matriisilla on olemassa käänteismatriisi. Ensinnäkin X T X on k k-neliömatriisi, ja toisekseen seuraava implikaatioketju X T Xa = 0 (a T X T )(Xa) = 0 Xa = 0 a = 0 osoittaa, että matriisin X T X nolla-avaruus koostuu nollavektorista. Tämän takia matriisi X T X on säännöllinen. Siis ˆβ voidaan ratkaista normaaliyhtälöstä, jolloin saadaan ˆβ = (X T X) 1 X T y. Tämän jälkeen ortogonaaliprojektio ˆµ saadaan lausekkeesta missä otettiin käyttöön merkintä p L (y) = ˆµ = X ˆβ = X(X T X) 1 X T y = Hy, H = X(X T X) 1 X T. Lineaarikuvauksen p L välittävää n n-matriisia H kutsutaan hattumatriisiksi. (Selitys: sovitevektorille ˆµ käytetään usein merkintää ŷ, joten hattumatriisi laittaa hatun y:n päälle, ŷ = Hy.) Voidaan myös sanoa, että H on projektiomatriisi aliavaruuteen L. Laskemalla nähdään, että hattumatriisi on idempotentti ja symmetrinen, ts. HH = H ja H T = H. Kääntäen, jos P on idempotentti ja symmetrinen matriisi, niin se on projektiomatriisi aliavaruuteen R(P ) = {P x : x R n } eli kuvauksen x P x kuva-avaruuteen eli P :n sarakkeiden virittämään aliavaruuteen. (Kirjassa käytetään merkintää span{p } R(P ).) Tämä tarkistetaan seuraavilla laskuilla. 1) P y R(P ) kaikilla y (tietenkin). 20
21 2) Tarkistetaan, että y P y on kohtisuorassa aliavaruutta R(P ) vastaan: y P y R(P ) y P T (I P )y = 0 y, mutta jälkimmäinen identiteetti on tietenkin tosi symmertrisyyden ja idempotenttisuuden takia Kerroinvektorin estimaattorin jakauma Jostain syystä kirjan luvussa 2 ei tehdä tässä tehtäviä yksinkertaisia huomiota kerroinvektorin estimaattorin jakaumasta. Ensin kertaamme multinormaalijakauman ominaisuuksia. Satunnaisvektori Y = (Y 1,..., Y k ) T on vektori, jonka komponentit Y j ovat satunnaismuuttujia. Sen odotusarvovektori on komponenttien odotusarvoista koottu vektori ts. vektorin odotusarvo määritellään laskemalla odotusarvo komponentti komponentilta, Y 1 EY = E. Y k = EY 1. EY k Satunnaismatriisi ja sen odotusarvo määritellään samaan tapaan. Jos Z on satunnaismatriisi ja A, B ja C ovat vakiomatriiseja, joiden dimensiot ovat yhteensopivia, niin odotusarvon lineaarisuudesta ja matriisioperaatioiden määritelmistä seuraa, että E[AZB + C] = A(EZ)B + C. Kahden satunnaisvektorin U ja V kovarianssimatriisi määritellään kaavalla Cov(U, V ) = E[(U EU)(V EV ) T ], joten sen alkio (i, j) on E[(U i EU i )(V i EV i ) T ] = Cov(U i, V j ). Jos A ja a ovat vakiomatriisi ja vakiovektori siten, että lauseke AU + a on hyvin määritelty, ja B ja b ovat vakiomatriisi ja vakiovektori siten, että lauseke BV + b on hyvin määritelty, niin koska AU + a E[AU + a] = A(U EU), BV + b E[BV + b] = B(V EV ), on Cov(AU + a, BV + b) = E[(A(U EU)(V EV ) T B T ] = A Cov(U, V )B T. 21
22 Tämä kaava pitää sisällään luvussa käytetyn kovarianssin bilineaarisuusominaisuuden. Satunnaisvektorin Y kovarianssimatriisi (eli varianssi-kovarianssimatriisi) on Cov(Y ) = Cov(Y, Y ) = E[(Y EY )(Y EY ) T ], jonka alkio kohdassa (i, j) on E[(Y i EY i )(Y j EY j )] = Cov(Y i, Y j ). Kovarianssimatriisi on aina vähintään positiivisesti semidefiniitti (ja usein peräti positiivisesti definiitti). Edellä johdetun kaavan nojalla Cov(AY + b) = A Cov(Y )A T, kun A on vakiomatriisi ja b vakiovektori. Multinormaalijakauma eli moniulotteinen normaalijakauma voidaan määritellä lähtemällä liikkeelle satunnaisvektorista U = (U 1,..., U k ), jonka komponentit ovat riippumattomia ja noudattavat standardinormaalijakaumaa, U j N(0, 1). Tällöin satunnaisvektorilla U on tiheysfunktio f U (u) = k j=1 1 2π e 1 2 u2 i = (2π) n/2 exp( 1 2 ut u), u = (u 1,..., u k ) T. Merkitään tällöin, että U N(0, I). Huomaa, että EU = 0 ja Cov(U) = I. Tämän jälkeen sanotaan, että satunnaisvektorilla Y on multinormaalijakauma, jos se voidaan esittää muodossa Y = AU + b, jossa A on vakiomatriisi ja b vakiovektori. Voidaan osoittaa, että multinormaalijakauman määräävät jakauman odotusarvovektori sekä kovarianssimatriisi, ja multinormaalijakaumalle odotusarvolla µ ja kovarianssimatriisilla Σ käytetään merkintää N(µ, Σ). Multinormaalijakaumalla on mm. seuraavat ominaisuudet. Jos Y noudattaa multinormallijakaumaa, niin Y :n komponentit noudattavat yksiulotteista normaalijakaumaa, ja yleisemmin, jos C on vakiomatriisi ja d on vakiovektori, niin satunnaisvektori CY + d noudattaa multinormaalijakaumaa. Tämä nähdään lähtemällä liikkeelle esityksestä Y = AU + b, jossa U N(0, I) ja huomaamalla, että CY + d = (CA)U + (Cb + d). Jos Σ on positiivisesti definiitti (jolloin se on myös ei-singulaarinen), niin jakaumalla N(µ, Σ) on tiheysfunktio ( f(y) = (2π) n/2 det(σ) 1/2 exp 1 ) 2 (y µ)t Σ 1 (y µ). 22
23 Jos Σ on singulaarinen, niin multinormaalijakauma N(µ, Σ) on myös singulaarinen ts. se ei ole jatkuva jakauma eikä diskreetti jakauma (paitsi jos Σ = 0, jolloin jakauma on diskreetti). Jos Y noudattaa multinormaalijakaumaa, ja sen osavektorit U = (Y 1,..., Y j ) T, V = (Y j+1,..., Y k ) ovat korreloimattomia ts. Cov(U, V ) = 0, niin ne ovat peräti riippumattomia. (Tähän ominaisuuteen vedottiin lukuisia kertoja luvussa 1). Tämän ominaisuuden todistaminen onnistuisi näppärästi käyttämällä jakauman karakteristista funktiota. Ei-singulaarisessa tapauksessa ominaisuuden voi todistaa myös käyttämällä tiheysfunktion lauseketta. Multinormaalijakauman avulla ilmaistuna lineaarisen mallin µ = Xβ oletukset (rakenneoletus ja jakaumaoletus) voidaan molemmat ilmaista kaavalla sillä onhan mallin mukaan Y N(Xβ, σ 2 I), Y i = µ i + σ Y i µ i σ = µ i + σu i, jossa satunnaismuuttujat U i N(0, 1) riippumattomasti, ja µ i = [Xβ] i. Koska kerroinvektorin SU-estimaattori on ˆβ = (X T X) 1 X T Y, jossa X ja siten myös (X T X) 1 X T on vakiomatriisi, niin ˆβ noudattaa multinormaalijakaumaa, jonka odotusarvovektori ja kovarianssimatriisi lasketaan seuraavaksi. Odotusarvovektori on E ˆβ = (X T X) 1 X T EY = (X T X) 1 X T Xβ = β, joten ˆβ on harhaton. Kovarianssimatriisi on Cov( ˆβ) = (X T X) 1 X T Cov(Y )[(X T X) 1 X T ] T = (X T X) 1 X T (σ 2 I)X(X T X) 1 = σ 2 (X T X) 1. Siis ˆβ noudattaa (ei-singulaarista) multinormaalijakaumaa ˆβ N(β, σ 2 (X T X) 1 ). 23
24 Myös sovitevektori sekä residuaalivektori ˆµ = X ˆβ = X(X T X) 1 X T Y = HY R = Y ˆµ = (I H)Y noudattavat multinormaalijakaumaa, koska ne saadaan lineaarisilla muunnoksilla multinormaalijakaumaa noudattavasta vektorista Y. Laskemalla nähdään, että ˆµ N(µ, σ 2 H), R N(0, σ 2 (I H)). Nämä molemmat multinormaalijakaumat ovat singulaarisia (ellei malli ei ole triviaali). Myös ˆµ:n ja R:n yhteisjakauma on singulaarinen multinormaalijakauma, jossa Cov(ˆµ, R) = 0, joten satunnaisvektorit ˆµ ja R ovat riippumattomia. Koska varianssiparametrin estimaattori σ 2 = 1 n k R 2, k = dim(l) on satunnaisvektorin R funktio, ovat ˆµ ja σ 2 riippumattomia. Samalla tavalla nähdään, että myös ˆβ ja σ 2 ovat riippumattomia. 2.3 Uskottavuusosamäärätestin ja F -testin välinen yhteys Tilastollisen päättelyn perustyökalu lineaarisessa mallissa on ns. F -testi. Tässä luvussa esitellään ko. testi sekä osoitetaan, että se on ekvivalentti uskottavuusosamäärätestin kanssa. Olkoot L 1 ja L 2 kaksi sisäkkäistä aliavaruutta siten, että L 2 on L 1 :n aito aliavaruus, eli L 2 L 1, ja k 2 = dim(l 2 ) < k 1 = dim(l 1 ). Oletamme, että aliavaruutta L 1 vastaava lineaarinen malli on voimassa, ja tahdomme testata hypoteesia H 0 : µ L 2 käyttämällä vastahypoteesia H A : µ L 1 \ L 2. 24
25 Uskottavuusosamäärätesti (likelihood ratio test) perustuu testisuureeseen Q(y) = L(ˆµ 1, ˆσ 2 1) L(ˆµ 2, ˆσ 2 2), jossa (ˆµ 1, ˆσ 2 1) ovat parametrien (µ, σ 2 ) SU-estimaatit käyttämällä mallia L 1 ja (ˆµ 2, ˆσ 2 2) SU-estimaatit käyttämällä mallia L 2. Osoittajassa on uskottavuusfunktion maksimiarvo mallin L 1 ja nimittäjässä mallin L 2 vallitessa. Koska parametriavaruudet ovat sisäkkäiset (L 2 L 1 ), on L(ˆµ 1, ˆσ 2 1) L(ˆµ 2, ˆσ 2 2), joten Q(y) 1. Suuret testisuureen Q(y) arvot ovat kriittisiä H 0 :n kannalta: jos Q(y) on suuri, niin uskottavuusfunktion maksimi mallissa L 2 on selvästi pienempi kuin uskottavuusfunktion maksimi mallissa L 1. Nollahypoteesi µ L 2 hylätään merkitsevyystasolla α, jos Q(y) > c, jossa c määräytyy ehdosta P L2 (Q(Y ) > c) = α. Seuraavaksi muokkaamme testisuureen Q(y) lauseketta. Lauseen 1 mukaan Q(y) = L(ˆµ ( ) 1, ˆσ 1) 2 ˆσ 2 n ( ) L(ˆµ 2, ˆσ 2) = 2 1 y ˆµ1 2 n 2 = 2 y ˆµ 2 2 Tässä ˆσ 2 2 y ˆµ 2 = (y ˆµ 1 ) + (ˆµ 1 ˆµ 2 ), jossa termit ovat ortogonaalisia, sillä y ˆµ 1 L 1 ja ˆµ 1 ˆµ 2 L 1. Pythagoraan lauseen mukaan y ˆµ 2 2 = y ˆµ ˆµ 1 ˆµ 2 2, ja kun tämä sijoitetaan Q(y):n lausekkeeseen, se saadaan muotoon ( y ˆµ2 2 Q(y) = y ˆµ 1 2 ) n 2 = (1 + ˆµ 1 ˆµ 2 2 y ˆµ 1 2 Seuraavaksi määrittelemme F -testisuureen hypoteeseille H 0 : µ L 2 kaavalla F (y) = ˆµ 1 ˆµ 2 2 /(k 1 k 2 ) y ˆµ 1 2 /(n k 1 ). Huomaa, että uskottavuusosamäärän testisuure Q(y) saadaan soveltamalla bijektiivistä aidosti kasvavaa funktiota testisuureeseen F (y). Uskottavuusosamäärätestin kriittinen alue on muotoa Q(y) > c ja F -testin kriittinen alue on muotoa F (y) > d, joten nämä testit ovat samoja. ) n 2 25
26 Kuva 2.1: F -testin kriittinen alue merkitsevyystasolla α koostuu kyseessä olevan F -jakauman siitä oikeanpuoleisesta häntäalueesta, johon jää todennäköisyysmassasta α:n verran. Suuret testisuureen F (y) arvot ovat kriittisiä H 0 :n kannalta. Tulemme myöhemmin todistamaan, että nollahypoteesin pätiessä (eli kun µ L 2 ) F - testisuureen jakauma on F -jakauma vapausasteilla k 1 k 2 ja n k 1, eli F (Y ) F (k 1 k 2, n k 1 ), kun H 0 pätee eli kun µ L 2. Palautetaan tässä yhteydessä mieleen F -jakauman määritelmä. Jos satunnaismuuttujat U 1 χ 2 (f 1 ) ja U 2 χ 2 (f 2 ) ovat riippumattomia, niin tällöin osamäärä U 1 /f 1 U 2 /f 2 F (f 1, f 2 ), missä F (f 1, f 2 ) on (Fisherin) F -jakauma vapausasteilla f 1 ja f 2. Välittömästi näemme, että jos T t(f), niin T 2 F (1, f). Kun testataan hypoteesia H 0 : µ L 2 merkitsevyystasolla α, verrataan F -testisuureetta F (y) arvoon d, joka määrätään siten, että nollahypoteesin pätiessä hypoteesi hylätään todennäköisyydellä α, eli P L2 (F (Y ) > d) = α, ks. kuvaa 2.1. Kun käytämme hyväksi sitä tietoa, että F (Y ):llä on H 0 :n vallitessa F -jakauma, niin näemme, että d = F 1 α (k 1 k 2, n k 1 ), 26
27 jossa F β (f 1, f 2 ) tarkoittaa sitä pistettä, jossa ko. F -jakauman kertymäfunktio saa arvon β. Tämän testin p-arvo on P L2 (F (Y ) F (y)) = 1 G(F (y)), missä G on jakauman F (k 1 k 2, n k 1 ) kertymäfunktio. 2.4 Yhden selittäjän lineaarinen regressio uudestaan käsiteltynä Käsittelemme yhden selittäjän lineaarista regressiota keskistetyssä muodossa, EY i = µ i = α + β 2 t i, jossa t i = x i x, i = 1,..., n, eli mallin rakenneoletus on jossa t = (t 1,..., t n ) T. Huomaa, että µ = α1 + β 2 t, a) vektorit 1 ja t ovat lineaarisesti riippumattomia, mikäli t ei ole muotoa a1. Koska t i -arvojen keskiarvo on nolla, vektorit 1 ja t ovat lineaarisesti riippumattomia silloin ja vain silloin, kun S t = n t 2 i > 0. Jos S t > 0, vektorit 1 ja t muodostavat kaksiulotteisen aliavaruuden span{1, t} kannan. b) Vektorit 1 ja t ovat ortogonaalisia, sillä 1 T t = n t i = 0. Oletetaan, että S t > 0. Tällöin 1 ja t ovat lineaarisesti riippumattomia, ja lineaarisen mallin mallimatriisi X on X = [1, t], joten [ ] [ ] 1 X T X = T 1 1 T t n 0 t T 1 t T =, X T y = t 0 S t [ n y i n t iy i ] = [ nȳ S ty ], 27
28 josta [ ] 1/n 0 (X T X) 1 =, 0 1/S t [ [ ] = (X ˆαˆβ2] T X) 1 X T ȳ y =. S ty /S t Regressiokertoimien estimaattorien jakauma on [ ([ ] ) ([ ] [ ]) α α σ N, σ ˆαˆβ2] 2 (X T X) 1 = N, 2 /n 0 β 2 β 2 0 σ 2. /S t Oletetaan, että yhden selittäjän lineaarinen malli pitää paikkansa, ja johdetaan F -testisuure hypoteesille H 2, että selittävä muuttuja on mallissa tarpeeton, eli hypoteesille H 2 : β 2 = 0. Alkuperäinen malli vastaa aliavaruutta ja hypoteesia H 2 vastaa aliavaruus Tässä Mallin L 1 pätiessä sovite on ja mallin L 2 pätiessä taas L 1 = span{1, t} L 2 = span{1}. L 2 L 1, ja dim(l 2 ) = 1 < dim(l 1 ) = 2. ˆµ 1 = ˆα1 + ˆβ 2 t = ȳ1 + ˆβ 2 t, ˆµ 2 = yt = ȳ1. Näin ollen F -testisuure hypoteesille β 2 = 0 on F (y) = ˆµ 1 ˆµ 2 2 /(2 1) y ˆµ 1 2 /(n 2) = ˆβ 2 2S t σ 2, missä σ 2 on varianssiparametrin estimaatti mallissa L 1, σ 2 = 1 n 2 y ˆµ 1 2. Palautetaan mieleen luvusta 1.5, että t-testisuure hypoteesille β 2 = 0 on t(y) = ˆβ 2 σ/ S t, joten F -testisuureen ja t-testisuureen välillä on yhteys F (y) = t 2 (y). Tästä seuraa, että tälle hypoteesille F -testi ja (kaksisuuntainen) t-testi ovat samoja. 28
29 2.5 Lisää jakaumateoriaa Tässä kappaleessa osoitetaan, että aikaisemmin määritellyllä F -testisuureella on nollahypoteesin pätiessä todellakin F -jakauma Sivutuotteena johdetaan se tulos, että aliavaruutta L vastaavassa yleisessä lineaarisessa mallissa varianssiparametrin estimaattorin jakauma on seuraava skaalattu khiin neliö, jossa k = dim(l). σ 2 = 1 n k Y ˆµ 2 σ2 n k χ2 (n k), Multinormaalijakauman N(0, σ 2 I) ominaisuuksia Kirjoitamme lineaarisen mallin muodossa Y = µ + ɛ, µ L, jossa virhevektorin ɛ = (ɛ 1,..., ɛ n ) T komponentit ovat riippumattomia, ja niillä on jakauma N(0, σ 2 ), joten virhevektorilla on multinormaalijakauma N(0, σ 2 I). Seuraavaksi osoitamme, että jos esitämme virhevektorin missä tahansa R n :n ortonormeeratussa kannassa, niin koordinaattien yhteisjakauma on edelleen N(0, σ 2 I). Olkoon e 1,..., e n avaruuden R n ortonormeerattu kanta ts. kantavektorit ovat keskenään ortogonaalisia ja kunkin pituus on yksi. Muodostetaan neliömatriisi A asettamalla kantavektorit A:n sarakkeiksi, A = [e 1,..., e n ]. Tällöin A on ortogonaalinen matriisi, eli A 1 = A T. Ortogonaalisen matriisin determinantti on joko +1 tai 1, sillä 1 = det(i) = det(a T A) = det(a T ) det(a) = det(a) 2. Olkoot ϕ 1,..., ϕ n satunnaisvektorin ɛ koordinaatit ortonormeeratussa kannassa e 1,..., e n, jolloin n ɛ = ϕ i e i = Aϕ, jossa ϕ = (ϕ 1,..., ϕ n ). Tästä nähdään satunnaisvektorien ɛ ja ϕ välinen yhteys, ϕ = A T ɛ ɛ = Aϕ. 29
30 Lause 2. Jos A on ortogonaalinen matriisi ja ɛ N(0, σ 2 I), niin satunnaisvektorin ϕ = A T ɛ jakauma on N(0, σ 2 I). Todistus. Satunnaisvektorin ɛ tiheysfunktio on ( f ɛ (x) = (2πσ 2 ) n/2 exp 1 ) 2σ 2 x 2, ja satunnaisvektorin ϕ tiheysfunktio f ϕ saadaan kaavalla ( f ϕ (y) = f ɛ (Ay) det(a) = (2πσ 2 ) n/2 exp 1 ) 2σ 2 y 2, jossa käytettiin hyväksi tulosta Ay 2 = y T A T Ay = y T y = y 2. Palautetaan mieleen kappaleesta 2.1, että merkintä L 1 L 2 tarkoittaa kahden ortogonaalisen aliavaruuden ortogonaalista suoraa summaa. Laajennamme merkinnän koskemaan useampaa kuin kahta aliavaruutta. Merkintä U = L 1 L r tarkoittaa aliavaruuksien L 1,..., L r ortogonaalista suoraa summaa, eli sitä, että aliavaruudet L i ja L j ovat ortogonaalisia, kun i j, ja että U:n alkiot ovat muotoa u = v v r, jossa v j L j. Lause 3. Olkoon ɛ N(0, σ 2 I) ja olkoot L 1,..., L r avaruuden R n ortogonaalisia aliavaruuksia siten, että R n = L 1 L r. Olkoon k i = dim(l i ) ja olkoon p i ortogonaaliprojektio aliavaruuteen L i. Tällöin (i) p 1 (ɛ),..., p r (ɛ) ovat riippumattomia. (ii) p i (ɛ) 2 σ 2 χ 2 (k i ), i = 1,..., r. Todistus. Muodostetaan kullekin aliavaruudelle L j ortonormeerattu kanta, ja luetellaan kantavektorit peräkkäin siten, että ensin luetellaan L 1 :n kantavektorit, sitten L 2 :n kantavektorit jne. ja viimeiseksi L r :n kantavektorit. Tällöin lopputulos, e 1,..., e n, on R n :n ortonormeerattu kanta, koska aliavaruudet L j ovat ortogonaalisia. Konstruktion perusteella L j :n kantavektorit ovat e nj 1 +1,..., e nj, j = 1,..., r 30
31 kun määritellään n 0 = 0 ja n j = k k j, j = 1,..., r. Määritellään ortogonaalinen matriisi A siten, että sen sarakkeet ovat ortonormaalit kantavektorit e 1,..., e n ja määritellään satunnaisvektori ϕ kaavalla ϕ = A T ɛ ɛ = Aϕ. Tällöin ortogonaaliprojektiolla p j on esitys p j (ɛ) = n j i=n j 1 +1 ϕ i e i. Lauseen 2 mukaan satunnaismuuttujat ϕ 1,..., ϕ n ovat riippumattomia, ja kukin niistä noudattaa normaalijakaumaa N(0, σ 2 ). Niinpä satunnaisvektorit p 1 (ɛ),..., p r (ɛ) ovat riippumattomia, sillä p j (ɛ) riippuu vain muuttujista ϕ i, i = n j 1 + 1,..., n j, ja tässä indeksijoukot ovat erillisiä eri j:n arvoilla. Pythagoraan lauseen ja χ 2 -jakauman määritelmän nojalla pätee lisäksi p j (ɛ) 2 = n j i=n j 1 +1 ϕ 2 j = σ 2 n j i=n j 1 +1 ( ϕj ) 2 σ 2 χ 2 (k j ). σ Parametrien estimaattorit Tarkastellaan lineaarista mallia µ L 1, eli Y = µ + ɛ, µ L 1, ɛ N(0, σ 2 I), jossa dim(l 1 ) = k 1. Esitetään R n ortogonaalisena suorana summana R n = L 1 L 1, ja olkoot p L1 ja p L 1 vastaavat ortogonaaliset projektiot. 31
32 Lauseen 3 mukaan p L 1 (ɛ) 2 σ 2 χ 2 (n k 1 ). Lisäksi p L 1 (Y ) = Y p L1 (Y ), ja toisaalta p L 1 (Y ) = p L 1 (µ) + p L 1 (ɛ) = p L 1 (ɛ). Edellä p L 1 (µ) = 0, sillä µ L 1. Tämän takia σ 2 = 1 n k 1 Y p L1 (Y ) 2 = 1 n k 1 p L 1 (ɛ) 2 σ2 n k 1 χ 2 (n k 1 ), joka tulos saatiin nyt vihdoin viimein todistettua, vaikka sitä on sovellettu jo useissa yhteyksissä aikaisemmin. Erityisesti estimaattori σ 2 on harhaton, Koska E σ 2 = σ 2. ˆµ = p L1 (Y ) = p L1 (µ) + p L1 (ɛ) = µ + p L1 (ɛ), nähdään lausetta 3 soveltamalla, että sovitevektori ˆµ ja estimaattori σ 2 ovat keskenään riippumattomia, minkä asian tiesimme jo luvun perusteella F-testi Tarkastelemme kahta sisäkkäistä aliavaruutta L 2 L 1, k 2 = dim(l 2 ) < k 1 = dim(l 1 ), ja oletamme, että aliavaruutta L 2 vastaava lineaarinen malli pitää paikkansa. Olkoot p 1 ja p 2 ortogonaaliprojektiot aliavaruudelle L 1 ja L 2, jolloin F -testisuure L 2 :lle L 1 :n vallitessa on ˆµ 1 = p 1 (y), ˆµ 2 = p 2 (y). F (y) = p 1(y) p 2 (y) 2 /(k 1 k 2 ) y p 1 (y) 2 /(n k 1 ) Osoitamme seuraavaksi, että L 2 :n vallitessa F -testisuureella on jakauma F (Y ) F (k 1 k 2, n k 1 ), kun µ L 2. 32
33 Oletetaan siis, että µ L 2. Esitetään R n seuraavan kolmen aliavaruuden ortogonaalisena suorana summana, R n = L 2 (L 1 L 2 ) L 1, jossa aliavaruuksien dimensiot ovat k 2, k 1 k 2 ja n k 1, ja jossa ortogonaaliprojektiot ko. aliavaruuksiin ovat p 2, p 1 p 2 ja y y p 1 (y). Lausetta 3 soveltamalla saadaan selville, että p 2 (ɛ) 2 σ 2 χ 2 (k 2 ) p 1 (ɛ) p 2 (ɛ) 2 σ 2 χ 2 (k 1 k 2 ) ɛ p 2 (ɛ) 2 σ 2 χ 2 (n k 1 ), ja että nämä kolme satunnaismuuttujaa ovat riippumattomia. Koska µ L 2 L 1, on µ = p 1 (µ) = p 2 (µ), joten p 1 (Y ) p 2 (Y ) = p 1 (µ) + p 1 (ɛ) p 2 (µ) p 2 (ɛ) = p 1 (ɛ) p 2 (ɛ) Siis, kun µ L 2, Y p 1 (Y ) = µ + ɛ p 1 (µ) p 1 (ɛ) = ɛ p 1 (ɛ). F (Y ) = p 1(Y ) p 2 (Y ) 2 /(k 1 k 2 ) Y p 1 (Y ) 2 /(n k 1 ) F (k 1 k 2, n k 1 ), = p 1(ɛ) p 2 (ɛ) 2 /(k 1 k 2 ) ɛ p 1 (ɛ) 2 /(n k 1 ) jossa tarvittiin sitä tietoa, että osoittaja ja nimittäjä ovat riippumattomia ja jossa osoittajan ja nimittäjän varianssiparametrit kumosivat toisensa. F-testisuureen näkee usein esitettävän muodossa F (y) = (RSS 2 RSS 1 )/(k 1 k 2 ), RSS 1 /(n k 1 ) jossa RSS j on jäännösneliösumma (residual sum of squares) mallista µ L j, eli RSS j = y p Lj (y) 2. Tämä kaava on tietenkin yhtäpitävä edellä esitetyn kaavan kanssa (HT) F-testi, kun rajoitteet ovat muotoa Aβ = 0 Käytännössä malli µ L 1 spesifioidaan useimmiten tietyn mallimatriisin avulla, µ = Xβ, ja rajoitettu malli µ L 2 annetaan usein muodossa Aβ = 0, 33
34 jossa A on annettu q k-matriisi, jonka vaakarivit ovat lineaarisesti riippumattomia. Tällöin alkuperäisen mallin aliavaruus L 1 = R(X), ja rajoitetun mallin µ L 2 aliavaruus L 2 on L 2 = {µ R n : β R k siten, että µ = Xβ ja Aβ = 0}. Tällöin voidaan edetä sillä tavalla, että q kappaletta parametreista β j eliminoidaan rajoitusehtojen avulla. Esimerkiksi, jos q = 1 ja rajoitusehtona on β 1 + β 2 = 0, niin tällöin voidaan esim. β 1 eliminoida kaavalla β 1 = β 2 ja ilmaista rajoitettu malli parametrien β 2,..., β k avulla. Tämän jälkeen voidaan ratkaista ˆµ 2 ja käyttää edellä kehitettyä kaavaa F -testisuureelle. Tässä tilanteessa voidaan antaa myös eksplisiittinen kaava F -testisuureelle. Eräs hyödyllinen muoto on F (y) = ˆβ T A T [A(X T X) 1 A T ] 1 A ˆβ/q σ 2, (*) jossa ˆβ on alkuperäisestä mallista µ L 1 laskettu estimaatti ˆβ = (X T X) 1 X T y, ja σ 2 on alkuperäisen mallin µ L 1 varianssiparametrin estimaatti. Kaavan (*) voi johtaa lähtemällä liikkeelle siitä, että F -testisuureen osoittajassa oleva neliömuoto on y:n ortogonaaliprojektion pituuden neliö aliavaruudelle L 1 L 2. Lisäksi tarvitaan se tieto, että matriisin X(X T X) 1 A T sarakkeet muodostavat kannan aliavaruudelle L 1 L 2. Tämä todistetaan tarkistamalla, että kyseisen matriisin sarakkeet ovat lineaarisesti riippumattomia sekä laskemalla seuraavasti. v L 1 L 2 = L 1 L 2 v = Xβ ja (Aβ = 0 β X T Xβ = 0) v = Xβ ja X T Xβ N(A) = R(A T ) v = Xβ ja X T Xβ = A T z jollekin z R q v = X(X T X) 1 A T z jollekin z R q. Lopuksi kaava (*) johdetaan soveltamalla luvun teoriaa käyttämällä kantana matriisin X(X T X) 1 A T sarakkeita. 34
35 2.6 t-testin ja F -testin välinen yhteys Tarkastellaan lineaarista mallia µ = Xβ, jonka mallimatriisi on X. Luvussa johdettiin kerroinvektorin β SU-estimaattorille tulos ˆβ N(β, σ 2 C), jossa C = (XX T ) 1. Olkoon c ij matriisin C alkio kohdassa (i, j). Kerroinvektorin β = (β 1,..., β k ) alkion β j keskivirhe on s. e.( ˆβ j ) = σ c jj ja sen t-testisuure on t(y) = ˆβ j β j s. e.( ˆβ j ). Kirjoitetaan vastaava satunnaissuure t(y ) muodossa t(y ) = ( ˆβ j β j )/(σ c jj ) σ2 /σ 2, jossa osoittajassa on standardinormaalijakaumaa noudattava satunnaismuuttuja, ja nimittäjässä on neliöjuureen sisällä siitä riippumaton satunnaismuuttuja, jolle σ 2 σ 1 2 n k χ2 (n k). Siis t-jakauman määritelmän nojalla t(y ) t(n k), minkä perusteella voidaan muodostaa hypoteesia β j = 0 koskeva t-testi samalla tavalla kuin luvussa 1.5. Tällaisessa testissä tutkitaan, onko kerrointa β j vastaava selittäjä tarpeellinen lineaarisessa mallissa, kun malli sisältää muut selittävät muuttujat. Hypoteesia β j = 0 voidaan testata myös F -testillä. Tämä vastaa rajoitetta Aβ = 0, jossa A = e T j ja e j on R n :n standardikannan j:s vektori. Käyttämällä luvun kaavaa (*) F -testisuureeksi saadaan joten F (y) = ˆβ 2 j /c jj σ 2, F (y) = t 2 (y), mistä seuraa, että testit ovat samat. Kirjassa vastaava lasku lasketaan ilman kaavaa (*), ja laskut ovat huomattavasti hankalampia kuin yhden selittäjän tapauksessa. 35
36 2.7 Luottamusjoukot ja affiinit hypoteesit Luottamusellipsoidi Oletetaan, että satunnaisvektori Y noudattaa lineaarista mallia n k-mallimatriisilla X eli että Y = µ + ɛ, µ = Xβ, ɛ N(0, σ 2 I). Tarkastellaan hypoteesia H 2 : β = β 0, jossa β 0 on annettu k-komponenttinen vektori. Emme voi testata tätä hypoteesia suoraan F -testillä, sillä ko. hypoteesi on µ:n avulla ilmaistuna sama kuin µ {µ 0 }, jossa µ 0 = Xβ 0, ja joukko {µ 0 } on aliavaruus täsmälleen silloin, kun µ 0 = 0 eli kun β 0 = 0. Sen sijaan tarkastelemme muunnettua mallia, jossa hypoteesi H 2 on ekvivalentti aliavaruuden {0} kanssa. Määritellään satunnaisvektori Y kaavalla Y = Y Xβ 0. Tällöin Y noudattaa lineaarista mallia mallimatriisilla X, sillä Y = Y Xβ 0 = X(β β 0 ) + ɛ = Xβ + ɛ, missä uuden mallin parametrin β ja alkuperäisen mallin parametrin β välillä on yhteys β = β β 0. Alkuperäisen mallin hypoteesi β = β 0 on sama kuin uuden mallin hypoteesi β = 0. Kehitetään seuraavaksi F -testisuureen lauseketta uuden mallin hypoteesille β = 0 eli aliavaruudelle L 2 = {0}. Uudessa mallissa ˆµ 1 = X ˆβ ja ˆµ 2 = 0, missä uuden mallin kerroinvektorin β SU-estimaattorille pätee kaava ˆβ = (X T X) 1 X T Y = (X T X) 1 X T (Y Xβ 0 ) = ˆβ β 0, jossa ˆβ on alkuperäisen mallin kerroinvektorin β SU-estimaattori. Niinpä F - testisuureen osoittajassa on neliömuoto ˆµ 1 ˆµ 2 2 = X ˆβ 2 = X( ˆβ β 0 ) 2 = ( ˆβ β 0 ) T X T X( ˆβ β 0 ). Nimittäjässä on varianssiparametrin estimaatti uudessa mallissa, kun µ L 1 = R(X) eli 1 n k y X ˆβ 2 = 1 n k y Xβ 0 X( ˆβ β 0 ) 2 = 1 n k y X ˆβ 2, 36
Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotJohdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka
Lisätiedot10 Moniulotteinen normaalijakauma
10 Moniulotteinen normaalijakauma Tässä luvussa tarkastellaan normaalijakauman moniulotteista yleistystä eli moniulotteista (eli monimuuttujaista) normaalijakaumaa (engl. multivariate normal distribution).
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
Lisätiedotl (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on
HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 018 Harjoitus B Ratkaisuehdotuksia Tehtäväsarja I 1 (Monisteen tehtävä 14) Olkoon f Y (y; θ) tilastollinen malli, jonka
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
LisätiedotOrtogonaalisen kannan etsiminen
Ortogonaalisen kannan etsiminen Lause 94 (Gramin-Schmidtin menetelmä) Oletetaan, että B = ( v 1,..., v n ) on sisätuloavaruuden V kanta. Merkitään V k = span( v 1,..., v k ) ja w 1 = v 1 w 2 = v 2 v 2,
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
Lisätiedot1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 017 Harjoitus 5 Ratkaisuehdotuksia Tehtäväsarja I 1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X
LisätiedotSallitut apuvälineet: MAOL-taulukot, kirjoitusvälineet, laskin sekä itse laadittu, A4-kokoinen lunttilappu. f(x, y) = k x y, kun 0 < y < x < 1,
Todennäköisyyslaskenta, 2. kurssikoe 7.2.22 Sallitut apuvälineet: MAOL-taulukot, kirjoitusvälineet, laskin sekä itse laadittu, A4-kokoinen lunttilappu.. Satunnaismuuttujien X ja Y yhteistiheysfunktio on
Lisätiedot5.7 Uskottavuusfunktioon perustuvia testejä II
5.7 Uskottavuusfunktioon perustuvia testejä II Tässä pykälässä pohditaan edellä tarkasteltujen kolmen testisuureen yleistystä malleihin, joiden parametri on useampiulotteinen, ja testausasetelmiin, joissa
Lisätiedot6.1.2 Luottamusjoukon määritelmä
6.1.1 Johdanto Olemme tarkastelleet piste-estimointia: tavoitteemme oli etsiä tunnuslukuja t, joilla piste t(y) hyvä arvio mallin parametrille θ (tai sen muunnokselle g(θ)). Pelkän piste-estimaatin esittäminen
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
Lisätiedot802320A LINEAARIALGEBRA OSA II
802320A LINEAARIALGEBRA OSA II Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 64 Sisätuloavaruus Määritelmä 1 Olkoon V reaalinen vektoriavaruus. Kuvaus on reaalinen
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotJohdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotTilastollinen päättömyys, kevät 2017 Harjoitus 6B
Tilastollinen päättömyys, kevät 7 Harjoitus 6B Heikki Korpela 8. helmikuuta 7 Tehtävä. Monisteen teht. 6... Olkoot Y,..., Y 5 Nµ, σ, ja merkitään S 5 i Y i Y /4. Näytä, että S/σ on saranasuure eli sen
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotJohdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
LisätiedotLineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus
Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus 1 / 51 Lineaarikombinaatio Johdattelua seuraavaan asiaan (ei tarkkoja määritelmiä): Millaisen kuvan muodostaa joukko {λv λ R, v R 3 }? Millaisen
LisätiedotKannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:
8 Kanta Tässä luvussa tarkastellaan aliavaruuden virittäjävektoreita, jotka muodostavat lineaarisesti riippumattoman jonon. Merkintöjen helpottamiseksi oletetaan luvussa koko ajan, että W on vektoreiden
Lisätiedot1 Sisätulo- ja normiavaruudet
1 Sisätulo- ja normiavaruudet 1.1 Sisätuloavaruus Määritelmä 1. Olkoon V reaalinen vektoriavaruus. Kuvaus : V V R on reaalinen sisätulo eli pistetulo, jos (a) v w = w v (symmetrisyys); (b) v + u w = v
LisätiedotTilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
LisätiedotKertausta: avaruuden R n vektoreiden pistetulo
Kertausta: avaruuden R n vektoreiden pistetulo Määritelmä Vektoreiden v R n ja w R n pistetulo on v w = v 1 w 1 + v 2 w 2 + + v n w n. Huom. Pistetulo v w on reaaliluku! LM2, Kesä 2012 227/310 Kertausta:
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotVektorien pistetulo on aina reaaliluku. Esimerkiksi vektorien v = (3, 2, 0) ja w = (1, 2, 3) pistetulo on
13 Pistetulo Avaruuksissa R 2 ja R 3 on totuttu puhumaan vektorien pituuksista ja vektoreiden välisistä kulmista. Kuten tavallista, näiden käsitteiden yleistäminen korkeampiulotteisiin avaruuksiin ei onnistu
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.14 Tilastollisen analyysin perusteet, kevät 7 7. luento: Tarina yhden selittään lineaarisesta regressiomallista atkuu Kai Virtanen 1 Luennolla 6 opittua Kuvataan havainnot (y, x ) yhden selittään
LisätiedotHarjoitusten 5 vastaukset
Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin
LisätiedotErityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotLineaarikuvauksen R n R m matriisi
Lineaarikuvauksen R n R m matriisi Lauseessa 21 osoitettiin, että jokaista m n -matriisia A vastaa lineaarikuvaus L A : R n R m, jolla L A ( v) = A v kaikilla v R n. Osoitetaan seuraavaksi käänteinen tulos:
LisätiedotAvaruuden R n aliavaruus
Avaruuden R n aliavaruus 1 / 41 Aliavaruus Esimerkki 1 Kuva: Suora on suljettu yhteenlaskun ja skalaarilla kertomisen suhteen. 2 / 41 Esimerkki 2 Kuva: Suora ei ole suljettu yhteenlaskun ja skalaarilla
LisätiedotLineaariavaruudet. Span. Sisätulo. Normi. Matriisinormit. Matriisinormit. aiheita. Aiheet. Reaalinen lineaariavaruus. Span. Sisätulo.
Lineaariavaruudet aiheita 1 määritelmä Nelikko (L, R, +, ) on reaalinen (eli reaalinen vektoriavaruus), jos yhteenlasku L L L, ( u, v) a + b ja reaaliluvulla kertominen R L L, (λ, u) λ u toteuttavat seuraavat
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18 1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen
LisätiedotHY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät Ratkaisuehdotuksia
HY / Matematiikan ja tilastotieteen laitos Tilastollinen päättely II, kevät 2017 14..2017 Ratkaisuehdotuksia 1. Olkoon θ positiivinen parametri, ja asetetaan 2θ 1 y exp y 2 /θ), kun y > 0 fy; θ) = 0, muuten
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotMS-C1340 Lineaarialgebra ja differentiaaliyhtälöt
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma
LisätiedotVALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170
VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE 4.6.2013 Ratkaisut ja arvostelu 1.1 Satunnaismuuttuja X noudattaa normaalijakaumaa a) b) c) d) N(170, 10 2 ). Tällöin P (165 < X < 175) on likimain
LisätiedotTodennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1
Todennäköisyyslaskun kertaus Vilkkumaa / Kuusinen 1 Satunnaismuuttujat ja todennäköisyysjakaumat Vilkkumaa / Kuusinen 2 Motivointi Kokeellisessa tutkimuksessa tutkittaviin ilmiöihin liittyvien havaintojen
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotTässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:
4. Tyhjentyvyys Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä: Voidaanko päätelmät perustaa johonkin tunnuslukuun t = t(y) koko aineiston y sijasta? Mitä
Lisätiedot10 Moniulotteinen normaalijakauma
10 Moniulotteinen normaalijakauma Tässä luvussa tarkastellaan normaalijakauman moniulotteista yleistystä eli moniulotteista (eli monimuuttujaista) normaalijakaumaa (engl. multivariate normal distribution).
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt QR-hajotelma ja pienimmän neliösumman menetelmä Riikka Kangaslampi Kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto PNS-ongelma PNS-ongelma
LisätiedotJohdatus regressioanalyysiin. Heliövaara 1
Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen
Lisätiedot(1.1) Ae j = a k,j e k.
Lineaarikuvauksen determinantti ja jälki 1. Lineaarikuvauksen matriisi. Palautetaan mieleen, mikä lineaarikuvauksen matriisi annetun kannan suhteen on. Olkoot V äärellisulotteinen vektoriavaruus, n = dim
Lisätiedot802320A LINEAARIALGEBRA OSA III
802320A LINEAARIALGEBRA OSA III Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 56 Määritelmä Määritelmä 1 Olkoot V ja W lineaariavaruuksia kunnan K yli. Kuvaus L : V
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 15. marraskuuta 2007 Antti Rasila () TodB 15. marraskuuta 2007 1 / 19 1 Tilastollisia testejä (jatkoa) Yhden otoksen χ 2 -testi varianssille Kahden riippumattoman
LisätiedotKoska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
LisätiedotLineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44
Lineaarialgebra ja differentiaaliyhtälöt Laskuharjoitus 1 / vko 44 Tehtävät 1-3 lasketaan alkuviikon harjoituksissa, verkkotehtävien dl on lauantaina aamuyöllä. Tehtävät 4 ja 5 lasketaan loppuviikon harjoituksissa.
LisätiedotKohdeyleisö: toisen vuoden teekkari
Julkinen opetusnäyte Yliopisto-opettajan tehtävä, matematiikka Klo 8:55-9:15 TkT Simo Ali-Löytty Aihe: Lineaarisen yhtälöryhmän pienimmän neliösumman ratkaisu Kohdeyleisö: toisen vuoden teekkari 1 y y
LisätiedotRatkaisuehdotukset LH 7 / vko 47
MS-C34 Lineaarialgebra, II/7 Ratkaisuehdotukset LH 7 / vko 47 Tehtävä : Olkoot M R symmetrinen ja positiividefiniitti matriisi (i) Näytä, että m > ja m > (ii) Etsi Eliminaatiomatriisi E R siten, että [
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
1 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a
LisätiedotVapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.
Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +
LisätiedotOsoita, että täsmälleen yksi vektoriavaruuden ehto ei ole voimassa.
LINEAARIALGEBRA Harjoituksia 2016 1. Olkoon V = R 2 varustettuna tavallisella yhteenlaskulla. Määritellään reaaliluvulla kertominen seuraavasti: λ (x 1, x 2 ) = (λx 1, 0) (x 1, x 2 ) R 2 ja λ R. Osoita,
Lisätiedot3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä
3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21
LisätiedotUskottavuuden ominaisuuksia
Luku 9 Uskottavuuden ominaisuuksia 9.1 Tyhjentävyys T yhjentävyys (Fisher 1922) luonnehtii täsmällisesti havaintoihin sisältyvän informaation kvantitatiivisesti. Parametrin θ estimaatti T(x) on tyhjentävä
LisätiedotMääritelmä Olkoon T i L (V i, W i ), 1 i m. Yksikäsitteisen lineaarikuvauksen h L (V 1 V 2 V m, W 1 W 2 W m )
Määritelmä 519 Olkoon T i L V i, W i, 1 i m Yksikäsitteisen lineaarikuvauksen h L V 1 V 2 V m, W 1 W 2 W m h v 1 v 2 v m T 1 v 1 T 2 v 2 T m v m 514 sanotaan olevan kuvausten T 1,, T m indusoima ja sitä
LisätiedotMatemaattinen Analyysi / kertaus
Matemaattinen Analyysi / kertaus Ensimmäinen välikoe o { 2x + 3y 4z = 2 5x 2y + 5z = 7 ( ) x 2 3 4 y = 5 2 5 z ) ( 3 + y 2 ( 2 x 5 ( 2 7 ) ) ( 4 + z 5 ) = ( 2 7 ) yhteys determinanttiin Yhtälöryhmän ratkaiseminen
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
LisätiedotMatriisilaskenta, LH4, 2004, ratkaisut 1. Hae seuraavien R 4 :n aliavaruuksien dimensiot, jotka sisältävät vain
Matriisilaskenta LH4 24 ratkaisut 1 Hae seuraavien R 4 :n aliavaruuksien dimensiot jotka sisältävät vain a) Kaikki muotoa (a b c d) olevat vektorit joilla d a + b b) Kaikki muotoa (a b c d) olevat vektorit
LisätiedotMoniulotteiset satunnaismuuttujat ja jakaumat
Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat KE (2014) 1 Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat >> Kaksiulotteiset
LisätiedotHarjoitusten 4 vastaukset
Harjoitusten 4 vastaukset 4.1. Prosessi on = 1 +, jossa»iid( 2 )ja =1 2. PNS estimaattori :lle on (" P P 2 ") = +( X X 2 ) 1 1. =1 Suluissa oleva termi on deterministinen ja suppenee vihjeen mukaan 2 6:teen.
LisätiedotLineaarialgebra ja matriisilaskenta II. LM2, Kesä /141
Lineaarialgebra ja matriisilaskenta II LM2, Kesä 2012 1/141 Kertausta: avaruuden R n vektorit Määritelmä Oletetaan, että n {1, 2, 3,...}. Avaruuden R n alkiot ovat jonoja, joissa on n kappaletta reaalilukuja.
Lisätiedot7 Vapaus. 7.1 Vapauden määritelmä
7 Vapaus Kuten edellisen luvun lopussa mainittiin, seuraavaksi pyritään ratkaisemaan, onko annetussa aliavaruuden virittäjäjoukossa tarpeettomia vektoreita Jos tällaisia ei ole, virittäjäjoukkoa kutsutaan
Lisätiedot6 Vektoriavaruus R n. 6.1 Lineaarikombinaatio
6 Vektoriavaruus R n 6.1 Lineaarikombinaatio Määritelmä 19. Vektori x œ R n on vektorien v 1,...,v k œ R n lineaarikombinaatio, jos on olemassa sellaiset 1,..., k œ R, että x = i v i. i=1 Esimerkki 30.
LisätiedotNormaalijakaumasta johdettuja jakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma
LisätiedotMääritelmä 1. Olkoot V ja W lineaariavaruuksia kunnan K yli. Kuvaus L : V. Termejä: Lineaarikuvaus, Lineaarinen kuvaus.
1 Lineaarikuvaus 1.1 Määritelmä Määritelmä 1. Olkoot V ja W lineaariavaruuksia kunnan K yli. Kuvaus L : V W on lineaarinen, jos (a) L(v + w) = L(v) + L(w); (b) L(λv) = λl(v) aina, kun v, w V ja λ K. Termejä:
LisätiedotLineaarialgebra ja matriisilaskenta II Syksy 2009 Laskuharjoitus 1 ( ) Ratkaisuehdotuksia Vesa Ala-Mattila
Lineaarialgebra ja matriisilaskenta II Syksy 29 Laskuharjoitus (9. - 3..29) Ratkaisuehdotuksia Vesa Ala-Mattila Tehtävä. Olkoon V vektoriavaruus. Todistettava: jos U V ja W V ovat V :n aliavaruuksia, niin
LisätiedotTodennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3
Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Aiheet: Satunnaisvektorit ja moniulotteiset jakaumat Tilastollinen riippuvuus ja lineaarinen korrelaatio Satunnaisvektorit ja moniulotteiset
LisätiedotTilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä
Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme
Lisätiedot802320A LINEAARIALGEBRA OSA I
802320A LINEAARIALGEBRA OSA I Tapani Matala-aho MATEMATIIKKA/LUTK/OULUN YLIOPISTO SYKSY 2016 LINEAARIALGEBRA 1 / 72 Määritelmä ja esimerkkejä Olkoon K kunta, jonka nolla-alkio on 0 ja ykkösalkio on 1 sekä
LisätiedotTA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET
TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotLineaarikuvausten. Lineaarikuvaus. Lineaarikuvauksia. Ydin. Matriisin ydin. aiheita. Aiheet. Lineaarikuvaus. Lineaarikuvauksen matriisi
Lineaarikuvaukset aiheita ten ten 1 Matematiikassa sana lineaarinen liitetään kahden lineaariavaruuden väliseen kuvaukseen. ten Määritelmä Olkoon (L, +, ) ja (M, ˆ+, ˆ ) reaalisia lineaariavaruuksia, ja
LisätiedotLause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.
Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
LisätiedotSisätuloavaruudet. 4. lokakuuta 2006
Sisätuloavaruudet 4. lokakuuta 2006 Tässä esityksessä vektoriavaruudet V ja W ovat kompleksisia ja äärellisulotteisia. Käydään ensin lyhyesti läpi määritelmiä ja perustuloksia. Merkitään L(V, W ) :llä
LisätiedotMS-C1340 Lineaarialgebra ja
MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt Vektoriavaruudet Riikka Kangaslampi kevät 2017 Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Idea Lineaarisen systeemin ratkaiseminen Olkoon
Lisätiedot