Mat Tilastollisen analyysin perusteet, kevät 2007

Samankaltaiset tiedostot
on tavanomainen yhden selittäjän lineaarinen regressiomalli, jossa jäännöstermit ε i toteuttavat seuraavat oletukset:

Mat Koesuunnittelu ja tilastolliset mallit. Yhden selittäjän lineaarinen regressiomalli. Avainsanat:

Mat Tilastollisen analyysin perusteet, kevät 2007

Tilastollinen riippuvuus ja korrelaatio

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 6

Testaa onko lämpökäsittelyllä vaikutusta tankojen keskimääräiseen vetolujuuteen.

Mat Tilastollisen analyysin perusteet, kevät 2007

1. PARAMETRIEN ESTIMOINTI

7.5. Yleinen lineaarinen malli ja suurimman uskottavuuden menetelmä

Varianssianalyysi. Varianssianalyysi. Varianssianalyysi. Varianssianalyysi: Mitä opimme? Varianssianalyysi: Johdanto

Mat Tilastollisen analyysin perusteet, kevät 2007

Yleinen lineaarinen malli. Yleinen lineaarinen malli. Yleinen lineaarinen malli: Mitä opimme? 2/4. Yleinen lineaarinen malli: Mitä opimme?

Muuttujien välisten riippuvuuksien analysointi

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Sovellettu todennäköisyyslasku A

Yhden selittäjän lineaarinen regressiomalli: Lisätiedot. Yhden selittäjän lineaarinen regressiomalli

MTTTP1 SELITYKSIÄ JA ESIMERKKEJÄ KAAVAKOKOELMAN KAAVOIHIN LIITTYEN

= E(Y 2 ) 1 n. = var(y 2 ) = E(Y 4 ) (E(Y 2 )) 2. Materiaalin esimerkin b) nojalla log-uskottavuusfunktio on l(θ; y) = n(y θ)2

Tilastollinen riippuvuus ja korrelaatio. Tilastollinen riippuvuus ja korrelaatio. Tilastollinen riippuvuus ja korrelaatio: Esitiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Mat Sovellettu todennäköisyyslasku A

Mat Tilastollisen analyysin perusteet, kevät 2007

Tilastolliset menetelmät: Otokset, otosjakaumat ja estimointi. 4. Otokset ja otosjakaumat 5. Estimointi 6. Estimointimenetelmät 7.

VÄRÄHTELYMEKANIIKKA SESSIO 24: Usean vapausasteen vaimenematon ominaisvärähtely osa 2

Yhden selittäjän lineaarinen regressiomalli

4. Datan käsittely lyhyt katsaus. Havaitsevan tähtitieteen peruskurssi I, luento Thomas Hackman

Kaksisuuntainen varianssianalyysi. Kaksisuuntainen varianssianalyysi. Kaksisuuntainen varianssianalyysi

Tilastolliset menetelmät: Lineaarinen regressioanalyysi

3. Datan käsittely lyhyt katsaus

Regressioanalyysi. Kuusinen/Heliövaara 1

Suoran sovittaminen pistejoukkoon

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 4

Regressioanalyysi. Vilkkumaa / Kuusinen 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi. Viikko 6

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 5 Aiheet: Tilastolliset testit Avainsanat:

Mat Tilastollisen analyysin perusteet, kevät 2007

Tilastollinen päättely. 3. Piste estimointi Johdanto Estimointimenetelmät Estimaattoreiden ominaisuudet

Johdatus regressioanalyysiin. Heliövaara 1

2-suuntainen vaihtoehtoinen hypoteesi

Mat Sovellettu todennäköisyyslaskenta B 9. harjoitukset / Ratkaisut Aiheet: Estimointi Estimointimenetelmät Väliestimointi Avainsanat:

Luento 6 Luotettavuus Koherentit järjestelmät

Yksisuuntainen varianssianalyysi. Yksisuuntainen varianssianalyysi. Yksisuuntainen varianssianalyysi. Yksisuuntainen varianssianalyysi: Mitä opimme?

ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i

Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1

Tilastollinen päättely. 3. Piste-estimointi Johdanto Estimointimenetelmät Estimaattoreiden ominaisuudet

Tilastolliset menetelmät: Varianssianalyysi

Jakaumien tunnusluvut. Jakaumien tunnusluvut. Jakaumien tunnusluvut: Mitä opimme? 2/2. Jakaumien tunnusluvut: Mitä opimme? 1/2

5. Datan käsittely lyhyt katsaus. Havaitsevan tähtitieteen peruskurssi I, luento Thomas Hackman

Mat Koesuunnittelu ja tilastolliset mallit

Moniulotteiset jakaumat ja havaintoaineistot

Mat Sovellettu todennäköisyyslaskenta B 8. harjoitukset / Ratkaisut Aiheet: Otos ja otosjakaumat Avainsanat:

Lohkoasetelmat. Lohkoasetelmat. Lohkoasetelmat: Mitä opimme? Lohkoasetelmat. Lohkoasetelmat. Satunnaistettu täydellinen lohkoasetelma 1/4

13. Lineaariset ensimmäisen kertaluvun differentiaalisysteemit

1. (Monisteen teht. 5.16) Eräiden kuulalaakereiden kestoa (miljoonaa kierrosta) on totuttu kuvaamaan Weibull-jakaumalla, jonka tiheysfunktio on

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 6

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Tilastolliset menetelmät: Lineaarinen regressioanalyysi

MS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 7: Lagrangen kertojat. Pienimmän neliösumman menetelmä.

Terveytemme Termisanasto ja tilastolliset menetelmät

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Yhteensopivuuden, homogeenisuuden ja riippumattomuuden testaaminen. Yhteensopivuuden, homogeenisuuden ja riippumattomuuden testaaminen

1.4. Aritmeettisen keskiarvon otosjakauma: Suurten otosten tuloksia

7. Menetysjärjestelmät

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Neliömatriisin A rivit (ja sarakkeet) ovat lineaarisesti riippumattomia, joss A 0.

6. Capital Asset Pricing Model

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT

2.1. Parametrien estimointi 2.2. Regressiokertoimien estimointi kovariansseista ja korrelaatioista

Tilastolliset menetelmät: Otokset, otosjakaumat ja estimointi

2. Teoriaharjoitukset

Yleinen lineaarinen malli

Tilastolliset menetelmät: Varianssianalyysi

1.2. Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat: Odotusarvot ja varianssit

. C. C Kirjoitetaan sitten auki lineaarisuuden määritelmän oikea puoli: αt{i c1 } + βt{i c2 } = α

Tilastollisten aineistojen kerääminen ja mittaaminen Tilastolliset aineistot

Ilkka Mellin. Sovellettu todennäköisyyslasku: Kaavat ja taulukot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

Bernoullijakauma. Binomijakauma

Kaksisuuntainen varianssianalyysi. Heliövaara 1

( ) ( ) Tällöin. = 1 ja voimme laskea energiatason i. = P n missä

Tilastollinen päättely. 4. Hypoteesien testaus Johdanto Testien konstruointi Testien vertailu

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1

Kaksisuuntaisen varianssianalyysin tilastollisessa malli voidaan esittää seuraavassa muodossa:

3. Teoriaharjoitukset

HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 2018 Harjoitus 7B Ratkaisuehdotuksia.

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Väliestimointi (jatkoa) Heliövaara 1

J1 (II.6.9) J2 (X.5.5) MATRIISILASKENTA(TFM) MALLIT AV 6

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

Tchebycheff-menetelmä ja STEM

HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 2018 Harjoitus 6A Ratkaisuehdotuksia.

Ilkka Mellin (2008) 1/24

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Differentiaali- ja integraalilaskenta 1 Ratkaisut 1. viikolle /

Generoidaan tiedostoon BINORM satunnaislukuja jakaumasta N(0,1) muuttujiksi U, V: (U, V): N 2 (0, 0, 1, 1, 0)

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Transkriptio:

Mat-.4 Tlastollse aals perusteet, evät 7 8. lueto: Usea selttää leaare regressomall Usea selttää leaare regressomall Seltettävä muuttua havattue arvoe vahtelu halutaa selttää selttäve muuttue havattue arvoe vahtelu avulla Oletetaa muuttue vällle leaare tlastolle rppuvuus + βx + β x + L+ β x + ε, = K,,, Usea selttää leaare regressomall = seltettävä satuae a havattu arvo havatosössä x = selttää x e-satuae a havattu arvo havatosössä, =,, ε = ääös- el vrheterm ε satuae a e-havattu arvo havatosössä β = vaoselttää regressoerro, e-satuae a tutemato vao β = selttää x regressoerro, =,,, e-satuae a tutemato vao Stadardoletuset Stadardoletuset => mall aalsot vodaa ättää tavaomasa estmot- a testausmeetelmä ( Selttäe x arvot x ovat tetä el e-satuasa vaota, =,,,, =,,, Selttäe välllä e ole leaarsa rppuvuusa ( E(ε =, =,,, (v Var(ε = σ, =,,, (v Cor(ε, ε l =, l (v ε ~ N(, σ, =,,, Ka Vrtae Ka Vrtae Ka Vrtae 3 Stadardoletuset, ( a ( Selttäe x arvot x ovat tetä el e-satuasa vaota, =,,,, =,,, Peruste ursslla esteltävälle teoralle Raottava, toteutuu ätäössä va u selttäe arvot vodaa valta (puhtaat oeasetelmat Estettävää teoraa vodaa soveltaa os sopvat lsäehdot pätevät satuaslle selttälle (multormaalaauma ( Selttäe välllä e ole leaarsa rppuvuusa Jos selttää rppuu leaarsest musta selttästä, se o selttäää redudatt a vodaa postaa mallsta Pemmä elösumma meetelmä tuottaa regressoertomlle sästteset estmaattort ( E(ε =, =,,, Kalla ääöstermellä sama odotusarvo Mallssa e ole sstemaattsta vrhettä Ka Vrtae 4 Stadardoletuset (v, (v a (v (v Var(ε = σ, =,,, Kalla ääöstermellä sama varass Jos oletus pätee, ääöstermt homosedastsa muute heterosedastsa Heterosedastsuus => regressoertome estmaattort tehottoma Vodaa testata tlastollsest (v Cor(ε, ε l =, l Jääöstermt evät orrelo eseää Korrelotuesuus => regressoertome estmaattort tehottoma a harhasa Vodaa testata tlastollsest (v ε ~ N(, σ, =,,, Jääöstermt ormaalaautueta Vodaa testata tlastollsest. Ka Vrtae 5 Regressomall parametrea ovat Mall parametrt + βx + β x + L+ β x + ε, = K,,, - regressoertomet β, β, β,, β - ääöstermeε varass (ääösvarass Var( ε = σ, =,, K, Parametrt leesä tutemattoma Parametrt estmotava muuttue x, x,, x a havatusta arvosta Ka Vrtae 6

Usea selttää leaarse regressomall matrsests Ylee leaare mall vodaa esttää muodossa = Xβ + ε ossa = seltettävä muuttua havattue arvoe muodostama satuae -vetor X = selttäe x, x,, x havattue arvoe a öste muodostama ( + -matrs β = regressoertome muodostama tutemato a teä el e-satuae ( + -vetor ε = ääösterme muodostama e-havattu a satuae -vetor Ka Vrtae 7 Odotusarvovetor a ovarassmatrs Oloo z = (z, z,, z p satuasmuuttue z, z,, z p muodostama p-vetor Satuasvetor z odotusarvovetor µ o µ = E( z = (E( z, E( z, K, E( z p ossa. alo o satuasmuuttua z odotusarvo µ = E( z, =,, K, p Satuasvetor z ovarassmatrs Σ o Σ = Cov( z = E ( z E( z( z E( z ossa. rv a. saraee alo o satuasmuuttue z a z ovarass σ = Cov( z, z [ ] = E ( z E( z ( z E( z Ka Vrtae 8 Stadardoletuset matrsmuodossa Regressomall ( selttäää, + regressoerrota = Xβ + ε stadardoletuset matrsmuodossa: Matrs X alot ovat tetä el e-satuasa vaota ( Matrs X o täsastee, r(x = + ( E(ε = (v&(v - r o matrs ra (= leaarsest rppumattome saraede ta rve luumäärä Cov(ε = σ I (v ε N (, σ I Ka Vrtae 9 Regressoertome PNS-estmot Regressoertomet estmodaa pemmä elösumma (PNS- meetelmällä Mmodaa ääöstermeε elösumma ε = ( β βx β x L β x = = regressoertome suhtee Dervot regressoertome suhtee a dervaatat olls => => Leaarsee htälörhmä, + htälöä a + tutematota => PNS-estmaattort b, b, b,, b Yhtälörhmällä o ratasu, os stadardoletus ( r(x = + pätee Estmaattorede matrsests Oloo = Xβ + ε stadardoletuse ( toteuttava mall Regressoertome vetor β PNS-estmaattor o b= ( X X X Jos stadardoletuset -(v pätevät E( b Cov( b = σ ( X X Kosa E(b => PNS-estmaattor o regressoertome vetor harhato estmaattor Jos stadardoletuset -(v pätevät ( σ b ~ N β, ( X X + Sovtteet a resduaalt Sovte: Estmodu mall seltettävälle muuttualle atama arvo havatopsteessä ( x, x, K, x ˆ = b + b x + b x + L+ b x = K,,,, Resduaal: Seltettävä muuttua havatu arvo a sovttee erotus e = ˆ = b b x b x L b x, =,, K, Jos stadardoletuset -(v pätevät E( + β x + β x + L+ β x, =,, K, ˆ E( e =, =,, K, Ka Vrtae Ka Vrtae Ka Vrtae

Sovtteet, resduaalt a regressomall hvs Sovttede a resduaale ättö regressomall hvde tutmsessa: ( Regressomall selttää seltettävä muuttua havattue arvoe vahtelu stä paremm mtä lähempää estmodu mall sovtteet ovat seltettävä muuttua havattua arvoa Regressomall selttää seltettävä muuttua havattue arvoe vahtelu stä paremm mtä peempä ovat estmodu mall resduaalt Jääösvarass estmot Jos stadardoletuset -(v pätevät, ääösvarass Var(ε = σ harhato estmaattor o s = e ossa = e = estmodu mall resduaal, =,,, = havatoe luumäärä = selttäe x luumäärä Estmaattor s o resduaale e varass, osa e = e = => = ( s = e e = e = = Estmotu regressotaso Regressomall regressoertome estmaattort b, b, b,, b määrttelevät taso = b + b x + b x + L+ b x Estmotu regressotaso Jääösvarass σ estmaattor s uvaa havatopstede ( x, x +, K, x, R, =,, K, vahtelua estmodu regressotaso mpärllä Ka Vrtae 3 Ka Vrtae 4 Ka Vrtae 5 Varassaalshaotelma Regressomall hvs varassaalshaotelma Varassaalshaotelmassa Kooaselösumma SST = Mallelösumma SSM + Jääöselösumma SSE seltettävä arvoe vahtelua uvaava SST estetää ahde osateä SSM a SSE summaa ( SSM uvaa stä osaa seltettävä vahtelusta, oa estmotu mall o selttät SSE uvaa stä osaa seltettävä vahtelusta, ota estmotu mall e ole selttät Varassaalshaotelma elösummat Seltettävä havattue arvoe vahtelua mtataa ooaselösummalla SST = ( = Resduaale vahtelua mtataa ääöselösummalla SSE= e = Sovttede vahtelua mtataa mallelösummalla SSM = ( ˆ = Seltsaste Varassaalshaotelmasta regressomall hvde mttars seltsaste SSE SSM R = = SST SST Mttaa regressomall selttämää osuutta seltettävä muuttua ooasvahtelusta R Kts. seltsastee muut omasuudet 6. lueo alvolta Huom! Uohda totuus seltettävä a selttää välsestä orrelaatoertomesta!!!! Mall uusa selttää => seltsaste asvaa (ta e aaaa peee => e voda ättää mall valassa!! Vrt. orattu seltsaste, lueto ro. Ka Vrtae 6 Ka Vrtae 7 Ka Vrtae 8 3

Yhtesorrelaato a osttasorrelaato [ ] R = Cor(, ossa Cor(, ˆ o seltettävä muuttua a sovttede otosorrelaatoerro, htesorrelaatoerro ˆ Selttävät orrelovat leesä eemmä a vähemmä eseää => suora orrelaato r x e aa oeaa uvaa muuttue htespelstä Harhato uva orrelaatosta osttasorrelaato x p : a : osttasorrelaatoerro: ( Muodosta mallt =b +b x +...+b p- x p- a x p =a +a x +...+a p- x p- ( Lase resduaalt e = -b -b x... a f =x p -a -a x... (3 Lase resduaale orrelaatoerro r ef = osttasorrelaatoerro Ka Vrtae 9 Päättel usea selttää leaarsesta regressomallsta Regressoerro b lähellä ollaa => e rpu x :stä auaa ollasta => e rppuu x :stä mer => rppuvuude suuta, + / - x asvaa hde sö => asvaa b Seltsaste R lähellä ollaa => e rppuvuutta, mall e seltä aluuaa seltettävä muuttua vahtelua lähellä ästä => rppuvuus, mall selttää hv seltettävä muuttaa vahtelu Mtä tarottaa lähellä / auaa? Ratasu: regressoertome luottamusvält lestest regresso olemassaololle testt regressoertomlle Seltettävä eustame aetulla selttää arvolla sttäse arvo a esmääräse arvo euste a luottamusväl Selttäe täresärests Ka Vrtae Regressoertome luottamusvält Jos ääösterme stadardoletuset o, regressoertome PNS-estmaattort ormaalaautueta Jaaume avulla luottamusvält Regressoertome β (+ pl luottamusväl luottamustasolla ( α ossa b ˆD( ± tα / b - b = regressoertome β estmaattor -±t α/ = luottamustasoa ( α vastaavat luottamusertomet, t-aautueet vapausaste - ˆD ( b = s ( X X = regressoertome estmaattor +, + varass estmaattor, s = ääösvarass estmaattor Ka Vrtae Ylestest regresso olemassaololle Nollahpotees H : β = L = Evvaletst R = Nollahpotees pätee => seltettävä muuttua e rpu hdestäää selttäästä Nollahpotees e päde => seltettävä muuttua rppuu aa hdestä selttäästä F-testsuure (F-aauma, vapausasteet a -- R SSM F = = ossa R SSE R = estmodu mall seltsaste SSM = estmodu mall mallelösumma SSE = estmodu mall ääöselösumma Testsuuree ormaalarvo o s p-arvo = P(F > testsuuree arvo Suur testsuuree arvo / pe p-arvo => ollahpotees e päde Ka Vrtae Testt regressoertomlle Nollahpotees H : β =, =,,, K, Nollahpotees H o => mallssa e vaota Nollahpotees H, =,,, o => seltettävä muuttua e rpu selttäästä x Nollahpotees H, =,,, e päde => seltettävä muuttua rppuu selttäästä x t-testsuureet (t-aautuut, vapausasteet b t =, =,,, K, ossa ˆD( b b = regressoertome β estmaattor ˆD ( b = regressoertome β estmaattor varass estmaattor Testsuuree ormaalarvo olla Itsesarvoltaa suur testsuure / pe p-arvo => H hl Vahtoehtoe hpoteess vo olla s- ta assuutae Ka Vrtae 3 Eustame usea selttää leaarsella regressomalllla Tavotteea eustaa seltettävää muuttuaa % + βx% + βx% + L + β x% + % ε u selttävät muuttuat x, x,, x saavat arvot x%, x%, K, x% Kas aatusmalla: ( Eustetaa seltettävä muuttua odotettavssa oleva el esmääräe arvo Eustetaa seltettävä muuttua sttäe arvo Ka Vrtae 4 4

: odotusarvo a : sttäse arvo luottamusvält Odotusarvo luottamusväl luottamustasolla ( α Ysttäse arvo luottamusväl luottamustasolla ( α b + b x% + b x% + L+ b x% ± tα / s + z% ( X X z% Edellä t α/ a +t α/ luottamustaso ( α luottamusertomet, t-aautueet vapausaste s ääösvarass estmaattor z% = (, x%, x%, K, x% + % + % + L+ % ± α z% X X z% b b x b x b x t s / ( Ka Vrtae 5 : arvo luottamusvö vs. : odotusarvo luottamusvö Luottamusvält muodostavat selttäe arvoe futoa luottamusvö estmodu regressotaso mpärlle Ysttäse arvo luottamusvö o leveämp u odotettavssa oleva arvo luottamusvö Kesmääräse arvo eustame o helpompaa u sttäse arvo eustame Ysttäse arvo luottamusvälssä otetaa huomoo mttausvrhe / oevrhe, oa postuu esarvostamalla Kumpaa ätäössä ätetää? Phlosööffe sms vrt. löpä lueolla ro. 7 Ka Vrtae 6 Selttäve muuttue esäe täres Selttävät muuttuat use fsaalsest er laatua => regressoertome arvolla suura eroa Mtä selttäät ovat tärempä / mtä selttäät vauttavat selttäää ete? Osttasorrelaatot Uus regressomall, stadardodut muuttuat: Aluperäset havaot (,x,...,x, =,..., Kätetää aluperäsä seltettävä arvoa Uudet selttäe arvot z =(x -x /s, =,...,, =,...,, ossa x a s muuttua x havaosta lasettu esarvo a eshaota Uus regressomall datalle (,z,...,z, =,..., Uudet selttäät laaduttoma suureta Regressertome tsesarvot uvaavat selttäe esästä tärettä Oleaste tlastollste tuusluue arvot sälvät aluperäsä, esm. seltsaste Ka Vrtae 7 5