Pienalue-estimointi (78189) Kevät 2011 Risto Lehtonen
|
|
- Annemari Koskinen
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Helsingin yliopisto Sosiaalitieteien laitos 1 Pienalue-estimointi (78189) Kevät 2011 Risto Lehtonen OSA 4 Laajennettu GREG-estimaattoreien perhe Avustavat mallit Yleistetty lineaarinen malli Lineaarinen seamalli Yleistetty lineaarinen seamalli GREG-estimaattoreien teoreettisten ominaisuusien (harha, MSE) tutiminen empiirisesti Monte Carlo -simulointi
2 LAAJENNETT GREG-ESTIMAATTOREIDEN PERHE 2 GREG-tyyppiset estimaattorit joissa avustava malli on yleistettyjen lineaaristen mallien (GLMM, Generalize linear mixe moels) perheen jäsen Avustavat mallit (1) Yleistetty lineaarinen (iinteien teijöien) malli E ( Y ) f( ; ) = x β (51) m missä f (; β ) on annettu funtio (lineaarinen funtio, logistinen funtio), β on estimoitava parametrivetori ja E m viittaa ootusarvoon mallin suhteen Malli sovitetaan otosatalle {( y, x ); s} Saaaan parametrin B estimaatti ˆB, missä B on mallin parametrin β äärellisen perusjouon vastine ˆ Sovitteet yˆ = f( x; B ) lasetaan joaiselle äyttämällä vetoria ˆB ja apumuuttujavetoria x Logistisen mallin avustama GREG-estimaattori LGREG Lehtonen, R. an A. Veijanen (1998). Logistic generalize regression estimators. Survey Methoology 24,
3 (2) Yleistetty lineaarinen seamalli 3 E ( Y u ) = f ( x ( β + u )) (52) m missä u on omain-spesifien satunnaistermien vetori ˆ Sovitteet yˆ ( ( ˆ = f x B+ u )) lasetaan joaiselle äyttämällä estimaattivetoreita ˆB, u ˆ ja apumuuttujavetoria x (a) Lineaarinen seamalli E ( Y u ) = x ( β + u ) m = ( β + u ) + ( β + u ) x ( β + u ) x J J J missä u = ( u0, u1,..., u J) on omain-spesifien satunnaistermien vetori (53) Käytännössä usein vain osa u-termeistä on mallissa: E ( Y ) = ( β + u ) + ( β + u ) x + β x u (54) m Vastaava iinteien teijöien malli E ( Y ) β β x β x = + + (55) m Lehtonen, R. an A. Veijanen (1999). Domain estimation with logistic generalize regression an relate estimators. Proceeings, IASS Satellite Conference on Small Area Estimation, Riga, August Riga: Latvian Council of Science,
4 (b) Logistinen seamalli 4 Binominen logistinen seamalli on muotoa exp( x ( β + u)) Em( y u) = P{ y = 1 u} = 1 + exp( x ( β + u )) missä tulosmuuttuja y on binäärinen Esim: 0:Työllinen 1: Työtön (56) Tulosmuuttuja voi olla myös moniluoainen Multinomiaalinen logistinen seamalli Esim: 1: Työllinen 2: Työtön 3: Ei uulu työvoimaan Lehtonen, R., C.-E. Särnal, an A. Veijanen (2003). The effect of moel choice in estimation for omains, incluing small omains. Survey Methoology 29, Lehtonen, R., C.-E. Särnal, an A. Veijanen (2005). Does the moel matter? Comparing moel-assiste an moel-epenent estimators of class frequencies for omains. Statistics in Transition 7, HOM: Mallia (56) vastaava iinteien teijöien logitmalli on exp( x β) Em( y) = P{ y = 1} = 1 + exp( x β ) (57)
5 ESIMERKKI 5 Tutitaan osajouototaalien GREG-estimaattoreien teoreettisia ominaisuusia empiirisesti simulointioeien avulla Parametrit t = y, = 1,..., D Kiinnostusen ohteena estimaattorin t ˆ harha ja MSE Bias( tˆ ) ( ˆ = E t) t MSE( tˆ ) = E( tˆ t ) 2 Tutimusmenetelmä: Monte Carlo -oeet Otoset s ; v= 1,2,..., K v Kullein osajouolle lasetaan otosten perusteella: Absoluuttinen suhteellinen harha Absolute relative bias ARB ARB( tˆ ) = (1/ K) tˆ ( s ) t / t K v= 1 v Suhteellinen RMSE (Root MSE) Relative root mean square error RRMSE K 2 RRMSE( tˆ ) (1/ ) ( ˆ = K t ( ) ) / v 1 sv t t = Simuloinneissa poimitaan generoitavasta perusjouosta K = 1000 riippumatonta otosta
6 Keinoteoisen perusjouon generointi Perusjouon oo N = 1,000,000 Osajouot: D = 100 aliota 6 Osajouon oo N on suhteellinen luuun exp( q ) missä q generoiaan tasajaaumasta (0,2.9) Pienimmässä osajouossa N = 1721 Suurimmassa osajouossa N = Muuttuja x 1 generoiaan tasajaaumasta (1,11) Muuttuja x 2 generoiaan tasajaaumasta ( 5,5) Domain-ohtaiset satunnaistermit u ja ν i, i = 1,2 generoiaan multinormaalijaaumasta Varianssit Var( u ) = 1 Var ν = ( ) i Korrelaatiot Corr( u, ν ) = 0.5 i Corr( v, ν ) = Jäännöstermi ε generoiaan jaaumasta N(0,100)
7 Tulosmuuttujan y arvot generoiaan mallilla 7 missä y = (1 + u ) + (1 + ν ) x + (1 + ν ) x + ε u satunnaiset vaiotermit (intercept) ν 1 ja ν 2 satunnaiset ulmaertoimet (slope) HOM: Mallin iinteät parametrit β0 = β1 = β2 = 1 Populaatioorrelaatiot: corr( y, x 1) = 0.44 corr( y, x 2) = 0.45 corr( x, x ) Tulosmuuttujan omain-ohtaiset esiarvot olivat liimain yhtäsuuria Koonaismäärät poiesivat toisistaan paljon: Osajouon oo Kesimääräinen totaali perusjouossa Pieni 50,977 Kesisuuri 131,776 Suuri 263,979
8 Otanta-asetelma 8 Ei-suunnitellut (unplanne) osajouot Systemaattinen PPS-otanta (Sampling with probabilities proportional to size) PPS-otannan oomuuttuja x 1 Alion sisältymistoennäöisyys nx 1 Pr{ s} π = = x 1 Otosoo n = 10,000 Asetelmapainot a = 1/ π vaihteluväli Osajouojen ooluoittelu Osajouo Otosoo Osajouoja Pieni < Kesisuuri Suuri > Yht. 100
9 Domain-totaalien estimaattorit 9 HOM: Ysiötason lisäinfo x 1 ja x 2 äytettävissä aiista perusjouon alioista estimointia varten GREG-estimaattorit tavanomaista muotoa: tˆ = yˆ + a e GREG s missä sovitteet y ˆ määräytyvät valitun mallin muaan Avustavat regressiomallit (1) Kiinteien vaiutusten D-mallit (esim. malli D1) Y = x β + ε, missä x = ( δ1, δ2,..., δ D, x1, x2), δ = 1 un, nolla muulloin β = ( β, β,..., β, β, β ) D 1 2 Mallien parametrien estimointi: WLS (2) Lineaariset seamallit (esim. malli B2) Y = x β + u + ε, missä x = (1, x1, x 2 ) ja β = ( β, β, β ) Mallien parametrien estimointi: GWLS ja REML
10 Estimaattorit ja avustavat mallit 10 Estimaattori Malli GREG-A1 Y β0 ε MGREG-A2 Y β0 = +, = + u + ε, GREG-B1 Y β0 β2x2 ε = + +, MGREG-B2 Y β0 u β2x2 ε = + + +, GREG-C1 Y β0 β1x1 ε = + +, MGREG-C2 Y β0 u β1x1 ε = + + +, GREG-D1 Y β0 β1x1 β2x2 ε = + + +, MGREG-D2 Y β0 u β1x1 β2x2 ε = , GREG, avustavana mallina lineaarinen iinteien teijöien regressiomalli MGREG: Avustavana mallina lineaarinen seamalli (Mixe moel)
11 HOM: 11 Kaii mallit A-D ovat väärin spesifioituja Misi? A- ja B-mallit: Otanta-asetelma on informatiivinen (informative sampling) osa y-arvot riippuvat PPSotannan oomuuttujasta x 1 mutta muuttuja ei ole muana malleissa C- ja D-mallit: PPS-otannan oomuuttuja x 1 on muana Double-use of the auxiliary information (Särnal 1996) Osajouojen erojen huomioon ottaminen Mallit A1, B1, C1 ja D1 Kiinteät vaiotermit β 0, =1,,D Mallit A2, B2, C2 ja D2 Satunnaiset vaiotermit 0 β + u Kumpi tapa on parempi? Misi?
12 Tauluo 4. GREG-estimaattoreien esimääräinen absoluuttinen suhteellinen harha (Absolute relative bias ARB %) ja esimääräinen suhteellinen RMSE (Relative root mean square error RRMSE %) simulointioeissa. Kesimääräinen ARB (%) Kesimääräinen RRMSE (%) Avustava Otosen ooluoa Otosen ooluoa malli ja estimaattori Pieni Kesisuuri Suuri Pieni Kesisuuri Suuri (20-69) (70-119) (120+) (20-69) (70-119) (120+) Malli A1 Y = β0 + ε GREG-A Malli A2 Y = β0 + u + ε MGREG-A Malli B1 Y = β0 + β2x2 + ε GREG-B Malli B2 Y = β0 + u + β2x2 + ε MGREG-B Malli C1 Y = β0 + β1x1 + ε GREG-C Malli C2 Y = β0 + u + β1x1 + ε MGREG-C Malli D1 Y = β + β x + β x + ε GREG-D Malli D2 Y = β + u + β x + β x + ε MGREG-D
Pienalue-estimointi (78189) Kevät 2011 Risto Lehtonen
Helsingin yliopisto Sosiaalitieteien laitos 1 Pienalue-estimointi (78189) Kevät 2011 Risto Lehtonen OSA 3 GREG-estimaattori Yleinen tilanne (unequal probability sampling) Komposiittiestimaattorit (Composite
LisätiedotPienalue-estimointi (78189) Kevät 2011 Risto Lehtonen
Helsingin yliopisto Sosiaalitieteien laitos 1 Pienalue-estimointi (78189) Kevät 2011 Risto Lehtonen 15.3.2011 OSA 1 Estimaattorin tyyppi Mallin valinta Asetelmaperusteinen estimointi Horvitz-Thompson (HT)
LisätiedotOtantamenetelmät. Syksy
Otantamenetelmät (78143) Sysy 2009 TEEMA 2 risto.lehtonen@helsini.fi Teema 2 LISÄTIEDON KÄYTTÖ ESTIMOINTIASETELMASSA: MALLIAVUSTEINEN ESTIMOINTI 2 Lisätiedon äyttö estimointiasetelmassa i t Malliavusteiset
LisätiedotOtantamenetelmät (78143) Syksy 2008 OSA 2: Malliavusteinen estimointi. Risto Lehtonen
Otantamenetelmät (78143) Sysy 2008 OSA 2: Malliavusteinen estimointi Risto Lehtonen risto.lehtonen@helsini.fi Lisätiedon äyttö estimointiasetelmassa Tavoitteena estimoinnin tehostaminen poimitulle otoselle
LisätiedotOtanta-aineistojen analyysi (78136, 78405) Kevät 2010 TEEMA 4: Asetelmaperusteinen monimuuttuja-analyysi
Otanta-aineistojen analyysi (78136, 78405) Kevät 2010 TEEMA 4: Asetelmaperusteinen monimuuttuja-analyysi Risto Lehtonen risto.lehtonen@helsini.fi Analyysimenetelmiä ja työaluja Lineaariset mallit Regressioanalyysi
LisätiedotPienalue-estimointi (78189) Kevät 2011. Risto Lehtonen Helsingin yliopisto
Pienalue-estimointi (78189) Kevät 2011 Risto Lehtonen Helsingin yliopisto Pienalue-estimointi Kurssin kotisivu http://wiki.helsinki.fi/pages/viewpage.action?pagei=62430039 2 Hyöyllisiä taustatietoja Otantamenetelmät
LisätiedotLISÄTIEDON KÄYTTÖ ESTIMOINTIASETELMASSA: MALLIAVUSTEINEN ESTIMOINTI
Otatameetelmät (78143 Sysy 2010 TEEMA 2 risto.lehtoe@helsii.fi Teema 2 LISÄTIEDON KÄYTTÖ ESTIMOINTIASETELMASSA: MALLIAVUSTEINEN ESTIMOINTI 2 1 Lisätiedo äyttö estimoitiasetelmassa Malliavusteiset strategiat
Lisätiedot, sanotaan niiden sääntöjen ja menetelmien kokonaisuutta, joilla otos poimitaan määritellystä perusjoukosta.
Y - Otatameetelmät / Sysy 009 (Risto Letoe) TEKIE YTEEVETO I Otata-asetelmat ja estimoitiasetelmat Perusjouo ja muuttujat Äärellie perusjouo U = {,...,,..., } Tulosmuuttuja y tutemattomat arvot Y,,Y,,Y
LisätiedotOtanta-aineistojen analyysi
Helsingin yliopisto Otanta-aineistojen analyysi Kevät 2010 Periodi III Risto Lehtonen Teema 2 Estimaattoreiden varianssien estimointi Survey-analyysin lähestymistavat Kuvaileva survey Descriptive survey
Lisätiedot1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT
imat-2.104 Tilastollisen analyysin perusteet / Tehtävät Aiheet: Avainsanat: Ysisuuntainen varianssianalyysi Bartlettin testi, Bonferronin menetelmä, F-testi, Jäännösneliösumma, χ 2 -testi, Koonaisesiarvo,
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
LisätiedotTilastollisten menetelmien käyttö Kelan tutkimustoiminnassa
Tilastollisten menetelmien käyttö Kelan tutkimustoiminnassa Risto Lehtonen Helsingin yliopisto Kela 1 Tilastokeskuksen SAS-seminaari 16.11.2009 Aiheita Kelan tutkimustoiminta SAS-sovellukset vaativien
Lisätiedot(78143) Syksy 2009 TEEMAT 3 & 4. Risto Lehtonen Teema 3 ERITYISKYSYMYKSIÄ. Risto Lehtonen 2
Otantamenetelmät (78143) Syksy 2009 TEEMAT 3 & 4 Risto Lehtonen risto.lehtonen@helsinki.fi Teema 3 ERITYISKYSYMYKSIÄ Risto Lehtonen 2 1 Otannan erityiskysymyksiä Ryväsotanta Survey sampling reference guidelines
LisätiedotHarha mallin arvioinnissa
Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö
LisätiedotTilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotJakaumien merkitys biologisissa havaintoaineistoissa: Löytyykö ratkaisu Yleistetyistä Lineaarisista (Seka)Malleista?
1 Hydrobiologian tutkijaseminaari 20.3.2000 Jakaumien merkitys biologisissa havaintoaineistoissa: Löytyykö ratkaisu Yleistetyistä Lineaarisista (Seka)Malleista? Jari Hänninen Turun yliopisto Saaristomeren
LisätiedotUudelleenpainotus ja imputointi Perusteita
Heisigi yliopisto Matematiia ja tilastotietee laitos Otatameetelmät Sysy 008 Uudelleepaiotus ja imputoiti Perusteita Prof. Risto Lehtoe, Helsigi yliopisto.1.008 Uudelleepaiotus Otostasoise tiedo äyttö
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotJohdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
LisätiedotOtanta-aineistojen analyysi Kevät 2010 TEEMA 5: Tilastollinen mallinnus II Mallit, analyysimenetelmiä ja ohjelmia, PISA-esimerkki
Otanta-aineistojen analyysi Kevät 2010 TEEMA 5: Tilastollinen mallinnus II Mallit, analyysimenetelmiä ja ohjelmia, PISA-esimerkki risto.lehtonen@helsinki.fi Korreloituneiden havaintojen analyysi Lineaariset
LisätiedotPIENALUE-ESTIMOINTIMENETELMÄT:
Pro gradu -tutkielma Tilastotiede PIENALUE-ESTIMOINTIMENETELMÄT: SOVELLUSKOHTEENA SUOMALAISTEN KOETTU TOIMEENTULO VUONNA 2009 Nico Maunula Toukokuu 2012 Ohjaaja: Risto Lehtonen HELSINGIN YLIOPISTO Matematiikan
Lisätiedotxi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n =
1. Tutkitaan paperin ominaispainon X(kg/dm 3 ) ja puhkaisulujuuden Y (m 2 ) välistä korrelaatiota. Tiettyä laatua olevasta paperierästä on otettu satunnaisesti 10 arkkia ja määritetty jokaisesta arkista
LisätiedotTilastollisen analyysin perusteet Luento 7: Lineaarinen regressio
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli
LisätiedotErityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Logistinen regressioanalyysi Vastemuuttuja Y on luokiteltu muuttuja Pyritään mallittamaan havaintoyksikön todennäköisyyttä kuulua
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.
LisätiedotDynaamiset regressiomallit
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen
LisätiedotLineaariset luokittelumallit: regressio ja erotteluanalyysi
Lineaariset luokittelumallit: regressio ja erotteluanalyysi Aira Hast Johdanto Tarkastellaan menetelmiä, joissa luokittelu tehdään lineaaristen menetelmien avulla. Avaruus jaetaan päätösrajojen avulla
LisätiedotOtanta-aineistojen analyysi
Helsingin yliopisto Otanta-aineistojen analyysi Kevät 2010 Periodi III Risto Lehtonen Teema 4 Asetelmaperusteinen monimuuttujaanalyysi Logistinen ANOVA ja GWLS-estimointi Binäärinen tulosmuuttuja Diskreetit
LisätiedotKulutustutkimuksen alue-estimointi Pienalue-estimointimenetelmien vertailu Kulutustutkimus aineistossa
Kulutustutkimuksen alue-estimointi Pienalue-estimointimenetelmien vertailu Kulutustutkimus 2006 -aineistossa Pauliina Maria Peltonen Helsingin yliopisto Matemaattis-luonnontieteellinen tiedekunta Tilastotiede
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotJohdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi
LisätiedotTilastotieteen aihehakemisto
Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
LisätiedotEstimointi Laajennettu Kalman-suodin. AS , Automaation signaalinkäsittelymenetelmät Laskuharjoitus 4
Estimointi Laajennettu Kalman-suodin AS-84.2161, Automaation signaalinäsittelymenetelmät Lasuharjoitus 4 Estimointi Systeemin tilaa estimoidaan, un prosessin tilamalli tunnetaan Tilamalli voi olla lineaarinen
LisätiedotJY / METODIFESTIVAALI 2013 PRE-KURSSI: KYSELYTUTKIMUS DEMOT
JY / METODIFESTIVAALI 2013 PRE-KURSSI: KYSELYTUTKIMUS DEMOT SPSS-ohjelmiston Complex Samples- toiminto otoksen poiminnassa ja estimaattien laskennassa Mauno Keto, lehtori Mikkelin AMK / Liiketalouden laitos
Lisätiedot1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset
TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept
LisätiedotLoad
Tampereen yliopisto Tilastollinen mallintaminen Mikko Alivuotila ja Anne Puustelli Lentokoneiden rakennuksessa käytettävien metallinkiinnittimien puristuskestävyys Matematiikan, tilastotieteen ja filosofian
LisätiedotJohdatus regressioanalyysiin. Heliövaara 1
Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotLuento 2. S Signaalit ja järjestelmät 5 op TKK Tietoliikenne Laboratorio 1. Jean Baptiste Joseph Fourier ( )
Luento Jasollisten signaalien Fourier-sarjat Viivaspetri S-.7. Signaalit ja järjestelmät 5 op KK ietoliienne Laboratorio Jean Baptiste Joseph Fourier (768-83) Ransalainen matemaatio ja fyysio. Esitti Fourier-sarjat
LisätiedotM 2 M = sup E M 2 t. E X t = lim. niin martingaalikonvergenssilauseen oletukset ovat voimassa, eli löydämme satunnaismuuttujan M, joka toteuttaa ehdon
Matematiian ja tilastotieteen laitos Stoastiset differentiaaliyhtälöt Rataisuehdotelma Harjoituseen 7 1. Näytä, että uvaus M M M 2, un M 2 M = sup E M 2 t 2 t 0 on normi jouossa M 2 = { M : M on martingaali
LisätiedotJohdatus regressioanalyysiin
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet
Lisätiedot2. Yhden selittäajäan lineaarinen regressiomalli. 2.1 Malli ja parametrien estimointi. Malli:
2. Yhden selittäajäan lineaarinen regressiomalli Regressio-termi peräaisin Galtonilta. IsÄan ja pojan pituus: PitkÄa isäa lyhyempi poika, lyhyt isäa pidempi poika. Son height (cm) 21 2 19 18 17 16 15 15
Lisätiedot1. LINEAARISET LUOKITTIMET
1. LINEAARISET LUOKITTIMET Edellisillä luennoilla tarkasteltiin luokitteluongelmaa tnjakaumien avulla ja esiteltiin menetelmiä, miten tarvittavat tnjakaumat voidaan estimoida. Tavoitteena oli löytää päätössääntö,
LisätiedotLause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.
Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi
Lisätiedot1. REGRESSIOMALLIN SYSTEMAATTISEN OSAN MUOTO
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Regressiodiagnostiikka Cooken etäisyys, Funktionaalinen muoto, Diagnostinen grafiikka, Diagnostiset testit, Heteroskedastisuus,
LisätiedotATH-koulutus: R ja survey-kirjasto THL 16.2.2011. 16. 2. 2011 ATH-koulutus / Tommi Härkänen 1
ATH-koulutus: R ja survey-kirjasto THL 16.2.2011 16. 2. 2011 ATH-koulutus / Tommi Härkänen 1 Sisältö Otanta-asetelman kuvaaminen R:llä ja survey-kirjastolla Perustunnusluvut Regressioanalyysit 16. 2. 2011
LisätiedotOlkoot X ja Y riippumattomia satunnaismuuttujia, joiden odotusarvot, varianssit ja kovarianssi ovat
Mat-.3 Koesuunnittelu ja tilastolliset mallit. harjoituset Mat-.3 Koesuunnittelu ja tilastolliset mallit. harjoituset / Rataisut Aiheet: Avainsanat: Satunnaismuuttujat ja todennäöisyysjaaumat Kertymäfuntio
LisätiedotTA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET
TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
LisätiedotHierarkkisen aineiston mallintaminen ja otanta/pre-kurssi
Hierarkkisen aineiston mallintaminen ja otanta/pre-kurssi Risto Lehtonen, Helsingin yliopisto Metodifestivaali Jyväskylän yliopisto 27.5.2009 Keskiviikko 27.5 10-12 Hierarkkisuus otanta- asetelmaperusteisessa
LisätiedotParametrin estimointi ja bootstrap-otanta
Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista
Lisätiedotproc glm data = ex61; Title2 "Aliasing Structure of the 2_IV^(5-1) design"; model y = A B C D E /Aliasing; run; quit;
Title "Exercises 6"; Data ex61; input A B C D E y @@; Label A = "Furnance Temperature" B = "Heating Time" C = "Transfer Time" D = "Hold Down Time" E = "Quench of Oil Temperature" y = "Free Height of Leaf
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
Lisätiedot1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Usean selittäjän lineaarinen regressiomalli Estimaatti, Estimaattori, Estimointi, Jäännösneliösumma, Jäännöstermi, Jäännösvarianssi,
Lisätiedotfunktiojono. Funktiosarja f k a k (x x 0 ) k
SARJAT JA DIFFERENTIAALIYHTÄLÖT 2003 3 4. Funtiosarjat Tässä luvussa esitettävissä funtiosarjojen tulosissa yhdistämme luujen 3 teoriaa. Esimeri 4.. Geometrinen sarja x suppenee aiilla x ], [ ja hajaantuu
Lisätiedot4.3.6 Eräitä diskreettejä Markov-kenttiä
0.4 0.35 Gauss l1 Cauchy 0.3 0.25 0.2 0.15 0.1 0.05 0 10 8 6 4 2 0 2 4 6 8 10 Kuva 4.20: L2-priorin tnft, Cauchy-priorin tntf kun α = α = 2. 2π π 2π ja L1-priorin tntf kun 4.3.6 Eräitä diskreettejä Markov-kenttiä
LisätiedotVastepintamenetelmä. Vilkkumaa / Kuusinen 1
Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin
LisätiedotLähtökohta: k faktoria, kullakin kaksi tasoa ("high", "low"). tulee katettua (complete replicate). Havaintojen
6. 2 k faktorikokeet Lähtökohta: k faktoria, kullakin kaksi tasoa ("high", "low"). Vähintään 2 k havaintoa, jotta kaikki vaihtoehdot tulee katettua (complete replicate). Havaintojen kokonaismäärä N = 2
LisätiedotIdentifiointiprosessi
Alustavia kokeita Identifiointiprosessi Koesuunnittelu, identifiointikoe Mittaustulosten / datan esikäsittely Ei-parametriset menetelmät: - Transientti-, korrelaatio-, taajuus-, Fourier- ja spektraalianalyysi
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotPerusestimointi 5 Analyysiä survey-datalla Tee Suomen datalla jokin oma kokeilu käyttäen tätä mallia Esimerkki PISA 2006:sta SAS:lla
Perusestimointi 5 Analyysiä survey-datalla Tee Suomen datalla jokin oma kokeilu käyttäen tätä mallia Esimerkki PISA 2006:sta SAS:lla proc surveymeans data=pisa.impuoecd; where cnt='fin' or cnt='deu' or
Lisätiedot- voidaan käyttä lisämään tieteellistä ymmärrystä ilmiöstä. - joidenkin havaittavien suureiden vaikutus voi olla paljon suurempi kuin toisten
Viime kerralla Normaalijakauma tunnetulla varianssilla Normaalijakauma tunnetulla keskiarvolla Poisson-mallli Exponentiaalinen malli Slide 1 Cauchy-jakauma Ei-informatiivisista priorijakaumista Bayesilaisen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.14 Tilastollisen analyysin perusteet, kevät 7 7. luento: Tarina yhden selittään lineaarisesta regressiomallista atkuu Kai Virtanen 1 Luennolla 6 opittua Kuvataan havainnot (y, x ) yhden selittään
LisätiedotKorrelaatiokertoinen määrittely 165
kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x
LisätiedotTilastolliset menetelmät: Varianssianalyysi
Variassiaalsi Tilastolliset meetelmät: Variassiaalsi 0. Ysisuutaie variassiaalsi. asisuutaie variassiaalsi. olmi a useampisuutaie variassiaalsi T @ Ila Melli (006) 433 Variassiaalsi T @ Ila Melli (006)
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit
Lisätiedotz z 0 (m 1)! g(m 1) (z0) k=0 Siksi kun funktioon f(z) sovelletaan Cauchyn integraalilausetta, on voimassa: sin(z 2 dz = (z i) n+1 k=0
TKK, Matematiian laitos v.pfaler/pursiainen Mat-.33 Matematiian perusurssi KP3-i sysy 2007 Lasuharjoitus 4 viio 40 Tehtäväsarja A viittaa aluviion ja L loppuviion tehtäviin. Valmistauu esittämään nämä
LisätiedotJohdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien
LisätiedotMS-A0402 Diskreetin matematiikan perusteet
MS-A0402 Disreetin matematiian perusteet Osa 3: Kombinatoriia Riia Kangaslampi 2017 Matematiian ja systeemianalyysin laitos Aalto-yliopisto Kombinatoriia Summaperiaate Esimeri 1 Opetusohjelmaomiteaan valitaan
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Usea selittää lieaarie regressiomalli Mat-.04 Tilastollise aalyysi perusteet, evät 007 8. lueto: Usea selittää lieaarie regressiomalli Selitettävä muuttua havaittue arvoe vaihtelu halutaa selittää selittävie
Lisätiedot1. PÄÄTTELY YHDEN SELITTÄJÄN LINEAARISESTA REGRESSIOMALLISTA
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Päättely yhden selittäjän lineaarisesta regressiomallista Ennustaminen, Ennuste, Ennusteen luottamusväli, Estimaatti, Estimaattori,
Lisätiedotedellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾
ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
LisätiedotKaksisuuntaisen varianssianalyysin tilastollisessa malli voidaan esittää seuraavassa muodossa:
Mat-.03 Koesuunnittelu ja tilastolliset mallit Mat-.03 Koesuunnittelu ja tilastolliset mallit / Ratkaisut Aiheet: Avainsanat: Kaksisuuntainen varianssianalsi Aritmeettinen keskiarvo, Estimointi, F-testi,
LisätiedotMS-A0402 Diskreetin matematiikan perusteet Esimerkkejä ym., osa I
MS-A00 Disreetin matematiian perusteet Esimerejä ym., osa I G. Gripenberg Jouo-oppi ja logiia Todistuset logiiassa Indutioperiaate Relaatiot ja funtiot Funtiot Aalto-yliopisto. maalisuuta 0 Kombinatoriia
LisätiedotVastepintamenetelmä. Kuusinen/Heliövaara 1
Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
Lisätiedot1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Yksisuuntainen varianssianalyysi Bartlettin testi, Bonferronin menetelmä, F-testi, Jäännösneliösumma, χ 2 -testi, Kokonaiskeskiarvo,
LisätiedotMat Tilastollisen analyysin perusteet. Painotettu PNS-menetelmä. Avainsanat:
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Mallin valinta Painotettu PNS-menetelmä Alaspäin askellus, Askellus, Askeltava valikointi, Diagnostinen grafiikka, Diagnostiset
Lisätiedot6. 2 k faktorikokeet. Lähtökohta: k faktoria, kullakin kaksi tasoa ("high", "low"). määrä per faktoritasokombinaatio (balansoidussa)kokeessa.
6. 2 k faktorikokeet Lähtökohta: k faktoria, kullakin kaksi tasoa ("high", "low"). Vähintään 2 k havaintoa, jotta kaikki vaihtoehdot tulee katettua (complete replicate). Havaintojen kokonaismäärä N =2
LisätiedotPyramidi 3 Analyyttinen geometria tehtävien ratkaisut sivu 139 Päivitetty a) 402 Suplementtikulmille on voimassa
Pyramidi Analyyttinen geometria tehtävien rataisut sivu 9 Päivitetty 9..6 4 a) 4 Suplementtiulmille on voimassa b) a) α + β 8 α + β 8 β 6 c) b) c) α 6 6 + β 8 β 8 6 β 45 β 6 9 α 9 9 + β 8 β 8 + 9 β 7 Pyramidi
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin erusteet, kevät 007 Regressiomallin (selittäjien valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin erusteet, kevät 2007 10. luento: Regressiomallin (selittäjien) valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
Lisätiedot[ ] [ 2 [ ] [ ] ( ) [ ] Tehtävä 1. ( ) ( ) ( ) ( ) ( ) ( ) 2( ) = 1. E v k 1( ) R E[ v k v k ] E e k e k e k e k. e k e k e k e k.
ehtävä. x( + ) x( y x( + e ( y x( + e ( E v E e ( ) e ( R E[ v v ] E e e e e e e e e 6 estimointivirhe: ~ x( x( x$( x( - b y ( - b y ( estimointivirheen odotusarvo: x( - b x( - b e ( - b x( - b e ( ( -
LisätiedotTestit laatueroasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten
Lisätiedot, 3.7, 3.9. S ysteemianalyysin. Laboratorio Aalto-yliopiston teknillinen korkeakoulu
Lineaarikobinaatioenetelät 3.5-3.7, 3.7, 3.9 Sisältö Pääkoponenttianalyysi (PCR) Osittaisneliösua (PLS) Useiden vasteiden tarkastelu Laskennallisia näkökulia Havaintouuttujien uunnokset Lähtökohtana useat
Lisätiedot