SAS/IML käyttö ekonometristen mallien tilastollisessa päättelyssä. Antti Suoperä 16.11.2009



Samankaltaiset tiedostot
Regressioanalyysi. Kuusinen/Heliövaara 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

1. PÄÄTTELY YHDEN SELITTÄJÄN LINEAARISESTA REGRESSIOMALLISTA

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

Harjoitus 9: Excel - Tilastollinen analyysi

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET

Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1

2. Teoriaharjoitukset

Mat Tilastollisen analyysin perusteet, kevät 2007

Maksuluokkamallin vaikutus työkyvyttömyysriskiin ja työssä jatkamiseen

Johdatus regressioanalyysiin. Heliövaara 1

/1. MTTTP1, luento Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma tiedetään. Se on normaalijakauma, havainnollistaminen simuloiden

7.4 Normaalijakauma (kertausta ja täydennystä) Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96) = 0,025, P(Z -1,96) = 0,025

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

Makrojen mystinen maailma lyhyt oppimäärä

Neliömatriisin adjungaatti, L24

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

805324A (805679S) Aikasarja-analyysi Harjoitus 3 (2016)

Osa 2: Otokset, otosjakaumat ja estimointi

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)

Ruokahalu kasvaa syödessä lisää makrokielen herkkuja

Identifiointiprosessi

Otanta-aineistojen analyysi (78136, 78405) Kevät 2010 TEEMA 3: Frekvenssiaineistojen asetelmaperusteinen analyysi: Perusteita

Lineaarialgebra a, kevät 2019 Harjoitus 6 (ratkaisuja Maple-dokumenttina) > restart; with(linalg): # toteuta ihan aluksi!

Sovellettu todennäköisyyslaskenta B

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een

H 0 : R = b; jossa R (q dim ()) ja b (q 1) ovat tunnettuja ja r (R) = q. 2 J () =

Täysautomatisoitu raportointiympäristö. Joni-Petteri Paavilainen Jani Alatalo

Tilastollinen aineisto Luottamusväli

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016)

PRO GRADU -TUTKIELMA. Ilkka Valjus. Lasten BMI- käyrien muutos vuosien 1974 ja 2001 välillä

Harjoitusten 5 vastaukset

TUTKIMUSOPAS. SPSS-opas

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

Pelaisitko seuraavaa peliä?

Lineaarialgebra ja matriisilaskenta I

Matlab- ja Maple- ohjelmointi

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Pienimmän neliösumman menetelmä (PNS)

Keskipisteen lisääminen 2 k -faktorikokeeseen (ks. Montgomery 9-6)

Harjoitus 3: Regressiomallit (Matlab)

JY / METODIFESTIVAALI 2013 PRE-KURSSI: KYSELYTUTKIMUS DEMOT

Lineaarialgebra ja matriisilaskenta I

Kohdeyleisö: toisen vuoden teekkari

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Ominaisarvoon 4 liittyvät ominaisvektorit ovat yhtälön Ax = 4x eli yhtälöryhmän x 1 + 2x 2 + x 3 = 4x 1 3x 2 + x 3 = 4x 2 5x 2 x 3 = 4x 3.

2. Uskottavuus ja informaatio

Sovelletun fysiikan laitos Marko Vauhkonen, Kuopion yliopisto, Sovelletun fysiikan laitos Slide 1

805324A (805679S) Aikasarja-analyysi Harjoitus 6 (2016)

USEAN MUUTTUJAN REGRESSIOMALLIT JA NIIDEN ANA- LYYSI

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset

Harjoitukset 4 : Paneelidata (Palautus )

Bayes-mallinnus siltana teorian ja empiirisen evidenssin välillä

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

Harjoitustyö 3. Heiluri-vaunusysteemin parametrien estimointi

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

MS-C1340 Lineaarialgebra ja

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

tilastotieteen kertaus

Lineaarialgebra ja matriisilaskenta I, HY Kurssikoe Ratkaisuehdotus. 1. (35 pistettä)

Pienimmän neliösumman menetelmä (PNS)

Harjoitusten 4 vastaukset

Pienimmän neliösumman menetelmä (PNS)

Lineaarialgebra ja matriisilaskenta I

Käänteismatriisin ominaisuuksia

SEM1, työpaja 2 ( )

54. Tehdään yhden selittäjän lineaarinen regressioanalyysi, kun selittäjänä on määrällinen muuttuja (ja selitettävä myös):

Lineaariset kongruenssiyhtälöryhmät

Lineaarialgebra ja matriisilaskenta II Syksy 2009 Laskuharjoitus 1 ( ) Ratkaisuehdotuksia Vesa Ala-Mattila

MS-C1340 Lineaarialgebra ja

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Matriisilaskenta Luento 8: LU-hajotelma

Tässä dokumentissa on ensimmäisten harjoitusten malliratkaisut MATLABskripteinä. Voit kokeilla itse niiden ajamista ja toimintaa MATLABissa.

Dynaamista ja joustavaa ohjelmointia - maukasta makrokielellä

Estimointi. Vilkkumaa / Kuusinen 1

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

2. Tietokoneharjoitukset

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1

Lineaarialgebra ja matriisilaskenta I

Harjoitukset 3 : Monimuuttujaregressio 2 (Palautus )

Tehokkuusanalyysi paikallisten monopolien sääntelyssä:

Luento 5. Timo Savola. 28. huhtikuuta 2006

Yleistä. Aalto-yliopisto Perustieteiden korkeakoulu Matematiikan ja systeemianalyysin laitos

6. Tietokoneharjoitukset

Lineaarialgebra, kertausta aiheita

Uusia oppikirjoja ekonometriseen työskentelyyn aikasarja-aineistoilla

Testejä suhdeasteikollisille muuttujille

5 Osa 5: Ohjelmointikielen perusteita

Sovellusohjelmointi Matlab-ympäristössä: Vertaisverkon koneiden klusterointi

Regressiodiagnostiikka ja regressiomallin valinta

Sovellettu todennäköisyyslaskenta B

1. Tutkitaan tavallista kahden selittäjän regressiomallia

SAS ja R yhteiskäyttö

Transkriptio:

SAS/IML käyttö ekonometristen mallien tilastollisessa päättelyssä Antti Suoperä 16.11.2009

SAS/IML käyttö ekonometristen mallien tilastollisessa päättelyssä: Matriisi ja vektori laskennan ohjelmisto edellyttää lineaarialgebran hallintaa Useimmissa ekonometrian perus oppikirjoissa esitellään matriisilaskennan perusasiat esim. Rao: Linear statistical Inference W.H. Greene: Econometric Analysis kappale 2. 16.11.2009 2

SAS/IML datojen luonti: Tehdään SAS -datat valmiiksi ja luetaan ne IML käyttöön Tiedosto X on tavallinen SAS tiedosto, jossa esimerkiksi K muuttujaa proc iml; use X; read all var _num_ into X; /* _num_ sis. numeeriset muuttujat */ Yläpuolinen lause lukee tiedoston X matriisiksi X. Matriisi X sisältää vain lukuja (esim. muuttujien nimiä ei ole. Ne merkitään matriisissa X nimillä col1,col2,,colk). 16.11.2009 3

SAS/IML laskenta: Esimerkkejä laskukaavoista: Matriisi X sisältää regressiomallin selittävät muuttujat. X on kertalukua N*K. N=NROW(X); /* Matriisin X havaintojen lkm */ K=NCOL(X); /* Matriisin X sarakkeiden lkm */ Keskiarvojen laskenta IML:ssä. I on (N*1) vektori, jonka alkiot ovat kaikki ykkösiä. Y on (N*1) vektori ja X on (N*K) matriisi. IT=I`; IPI=I`*I; IPII=INV(IPI); P=IPII*IT; /* = (I I) -1 I on (1*N) vektori, jonka alkiot ovat kaikki 1/N */ MY=P*Y; /* Muuttujan Y keskiarvo = (I I) -1 I Y */ MX=P*X; /* Matriisin X muuttujien keskiarvot = (I I) -1 I X */ 16.11.2009 4

SAS/IML ja PNS: Regressiomallin tuntemattomien parametrien estimointi PNS - menetelmällä: y=xb+e, jossa b on tuntematon parametrivektori XPX=X`*X; XPY=X`*Y; XPXI=INV(XPX); B=XPXI*XPY; Tulosumma selittävistä muuttujista Tulosumma x-muuttujien ja y-muuttujan välillä Matriisin kääntäminen PNS -estimaattien vektori B = (X X) -1 X y IML ohjelmalla voidaan helposti laskea kaikki keskeiset regressiomallin tunnusluvut: Parametrien keskivirheet, residuaalien neliösummat, selitysasteet, keskineliövirheet,... 16.11.2009 5

Lopuksi IML lasketut vektorit ja matriisit luetaan SAS datoiksi ja lopetetaan IML -ohjelma: Luetaan esimerkiksi parametrivektori SAS -dataksi B=B`; create B from B; append from B; Lopetetaan IML ajo komentoon quit; 16.11.2009 6

Lopuksi kerätään kaikki estimoidut tiedot yhteen vektoriin T ja annetaan sen alkioille nimet: proc iml; use T; read all var _num_ into T; create H from H; append from H; quit; H=T`; DATA H (keep=statistics Kunta); LENGTH STATISTICS $ 20 Kunta $ 8 ; SET H; LENGTH STATISTICS $ 20; Kunta=COL1; APU=_N_; A1='( A2=') IF APU=1 THEN STATISTICS= Year IF APU=2 THEN STATISTICS='Observations IF APU=3 THEN STATISTICS='Equations IF APU=4 THEN STATISTICS= Micro classes ; IF APU=5 THEN STATISTICS=' Adj. R 2 IF APU=6 THEN STATISTICS= RMSE IF APU=7 THEN STATISTICS='SSE IF APU=8 THEN STATISTICS='Constant (*) IF APU=9 THEN STATISTICS= sd. 16.11.2009 7

Minkä takia IML eikä esimerkiksi PROC REG? Tarkastellaan palkkojen määräytymistä ammateittain kunnan, valtion ja yksityisen sektorin työmarkkinoilla. Ammattikohtaiset palkkamallit sisältävät osituksen (esim. työnantajan ja työtehtävän karteesinen tulo). Koska palkkamalleja satoja ja ositteita kymmeniä tuhansia, PROC REG ohjelmalla estimoituja tuloksia valtava määrä. Miten tulokset voitaisiin tiivistää yhdellä estimointituloksia esittävällä taulukon sarakkeella? Vastaus on IML:llä! 16.11.2009 8

Palkkamallit (j=1,..,j yhtälöä) ovat seuraavaa muotoa (ns. FE -malli): y ijt α jkt x ijt β jt ε ijt 16.11.2009 9

Estimoidaan kaikki yhtälöt PROC REG ohjelmalla ja yhdistetään kaikki estimoidut yhtälöt yhteen yhtälöön ja saadaan y ijt αˆ * t x ijt β ˆ t * αˆ jkt αˆ t xijt β β eijt ˆ jt ˆ t 16.11.2009 10

Spesifioidaan kilpailevia palkkamalleja: 1) Poistetaan ositus ja poikkileikkaus heterogeenisuus. 2) Lisätään ositus ja poistetaan poikkileikkaus heterogeenisuus. 3) Lisätään ositus ja estimoidaan palkkamallit ISCO - ammattien pääryhmätasolla (so. Johtajat, erityisasiantuntijat, asiantuintijat, yhteensä 9 yhtälöä). 4) Lisätään ositus ja lukumääräisesti isoille ISCO - ammateille omat erillisesti estimoitavat palkkayhtälöt. 5) Lisätään ositus ja estimoidaan palkkayhtälöt vielä hienojakoisemmassa ISCO -ammattiluokituksessa. 16.11.2009 11