2. Yhden selittäajäan lineaarinen regressiomalli. 2.1 Malli ja parametrien estimointi. Malli:

2. Yhden selittäajäan lineaarinen regressiomalli Regressio-termi peräaisin Galtonilta. IsÄan ja pojan pituus: PitkÄa isäa lyhyempi poika, lyhyt isäa pidempi poika. Son height (cm) 210 200 190 180 170 160 150 150 160 170 180 190 200 210 Father height (cm) Kuvio. IsÄan ja pojan pituus. 2.1 Malli ja parametrien estimointi Malli: Y i = + X i + u i, Y Riippuva (dependent) SelitettÄavÄa (explained) (predictand) (regressand) vaste (respond) Oletukset: i =1,...,n X Riippumaton (independent) SelittÄavÄa (explanatory) (predictor) (regressor) (stimulus) (control variable) 1. E (u i )=0 tai E(Y i X i )= + X i 2. Var(u i )= 2 Var(Y i X i )= 2 3. Cov(u i,u j )=0,i= j Cov(Y i,y j )=0,i= j 4. Cov(X i,u i )=0, i 5. (X i ¹X) 2 > 0 Huom. Usein oletetaan, ettäa X on kiinteäa (ei-stokastinen) 32 33

u i : Virhetermi on yhdistelmäa eritekijäoistäa, kuten (Ramanathan 1998, p. 84{85) 1. (PoisjÄatetyt muuttujat) It accounts the e ects of variables omitted from the model 2. (EpÄalineaarisuudet) It captures the e ects of nonlinearities in the relationship between Y and X. Thus,ifthetruemodel were Y i = + X i + X 2 i + v i,andweassume that it was Y i = + X i + u i,then the e ect of X 2 i wouldbeabsorbedbyu i. Estimointi: 280 260 240 220 Price $1 000 (Y ) Area (X) 136.17 1210 137.02 1219 154.01 1400 169.02 1560 195.87 1846 195.87 1846 195.87 1846 207.32 1968 227.22 2180 231.91 2230 238.48 2300 238.48 2300 247.87 2400 259.79 2527 3. (Mittausvirheet) Errors in measuring X and Y arealsoabsorbedinu i. Price (USD) 200 180 160 4. (Ennakoimattomat tekijäat, unpredictable e ect) u i also includes inherently unpredictable random e ects. 140 120 100 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 Square feet Kuvio. NeliÄomÄaÄarÄa (square feet) vs hinta (dollareina) 34 35

PienimmÄan neliäosumman estimointi (PNS) OLS = Ordinary Least Squares. Sovitetaan aineistoon suora ^Y =^ + ^X siten, ettäa neliäosumma n n n f(^, ^) = i=1 minimoituus. e 2 i = i=1 (Y i ^Y i ) 2 = i=1 (Y i ^ ^X i ) 2 Derivoimalla ja ratkaisemalla derivaattojen nollakohdat, saadaan normaaliyhtäaläot n^ + ^ X i = Y i ^ X i + ^ X 2 i = X i Y i josta ratkaisemalla saadaan OLS-estimaattorit Esim. Asunnon hinnan ja pinta-alan väalinen suhde. Parametrien tulkinnasta: Nyt ^Y i = 22.6 + 0.094X i, (46.8) (0.024) R 2 =0.563,s=37.48 jossa ^Y = estimoitu hinta ja X = pinta-ala. Estimaattoreiden keskivirheet on esitetty suluissa kertoimien alla. Kulmakerroin ilmaisee yksikkäomuutoksen, silläa d^y/dx = ^. TÄaten yhden neliäojalan lisäays pinta-alassa lisäaäa keskimäaäarin asunnon hintaa ^ = 94 dollarilla. Kun X = 0 on ^Y = ^, joka voidaan tulkita rakentamattoman tonttimaan keskihinnaksi. TÄaten rakentamattoman tonttimaan keskihinnaksi tulisi $22 600. ^ = (Xi ¹X)(Y i ¹Y ) ^ = ¹Y ^ ¹X (Xi ¹X) 2 Huom. Otoksesta laskettua virhetermiäa = s y s x r xy e i = Y i (^ + ^X i ) = u i = Y i ( + X i ) sanotaan residuaaliksi eli jäaäannäostermiksi (ks. tarkemmin Doughert kalvot). 36 37

Usein on myäos mielenkiintoista tarkastella joustoja. Esim. EdellÄa olevan esimerkin tapauksessa E = X^Y d^y dx = ^ X^Y, joka riippuu sekäa hinnastaettäa pinta-alasta. Price $1 000 (Y ) Area (X) 0.094 X^Y 136.17 1210 0.834 137.02 1219 0.835 154.01 1400 0.853 169.02 1560 0.866 195.87 1846 0.885 195.87 1846 0.885 195.87 1846 0.885 207.32 1968 0.891 227.22 2180 0.901 231.91 2230 0.903 238.48 2300 0.905 238.48 2300 0.905 247.87 2400 0.909 259.79 2527 0.913 Huomioita: Hinnan pinta-alajousto on alle ykkäosen, ts. pinta-alan kasvaessa hinta kasvaa prosentuaalisesti väahemmäan kuin prosentuaalinen pinta-ala. Toisaalta jousto kasvaa pinta-alan kasvun myäotäa, eli suhteellisesti lisäapinta-ala on kalliimpi isoissa asunnoissa kuin pienissäa. TÄamÄa on tietysti selväa, koska pintaalalla on täassäa mallissa vakiohinta! Kuitenkin tulokset ilmaisevat, ettäa esimerkiksi 10 prosentin pinta-alan lisäays isossa asunnossa tulee täamäan mallin mukaan suhteellisesti kalliimmaksi kuin vastaava prosentuaalinen lisäays pienessäa asunnossa. (HyÄoty!) Onko jäarkeväa!? KÄaytÄannÄossÄa lienee niin, ettäa neliäohinta on isoissa asunnoissa pienempi! Palataan täahäan tuonnempana. 38 39

2.2 MittayksikÄon muutoksen vaikutus estimaatteihin Esim. $1 = 0.82Eur ja 1ft = 0.3048m. MerkitÄaÄan H = 0.82 P ja NM = (0.3048) 2 SQFT = 0.0929 SQFT. SelittÄavÄan muuttujan skaalaus vaikuttaa vain vastaavan regressiokertoimen suuruuteen, silläa jos Z = ax (a >0), niin X = Z/a = Z, jossa = /a. Estimoitu malli muunnetuissa mittayksikäoissäa onsiis ^H = 0.82 22.601 + 0.82 0.0929 0.094NM = 18.533 + 0.830NM dh =0.83 dnm. Jos ala kasvaa neliäometrilläa, niin hinta muuttuu keskimäaäarin 820 Eurolla. SelitettÄavÄan muuttujan skaalauksessa on kerrottava yhtäaläon molemmat puolet, joten kaikki regressiokertoimet ja residuaalitermi muuttuvat. Esim. EdellÄa (1 000) euroina P = + SQFT + u H = + NM + u, jossa = 0.82, = 0.82/0.0929 ja u =0.82u. 40 41

2.3 OLS Estimaattoreiden ominaisuuksia Best Linear Unbiased Estimator (BLUE) eli paras lineaarinen harhaton estimaattori (PLHE) Voidaan helposti osoittaa, ettäa aiemmin tehtyjen (klassisten) oletusten vallitessa OLS estimaattori on BLUE (ns. Gauss-Markov teoreema ). Estimaattoria, joka on havaintojen lineaarikombinaatio, eli muotoa ^ = n i=1 a i Y i sanotaan lineaariseksi estimaattoriksi. LisÄaksi, jos sille päatee: LisÄaksi päatee, ettäa OLS-estimaattori on tarkentuva (Consistent) tehokas, jos residuaalitermit u i ovat normaalisti jakutuneita. harhaton varianssi on pienin tarkasteltavan parametrin lineaaristen ja harhattomien estimaattoreiden joukossa Huom. BLUE pitäaäa sisäalläaäan sen, ettäa OLS estimaattorit ovat harhattomia. niin kyseinen estimaattori on BLUE. 42 Gauss-Markov Theorem: Parametrien ja lineaarisista harhattomista estimattoreista OLS estimaattoreiden ^ ja ^ varianssit ovat pienimmäat 43

2.4 Estimoinnin tarkkuus Estimaattorin tarkkuutta mitataan estimaattorin keskivirheelläa (standard error). ^ = var(^) 2^ = = u 2 (Xi ¹X) 2, jossa u 2 =var(u i ). Korvaamalla u 2 sen estimaattorilla s 2 u = 1 n (Y i ^Y i ) 2 n 2 i=1 ja ottamalla neliäojuuri saadan ^:n keskivirheestimaattori s^ = s u (Xi ¹X) 2. Vastaavalla tavalla leikkaustemin ^ keskivirheestimaattoriksi tulee s^ = s X 2 i u n (X i ¹X) 2 = s 1 u n + ¹X 2 (Xi ¹X) 2. 44 HT: Miten muuttujien skaalaus vaikuttaa keskivirheisiin? Huom. Kuten aiemmin on todettu, Gauss- Markov teoreeman mukaan, jos lineaarisen regression oletukset 1{5 ovat voimassa, niin OLS estimaattorit ovat BLUE eli niilläa on lineaarisista harhattomista estimaattoreista pienin varianssi. Jos residuaalitermi on likipitäain normaalijakautunut, saadaan keskivirheiden avulla muodostettua mm. luottamusväalit. 100(1 p)-prosentin luottamusväalit : : ^ ± t 12 p s^ ^ ± t 12 p s^, jossa t p on t-jakauman taulukkoarvo vapausasteilla n 2(havaintojenlkm-estimoitujen parametrin lkm). 45

2.5 Selitysaste e i =^u i = Y i ^Y i Esim. (NeliÄohintadata) df =14 2 = 12, s^ =46.84 ja s^ =.024 95 prosentin luottamusväaleiksi saadaan, kun t.025 (12) = 2.179 ^ ± t.025 s^ =22.60 ± 2.179 46.84 eli (79.46, 124.66) Vastaavasti :n 95 prosentin luottamusväaliksi saadaan (0.042, 0.146). HT: Laske luottamusväalit, kun rahayksikkäonäa oneuro ja pinta-alana neliäometri. Y i ¹Y =(^Y i ¹Y )+(Y i ^Y i )=(^Y i ¹Y )+e i Korotetaan neliäoäon ja summataan (Yi ¹Y ) 2 = (^Y i ¹Y ) 2 + e 2 i +2 (^Y i ¹Y )e i =0 = (^Y i ¹Y ) 2 + (Y i ^Y i ) 2 SST = SSR + SSE Huom. Leikkaustermin luottamusväali sisäaltäaäa nollan. LuottamusvÄaleistÄa enemmäan tuonnempana. Selitysaste R 2 = SSR SST =1 SSE SST. Voidaan osoittaa, ettäa r 2 xy = R 2 täassäa yhden selittäajäan regressiomallissa. 46 47

z Yleistys: usean selittäajäan regressioanalyysissäa yhteiskorrelaatiokertoimen (multiple correlation) neliäo (R 2 = r 2 y^y ). Huom. Vain yksi, joskin ehkäa käaytetyin mallin (teknisen) hyvyyden mitta. Esim. (jatkoa) R 2 =0.563. HT: Vaikuttaako muuttujien skaalaus selitysasteeseen? Osoita todeksi väaittäamäasi. Saattaa esimerkiksi olla, ettäa kahdella mallilla virhetermin suuruuta kuvaava hajonta (s u ) on sama, mutta selitysasteet ovat eri suuria. TÄallÄoin mallien hyvyydet absoluuttisella tarkkuudella mitattuna ovat samat vaikka selitysaste toisessa onkin korkeampi. Esim. Selitysaste ja residuaalihajonta. y x z u 10.79 5.18 4.58 0.43 7.38 3.40 3.31 0.59 13.97 7.99 4.38-2.01 9.84 5.39 3.37-0.94 6.72 4.12 1.77-1.52 13.57 5.69 6.74 2.18 6.98 4.05 2.12-1.12 10.98 3.77 6.46 3.44 12.67 5.63 5.91 1.40 12.53 6.13 5.18 0.28 9.48 5.62 2.74-1.76 7.48 5.13 1.32-2.79 7.29 3.68 2.87-0.07 12.50 6.59 4.59-0.69 10.78 5.58 4.08-0.38 11.67 5.81 4.70 0.05 14.25 6.13 6.89 1.99 12.03 6.29 4.48-0.56 10.85 5.67 4.05-0.48 10.24 4.43 4.92 1.38 7.20 3.06 3.53 1.09 15.47 6.60 7.54 2.26 8.15 3.26 4.25 1.64 7.69 3.45 3.55 0.79 13.92 7.43 5.01-0.93 11.35 6.03 4.11-0.71 9.26 4.11 4.32 1.03 14.18 6.87 5.93 0.44 15.64 7.65 6.46 0.34 Y 17 15 13 11 9 7 5 3 1 16 14 12 10 y = a + b x + e 2 3 4 5 6 7 8 X z = c + d x + e y = a + b x + e SUMMARY OUTPUT ANOVA df SS MS F P-val Regression Statistics Regression 1 156.43 156.43 80.22 0.00 Multiple R 0.86 Residual 27 52.65 1.95 R Square 0.75 Total 28 209.08 Adj R Squa 0.74 Std Err 1.40 Coeff Std Err t Stat P-value Observatio 29 Intercept 1.70 1.05 1.62 0.12 X Variable 1.72 0.19 8.96 0.00 z = c + d x + e SUMMARY OUTPUT ANOVA df SS MS F P-val Regression Statistics Regression 1 14.12 14.12 7.24 0.01 Multiple R 0.46 Residual 27 52.65 1.95 R Square 0.21 Total 28 66.77 Adj R Squa 0.18 Std Err 1.40 Coeff Std Err t Stat P-value Observatio 29 Intercept 1.70 1.05 1.62 0.12 x 0.52 0.19 2.69 0.01 8 6 4 2 0 2 3 4 5 6 7 8 x 48 49

2.6 Normaalisuusoletus LisÄatÄaÄan oletuksiin (1{5) 6. u i N(0, 2 u). Normaalisuusoletus on usein perusteltavissa keskeisen raja-arvolauseen kautta. JÄaÄannÄostemin jakaumaoletuksesta seuraa estimaattoreiden jakaumaominaisuudet! X 2 ^ N, i n (X i ¹X) 22 u ^ 2 u N, (Xi ¹X) 2 jossa ^Y X N + X, 2^y, 2^y = 1 n + (X ¹X) 2 (Xi ¹X) 2 2 u. 50 Esimerkiksi ^ z = (Xi N(0, 1). u / ¹X) 2 Kun u korvataan estimaattorillaan s u, niin jossa t = ^ (Xi s u / ¹X) t n2, 2 s 2 u = 1 e 2 n 2 i. SiispÄa: Residuaalin jakaumasta seuraa estimaattoreiden jakaumat. NÄaille puolestaan perustuvat luottamusväalien laskeminen ja tilstollisten testien muodostaminen. NÄaistÄa syistäa on täarkeäaäa, ettäa tarkistetaan residuaalitermin normaalisuusoletuksen paikkansapitäavyys, jotta testien ja luottamusväalien antamat tuloksetolisivatkäayttäokelpoisia. HT: Miten muuttujien skaalaus vaikuttaa t- jaz-testi- suureisiin? Osoita todeksi väaittäamäasi. 51

2.7 Kertoimien luottamusväalit 2.8 Kertoimien testaus Tilastolliset hypoteesivaihtoehdot: Y = + X + u. LuottamusvÄali :lle ^ P ( <t 1 ) =1p, 2 p eli s^ P (^ t 12 p s^ < < ^ + t 12 p s^ ) =1p. :n 100(1p) prosentin luottamusväaliksi saadaan siis Tulkinta! (ks. kuvio) ^ ± t 12 p s^. tai tai Esim. SQFT-data H 0 : = 0 H 1 : = 0 H 0 : 0 H 1 : > 0 H 0 : 0 H 1 : < 0 H 0 : 0 H 1 : > 0 t = 0.094 =3.932, p-val =.002 < 0.01, 0.024 joten H 0 hyläatäaäan ja > 0(eipÄalieneyllÄatys!) Vastaavalla tavalla saadaan -parametrin p- arvoksi.638, joten ^ ei ole tilastollisesti merkitseväa! 52 53

p-arvo (p-value): Merkitsevyystaso eli ensimmäaisen lajin virheen todennäakäoisyys p-arvo = P (HylÄatÄaÄan H 0 H 0 on tosi), joka siis ilmaisee todennäakäoisyyden riskille, ettäa hyläatäaäan H 0 vaikka se on tosi (hylkäaysvirhe). Tietokoneen testin yhteydessäa laskemap-arvo ilmaisee pienimmäan merkitsevyystason, jolla H 0 voitaisiin hyläatäa. Tavanomisesti käaytettyjäa merkitsevyystasoja ovat 0.05, 0.01 tai 0.001, joten jos laskettu p-arvo on pienempi kuin esimerkiksi 0.05 hyläatäaäan H 0 viiden prosentin merkitsevyystasolla. Esim. SQF-data H 0 : =0 H 1 : = 0 Excel-tulostuksesta: p-val = 0.002 < 0.01, joten todetaan, ettäa kerroin poikkeaa tilastollisesti merkiteväasti nollasta. Sensijaanleikkaustermin tapauksessa p-val = 0.638, joten jos hylkäaäamme nollahypoteesin, ettäa =0ottaisimme 64 prosentin riskin hyläatäa väaäarin perustein kyseinen hypoteesi. Emme kuitenkaan tee niin vaan päaäattelemme, ettäa leikkaustemi on nolla. 2.9. ANOVA-taulu Yleiseksi tavaksi on tullut, ettäa kokonaisneliäosumman SST hajoitelma kootaan varianssianalyysin tauluun (ANOVA ANalysis Of VAriance): 54 55

Source df SS MS F p-value Regression p SSR Residual n p 1 SSE Total n 1 SST SSR p SSE (np1) SSR SSE np1 p P (F >F obs ) 2.10 Ennustaminen Olkoon X 0 annettu X:n arvo. saadaan ennustearvo Silloin Y :lle missäa p on selittäavien muuttujien lukumäaäaräa mallissa. joka on mallin ^Y 0 =^ + ^X 0, Huom. F -testi testaa koko regression merkitsevyyttäa, joka yhden selittäajäan tapauksessa on sama kuin regressiokertoimen t-testi. PÄatee: t 2 = F (1,n 2). Ei kuitenkaan, jos selittäajiäa on useampia. Esim. SQF-data. Housing price data from Ramanathan (1993) Price SQFT SUMMARY OUTPUT Obs Y X 1 Regression Statistics 1 128.5 1219 Multiple R 0.750 2 139.5 1210 R Square 0.563 3 139.5 1400 Adj R Square 0.527 4 152.5 1560 Std Err 37.5 5 153 1846 Obs 14 6 185 2400 7 209 1846 ANOVA 8 211 1846 df SS MS F Signf F 9 214 2300 Regression 1 21720.2 21720.2 15.5 0.0020 10 226 2230 Residual 12 16860.8 1405.1 11 250 2300 Total 13 38581.0 12 259 2180 13 269.9 2527 Coeff Std Err t Stat P-value 14 298 1968 Intercept 22.6 46.8 0.483 0.6381 SQFT 0.094 0.023873 3.931731 0.0020 56 systemaattisen osan Y = + X + u E(Y )= + X paras lineaarinen harhaton estimaattori (BLUE), kun X = X 0. On kuitenkin huomattavaa, ettäa ^Y 0 :aa ei voida pitäaäa Y 0 :n BLUE:na! Se ei ole edes Y 0 :n harhaton estimaattori, silläa E(^Y 0 )=+X 0 = Y 0 = + X 0 + u 0,josu 0 =0. 57

Kuitenkin, koska X:n arvolla X 0 päatee E(u 0 )=E(Y 0 ^Y 0 )=0, niin voidaan ennustetta ^Y 0 pitäaäa siinäa mielessäa Y 0 :n harhattoman estimaattorina, ettäa ennustevirheen odotusarvo on nolla. Voidaan osoittaa, ettäa ennusteella ^Y 0 on täallaisten estimaattoreiden joukossa pienin varianssi. TÄamÄan vuoksi sanotaan, ettäa ^Y 0 on Y 0 :n paras lineaarinen harhaton ennuste (BLUP = Best Linear Unbiased Predictor). Ennusteen luottamusväali Yleiseti varianssille Var( ^Y ) päatee 1 Var( ^Y )= n + (X ¹X) 2 (Xi ¹X) 2 u, 2 jonka estimaattori saadaan korvaamalla tuntematon parametri u 2 estimaatillaan s 2 u. TÄaten saadaan yleiselläa X:n arvolla odotusarvon E(Y X) eli regressiosuoran luottamusväaliksi E(Y X) : ^Y ± t 12 p s 1 u n + (X ¹X) 2 (Xi ¹X) 2 YksittÄaisen havainnon luottamusväaliksi tulee puolestaan: Y : ^Y ± t 12 p s 1 u 1+ n + (X ¹X) 2 (Xi ¹X) 2 58 59

Esim. SQF-Data Ennusteiden vertailu: Confidence intervals Housing prices per square feets. Price i ($1000) SQFT Housing prices vs Area 1 128.5 1219 400.0 2 139.5 1210 3 139.5 1400 4 152.5 1560 5 153.0 1846 300.0 6 185.0 2400 7 209.0 1846 8 211.0 1846 200.0 9 214.0 2300 10 226.0 2230 11 250.0 2300 100.0 12 259.0 2180 13 269.9 2527 14 298.0 1968 1916.57 0.0 R Square 0.563 1000 1200 1400 1600 1800 2000 2200 2400 2600 Adj R Sqr 0.527 Area s 37.484 No of Obs 14 ANOVA df SS MS F P-value Regression 1 21720.22 21720.22 15.46 0.002 Residual 12 16860.79 1405.07 Total 13 38581.01 Coeff Std err t Stat P-value Intercept 22.601 46.838 0.483 0.638 X Variable 0.094 0.024 3.932 0.002 Price RESIDUAL OUTPUT Prediction intervals E(Y X) Y X Obs Pred Price Residuals L95% U95 L95 U95 1 137.02-8.52 109.17 164.86 37.10 236.94 2 136.17 3.33 108.27 164.07 36.24 236.11 3 154.01-14.51 127.13 180.88 54.35 253.66 4 169.02-16.52 142.79 195.26 69.54 268.51 5 195.87-42.87 170.20 221.54 96.53 295.20 6 247.87-62.87 221.14 274.59 148.26 347.48 7 195.87 13.13 170.20 221.54 96.53 295.20 8 195.87 15.13 170.20 221.54 96.53 295.20 9 238.48-24.48 212.15 264.81 138.97 337.99 10 231.91-5.91 205.81 258.02 132.46 331.36 11 238.48 11.52 212.15 264.81 138.97 337.99 12 227.22 31.78 201.25 253.19 127.81 326.63 13 259.79 10.11 232.44 287.13 160.01 359.57 14 207.32 90.68 181.66 232.98 107.99 306.65 Mean absolute error (MAE): MAE = 1 n Yi ^Y i Mean absolute percentage error (MAPE): MAPE = 100 1 Y i ^Y i. n Y i Mean Square Error (MSE): MSE = 1 n (Yi ^Y i ) 2. Root Mean Square Error (RMSE): RMSE = MSE. 60 61

Aikasarja-aineistossa (Y t ) Theilin U: U = Tt=1 (Y t ^Y t ) 2 Tt=2 (Y t Y t1 ) 2 1 2. U vertaa ennustetta naiviin menetlemäaäan, jossa seuraavan periodin ennustearvo on sama kuin nykyinen arvo, eli Enn(Y t+1 )=Y t. TÄaten jos U<1, niin ^Y t ennustaa paremmin kuin vakioennuste U = 1, sama jos ennustetaan nykyiselläa arvolla U>1, naiivi ennuste on parempi. Huom. U on käayttäokelpoinen vain aikasarjaaineistossa. YleensÄa näaitäa käaytetäaäan vertaamaan eri menetelmilläa saatuja ennusteita keskenäaäan. Esim. Cultorin liikevaihto Cultor Oy:n liikevaihto [1983-1998] Cultor Liikevaihto Vuosi Liikevaihto LN(lv) t 1983 2713 7.91 0 10000 1984 2873 7.96 1 Trendi ennuste 9000 1985 3027 8.02 2 8000 1986 3551 8.17 3 7000 1987 3591 8.19 4 6000 1988 4051 8.31 5 5000 1989 4559 8.42 6 4000 1990 5009 8.52 7 Tasaisen kasvun 3000 1991 5823 8.67 8 2000 1992 6015 8.70 9 1000 1993 6359 8.76 10 0 1994 6016 8.70 11 1980 1985 1990 1995 2000 1995 6201 8.73 12 1996 8362 9.03 13 1997 8437 9.04 14 Regressioestimaatit vuosilta 83--92 1998 8488 9.05 15 SUMMARY OUTPUT Regression Statistics v t = (1+g ) t v 0 u t Multiple R 0.993 y t = + t + t, R Square 0.986 jossa y t = ln(v t), = ln(v 0) Adjusted R Square 0.984 ja = ln(1+g) ja t = ln(u t) Standard Error 0.036 Observations 10 ANOVA df SS MS F Signif F Regression 1 0.73 0.73 552.0 0.00 Residual 8 0.01 0.00 Total 9 0.74 Coeff Std Error t Stat P-value Intercept 7.864 0.021 368.4 0.000 t 0.094 0.004 23.5 0.000 ==> Kasvu % 9.85 RESIDUAL OUTPUT Ennusteet vuosille 93 -- 98 Year Pred LN(lv) Pred LV Ennuste Virheet 83 7.86 2600 Vuosi Tot Trendi Tas-kasv Trendi m Tas kasv LV t-lv t-1 84 7.96 2856 1993 6359 6652 6607 293 248 344 85 8.05 3138 1994 6016 7308 6985 1292 969-343 86 8.15 3447 1995 6201 8027 6609 1826 408 185 87 8.24 3786 1996 8362 8818 6812 456-1550 2161 88 8.33 4159 1997 8437 9687 9186 1250 749 75 89 8.43 4569 1998 8488 10641 9268 2153 780 51 90 8.52 5019 91 8.62 5513 Trendi Tas-kasvu Naiivi 92 8.71 6056 MAE 1212 784 527 93 8.80 6652 MAPE (% 16.9 9 8 94 8.90 7308 MSE 1915571 789889 824726 95 8.99 8027 RMSE 1384 889 908 96 9.09 8818 U 1.52 0.98 1.00 97 9.18 9687 98 9.27 10641 62 63

Esim. Suomen kansantalouden kasvu: 2.11 EpÄalineaariset riippuvuussuhteet year Muutos-% Ennuste-% LCL-50% UCL-50% 1973 6.49 2.98 0.27 5.77 SAS-estimates from data for 1973-1999 1974 2.98 5.10 2.81 7.44 Variable Coeff Std Error t Ratio p-val 1975 1.59 2.41 0.25 4.62 Intercept 10.97 0.027 402.1 0.00 1976-0.10 1.66-0.42 3.79 time 0.02 0.002 15.4 0.00 1977 0.34 1.18-0.84 3.23 A(1) -1.43 0.137-10.4 0.00 1978 2.31 2.08 0.10 4.10 A(2) 0.70 0.138 5.1 0.00 1979 6.55 3.54 1.59 5.54 1980 4.99 5.49 3.54 7.47 1981 2.12 3.64 1.76 5.54 Maximum Likelihood Estimates 1982 3.09 1.67-0.13 3.51 SSE 0.011 DFE 26 1983 2.70 2.20 0.41 4.01 MSE 0.000 Root MSE 0.021 1984 3.36 1.86 0.10 3.65 SBC -135.2 AIC -140.8 1985 3.06 2.08 0.34 3.86 Reg Rsq 0.903 Total Rsq 0.992 1986 2.46 1.71-0.03 3.47 Durbin-Wats 2.052 1987 4.13 1.29-0.44 3.04 1988 4.63 2.02 0.27 3.80 Tutkimuslaitosten ennusteet 1989 5.01 1.78 0.02 3.56 2002 2003 1990 0.03 1.35-0.42 3.15 ETLA 1.9 3.7 1991-6.46-1.47-3.21 0.31 Merita 1.5 3.5 1992-3.38-3.52-5.27-1.75 OECD 1.5 3.4 1993-1.15 0.17-1.68 2.05 Osuusp 2.5 na 1994 3.88 2.75 0.81 4.73 Sampo 1.5 3 1995 3.74 6.03 3.97 8.12 PTT 1.5 2.7 1996 3.93 5.56 3.46 7.71 PT 1.3 2.5 1997 6.10 5.29 3.13 7.49 VM 1.3 2.8 1998 5.20 5.85 3.61 8.14 Average 1.6 3.1 1999 3.97 4.41 2.13 6.73 Std 0.40 0.49 2000 5.93 3.10 0.78 5.47 2001 0.69 3.54 1.14 6.00 2002. 0.30-2.11 2.76 2003. 0.62-2.58 3.92 BKT muutos % 10 5 0-5 -10 Suomen talouskasvun muutokset (%) 1973 1975 1977 1979 1981 1983 1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 Muutos % Kasvuennuste % LCL-50% UCL-50% 64 Lineaarista regressiomallia voidaan soveltaa kunhan vain malli on muunnettavissa lineaariseen muotoon. Esim. Oletetaan, ettäa muuttuja P t kasvaa ajan funktiona tasaisesti. Eli P t =(1+g) t P 0, jossa P 0 on P :n arvo alkuhetkelläa. Ottamalla logaritmit ln P t = lnp 0 + t ln(1 + g) ja mäaäarittelemäalläa Y t =lnp t, 7 =lnp 0, X t = t ja =ln(1+g), sekäa lisäaäamäalläa malliin satunnaiskomponentti saadaan Eli lineaarinen malli. Y t = + X t + u t. Huom! Logaritmisessa muodossa perusolettamusten mukaan E(u t ) = 0. Kuitenkin siirryttäaessäa alkuperäaisiin havaintoihin on malli muotoa ~P t = (1 + g) t P 0 w t, jossa w t = e u t. Jotta E( ~P t ) = P t olisi oltava E(w t ) = 1. Kuitenkin, voidaan osoittaa, ettäa jos u t N(0, 2 ), niin E(w t )=E(e u t )=e 1 2 2. TÄamÄan vuoksi ennustettaessa käaytetäaäan korjausta ^P t+1 = exp(^ + ^t) exp( 1 2 s2 )), jossa s 2 on 2 :n estimaattori. 65

Muuntamalla takaisin saadaan estimoinnin jäalkeen laskettua ennusteet alkuperäaisille muuttujille. Esim. ^g = e^ 1. Cultor-esimerkissÄa vuosien 1983{92 havaintoihin perustuen ^ =0.094, joten ^g = e 0.094 1 = 0.099 eli 9.9%. Vastaavalla tavalla voidaan linearisoida muitakin epäalineaarisia yhtäaläoitäa. Kaikkia epäalineaarisia malleja ei kuitenkaan voida aina linearisoida. Esim. Oletetaan, ettäa asunnon hankinnassa ihmiset arvostavat asuinpinta-alan lisäaystäa suuremmissa asunnoissa väahemmäan kuin pienissäa. ErÄas mahdollinen malli on silloin P i = + ln(sqf) + u i. Parametrin tulkinta? Nyt dp dsqf = 1 SQF eli P = (SQF) SQF. Toisin sanoen ilmaisee hinnan muutoksen (satoina tuhansina dollareina), kun asuinpinta-ala muttuu yhdelläa prosentilla 66 67

Muita mallivaihtoehtoja: (1) P i = + SQFT i + u i (linear model) (2) P i = + ln SQFT i + u i (linear-log model) (3) ln P i = + SQFT i + u i (linear-log model) (4) ln P i = + ln SQFT i + u i (log model) (5) P i = + SQFT i + u i (square root) etc. (1) (2) (3) (4) (5) Derivaatta dp dsqft = dp dsqft = 1 dp SQFT dsqft = P dp dsqft = P SQFT dp dsqft = 1 2 1 SQFT Jousto E = SQFT P E = 1 P E = SQFT E = E = 1 2 SQFT P 68 69

Esim. Linaarinen malli (1) Esim. Lin-log malli (2) House Prices (Linear model) Housing (lin-log model) SUMMARY OUTPUT 300 Housing prices vs Area Regression Statistics 250 Multiple R 0.750318 R Square 0.562977 200 Adj R Sqr 0.526558 s 37.48421 150 No of Obs 14 Area 100 1000 1200 1400 1600 1800 2000 2200 2400 2600 ANOVA df SS MS F P-value Regression 1 21720.22 21720.22 15.46 0.002 Residual 12 16860.79 1405.07 Total 13 38581.01 Coefficientstandard Err t Stat P-value Intercept 22.601 46.838 0.483 0.638 X Variable 0.094 0.024 3.932 0.002 Price SUMMARY OUTPUT 300 ln(sqft) Line Fit Plot 250 Regression Statistics Multiple R 0.762049 200 R Square 0.580719 150 Adjusted R 0.545779 100 Standard E 36.71544 50 Observatio 14 ln(sqft) 0 7.0 7.2 7.4 7.6 7.8 8.0 ANOVA df SS MS F ignificance F Regression 1 22404.73 22404.73 16.62043 0.001535 Residual 12 16176.28 1348.023 Total 13 38581.01 Coefficientstandard Err t Stat P-value Intercept -1069.58 312.1796-3.42616 0.005021 ln(sqft) 168.895 41.42815 4.076816 0.001535 Price RESIDUAL OUTPUT RESIDUAL OUTPUT PROBABILITY OUTPUT Obs Pred Price SQF Residuals Elasticity 1 137.02 1219-8.52 0.835 2 136.17 1210 3.33 0.834 3 154.01 1400-14.51 0.853 4 169.02 1560-16.52 0.866 5 195.87 1846-42.87 0.885 6 247.87 2400-62.87 0.909 7 195.87 1846 13.13 0.885 8 195.87 1846 15.13 0.885 9 238.48 2300-24.48 0.905 10 231.91 2230-5.91 0.903 11 238.48 2300 11.52 0.905 12 227.22 2180 31.78 0.901 13 259.79 2527 10.11 0.913 14 207.32 1968 90.68 0.891 Elasticity 0.92 0.91 0.90 0.89 0.88 0.87 0.86 0.85 0.84 0.83 1000 1500 2000 2500 3000 Obs Pred price Resid Elasticity Percentile Price 1 130.55-2.05 1.29 3.57 128.50 2 129.30 10.20 1.31 10.71 139.50 3 153.94-14.44 1.10 17.86 139.50 4 172.21-19.71 0.98 25.00 152.50 5 200.64-47.64 0.84 32.14 153.00 6 244.97-59.97 0.69 39.29 185.00 7 200.64 8.36 0.84 46.43 209.00 8 200.64 10.36 0.84 53.57 211.00 9 237.78-23.78 0.71 60.71 214.00 10 232.56-6.56 0.73 67.86 226.00 11 237.78 12.22 0.71 75.00 250.00 12 228.73 30.27 0.74 82.14 259.00 13 253.68 16.22 0.67 89.29 269.90 14 211.45 86.55 0.80 96.43 298.00 100 Residual plot Normal Probability Plot ln(sqft) Residual Plot Residuals 50 0 1000 1200 1400 1600 1800 2000 2200 2400 2600 Area -50 Price 300 280 260 240 220 200 180 160 140 120 100 0 20 40 60 80 100 Sample Percentile Residuals 100 80 60 40 20 0-207.0 7.2 7.4 7.6 7.8 8.0-40 -60 ln(sqft) 70 71

Esim. Log-log malli (4) 2.12 Regressioanalyysin tulosten esittäaminen House prices (Log-log model) SUMMARY OUTPUT 300 Line Fit Plot Regression Statistics Orig Data 250 Multiple R 0.809537 0.751795 R Square 0.655351 0.565196 200 Adjusted R 0.62663 0.528962 Standard E 0.168577 37.49553 150 Observatio 14 14 SQFT 100 1000 1500 2000 2500 3000 ANOVA df SS MS F P-value Regression 1 0.64845 0.64845 22.81801 0.000451 Residual 12 0.34102 0.028418 Total 13 0.98947 Coefficients Std Error t Stat P-value Intercept -1.56751 1.433359-1.09359 0.295602 ln(sqft) 0.908626 0.190216 4.77682 0.000451 Elasticity = 0.908626 RESIDUAL OUTPUT PROBABILITY OUTPUT Observationdicted ln(pr Residuals Pred Price Percentile ln(price) Price Resid 1 4.89-0.03 132.82 3.57 4.86 128.5-4.3 2 4.88 0.06 131.93 10.71 4.94 139.5 7.6 3 5.01-0.08 150.62 17.86 4.94 139.5-11.1 4 5.11-0.09 166.19 25.00 5.03 152.5-13.7 5 5.27-0.24 193.65 32.14 5.03 153.0-40.7 6 5.50-0.28 245.80 39.29 5.22 185.0-60.8 7 5.27 0.08 193.65 46.43 5.34 209.0 15.3 8 5.27 0.09 193.65 53.57 5.35 211.0 17.3 9 5.47-0.10 236.48 60.71 5.37 214.0-22.5 10 5.44-0.02 229.93 67.86 5.42 226.0-3.9 11 5.47 0.06 236.48 75.00 5.52 250.0 13.5 12 5.42 0.14 225.24 82.14 5.56 259.0 33.8 13 5.55 0.05 257.59 89.29 5.60 269.9 12.3 14 5.32 0.37 205.25 96.43 5.70 298.0 92.8 Residuals 0.4 0.3 0.2 0.1 0.0-0.2-0.3 ln(sqft) Residual Plot 7.0 7.2 7.4 7.6 7.8 8.0-0.1 ln(sqft) Price ln(price) 5.7 5.6 5.5 5.4 5.3 5.2 5.1 5.0 4.9 4.8 Normal Probability Plot 0 20 40 60 80 100 Sample Percentile Analyysin tulokset esitetäaäan vaihtelevilla tavoilla. Yksi yleinen tapa on esittäaäa estimoitu regressioyhtäaläo ja laittaa t-tunnusluvut tai keskivirheet (tai p-arvot) kertoimien alle sulkuihin. Esim. ^P = 22.601 + 0.09386 SQFT (0.483) (3.93) R 2 =0.563, df = 12, F =15.459, s =37.484, missäa t-arvo suluissa. Toinen, usein jopa käayttäokelpoisempi tapa, on esittäaäa tulokset taulukkossa. NÄain erityisesti, jos tarkastellaan useampia mallivaihtoehtoja tai mallissa on useita selittäaviäa muuttujia. 72 73

Esim. Taulukko. Assunon hinta (1 000$) ja pinta-ala (neliäojalkaa) SelittÄavÄa Kerroin muuttuja estimaatti std err t-arvo p-arvo Vakio 22.601 46.83 0.483 0.638 Pinta-ala 0.0937 0.024 3.932 0.002 Regressiotunnuslukuja R 2 0.563 s 37.48 F 15.46 df 12 n 14 2.13 Eri mallivaihtoehtojen selitysasteiden R 2 vertailu Usein joudutaan punnitsemaan eri funktiomuotoja keskenäaäan valittaessa lopullista mallia. Ei kuitenkaan ole oikein verrata selitysasteita kekenäaäan, jos riippuvat muuttujat ovat eri muuttujia (esim toisessa mallissa ln Y ja toisessa Y ). Jos ne ovat samoja, niin vertailu voidaan tehdäa. Heuristinen tapa: muunnetaan ensin samoiksi ja lasketaan korrelaatiot Y :n ja ^Y :n väalilläa ja verrataan näaiden neliäoitäa kekenäaäan. 74 75

Toinen mahdollisuus on verrata virhevariansseja s 2 u = 1 (Yi ^Y i ) 2 n 2 keskenäaäan. Huom. TÄassÄakin on ensin tehtäaväa muunnos alkuperäaiseen malliin takaisin. Kolmas tapa valita malli eri funktiomuotojen väalilläa on tilastollinen testaus. YleispÄatevÄaÄa tilastollista testiäa ei ole, mutta joissakin erikoistapauksissa testaus käay päainsäa. Usein lineaarisen preusmallin Y i = 0 + 1 X i + i vaihtoehtona on logariminen malli (log-lineaarinen malli) MerkitÄaÄan ja ja olkoon n SSE L = (Y i ^Y i ) 2 i=1 n SSE LL = (y i ^y i ) 2, i=1 ¹Y g =(Y 1 Y 2 Y n ) 1/n Y : n geometrinen keskiarvo, silloin voidaan osoittaa, ettäa n 2 log SSE L/¹Y 2 g SSE LL on asymptoottisesti 2 jakautunut vapausasteella 1, jos molemmat mallit sopivat yhtäa hyvin havaintoaineistoon. y i = 0 + i x i + i, jossa y i =logy i ja x i =logx i. 76 77

Esim. Asuntojen hintojen geometrinen keskiarvo ¹Y g = $195.6. Lineaarisen mallin SSE L = 16860.8 ja logmallin SSE LL =0.34102, joten Esim. Tarkastellaan auton nopeuden ja jarrutusmatkan väalistäa yhteyttäa. n 2 SSEL log /¹Y g 2 = 14 SSE LL 2 log 16860.8/195.6 2 0.34102 =1.796 2 -arvoa vastaava p-arvo yhdelläa vapausasteella on p = 0.180, joten molemmat mallit ovat empiirisesti yhtäa hyviäa. ObservationDistance Speed 1 2 4 2 10 4 3 4 7 4 22 7 5 16 8 6 10 9 7 18 10 8 26 10 9 34 10 10 17 11 11 28 11 12 14 12 13 20 12 14 24 12 15 28 12 16 26 13 17 34 13 18 34 13 19 46 13 20 26 14 21 36 14 22 60 14 23 80 14 24 20 15 25 26 15 26 54 15 27 32 16 28 40 16 29 32 17 30 40 17 31 50 17 32 42 18 33 56 18 34 76 18 35 84 18 36 36 19 37 46 19 38 68 19 39 32 20 40 48 20 41 52 20 42 56 20 43 64 20 44 66 22 45 54 23 46 70 24 47 92 24 48 93 24 49 120 24 50 85 25 Distance Speed vs Distance 120 100 80 60 40 20 0 0 5 10 15 20 25 Speed 78 79

Aineistoon voidaan sovittaa useita erilaisia mallivaihtoehtoja, jota ovat tilastollisilta ominaisuuksiltaan likipitäain ekvivalentteja. Kuitenkin täassäa voidaankäaytäaäa hyväaksi myäos teoreettista tietäamystäa: Fysiikan lakien mukaan teoreettinen etäaisyys jarrutushetkestäa on verrannollinen nopeuden neliäoäon. TÄaten teoreettinen jarrutusmatka on 1 S 2. TÄamÄan lisäaksi matkaan vaikuttaa kuljettajan reaktionopeus ennen kuin häan merkin tultua tajuaa painaa jarrua. TÄanÄa aikana auto ehtii kulkea matkan 0 S, jossa 0 on keskimäaäaräainen reaktioaika. Kunkin yksiläon reaktioaika voidaan ajatella olevan 0 +, jossa kuvaa yksiläon poikkeamaa keskiarvosta ja Var (e) = 2 (sama kaikilla yksiläoilläa). TÄaten sopiva malli on D = 0 S + 1 S 2 + u Huom. Residuaalitermi on muotoa u = S, jossa on reaktioajan residuaali Reaktioaika vaihtelee henkiläostäa toiseen jonkin verran satunnaisesti, odotusarvona 0 ja varianssina 2. TÄaten regressiotermiin se aiheuttaa heteroskedastisuutta. Toisin sanoen edelläa olevan regressiomallin jäaäannäosvarianssi on muotoa S 2 2. 80 81

Estimoidut mallit. Kuvio: Lineaarinen malli. Estimates of both models Original data Regression Statistics Multiple R 0.81 R Square 0.65 Adjusted R Square 0.64 Standard Error 15.38 Observations 50 120 100 Linear model D = + S + e ANOVA df SS MS F Significance F Regression 1 21185.46 21185.46 89.57 0.00 Residual 48 11353.52 236.53 Total 49 32538.98 Coefficients Standard Error t Stat P-value Intercept -17.58 6.76-2.60 0.01 Speed 3.93 0.42 9.46 0.00 Distance 80 60 40 20 Transformed data 0 0 5 10 15 20 25 Regression Statistics Regression Statistics Multiple R 0.44 0.82 R Square 0.19 0.67 Adjusted R Square 0.18 0.66 Standard Error 0.97 15.02 Observations 50 50 ANOVA (Transformed data) df SS MS F Significance F Regression 1 10.86 10.86 11.58 0.00 Residual 48 45.03 0.94 Total 49 55.89 Coefficients Standard Error t Stat P-value Intercept 1.26 0.43 2.96 0.00 Speed 0.09 0.03 3.40 0.00 Coeffisicents for the untransformed model Coefficients Standard Error t Stat P-value Speed 1.26 0.43 2.96 0.00 Speed Squared 0.09 0.03 3.40 0.00 Residuals -20 Speed Speed Residual Plot 50 40 30 20 10 0 0 5 10 15 20 25-10 -20-30 Speed 82 83

Kuvio: EpÄalineaarinen malli Speed vs Distance 120 100 80 60 40 20 0 0 5 10 15 20 25 Residuals Residuas of D = 0 S + 1 S 2 + u 50 40 30 20 10 0-10 1 21 41 61 81 101-20 -30 Predicted distance 84