Regressiodiagnostiikka ja regressiomallin valinta
|
|
- Saija Lattu
- 6 vuotta sitten
- Katselukertoja:
Transkriptio
1 Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016
2 Viikko 2: Regressiodiagnostiikka ja regressiomallin valinta 1 Regressiodiagnostiikka 2 Regressiomallin valinta
3 Sisältö 1 Regressiodiagnostiikka 2 Regressiomallin valinta
4 Regressiodiagnostiikka Regressioanalyysin peruskysymykset: Kuvaako malli selitettävän muuttujan ja selittäjien välistä riippuvuutta oikein 1 sisällöllisesti 2 tilastollisesti? Hyvä malli on sellainen, joka selittää havaintoja mahdollisimman kattavasti. Mallin hyvyyden tarkastelua kutsutaan regressiodiagnostiikaksi. Regressiodiagnostiikan menetelmiä: tilastografiikka diagnostiset tunnusluvut diagnostiset testit
5 Regressiomallin valinta Mallin määrittely tarkoittaa seuraavien valintojen tekemistä: 1 Selitettävän muuttujan ja selittäjien valinta. 2 Mallin rakenneosan funktionaalisen muodon ja parametrisoinnin valinta. 3 Selitettävän muuttujan ja selittäjien funktionaalisen muodon valinta. 4 Virhetermejä koskevien oletusten valinta. Huom Kohdat (1)-(3) liittyvät regressiomallin rakenneosan määrittelyyn ja kohta (4) liittyy regressiomallin virhetermin määrittelyyn. Mitkään näistä eivät ole riippumattomia toisistaan.
6 Rakennosan määrittelyvirheet (i) Käytetään lineaarista mallia, vaikka selitettävän muuttujan riippuvuus selittäjistä ei ole lineaarista. (ii) Mallissa on liikaa tai liian vähän selittäjiä. (iii) Mallin selittäjien funktionaalinen muoto on väärä. (iv) Oletetaan virheellisesti, että regressiokertoimet ovat vakioita. Huom Rakenneosan määrittelyssä tehdyt karkeat virheet havaitaan usein estimoidun mallin havaituista jäännöksistä.
7 Sopiiko lineaarinen malli kuvan aineistoon (aineisto 1)? y x
8 Virhetermien määrittelyvirheet (i) Oletetaan virheellisesti homoskedastisuus tai korreloimattomuus. (ii) Oletetaan virheellisesti normaalijakautuneisuus. Huom Virhetermien määrittelyssä tehdyt karkeat virheet havaitaan usein estimoidun mallin havaituista jäännöksistä.
9 Yleisen lineaarisen mallin diagnostinen tarkastus Onko poikkeavia havaintoja? Ovatko regressiokertoimet vakioita? Ovatko selittäjät lineaarisesti riippumattomia? Ovatko virhetermit homoskedastisia ja korreloimattomia (mahdollisesti normaalijakautuneita)? Huom Jos aineisto on suuri, voi olla järkevää sovittaa malli vain osaan aineistosta ja testata jäljelle jäävällä aineistolla mallin ennustuskykyä.
10 Regressiografiikka: Pistediagrammi Sovitteiden ŷ ja havaittujen y arvojen muodostamien parien hajontakuvio aineistolle 1. Pisteparvessa lievää kaarevuutta. y y^
11 Regressiografiikka: Pistediagrammi Pistediagrammi osoittaa poikkeavat havainnot (aineisto 2). y y^
12 Regressiografiikka: Pistediagrammi Regressiomalli on sitä parempi mitä tasaisemmin pisteet ympäröivät suoraa, jonka kulmakerroin on 1. Pienikin kaarevuus hajontakuviossa viittaa rakenneosan väärään valintaan. Poikkeavat havainnot ovat tyypillisesti kaukana yllä mainitusta suorasta.
13 Regressiografiikka: Jäännösdiagrammi Sovitteiden ŷ tai selittäjän x j ja jäännösten e muodostamien pisteparien hajontakuvio (aineisto 1). Kaarevuus on selvä. e y^
14 Regressiografiikka: Jäännösdiagrammi Poikkeavat havainnot erottuvat selkeästi (aineisto 2). e y^
15 Regressiografiikka: Jäännösdiagrammi Oikein määritellyssä mallissa pisteet muodostavat suurin piirtein tasaleveän pisteparven vaaka-akselin ympärille. Poikkeavat havainnot näkyvät kaukana akselista. Pisteparven kaarevuus viittaa rakenneosan väärään valintaan. Jos pisteparvi ei ole suunnilleen tasaleveä joka puolella, niin virhetermi saattaa olla heteroskedastinen (eli varianssi riippuu selittäjän arvosta) tai rakenneosa väärin määritetty.
16 Poikkeavat havainnot Poikkeavalla havainnolla tarkoitetaan havaintoa, joka eroaa jossakin mielessä merkitsevästi muista havainnoista. Tilastollisen analyysin kannalta havaintoa voidaan pitää poikkeavana, jos se vaikuttaa voimakkaasti tilastollisen analyysin tuloksiin: Jos havainnon poistaminen muuttaa olennaisesti tilastollisen analyysin tuloksia, havainto on poikkeava Poikkeavia havaintoja ei saa poistaa ilman voimakkaita kontekstin tuntemukseen pohjautuvia perusteluja. Regressioanalyysissa poikkeavat havainnot saattavat aiheuttaa seuraavia vaikeuksia: Mallin valinta vaikeutuu Mallin estimointi hankaloituu Mallia koskeva tilastollinen päättely saattaa vääristyä
17 Poikkeavien havaintojen tunnistaminen: Cookin etäisyys Havaintoon y i liittyvä Cookin etäisyys on C i = n l=1 (ŷl ŷ i l )2 (k + 1)s 2, missä (ŷ 1,..., ŷ n ): Sovitteet kun mallin estimoinnissa käytetty kaikkia havaintoja. (ŷ i 1,..., ŷ i n): Sovitteet kun mallin estimoinnissa on käytetty kaikkia muita havaintoja paitsi havaintoa i. 8 Jos havaintoa i vastaava Cookin etäisyys C i > n 2(k+1) tai on selvästi muiden havaintojen Cookin etäisyyttä suurempi, havainto kannattaa ottaa erikoistarkasteluun.
18 Cookin etäisyys y x C y Huomaa y-akselien suunnat.
19 Cookin etäisyys y x C y Huomaa y-akselien suunnat.
20 Miten käsitellä poikkeavia havaintoja? Jos poikkeavat havainnot ovat selvästi virheellisiä, esim. ihmisen pituudeksi on saatu 17.8m, niin ne on poistettava aineistosta tai ne on korjattava. Entä jos poikkeavat havainnot eivät ole virheellisiä? Vaihtoehtoja: 1 Kysytään asiantuntijalta mistä poikkeavat havainnot voisivat johtua. 2 Käytetään mallia, joka ottaa huomioon aineiston jakautumisen erilaisiin osiin. 3 Käytetään jotakin robustia estimointimenetelmää eli menetelmää, joka ei ole herkkä poikkeaville havainnoille. Yleispätevää toimintaohjetta ei voida antaa, mutta havaintoja ei saa poistaa ilman voimakkaita perusteluja. Mikäli havaintojen poistaminen on perusteltua ja poikkeavat havainnot poistetaan, niin ne tulee joka tapauksessa raportoida ja analysoida yksityiskohtaisesti.
21 Vakioparametrisuusoletuksen testaaminen Jos on syytä epäillä, että aineiston eri osiin sopisi eri lineaariset mallit, niin vakioparametrisuutta on syytä testata. Jos esimerkiksi tarkastellaan ruokavalion vaikutusta ihmisten verenpaineeseen, niin voi olla syytä selvittää ovatko vaikutukset naisilla ja miehillä keskimäärin samanlaiset. Testauksen tarkoituksena on selvittää, ovatko lineaarisen mallin parametrit samat aineiston kahdelle eri osajoukolle. Nollahypoteesi H 0 : parametrit ovat samat tarkasteltaville aineiston osille. Vaihtoehtoinen hypoteesi H 1 : aineiston eri osissa parametrit eivät ole samat. Testaamisen voi tehdä vertailemalla koko aineistoon sovitetun mallin ja aineiston eri osiin sovitettujen mallien jäännösneliösummia (SSE).
22 Vakioparametrisuusoletuksen testaaminen Oletetaan, että otosparit (x 1, y 1 ),...(x n, y n ) on jaettu kahteen ryhmään jonkin kriteerin perusteella, esimerkiksi naiset ja miehet. Oletetaan, että ryhmien otoskoot ovat h k + 1 ja n h k + 1. Järjestetään parit siten, että ensimmäinen ryhmä koostuu pareista (x 1, y 1 ),...(x h, y h ) ja toinen ryhmä pareista (x h+1, y h+1 ),...(x n, y n ).
23 Vakioparametrisuusoletuksen testaaminen Nollahypoteesia: aineiston osien 1 ja 2 avulla estimoidut parametrit ovat yhtä suuret voidaan testata permutaatiotestillä: 1 Oletetaan, että havainnot (x i, y i ) i=1,...,n on jaettu osiin: 1 Osa 1: (x i, y i ) i=1,...,h (h kpl) 2 Osa 2: (x i, y i ) i=h+1,...,n (n h kpl) 2 Lasketaan koko aineiston avulla estimoidun mallin jäännösneliösumma SSE. 3 Sovitetaan malli osiin 1 ja 2 erikseen, jolloin saadaan jäännösneliösummat SSE 1 ja SSE 2. 4 Lasketaan testisuure ( ) n 2(k + 1) Ch = k + 1 SSE (SSE 1 + SSE 2 ), (SSE 1 + SSE 2 ) missä k on selittävien muuttujien lukumäärä, eli x i = (x i1,..., x ik ).
24 Vakioparametrisuusoletuksen testaaminen 5 Lasketaan testisuureen empiirisen jakauman kvantiilit: 1 Permutoidaan otoksen osat 1 ja 2, eli käydään yksitellen läpi kaikki kokoa h olevat osajoukot (ja niihin liittyvät komplementtijoukot), jolloin saadaan ( n h) otosparia. 2 Lasketaan jokaiselle permutoimalla saadulle joukkoparille arvo Ch p = n 2(k 1) SSE (SSE p1 + SSE p2 ) k + 1 (SSE p1 + SSE p2 ) missä SSE p1 ja SSE p2 ovat permutaatiolla p = 1,..., m, m = ( n h) saatujen aineiston osien 1 ja 2 jäännösneliösummat. 3 Järjestetään arvot Ch p pienimmästä suurimpaan, jolloin saadaan empiirisen jakauman kaikki kvantiilit. 6 Verrataan alkuperäistä arvoa Ch empiirisen jakauman (1 α) kvantiillin Ch (1 α) m. 1 Jos Ch > Ch (1 α) m, niin nollahypoteesi, jonka mukaan parametrit ovat vakioita, hylätään merkitsevyystasolla α.
25 Vakioparametrisuusoletuksen testaaminen, kun ɛ N ( 0, σ 2) : Chow-testi Jos oletetaan, että jäännökset ovat N ( 0, σ 2) -jakautuneita, niin vakioparametrisuutta ei tarvitse tarkastella permutoimalla, vaan edellä käytetty testisuure Ch = ( n 2(k + 1) ) k + 1 SSE (SSE 1 + SSE 2 ). (SSE 1 + SSE 2 ) noudattaa F-jakaumaa vapausastein k + 1 ja n 2(k + 1). Siten tässä tapauksessa vakioparametrisuutta voidaan testata kuten edellä, mutta kohta (5) voidaan ohittaa, sillä F (k + 1, n 2(k + 1))-jakauman kvantiilit ovat suoraan saatavilla. R-komento q-kvantiilille: qf(q,k+1,n-2*(k+1)).
26 Vakioparametrisuusoletuksen testaaminen Huom Permutaatiotestissä kaikkien ( n k) permutaation laskeminen on yleensä mahdotonta. Valitsemalla m permutaatiota satunnaisesti antaa kohtuullisen tarkkoja tuloksia, mutta m on syytä valita suureksi (esim ) jos mahdollista. Entä jos testi osoittaa, että parametrit eivät ole samat eri osissa? Jaetaan aineisto osiin ja analysoidaan niitä erikseen. Käytetään (epälineaarista) mallia, joka sallii parametrien muuttumisen.
27 Multikollineaarisuus Sanotaan, että mallin selittäjät ovat multikollineaarisia jos matriisi X on täysiasteinen (r(x) = k + 1), mutta sen sarakkeet ovat kuitenkin melkein lineaarisesti riippuvia. Hankaloittaa mallin estimointia ja siitä tehtävää tilastollista päättelyä. Voimakas multikollineaarisuus saattaa hankaloittaa myös mallin valintaa. Multikollineaarisuus on suhteellinen ominaisuus, joten voidaan puhua multikollineaarisuuden asteesta. Jos multikollineaarisuudesta on haittaa, niin siihen voidaan pyrkiä vaikuttamaan esimerkiksi seuraavin keinoin: Mallista poistetaan mahdolliset turhat selittäjät. Selittäjiin sovelletaan sopivia muunnoksia.
28 Esimerkki: sementin rakenne ja lämpötila i x i1 x i2 x i3 x i4 y i Taulukko : Selittäjät x 1, x 2, x 3, x 4 ovat neljän eri kemikaalin painoprosentit sementistä valmistetuissa klinkkerierissä, kun kehityslämpötila on y. (A.C. Davison, 2003)
29 Esimerkki: sementin rakenne ja lämpötila Matriisin X = [1 x 1 x 2 x 3 x 4 ] sarakkeet ovat lähes lineaarisesti riippuvia, sillä x 1 + x 2 + x 3 + x 4 = = 98 1
30 Multikollineaarisuus: Varianssin inflaatiotekijä PNS-estimaattorin b j varianssi voidaan lausua muodossa: var(b j ) = 1 1 R 2 j σ 2 n i=1 ( xij x j ) 2 missä σ 2 = var ɛ ja Rj 2 on selitysaste lineaarisesta regressiomallista, jossa selitettävänä muuttujana on alkuperäisen mallin selittäjä x j selittäjinä ovat muut alkuperäisen mallin selittäjät Kaavassa esiintyvää tekijää VIF j = 1 1 R 2 j, j = 1, 2,..., k kutsutaan selittäjää x j vastaavaksi varianssin inflaatio-tekijäksi.
31 Multikollineaarisuus: Varianssin inflaatiotekijä var(b j ) = VIF j σ 2 n i=1 ( xij x j ) 2, VIF j = 1 1 R 2 j Estimaattorin b j varianssi on sitä suurempi, mitä suurempi on VIF j. Jos Rj 2 = 0 ja VIF j = 1 kaikille j = 1,..., k, niin selittäjät x 1, x 2,..., x k ovat ortogonaalisia (tämä on ideaalitilanne, johon pyritään jos selittäjien arvot voidaan valita). Jos Rj 2 = 1 ja VIF j = jollekin j = 1,..., k, niin selittäjä x j voidaan esittää muiden selittäjien x 1, x 2,..., x j 1, x j+1,..., x k lineaarikombinaationa. Jos VIF j > 10 jollekin j = 1,..., k, niin multikollineaarisuudesta saattaa olla haittaa.,
32 Multikollineaarisuutta voidaan tutkia myös tarkastelemalla muuttujien x 1,..., x k havaituista arvoista muodostettujen matriisien ominaisarvoja (ja ominaisvektoreita) Matriisia Z Z R k k missä Z R n k on selittäjien x 1,..., x k havaittujen arvojen muodostama matriisi Selittäjien x 1,..., x k havaittu momenttimatriisi A R k k Selittäjien x 1,..., x k havaittu kovarianssimatriisi S R k k Selittäjien x 1,..., x k havaittu korrelaatiomatriisi R R k k Matriisin multikollineaarisuuden mittarina voidaan käyttää matriisin kuntoisuuslukua eli suurimman ja pienimmän ominaisarvon suhdetta: jos luku on suuri, niin matriisi on multikollineaarinen.
33 Heteroskedastisuus Lineaarisen mallin virhetermit ɛ i ovat heteroskedastisia, kun varianssit eivät ole samat kaikilla selittäjän arvoilla. Silloin PNS-estimaattorit ovat harhattomia, mutta ne eivät enää ole parhaita lineaaristen ja harhattomien estimaattoreiden joukossa. Lisäksi jäännösvarianssin tavanomainen estimaattori on harhainen. Jos esim. jäännösvarianssi yliarvioidaan, niin Regressiokertoimien PNS-estimaattoreiden varianssit tulevat tarpeettoman suuriksi Regressiokertoimien luottamusväleistä tulee tarpeettoman leveitä. Regressiokertoimia koskevista testisuureiden arvoista tulee tarpeettoman pieniä. Virhetermien heteroskedastisuus nähdään usein jo jäännösdiagrammeista.
34 Heteroskedastisuus jäännösdiagrammista e y^
35 Yksinkertainen testi homoskedastisuudelle Määrätään selitysaste R 2 a apuregressiosta e 2 i = α 0 + α 1 ŷ i + δ i. Nollahypoteesi H 0 : Homoskedastisuusoletus pätee, eli Testisuure: nr 2 a. H 0 : nr 2 a = 0. Jos testisuureen arvo poikkeaa selvästi nollasta, niin nollahypoteesi hylätään, eikä homoskedastisuutta voida olettaa.
36 Whiten testi homoskedastisuudelle Voimakkaampi kuin edellä käsitelty yksinkertainen testi. Perustuu selitysasteeseen R 2 a apuregressiosta, jossa selitettävänä muuttujana käytetään residuaalien neliöitä selittäjinä käytetään alkuperäisen mallin selittäjiä sekä niiden neliöitä ja ristituloja. Jos homoskedastisuusoletus pätee, niin nr 2 a 0, joten testin nollahypoteesi on H 0 : nr 2 a = 0. Suuret testisuureen nr 2 a arvot (verrattuna apuregressiossa estimoitavien parametrien lukumäärään) johtavat nollahypoteesin H 0 hylkäämiseen. Huom Testin voi suorittaa permutaatiotestillä ja bootstrapilla, mutta jos jäännökset ovat normaalijakautuneita, niin testisuure nr 2 a noudattaa χ 2 (p)-jakaumaa, missä p on apuregression muuttujiin liittyvien parametrien määrä.
37 Esimerkki Oletetaan, että alkuperäinen malli on Silloin apuregressio on y i = β 0 + β 1 x i1 + β 2 x i2 + ɛ i e 2 i = γ 0 + γ 1 x i1 + γ 2 x i2 + γ 3 x 2 i1 + γ 4x 2 i2 + γ 5x i1 x i2 + δ i
38 Mallin jäännökset ovat heteroskedastisia mitä sitten? Tehdään mallin selitettävään muuttujaan sopiva stabiloiva muunnos. Mallinnetaan heteroskedastisuus käyttäen yleistettyä PNS-menetelmää. Käytetään jotain muuta soveltuvaa menetelmää (kts kirjallisuus).
39 Jakaumaoletusten tarkastaminen Jos halutaan olettaa, että satunnaismuuttuja noudattaa jotakin parametristä jakaumaa, niin oletuksen sopivuus on syytä tarkastaa. 1 Visualisoidaan histogrammin avulla. 2 Tarkastellaan järjestyslukukuvaajaa, eli pistepareja ( F i, ˆF i ), missä ˆF i on datasta lasketut empiiriset kvantiilit ja F i teoreettiset kvantiilit vertailtavana olevasta jakaumasta. Kuvaaja vertaa havaittuja kvantiileja verrokkijakauman kvantiileihin, joten mikäli havainnot noudattavat verrokkijakaumaa, niin järjestyslukukuvaajan pisteet ovat suunnilleen samalla suoralla. 3 Käytetään jotakin testiä, esimerkiksi Kolmogorov-Smirnov. (Kurssi MS-A0501, Viikko 6 kalvot.) R-komentoja: hist(e), qqplot(z,e), qqnorm(e), ks.test(e, "jakauma", parametrit...)
40 Ennustuskyvyn testaaminen Oletetaan, että on käytettävissä havainnot (x i1,..., x ik, y i ), i = 1,..., n + h. Estimoidaan lineaarinen regressiomalli havainnoista i = 1,..., n PNS-estimaatti b. Ennustetaan sovitetulla mallilla arvoja y n+1,..., y n+h : ŷ i = x ib, i = n + 1,..., n + h, missä x i = (1, x i1,..., x ik ). Ennustevirheiden u i = y i ŷ i tunnusluvut: E[u i ] = 0 var(u i ) = σ 2 ( 1 + x i ( X X ) 1 x i ) cov(u) = σ 2( I + X h (X X ) 1 X ), missä X h = [x n+1,..., x n+h ].
41 Ennustuskyvyn testaaminen Nollahypoteesi H 0 : β 1 = β 2, σ 2 1 = σ2 2. β 1 on estimoitu havaintojen 1,..., n avulla. β 2 on estimoitu havaintojen n + 1,..., n + h avulla. Testisuure on χ 2 = n+h i=n+1 u 2 i s 2, jonka suuret arvot (suhteessa otoksen 2 kokoon) johtavat nollahypoteesin hylkäämiseen. (Samankaltainen kuin vakioparametrisuuden testaus.) Testi voidaan suorittaa permutaatiotestillä (ja bootstrapilla) ja jos jäännökset ovat normaalijakautuneita, niin testisuure noudattaa χ 2 -jakaumaa vapausastein h.
42 Sisältö 1 Regressiodiagnostiikka 2 Regressiomallin valinta
43 Regressiomallin valinta Lineaaristen regressiomallien estimointia, testausta ja ennustamista koskevat tulokset edellyttävät, että mallin rakenneosa on oikein määritetty. Virheet saattavat johtaa virheellisiin johtopäätöksiin selitettävän muuttujan ja selittäjien välisestä riippuvuudesta. Kun regressiomallin rakenneosalle etsitään oikeaa määrittelyä, keskeisenä ongelmana on löytää malliin oikeat selittäjät. Selittäjien valintaa regressiomallin kutsutaan tavallisesti mallin valinnaksi, vaikka oikeastaan kaikkea mikä liittyy mallin rakenneosan ja virhetermin määritykseen voidaan pitää mallin valintana.
44 Oikeiden selittäjien merkitys Jos mallissa on turhia selittäjiä, PNS-estimaattorit ovat (yleensä) tehottomia ja regressiokertoimien varianssit ovat tarpeettoman suuria. Jos mallista puuttuu selittäjiä, PNS-estimaattorit ovat (yleensä) harhaisia Harhaisuus on paljon vakavampi ongelma kuin tehottomuus. Hyvän regressiomallin jäännösneliösumma on pieni (eli selitysaste on korkea) ja kaikki selittäjät ovat tilastollisesti merkitseviä. Mutta: Minkä tahansa selittäjän lisääminen malliin pienentää (tai ei ainakaan kasvata) jäännösneliösummaa Minkä tahansa selittäjän poistaminen tai lisääminen saattaa muuttaa muiden selittäjien tilastollista merkitsevyyttä Oikeiden selittäjien löytäminen regressiomalliin voi olla vaikeaa.
45 Puuttuvien selittäjien ongelma Olkoon oikea malli y = X 1 β 1 + X 2 β 2 + ɛ, mutta estimoimme vektorin b 1 väärästä mallista y = X 1 β 1 + ɛ. Silloin Osa selittäjistä puuttuu, joten väärän mallin (2) virhetermi on muotoa: δ = X 2 β 2 + ɛ. Estimaattori b 1 on b 1 = β 1 + ( X 1 X 1) 1X 1 X 2 β 2 + ( X 1 X 1) 1X 1 ɛ, joka on harhaton vain jos β 2 = 0 tai X 1 X 2β 2 = 0.
46 Mallinvalintatestien idea Pyritään valitsemaan malliin kaikki tilastollisesti merkitsevät selittäjät käyttäen jotakin testausstrategiaa Esim Askellus taaksepäin -strategia Selittäjän x j tilastollista merkitsevyyttä testataan käyttämällä nollahypoteesina H 0 : β j = 0 Selittäjien lisääminen/poistaminen ei ole ongelmatonta Selittäjän tilastolliseen merkitsevyyteen vaikuttaa yleensä se, mitä muita selittäjiä mallissa on testaushetkellä. Testien suoritusjärjestys saattaa vaikuttaa siihen, mikä malli tulee valituksi, esim: Merkitsevän selittäjän lisääminen muuttaa mallissa olevan merkitsevän selittäjän ei-merkitseväksi ei-merkitsevän selittäjän poistaminen muuttaa aikaisemmin ei-merkitsevänä poistetun selittäjäkandidaatin merkitseväksi. Eri strategiat johtavat usein eri malleihin.
47 Mallinvalintastrategiat: Askellus taaksepäin 1 Otetaan lähtömalliin mukaan kaikki selittäjäkandidaatit. 2 Valitaan testissä käytettävä merkitsevyystaso α p. 3 Estimoidaan malli niillä selittäjillä, jotka ovat mallissa mukana. 4 Testataan merkitsevyystasoa α p käyttäen kaikkien mallissa mukana olevien selittäjien tilastollista merkitsevyyttä. 5 Jos kaikki mallissa olevat selittäjät ovat tilastollisesti merkitseviä, malli on valmis. 6 Poistetaan mallin ei-merkitsevistä selittäjistä se, jota vastaava p-arvo on suurin (se selittäjä, joka on vähiten merkitsevä). 7 Palataan vaiheeseen (3). Huom Mallin estimointi uudelleen (3) on välttämätön joka askeleessa, koska estimointitulokset yleensä muuttuvat joka askeleessa.
48 Mallinvalintakriteereiden idea Hyvän mallin jäännösneliösumma on pieni (eli selitysaste korkea) Jäännösneliösumma SSE pienenee (tai ei ainakaan kasva), kun malliin lisätään mikä tahansa muuttuja selittäjäksi. Siten SSE:n minimointi (tai R 2 :n maksimointi) johtaa aina kaikkien tarjolla olevien selittäjien valintaan Mallinvalintakriteereissä jäännösneliösummaan liitetään sakkofunktio, jonka arvo riippuu estimoitavien regressio-kertoimien lukumäärästä. Sakkofunktio kasvattaa kriteerifunktion arvoa, elleivät malliin lisätyt selittäjät pienennä jäännösneliösummaa tarpeeksi paljon. Principle of parsimony: Kahdesta erilaisesta, mutta yhtä hyvästä selityksestä tosiasioille yksinkertaisempaa on pidettävä parempana
49 Mallinvalintakriteerit: Yleinen muoto Olkoon y = Xβ p + ɛ lineaarinen regressiomalli. 1 p = k + 1 on estimoitavien parametrien lukumäärä. 2 PNS-estimaattori b p = ( X X ) 1 X y. 3 Jäännösneliösumma: SSE p = ( ) ( ) y Xb p y Xbp 4 Jäännösneliösumman suurimman uskottavuuden estimaattori ˆσ 2 p = SSE p /n. Monet mallinvalintakriteerit voidaan esittää muodossa joka pyritään minimoimaan. C(p, ˆσ 2 p),
50 Mallinvalintakriteereitä Korjattu selitysaste: R p 2 = 1 n 1 SSE p n p SST, SST = (n 1)s2 y. Hyvän mallin korjattu selitysaste on mahdollisimman suuri. Esimerkki (Akaiken informaatio-kriteeri): Jos virhetermit ovat normaalijakautuneet, niin AIC (Akaike information criterion) mallille voidaan esittää muodossa C(p, ˆσ 2 p) = log(ˆσ 2 p) + 2p n, missä ˆσ 2 p on jäännösneliösumma mallista jossa on p = k + 1 estimoitavaa parametria.
51 Regressiomallin linearisointi Jos selitettävän muuttujan y tilastollinen riippuvuus selittäjistä on epälineaarinen, riippuvuuden analysointi vaatii yleensä epälineaarisen regressiomallin rakentamista. Joskus voidaan kuitenkin linearisoida selitettävän muuttujan ja selittäjien sopivilla muunnoksilla siten, että muunnosten avulla saatu malli toteuttaa yleisen lineaarisen mallin standardioletukset. Rajoitumme tässä linearisoivien muunnosten käytön kuvaamiseen yhden selittäjän tapauksessa
52 Regressiomallin linearisointi Epälineaarinen tilastollinen riippuvuus voidaan linearisoida, jos on olemassa bijektiiviset kuvaukset f ja g niin, että muunnetuille havaintoarvoille f (x i ), g(y i ), i = 1,..., n pätee f (y i ) = β 0 + β 1 g(x i ) + ɛ i, i = 1,..., n jossa jäännöstermit ɛ i toteuttavat yleisen lineaarisen mallin standardioletukset. Tähän muunnettuun malliin voidaan soveltaa tavanomaisia lineaarisen mallin estimointi- ja testaustekniikoita. Linearisoivien muunnosten f ja g etsiminen: taustateorian avulla (esim. fysiikka, taloustiede,...) Tilastografiikka, tunnetut muunnokset
53 Linearisoivien muunnosten etsiminen Muuttujien y ja x tilastollisen riippuvuuden epälineaarisuus näkyy siinä, että pistediagrammin (x i, y i ), i = 1,..., n pistepilvi on käyrä. Jos funktiot f ja g onnistuvat linearisoimaan epälineaarisen tilastollisen riippuvuuden, käyryyttä ei näy piste- ja residuaalidiagrammeissa: ( g(xi ), f (y i ) ), i = 1,..., n ( f (yi ), e i ), i = 1,..., n ( g(xi ), e i ), i = 1,..., n.
54 Linearisoivien muunnosten etsiminen g(x) f (y) x 1/x log x y y = β 0 + β 1 x y = β 0 + β 1 /x y = β 0 + β 1 log x 1/y 1/y = β 0 + β 1 x 1/y = β 0 + β 1 /x 1/y = β 0 + β 1 log x log y log y = β 0 + β 1 x log y = β 0 + β 1 /x log y = β 0 + β 1 log x g(x) f (y) x 1/x log x y y = β 0 + β 1 x y = β 0 + β 1 /x y = β 0 + β 1 log(x) 1 1/y y = ) y = β 1 (x+ β 0 β 0 β y = ( 1 ) β 2 β 0 x+ β 1 1 β β 1 log x+ β 0 0 β 1 log y y = e β 0e β 1x y = e β 0e β 1/x y = e β 0x β 1
55 Ensi viikolla: 1 Stationaariset stokastiset prosessit 1 Määritelmä 2 Autokorrelaatiofunktio 3 Osittaisautokorrelaatiofunktio 4 Viive- ja differenssioperaattorit 5 Integroituvuus eli differenssistationaarisuus 6 Spektri 2 ARMA-mallit 1 Puhtaasti stokastinen prosessi 2 Erilaiset SARMA mallit
56 Luentokalvot pohjautuvat osittain Mellinin ja Liesiön aiempien vuosien kalvoihin.
Regressiodiagnostiikka ja regressiomallin valinta
Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotJohdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit
LisätiedotYleinen lineaarinen malli
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2
LisätiedotKertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: Yleinen lineaarinen malli 1 Määritelmä
LisätiedotKertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017 Viikko 1: Yleinen lineaarinen malli 1 Määritelmä
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.14 Tilastollisen analyysin perusteet, kevät 7 7. luento: Tarina yhden selittään lineaarisesta regressiomallista atkuu Kai Virtanen 1 Luennolla 6 opittua Kuvataan havainnot (y, x ) yhden selittään
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
LisätiedotJohdatus tilastotieteeseen Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiodiagnostiikka TKK (c) Ilkka Mellin (2004) 1 Regressiodiagnostiikka Yleinen lineaarinen malli ja regressiodiagnostiikka Regressiografiikka Poikkeavat havainnot Regressiokertoimien
LisätiedotJohdatus regressioanalyysiin. Heliövaara 1
Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotTilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin erusteet, kevät 2007 10. luento: Regressiomallin (selittäjien) valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
LisätiedotDynaamiset regressiomallit
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin erusteet, kevät 007 Regressiomallin (selittäjien valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
LisätiedotErityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
LisätiedotJohdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
LisätiedotTilastollisen analyysin perusteet Luento 7: Lineaarinen regressio
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli
LisätiedotYleistetyistä lineaarisista malleista
Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
LisätiedotHarjoitus 9: Excel - Tilastollinen analyysi
Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
Lisätiedot2. Tietokoneharjoitukset
2. Tietokoneharjoitukset Demotehtävät 2.1 Jatkoa kotitehtävälle. a) Piirrä aineistosta pistediagrammi (KULUTUS, SAIRAST) ja siihen estimoitu regressiosuora. KULUTUS on selitettävä muuttuja. b) Määrää estimoidusta
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotKorrelaatiokertoinen määrittely 165
kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotVastepintamenetelmä. Kuusinen/Heliövaara 1
Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai
LisätiedotTA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET
TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen
Lisätiedot1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset
TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotKaksisuuntainen varianssianalyysi. Heliövaara 1
Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti
Lisätiedot1. REGRESSIOMALLIN SYSTEMAATTISEN OSAN MUOTO
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Regressiodiagnostiikka Cooken etäisyys, Funktionaalinen muoto, Diagnostinen grafiikka, Diagnostiset testit, Heteroskedastisuus,
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18 1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen
Lisätiedot1. Tutkitaan tavallista kahden selittäjän regressiomallia
TA7, Ekonometrian johdantokurssi HARJOITUS 5 RATKAISUEHDOTUKSET 232215 1 Tutkitaan tavallista kahden selittäjän regressiomallia Y i = β + β 1 X 1,i + β 2 X 2,i + u i (a) Kirjoita regressiomalli muodossa
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
Lisätiedotxi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n =
1. Tutkitaan paperin ominaispainon X(kg/dm 3 ) ja puhkaisulujuuden Y (m 2 ) välistä korrelaatiota. Tiettyä laatua olevasta paperierästä on otettu satunnaisesti 10 arkkia ja määritetty jokaisesta arkista
LisätiedotKaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1
Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
LisätiedotMat Tilastollisen analyysin perusteet. Painotettu PNS-menetelmä. Avainsanat:
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Mallin valinta Painotettu PNS-menetelmä Alaspäin askellus, Askellus, Askeltava valikointi, Diagnostinen grafiikka, Diagnostiset
LisätiedotLatinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt
TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 2. luento: Tilastolliset testit Kai Virtanen 1 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita
LisätiedotIdentifiointiprosessi
Alustavia kokeita Identifiointiprosessi Koesuunnittelu, identifiointikoe Mittaustulosten / datan esikäsittely Ei-parametriset menetelmät: - Transientti-, korrelaatio-, taajuus-, Fourier- ja spektraalianalyysi
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotTilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä
Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme
LisätiedotJohdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1
Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
Lisätiedotedellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾
ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos
Lisätiedotr = 0.221 n = 121 Tilastollista testausta varten määritetään aluksi hypoteesit.
A. r = 0. n = Tilastollista testausta varten määritetään aluksi hypoteesit. H 0 : Korrelaatiokerroin on nolla. H : Korrelaatiokerroin on nollasta poikkeava. Tarkastetaan oletukset: - Kirjoittavat väittävät
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Tilastollisen merkitsevyyden testaus Osa II Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 15. marraskuuta 2007 Antti Rasila () TodB 15. marraskuuta 2007 1 / 19 1 Tilastollisia testejä (jatkoa) Yhden otoksen χ 2 -testi varianssille Kahden riippumattoman
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotHAVAITUT JA ODOTETUT FREKVENSSIT
HAVAITUT JA ODOTETUT FREKVENSSIT F: E: Usein Harvoin Ei tupakoi Yhteensä (1) (2) (3) Mies (1) 59 28 4 91 Nainen (2) 5 14 174 193 Yhteensä 64 42 178 284 Usein Harvoin Ei tupakoi Yhteensä (1) (2) (3) Mies
LisätiedotTilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin
Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta
LisätiedotVastepintamenetelmä. Vilkkumaa / Kuusinen 1
Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin
LisätiedotTilastollisen analyysin perusteet Luento 2: Tilastolliset testit
Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja
LisätiedotAalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,
Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, kesä 2016 Laskuharjoitus 5, Kotitehtävien palautus laskuharjoitusten
LisätiedotMTTTA1 Tilastomenetelmien perusteet 5 op Luento Kokonaisuudet johon opintojakso kuuluu
10.1.2019/1 MTTTA1 Tilastomenetelmien perusteet 5 op Luento 10.1.2019 1 Kokonaisuudet johon opintojakso kuuluu https://www10.uta.fi/opas/opintojakso.htm?rid=14600 &idx=1&uilang=fi&lang=fi&lvv=2018 10.1.2019/2
LisätiedotLohkoasetelmat. Heliövaara 1
Lohkoasetelmat Heliövaara 1 Kiusatekijä Kaikissa kokeissa, kokeen tuloksiin voi vaikuttaa vaihtelu joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla mahdollisesti on vaikutusta vastemuuttujan arvoon,
LisätiedotLohkoasetelmat. Vilkkumaa / Kuusinen 1
Lohkoasetelmat Vilkkumaa / Kuusinen 1 Motivointi 1/3 Kaksisuuntaisella varianssianalyysilla voidaan tutkia kahden tekijän A ja B vaikutusta sekä niiden yhdysvaikutusta tutkimuksen kohteeseen Kaksisuuntaisessa
LisätiedotMTTTA1 Tilastomenetelmien perusteet 5 op Luento , osa 1. 1 Kokonaisuudet johon opintojakso kuuluu
5.3.2018/1 MTTTA1 Tilastomenetelmien perusteet 5 op Luento 5.3.2018, osa 1 1 Kokonaisuudet johon opintojakso kuuluu https://www10.uta.fi/opas/opintojakso.htm?rid=14600 &idx=1&uilang=fi&lang=fi&lvv=2017
LisätiedotLohkoasetelmat. Kuusinen/Heliövaara 1
Lohkoasetelmat Kuusinen/Heliövaara 1 Kiusatekijä Kaikissa kokeissa kokeen tuloksiin voi vaikuttaa vaihtelu, joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla on mahdollisesti vaikutusta vastemuuttujan
LisätiedotJohdatus regressioanalyysiin
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet
Lisätiedot805306A Johdatus monimuuttujamenetelmiin, 5 op
monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu
LisätiedotJohdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi
LisätiedotTestit järjestysasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
Lisätiedot805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016)
805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016) Tavoitteet (teoria): Hallita autokovarianssifunktion ominaisuuksien tarkastelu. Osata laskea autokovarianssifunktion spektriiheysfunktio. Tavoitteet
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotHarha mallin arvioinnissa
Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö
Lisätiedot5.7 Uskottavuusfunktioon perustuvia testejä II
5.7 Uskottavuusfunktioon perustuvia testejä II Tässä pykälässä pohditaan edellä tarkasteltujen kolmen testisuureen yleistystä malleihin, joiden parametri on useampiulotteinen, ja testausasetelmiin, joissa
LisätiedotKoska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.
24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ
LisätiedotKeskipisteen lisääminen 2 k -faktorikokeeseen (ks. Montgomery 9-6)
Mat-.3 Koesuunnittelu ja tilastolliset mallit kevät Keskipisteen lisääminen k -faktorikokeeseen (ks. Montgomery 9-6) Esim (Montg. ex. 9-, 6-): Tutkitaan kemiallisen prosessin saannon Y riippuvuutta faktoreista
LisätiedotMS-C2128 Ennustaminen ja aikasarja-analyysi 2. harjoitukset / Tehtävät Kotitehtävä: 3,4
MS-C2128 Ennustaminen ja aikasarja-analyysi 2. harjoitukset / Tehtävät Kotitehtävä: 3,4 Tehtävä 2.1. Jatkoa tietokonetehtävälle 1.2: (a) Piirrä aineistosta pisteparvikuvaaja (KULUTUS, SAIRAST) ja siihen
Lisätiedotpitkittäisaineistoissa
Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 3B Tilastolliset datajoukot Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi 2016
Lisätiedot¼ ¼ joten tulokset ovat muuttuneet ja nimenomaan huontontuneet eivätkä tulleet paremmiksi.
10.11.2006 1. Pituushyppääjä on edellisenä vuonna hypännyt keskimäärin tuloksen. Valmentaja poimii tämän vuoden harjoitusten yhteydessä tehdyistä muistiinpanoista satunnaisesti kymmenen harjoitushypyn
Lisätiedot