Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1
|
|
- Veikko Auvinen
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1
2 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien linearisointi TKK (c) Ilkka Mellin (2004) 2
3 Regressiomallin valinta: Mitä opimme? Tässä luvussa tarkastellaan seuraavia kysymyksiä: (i) (ii) Miten regressiomalliin valitaan selittäjät? Missä tilanteissa ja miten epälineaarinen regressiomalli voidaan linearisoida niin, että tuloksena syntynyt transformoitu malli voidaan estimoida tavanomaiseen lineaarisen malliin yhteydessä käytettävällä tekniikalla? Selittäjien valintaongelmaan esitetään kaksi ratkaisua: (i) (ii) Mallinvalintatestien ja askellusstrategioitten käyttö. Mallinvalintakriteereiden käyttö. TKK (c) Ilkka Mellin (2004) 3
4 Regressiomallin valinta: Esitiedot Esitiedot: ks. seuraavia lukuja: Yleinen lineaarinen malli Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (2004) 4
5 Regressiomallin valinta: Lisätiedot Yleisen lineaarisen mallin soveltamisen erityiskysymyksiä käsitellään myös luvuissa Regressiodiagnostiikka Regressioanalyysin erityiskysymyksiä TKK (c) Ilkka Mellin (2004) 5
6 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien linearisointi TKK (c) Ilkka Mellin (2004) 6
7 Regressiomallin valinta: Johdanto Avainsanat Harhaisuus Harhattomuus Mallin valinta Mallivalintakriteerit Mallinvalintatestit Puuttuvat selittäjät Selittäjien valinta Selittäjäkandidaatti Tehokkuus Yleinen lineaarinen malli Estimointi Spesifiointi Standardioletukset TKK (c) Ilkka Mellin (2004) 7
8 Regressiomallin valinta: Johdanto Regressiomallin selittäjien valinta Regressiomallin selittäjiksi on usein tarjolla joukko selittäjäkandidaatteja tai -ehdokkaita ja tilastollisen analyysin tehtävänä on löytää kandidaattien joukosta oikeat tai parhaat mahdolliset. Selittäjien valintaa regressiomallin kutsutaan tavallisesti mallin valinnaksi, vaikka oikeastaan kaikki mikä liittyy mallin rakenneosan ja jäännöstermin spesifikaatioiden valintaan on mallin valintaa. TKK (c) Ilkka Mellin (2004) 8
9 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Määritelmä Olkoon yj = β0 + β1xj1+ β2xj2 +! + βkxjk + ε j, j = 1,2,, n yleinen lineaarinen malli, jossa y j = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä j x ji = selittävän muuttujan eli selittäjän x i havaittu arvo havaintoyksikössä j, i = 1, 2,, k β 0 = vakioselittäjän tuntematon regressiokerroin β i ε j = selittäjän x i tuntematon regressiokerroin = satunnainen ja ei-havaittu jäännös- eli virhetermi havaintoyksikössä j TKK (c) Ilkka Mellin (2004) 9
10 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Matriisiesitys Yleisen lineaarisen mallin matriisiesitys on muotoa jossa y = Xβ + ε y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2004) 10
11 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat ei-satunnaisia vakioita. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E(ε) = 0 (iv)&(v) Homoskedastisuus- ja korreloimattomuusoletus: (vi) Cov(ε) = σ 2 I Normaalisuusoletus: ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2004) 11
12 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Standardioletukset satunnaisille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat satunnaismuuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat satunnaismuuttujia. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E(ε X) = 0 (iv) &(v) Homoskedastisuus ja korreloimattomuusoletus: (vi) Cov(ε X) = σ 2 I Normaalisuusoletus: (ε X) N n (0, σ 2 I) TKK (c) Ilkka Mellin (2004) 12
13 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Rakenneosa ja jäännösosa Yleisessä lineaarisessa mallissa y = Xβ + ε selitettävä muuttujan arvojen vektori y on esitetty kahden osatekijän summana. Mallin systemaattinen eli rakenneosa E( yx) = Xβ riippuu selittäjien havaituista arvoista. Jäännöstermi ε muodostaa mallin satunnaisen osan, joka ei riipu selittäjien havaituista arvoista. TKK (c) Ilkka Mellin (2004) 13
14 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Regressiokertoimien PNS-estimaattorit 1/2 Yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 +! + βkxjk + ε j, j = 1,2,, n regressiokertoimien β 0, β 1, β 2,, β k PNS- eli pienimmän neliösumman estimaattorit b 0, b 1, b 2,, b k minimoivat jäännös- eli virhetermien ε j neliösumman n n 2 2 ε j = ( y j β0 β1xj1 β2xj2 βkxjk) j= 1 j= 1! kertoimien β 0, β 1, β 2,, β k suhteen. TKK (c) Ilkka Mellin (2004) 14
15 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Regressiokertoimien PNS-estimaattorit 2/2 Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β = (β 0, β 1, β 2,, β k ) PNS-estimaattori voidaan esittää matriisein muodossa b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2004) 15
16 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: PNS-estimaattoreiden ominaisuudet Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on standardioletuksien (i)-(vi) pätiessä seuraavat stokastiset ominaisuudet: E( b) = β Cov( b) = σ ( XX ) 2 1 b β σ XX 2 1 N k+ 1(, ( ) ) TKK (c) Ilkka Mellin (2004) 16
17 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Sovitteet ja residuaalit 1/2 Olkoon b = (b 0, b 1, b 2,, b k ) regressiokertoimien vektorin β = (β 0, β 1, β 2,, β k ) PNS-estimaattori. Määritellään estimoidun mallin sovitteet y kaavalla yˆ j = b0 + bx 1 j 1+ b2x j 2 +! + b k x jk, j = 1,2,, n Määritellään estimoidun mallin residuaalit e j kaavalla e = y yˆ j j j = y b bx b x! b x, j = 1,2,, n j 0 1 j1 2 j2 k jk ˆ j TKK (c) Ilkka Mellin (2004) 17
18 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Sovitteet ja residuaalit 2/2 Sovitteiden muodostama n-vektori voidaan esittää matriisein muodossa yˆ = Xb= X( XX ) 1 Xy = Py Residuaalien muodostama n-vektori voidaan esittää matriisein muodossa 1 e= y yˆ = ( I X( XX ) X ) y = ( I P) y = My TKK (c) Ilkka Mellin (2004) 18
19 Regressiomallin valinta: Johdanto Sovitteiden ja residuaalien ominaisuudet Sovitteiden ja residuaalien muodostamilla vektoreilla on seuraavat stokastiset ominaisuudet: Sovitteiden muodostama vektori ŷ : E( yˆ ) = Xβ Cov( yˆ ) = σ P = σ X( XX ) X Residuaalien muodostama vektori e : E( e) = Cov( e) = σ M = σ ( I P) = σ ( I X( XX ) X ) Huomautus: Residuaalit e j ovat (lievästi) korreloituneita, vaikka jäännöstermit ε j on oletettu korreloimattomiksi. TKK (c) Ilkka Mellin (2004) 19
20 Regressiomallin valinta: Johdanto Jäännösvarianssin estimointi Jos yleisen lineaarisen mallin jäännös-eli virhetermejä ε j koskevat standardioletukset (i)-(v) pätevät, jäännösvarianssin Var(ε j ) = σ 2 harhaton estimaattori on jossa s 1 n 2 2 = ej n k 1 j= 1 e j = estimoidun mallin residuaali, j = 1, 2,, n n = havaintojen lukumäärä k = (aitojen) selittäjien x i lukumäärä TKK (c) Ilkka Mellin (2004) 20
21 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Mallin spesifiointi Lineaarisen mallin y = Xβ + ε muotoilua ja siitä tehtävien oletusten valintaa kutsutaan mallin spesifioinniksi eli täsmentämiseksi. Oikean spesifikaation löytäminen mallin systemaattiselle osalle eli rakenneosalle E( yx) = Xβ on regressioanalyysin päätehtävä, koska juuri mallin rakenneosa kuvaa selitettävän muuttujan y riippuvuutta selittäjistä x 1, x 2,, x k. TKK (c) Ilkka Mellin (2004) 21
22 Regressiomallin valinta: Johdanto Yleinen lineaarinen malli: Mallin rakenneosan spesifiointi 2/2 Lineaaristen regressiomallien estimointia, testausta ja ennustamista koskevat tulokset edellyttävät, että mallin rakenneosa on oikein spesifioitu. Virheet regressiomallin rakenneosan spesifioinnissa johtavat virheellisiin johtopäätöksiin selitettävän muuttujan ja selittäjien välisestä riippuvuudesta. Kun regressiomallin rakenneosalle etsitään oikeata spesifikaatiota, keskeinen ongelma on löytää malliin oikeat selittäjät. TKK (c) Ilkka Mellin (2004) 22
23 Regressiomallin valinta: Johdanto Miksi oikeiden selittäjien löytäminen on tärkeätä? Jos regressiomallista puuttuu siihen kuuluvia selittäjiä, mallin regressiokertoimien PNS-estimaattorit ovat (yleensä) harhaisia. Jos regressiomallissa on turhia selittäjiä, mallin regressiokertoimien PNS-estimaattorit ovat (yleensä) tehottomia, mikä merkitsee sitä, että kertoimien varianssit ovat tarpeettoman suuria. Huomautus: Estimaattorin harhaisuus on paljon vakavampi ongelma kuin estimaattorin tehottomuus. TKK (c) Ilkka Mellin (2004) 23
24 Regressiomallin valinta: Johdanto Miksi oikean selittäjien löytäminen on vaikeata? Hyvän regressiomallin jäännösneliösumma on pieni (selitysaste on korkea), mutta minkä tahansa selittäjän lisääminen malliin yleensä pienentää jäännösneliösummaa (kasvattaa selitysastetta). Hyvän regressiomallin kaikki selittäjät ovat tilastollisesti merkitseviä, mutta minkä tahansa selittäjän poistaminen mallista tai lisääminen malliin saattaa muuttaa malliin jäävien tai siellä jo olevien selittäjien tilastollista merkitsevyyttä. TKK (c) Ilkka Mellin (2004) 24
25 Regressiomallin valinta: Johdanto Puuttuvien selittäjien ongelma 1/3 Olkoon oikea malli selittävälle muuttujalle y muotoa (1) y = Xβ 1 1+ X2β2+ ε Oletetaan, että estimoimme regressiokertoimien vektorin β 1 väärästä mallista (2) y = Xβ 1 1+ δ josta siis puuttuu osa oikean mallin (1) selittäjistä. Koska väärästä mallista (2) puuttuu osa oikean mallin (1) selittäjistä, väärän mallin (2) jäännöstermi on muotoa δ = X2β2 + ε Olkoon kerroinvektorin β 1 PNS-estimaattori väärästä mallista (2) 1 b = ( X X ) X y Estimaattori b 1 on (yleensä) harhainen (ks. seuraava kalvo). TKK (c) Ilkka Mellin (2004) 25
26 Regressiomallin valinta: Johdanto Puuttuvien selittäjien ongelma 2/3 Estimaattorin b 1 lauseke voidaan esittää muodossa 1 b = ( X X ) X y 1 1 = β1+ ( XX 1 1) XXβ ( XX 1 1) XXε 1 2 Estimaattori b 1 on yleensä harhainen: 1 E( b ) = β + ( XX ) XXβ β ellei ehto 1 ( XX ) XXβ = 0 päde. Tämäehto voi käytännössä toteutua vain kahdella tavalla: tai = ( XX ) X ( Xβ + X β + ε) β 2 = XX 1 2 = 0 TKK (c) Ilkka Mellin (2004) 26
27 Regressiomallin valinta: Johdanto Puuttuvien selittäjien ongelma 3/3 Jos β 2 = 0 selitettävän muuttujan y havaitut arvot eivät riipu lineaarisesti matriisiin X 2 liittyvistä selittäjistä ja regressiokertoimien vektori β 1 voidaan siis estimoida harhattomasti mallista (2). Jos XX 1 2 = 0 matriisin X 1 sarakkeet ovat kohtisuorassa matriisin X 2 sarakkeita vastaan ja regressiokertoimien vektori β 1 voidaan estimoida harhattomasti mallista (2). Huomautus: Edellisen perusteella vektorin β komponentit voidaan ortogonaalisten selittäjien tapauksessa estimoida harhattomasti yhden selittäjän regressiomalleista. TKK (c) Ilkka Mellin (2004) 27
28 Regressiomallin valinta: Johdanto Ratkaisuja mallin valintaan Regressiomallin selittäjien valintaan on tarjolla kaksi erilaista menetelmää: (i) Mallinvalintatestejä käytettäessä malliin pyritään valitsemaan jotakin testausstrategiaa käyttäen kaikki tilastollisesti merkitsevät selittäjät. (ii) Mallinvalintakriteereitä käytettäessä malliin valitaan selittäjiksi kaikkien tarjolla olevien selittäjien joukosta sellainen osajoukko, joka optimoi käytetyn kriteerifunktion arvon. TKK (c) Ilkka Mellin (2004) 28
29 Regressiomallin valinta Regressiomallin valinta: Johdanto >> Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien linearisointi TKK (c) Ilkka Mellin (2004) 29
30 Mallinvalintatestit Avainsanat Askellus alaspäin Askeltava regressio Lähtömalli Mallinvalintatestit Selittäjän lisääminen Selittäjän poistaminen t-testi TKK (c) Ilkka Mellin (2004) 30
31 Mallinvalintatestit Mallinvalintatestien idea 1/2 Hyvässä regressiomallissa kaikki regressiokertoimet ovat tilastollisesti merkitseviä. Regressiokertoimen β i merkitsevyyttä testataan tilastollisesti testaamalla nollahypoteesia H 0 : β i = 0 Jos nollahypoteesi H 0 jää voimaan, selitettävä muuttuja ei riipu lineaarisesti kerrointa β i vastaavasta selittäjästä. Jos nollahypoteesi H 0 hylätään testissä, selitettävä muuttuja riippuu lineaarisesti kerrointa β i vastaavasta selittäjästä, jolloin sanotaan, että regressiokerroin β i ja sitä vastaava selittäjä ovat tilastollisesti merkitseviä. TKK (c) Ilkka Mellin (2004) 31
32 Mallinvalintatestit Mallinvalintatestien idea 2/2 Selittäjän merkitsevyyttä testaavia tilastollisia testejä kutsutaan mallinvalinnassa mallinvalintatesteiksi. Regressiokertoimen tilastollista merkitsevyyttä testataan tavallisesti tavanomaisella t-testillä. Kun mallinvalinnassa käytetään mallinvalintatestejä, tavoitteena on ottaa malliin mukaan kaikki tilastollisesti merkitsevät selittäjät ja sulkea mallin ulkopuolelle kaikki tilastollisesti ei-merkitsevät selittäjät. Mallinvalintatestejä käytettäessä muodostetaan tavallisesti ensin lähtömalli, johon tilastollisesti merkitsevät selittäjät pyritään lisäämään ja josta ei-merkitsevät pyritään poistamaan. TKK (c) Ilkka Mellin (2004) 32
33 Mallinvalintatestit Mallinvalintatestien soveltamisen perusongelma Tilastollisesti merkitsevien selittäjien lisääminen malliin ja ei-merkitsevien selittäjien poistaminen mallista mallinvalintatestien perusteella ei kuitenkaan ole ongelmatonta, koska selittäjän tilastolliseen merkitsevyyteen vaikuttaa yleensä se, mitä muita selittäjiä mallissa on testaushetkellä. Siten testien suoritusjärjestys saattaa vaikuttaa siihen, mikä malli tulee valituksi. TKK (c) Ilkka Mellin (2004) 33
34 Mallinvalintatestit Selittäjän poistamisen vaikutukset Kun mallista poistetaan tilastollisesti ei-merkitseviä selittäjiä kohdataan usein seuraavat ongelmat: (i) Ei-merkitseviä selittäjiä poistettaessa poistamisjärjestys saattaa vaikuttaa lopputulokseen. (ii) Selittäjän poistaminen mallista saattaa muuttaa aikaisemmin ei-merkitsevänä poistetun selittäjäkandidaatin merkitseväksi, jos se otettaisiin takaisin malliin. TKK (c) Ilkka Mellin (2004) 34
35 Mallinvalintatestit Selittäjän lisäämisen vaikutukset Kun malliin lisätään tilastollisesti merkitseviä selittäjiä kohdataan usein seuraavat ongelmat: (i) Merkitseviä selittäjiä lisättäessä lisäämisjärjestys saattaa vaikuttaa lopputulokseen. (ii) Selittäjän lisääminen malliin saattaa muuttaa mallissa olevan, ennen uuden selittäjän lisäämistä merkitsevän selittäjän ei-merkitseväksi. TKK (c) Ilkka Mellin (2004) 35
36 Mallinvalintatestit Mallinvalintatestit ja askellusstrategiat Mallinvalintatestien soveltamisen ongelmat ovat johtaneet erilaisten askellusstrategioiden kehittämiseen. Tässä esitellään 2 strategiaa: (i) Askellus alaspäin (ii) Askeltava regressio Huomautus: Eri strategiat saattavat johtaa eri malleihin! TKK (c) Ilkka Mellin (2004) 36
37 Mallinvalintatestit Askellus alaspäin 1/2 Alaspäin askelluksessa käytettävä mallinvalintastrategia: (1) Otetaan lähtömalliin mukaan kaikki selittäjäkandidaatit. (2) Valitaan mallinvalintatesteissä käytettävä merkitsevyystaso Out. TKK (c) Ilkka Mellin (2004) 37
38 Mallinvalintatestit Askellus alaspäin 2/2 Alaspäin askelluksessa käytettävä mallinvalintastrategia: Askel muodostuu vaiheista (3)-(7). (3) Estimoidaan malli niillä selittäjillä, jotka ovat mallissa. (4) Testataan merkitsevyystasoa Out käyttäen kaikkien mallissa olevien selittäjien tilastollista merkitsevyyttä. (5) Jos kaikki mallissa olevat selittäjät ovat tilastollisesti merkitseviä, malli on valmis. (6) Poistetaan mallin ei-merkitsevistä selittäjistä se, jota vastaava p-arvo on suurin. (7) Palataan vaiheeseen (3). TKK (c) Ilkka Mellin (2004) 38
39 Mallinvalintatestit Askellus alaspäin: Kommentteja Vaihe (3) eli mallin estimointi uudelleen on välttämätön joka askeleessa. Tämä johtuu siitä, että lukuun ottamatta ortogonaalisten selittäjien tapausta estimointitulokset yleensä muuttuvat joka askeleessa. TKK (c) Ilkka Mellin (2004) 39
40 Mallinvalintatestit Askeltava regressio 1/4 Askeltavassa regressiossa käytettävä mallinvalintastrategia: (1) Muodostetaan lähtömalli. (2) Valitaan kaksi mallinvalintatesteissä käytettävää merkitsevyystasoa In ja Out. TKK (c) Ilkka Mellin (2004) 40
41 Mallinvalintatestit Askeltava regressio 2/4 Askeltavassa regressiossa käytettävä mallinvalintastrategia: Askel muodostuu vaiheista (3)-(9). (3) Estimoidaan malli niillä selittäjillä, jotka ovat mallissa. (4) Testataan vuorotellen merkitsevyystasoa In käyttäen kaikkien ko. askeleessa mallin ulkopuolella olevien selittäjäkandidaattien tilastollista merkitsevyyttä malliin lisättyinä. (5) Testataan merkitsevyystasoa Out käyttäen kaikkien mallissa olevien selittäjien tilastollista merkitsevyyttä. TKK (c) Ilkka Mellin (2004) 41
42 Mallinvalintatestit Askeltava regressio 3/4 Askeltavassa regressiossa käytettävä mallinvalintastrategia: Askel muodostuu vaiheista (3)-(9). (6) Jos malliin liitettynä tilastollisesti merkitseviä selittäjäkandidaatteja löytyy, lisätään malliin kandidaateista se, jota vastaava p-arvo on pienin. (7) Jos mallissa on tilastollisesti ei-merkityksellisiä selittäjiä, poistetaan niistä se, jota vastaava p-arvo on suurin. TKK (c) Ilkka Mellin (2004) 42
43 Mallinvalintatestit Askeltava regressio 4/4 Askeltavassa regressiossa käytettävä mallinvalintastrategia: Askel muodostuu vaiheista (3)-(9). (8) Jos malliin ei voida liittää uusia selittäjiä eikä siitä poistaa yhtään siinä olevaa selittäjää, malli on valmis. (9) Palataan vaiheeseen (3). TKK (c) Ilkka Mellin (2004) 43
44 Mallinvalintatestit Askellus alaspäin: Kommentteja Vaihe (3) eli mallin estimointi uudelleen on välttämätön joka askeleessa. Tämä johtuu siitä, että lukuun ottamatta ortogonaalisten selittäjien tapausta estimointitulokset yleensä muuttuvat joka askeleessa. TKK (c) Ilkka Mellin (2004) 44
45 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit >> Mallinvalintakriteerit Epälineaaristen riippuvuuksien linearisointi TKK (c) Ilkka Mellin (2004) 45
46 Mallinvalintakriteerit Avainsanat Jäännösneliösumma Mallinvalintakriteerit Akaiken kriteeri Jäännösvarianssikriteeri Korjattu selitysaste Mallowsin kriteeri Schwarzin kriteeri Principle of Parsimony Selitysaste Sakkofunktio TKK (c) Ilkka Mellin (2004) 46
47 Mallinvalintakriteerit Mallinvalintakriteereiden idea 1/3 Hyvän regressiomallin jäännösneliösumma SSE on pieni tai mikä on sama asia selitysaste R 2 on korkea. Saattaisi olla houkutteleva ajatus valita tarjolla olevista selittäjäkandidaateista malliin ne, jotka minimoivat jäännösneliösumman (maksimoivat selitysasteen). TKK (c) Ilkka Mellin (2004) 47
48 Mallinvalintakriteerit Mallinvalintakriteereiden idea 2/3 Jäännösneliösumman minimointia (selitysasteen maksimointia) ei kuitenkaan voida käyttää mallin valintaan: (i) Jäännösneliösumma SSE pienenee tai ei ainakaan kasva (selitysaste R 2 kasvaa tai ei ainakaan pienene) aina, kun malliin lisätään selittäjä. (ii) Jäännösneliösumman minimointi (selitysasteen maksimointi) johtaa aina kaikkien tarjolla olevien selittäjien valintaan. TKK (c) Ilkka Mellin (2004) 48
49 Mallinvalintakriteerit Mallinvalintakriteereiden idea 3/3 Mallinvalintakriteereissä jäännösneliösummaan liitetään sakkofunktio, jonka arvo riippuu estimoitavien regressiokertoimien lukumäärästä. Sakkofunktio kasvattaa kriteerifunktio arvoa, elleivät malliin lisätyt selittäjät pienennä jäännösneliösummaa tarpeeksi paljon. Mallinvalintakriteereitä voidaan pitää tieteellisen päättelyn keskeisen periaatteen principle of parsimony kiteytyksinä tilastollisten mallien maailmaan. Principle of parsimony: Yksinkertainen selitys tosiasioille on aina parempi kuin monimutkainen selitys. TKK (c) Ilkka Mellin (2004) 49
50 Mallinvalintakriteerit Mallinvalintakriteerit 1/3 Olkoon y = X β + ε p p lineaarinen regressiomalli, jossa selittäjien lukumäärä on (vakioselittäjä mukaan luettuna) p = k + 1. Olkoon b = ( X X ) X y 1 p p p p regressiokertoimien vektorin β p PNS-estimaattori ja SSE = ( y X b )( y X b ) p p p p p vastaava jäännösneliösumma. TKK (c) Ilkka Mellin (2004) 50
51 Mallinvalintakriteerit Mallinvalintakriteerit 2/3 Mallinvalintakriteerit voidaan tavallisesti esittää muodossa 2 C( p, n) = ˆ σ + p f( n) p jossa SSE 2 p ˆ σ p = n on jäännösvarianssin σ 2 suurimman uskottavuuden (SU-) estimaattori mallista, jossa on p selittäjää ja f(n) on positiivinen havaintojen ja havaintojen lukumäärän funktio. TKK (c) Ilkka Mellin (2004) 51
52 Mallinvalintakriteerit Mallinvalintakriteerit 3/3 Kriteerifunktiolla 2 C( p, n) = ˆ σ + p f( n) on seuraavat ominaisuudet: p (i) Jäännösvarianssin σ 2 2 SU-estimaattorin σˆ p arvo pienenee (tai ei ainakaan kasva), kun malliin lisätään selittäjä. (ii) Sakkofunktion p f(n) arvo kasvaa, kun malliin lisätään selittäjä. Kriteerifunktion C(p, n) arvo pienenee siis vain, jos 2 estimaattori σˆ p pienenee tarpeeksi paljon, kun malliin lisätään selittäjä. TKK (c) Ilkka Mellin (2004) 52
53 Mallinvalintakriteerit Mallinvalintakriteereiden käyttö mallin valinnassa Oletetaan, että tarjolla olevia selittäjäkandidaatteja on kaikkiaan q kappaletta. Mallinvalintakriteereitä sovelletaan seuraavalla tavalla: (i) Määrätään kriteerifunktion arvo kaikille mahdollisille selittäjäkandidaattien yhdistelmille eli kaikille malleille, joissa on p selittäjää, kun p = 1, 2,, q. (ii) Valitaan malliin selittäjiksi se selittäjäkandidaattien yhdistelmä, joka optimoi kriteerifunktion arvon. TKK (c) Ilkka Mellin (2004) 53
54 Mallinvalintakriteerit Mallinvalintakriteerin valitseminen 1/2 Kirjallisuus tuntee useita erilaisia mallinvalintakriteereitä. Tässä esitellään 5 kriteeriä: (i) Jäännösvarianssikriteeri (ii) Korjattu selityaste (iii) Mallowsin C p (iv) Akaiken informaatiokriteeri AIC (v) Schwarzin Bayeslainen informaatiokriteeri SBIC Teoreettisesti vahvimmat perustelut on esitetty C p -, AICja SBIC-kriteereille Huomautus: Eri kriteerit saattavat johtaa eri malleihin! TKK (c) Ilkka Mellin (2004) 54
55 Mallinvalintakriteerit Mallinvalintakriteerin valitseminen 2/2 Voidaan osoittaa, että sekä jäännösvarianssikriteerillä, korjatulla selitysasteella, Mallowsin C p -kriteerillä, AICkriteerillä että SBIC-kriteerillä on seuraava hyvyysominaisuus: Kriteerit tuottavat asymptoottisesti (havaintojen lukumäärän kasvaessa rajatta) mallin, joka on harhaton siinä mielessä, että mallista ei jää pois malliin kuuluvia selittäjiä. Tässä esiteltävistä kriteereistä kuitenkin vain SBICkriteeri tuottaa asymptoottisesti (havaintojen lukumäärän kasvaessa rajatta) mallin, joka on tehokas siinä mielessä, että mallissa ei ole turhia selittäjiä. TKK (c) Ilkka Mellin (2004) 55
56 Mallinvalintakriteerit Jäännösvarianssikriteeri 1/2 Jäännösneliösummaa SSE p ei sellaisenaan voida käyttää mallin valinnassa, koska se pienenee (tai ei ainakaan kasva) aina, kun malliin lisätään selittäjiä. 2 Määritellään jäännösvarianssikriteeri kaavalla jossa s 2 SSE ˆ 2 p σ 2 p ˆ p = = σ p + p n p n p 2 ˆ p = p = ( y Xpβ p)( y Xpβ p) SSE nσ on jäännösneliösumma mallista, jossa on p q selittäjää. s p TKK (c) Ilkka Mellin (2004) 56
57 Mallinvalintakriteerit Jäännösvarianssikriteeri 2/2 Jäännösvarianssikriteerin mukaan paras malli on se, joka minimoi kriteerifunktion 2 SSE ˆ 2 p σ 2 p s ˆ p = = σ p + p n p n p arvon. Huomautus: 2 Jäännösvarianssikriteerin s p arvo saattaa kasvaa, elleivät malliin lisätyt selittäjät pienennä estimoidun mallin jäännösneliösummaa SSE p tarpeeksi paljon. TKK (c) Ilkka Mellin (2004) 57
58 Mallinvalintakriteerit Korjattu selitysaste 1/2 Selitysastetta R 2 ei sellaisenaan voi käyttää mallin valinnassa, koska se kasvaa (tai ei ainakaan pienene) aina, kun malliin lisätään selittäjiä. 2 Määritellään korjattu selitysaste kaavalla jossa R SSE = n p SST 2 n 1 p 1 SSE = ( y X b )( y X b ) p p p p p p on jäännösneliösumma mallista, jossa on p q selittäjää ja 2 SST = ( n 1) s y on muuttujan y vaihtelua kuvaava kokonaisneliösumma. R p TKK (c) Ilkka Mellin (2004) 58
59 Mallinvalintakriteerit Korjattu selitysaste 2/2 Korjatun selitysasteen mukaan paras malli on se, joka maksimoi kriteerifunktion R arvon. 2 n 1 p 1 Huomautuksia: SSE = n p SST p 2 (1) Korjatun selitysasteen R p arvo saattaa pienentyä, elleivät malliin lisätyt selittäjät kasvata estimoidun mallin selitysastetta tarpeeksi paljon. 2 (2) Korjatun selitysasteen R p maksimointi johtaa samaan malliin 2 kuin jäännösvarianssikriteerin minimointi. s p TKK (c) Ilkka Mellin (2004) 59
60 Mallinvalintakriteerit Mallowsin C p 1/3 Määritellään Mallowsin C p -kriteeri kaavalla SSEp Cp = + 2 p n 2 sq jossa 2 SSE = nσ ˆ = ( y X β )( y X β ) p p p p p p on jäännösneliösumma mallista, jossa on p q selittäjää ja 2 ( n q) s q = SSE q missä q on kaikkien selittäjäkandidaattien lukumäärä. Mallowsin kriteerin mukaan paras malli on se, joka minimoi kriteerifunktion C p arvon. TKK (c) Ilkka Mellin (2004) 60
61 Mallinvalintakriteerit Mallowsin C p 2/3 Mallowsin C p -kriteeristä tunnetaan useita ekvivalentteja muotoja. Määritellään kriteerifunktiot C p ja C p kaavoilla 2 C = SSE + (2 p n) s p p q ja 2 s 2 q C ˆ p = σ p + 2 p n Kriteerifunktioiden Cp, C p, C pminimointi johtaa täsmälleen samaan malliin. TKK (c) Ilkka Mellin (2004) 61
62 Mallinvalintakriteerit Mallowsin C p 3/3 b q p Olkoon vektorin β q estimaattori, joka perustuu p q selittäjäkandidaattiin, millä tarkoitetaan sitä, että ne kertoimet, joita vastaavat selittäjät on jätetty pois mallista, p merkitään vektorissa nolliksi. Mallowsin C p -kriteeri on vektorin β q estimaattorin prediktiivisen keskineliövirheen p p p PMSE( bq) = E ( bq βq) XX q q( bq βq) approksimatiivisesti harhaton estimaattori eli p E( C p) PMSE( bq ) jos mallin y = X β + ε harha on pieni. p p b q p b q TKK (c) Ilkka Mellin (2004) 62
63 Mallinvalintakriteerit Akaiken informaatiokriteeri AIC 1/2 Määritellään Akaiken informaatiokriteeri AIC kaavalla 2 ˆ σ 2 p AIC = ˆ σ p + 2 p n jossa SSE 2 ˆ σ p = n p on jäännösvarianssin σ 2 SU-estimaattori mallista, jossa on p q selittäjää. Aikaiken informaatiokriteerin mukaan paras malli on se, joka minimoi kriteerifunktion AIC arvon. TKK (c) Ilkka Mellin (2004) 63
64 Mallinvalintakriteerit Akaiken informaatiokriteeri AIC 2/2 Akaiken informaatiokriteeri on approksimatiivisesti harhaton estimaattori mallin y = X β + ε p p ns. Kullbackin ja Leiblerin informaatiolle. TKK (c) Ilkka Mellin (2004) 64
65 Mallinvalintakriteerit Schwarzin kriteeri SBIC 1/2 Määritellään Schwarzin kriteeri SBIC kaavalla 2 ˆ σ log( ) 2 p n SBIC = ˆ σ p + 2 p n jossa SSE 2 p ˆ σ p = n on jäännösvarianssin σ 2 SU-estimaattori mallista, jossa on p q selittäjää. Schwarzin kriteerin mukaan paras malli on se, joka minimoi kriteerifunktion SBIC arvon. TKK (c) Ilkka Mellin (2004) 65
66 Mallinvalintakriteerit Schwarzin kriteeri SBIC 2/2 Schwarzin kriteeri maksimoi approksimatiivisesti mallin y = X β + ε p p posteriori-todennäköisyyden sopivasti valitulle priorijakaumien perheelle. TKK (c) Ilkka Mellin (2004) 66
67 Mallinvalintakriteerit Kommentteja mallin valintaongelman tilastollisiin ratkaisuihin 1/2 Mallin valinnassa käytettävät tilastolliset kriteerit: (i) Valittu malli selviää diagnostisista tarkistuksista; ks. lukua Regressiodiagnostiikka. (ii) Valitun mallin parametrit ovat tilastollisesti merkitseviä; ks. kappaletta Mallinvalintatestit. Mallia ei pidä kuitenkaan koskaan valita pelkästään tilastollisin kriteerein. TKK (c) Ilkka Mellin (2004) 67
68 Mallinvalintakriteerit Kommentteja mallin valintaongelman tilastollisiin ratkaisuihin 2/2 Mallin valinnassa käytettävät asialoogiset kriteerit: (i) Ovatko mallin parametrit tulkittavissa? (ii) Ovatko mallin parametrit oikean merkkisiä ja oikean kokoisia? (iii) Kuvaako malli todellisuutta mielekkäällä tavalla? Asialoogisia kriteereitä ei voida asettaa tilastotieteestä käsin. Vain tutkimuksen kohteena olevan ilmiön tuntemus ja ilmiötä koskeva teoria mahdollistavat asialoogisten kriteerien asettamisen. Malli pitää aina alistaa asialoogisiin tarkistuksiin. TKK (c) Ilkka Mellin (2004) 68
69 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit >> Epälineaaristen riippuvuuksien linearisointi TKK (c) Ilkka Mellin (2004) 69
70 Epälineaaristen riippuvuuksien linearisointi Avainsanat Epälineaarinen tilastollinen riippuvuus Lineaarinen tilastollinen riippuvuus Linearisointi Linearisoivat muunnokset TKK (c) Ilkka Mellin (2004) 70
71 Epälineaaristen riippuvuuksien linearisointi Regressiomallin linearisointi 1/4 Jos selitettävän muuttujan y tilastollinen riippuvuus selittäjistä x 1, x 2,, x k on epälineaarinen, riippuvuuden analysointi vaatii yleensä epälineaarisen regressiomallin rakentamista. Epälineaaristen regressiomallien käsittely sivuutetaan tässä. Joskus selitettävän muuttujan y ja selittävien muuttujien x 1, x 2,, x k välinen epälineaarinen tilastollinen riippuvuus voidaan kuitenkin linearisoida selitettävän muuttujan ja selittäjien sopivilla muunnoksilla niin, että linearisoinnin tuloksena syntynyt transformoitu malli toteuttaa yleisen lineaarisen mallin standardioletukset. TKK (c) Ilkka Mellin (2004) 71
72 Epälineaaristen riippuvuuksien linearisointi Regressiomallin linearisointi 2/4 Rajoitumme tässä linearisoivien muunnosten käytön kuvaamiseen yhden selittäjän tapauksessa. Olkoot y j, j = 1, 2,, n selitettävän muuttujan y havaittuja arvoja ja x j, j = 1, 2,, n selittävän muuttujan x havaittuja arvoja, jotka liittyvät kaikille j = 1, 2,, n samaan havaintoyksikköön. Oletetaan, että selitettävän muuttujan y tilastollinen riippuvuus selittäjästä x on epälineaarista. TKK (c) Ilkka Mellin (2004) 72
73 Epälineaaristen riippuvuuksien linearisointi Regressiomallin linearisointi 3/4 Sanomme, että selitettävän muuttujan y ja selittäjän x välinen epälineaarinen tilastollinen riippuvuus voidaan linearisoida, jos on olemassa bijektiiviset kuvaukset f ja g niin, että muunnetuille havaintoarvoille ( f( x ), g( y )), j = 1,2,, n j j pätee regressiokertoimien β 0 ja β 1 suhteen lineaarinen esitys f( y ) = β + β g( x ) + ε, j = 1,2,, n j 0 1 j j jossa jäännöstermit ε j toteuttavat yleisen lineaarisen mallin standardioletukset. TKK (c) Ilkka Mellin (2004) 73
74 Epälineaaristen riippuvuuksien linearisointi Regressiomallin linearisointi 4/4 Tällöin transformoituun malliin f( y ) = β + β g( x ) + ε, j = 1,2,, n j 0 1 j j voidaan soveltaa tavanomaisia lineaarisen mallin estimointi- ja testaustekniikoita. Parhaimmillaan linearisoivat muunnokset f ja g löytyvät taustateorian kuten fysiikan tai taloustieteen avulla; ks. kuitenkin seuraavat kalvot. TKK (c) Ilkka Mellin (2004) 74
75 Epälineaaristen riippuvuuksien linearisointi Linearisoivien muunnosten etsiminen I 1/2 Sopivien muunnosten etsimisissä voidaan käyttää apuna tilastografiikkaa: (i) Piirretään selitettävän muuttujan y ja selittäjän x havaituista arvoista pistediagrammi ( x, y ), j = 1,2,, n j j (ii) Piirretään selitettävän muuttujan y ja selittäjän x havaittujen arvojen muunnoksista pistediagrammit ( gx ( j), f( yj)), j= 1,2,, n funktioiden f ja g kaikille mahdollisille kandidaateille. TKK (c) Ilkka Mellin (2004) 75
76 Epälineaaristen riippuvuuksien linearisointi Linearisoivien muunnosten etsiminen I 2/2 Muuttujien y ja x tilastollisen riippuvuuden epälineaarisuus näkyy pistediagrammin ( xj, yj), j = 1,2,, n pistepilven tai -parven käyristymisenä. Jos funktiot f ja g onnistuvat linearisoimaan muuttujien y ja x välisen epälineaarisen tilastollisen riippuvuuden, pistediagrammin ( gx ( j), f( yj)), j= 1,2,, n pistepilvessä tai -parvessa ei näy käyristymistä. TKK (c) Ilkka Mellin (2004) 76
77 Epälineaaristen riippuvuuksien linearisointi Linearisoivien muunnosten etsiminen II 1/2 Sopivien muunnosten f ja g etsimisessä auttaa usein myös seuraava tekniikka: (i) Estimoidaan transformoidut mallit f( y ) = β + β g( x ) + ε, j = 1,2,, n funktioiden f ja g kaikille mahdollisille kandidaateille. (ii) Piirretään estimointituloksista seuraavat residuaalikuviot: Standardoidut residuaalit sovitteita vastaan: ( fˆ ( y ),Std( e )), j = 1,2,, n j j Standardoidut residuaalit selittäjän arvoja vastaan: ( x,std( e )), j = 1,2,, n j j 0 1 j j j TKK (c) Ilkka Mellin (2004) 77
78 Epälineaaristen riippuvuuksien linearisointi Linearisoivien muunnosten etsiminen II 2/2 Jos funktiot f ja g eivät onnistu linearisoimaan muuttujien y ja x epälineaarista tilastollista riippuvuutta, residuaalikuvioiden pistepilvissä näkyy käyristymistä. Sen sijaan, jos funktiot f ja g onnistuvat linearisoimaan muuttujien y ja x epälineaarisen tilastollisen riippuvuuden, residuaalikuvioiden pistepilvissä ei näy käyristymistä. TKK (c) Ilkka Mellin (2004) 78
79 Epälineaaristen riippuvuuksien linearisointi Linearisoivia muunnoksia 1/2 Alla oleva taulukko esittää sellaisia funktioiden f ja g kombinaatioita, joiden on monissa sovellustilanteissa havaittu tuottavan linearisoidun esityksen f( y) = β + β g( x) 0 1 muuttujien y ja x tilastolliselle riippuvuudelle. gx ( ) f( y) x 1 x log( x) y y = β + β x y = β + β x y = β + β log( x) y 1 y = β + β x 1 y = β + β x 1 y = β + β log( x) log( y) log( y) = β + β x log( y) = β + β x log( y) = β + β log( x) TKK (c) Ilkka Mellin (2004) 79
80 Epälineaaristen riippuvuuksien linearisointi Linearisoivia muunnoksia 2/2 Olkoot funktiot f ja g kuten esityksessä f( y) = β + β g( x) 0 1 edellisellä kalvolla. Alla oleva taulukko esittää ratkaisuja muuttujan y suhteen. gx ( ) f( y) x 1 x log( x) y y = β + β x y = β + β x y = β + β log( x) β y y = y = y = 2 β β 0 0 β β 0 1 x β 0 β1 x+ β1 log( x) β + β β 1 β0 β1x β0 β1 x β0 β1 log( y) y = e e y = e e y = e x TKK (c) Ilkka Mellin (2004) 80
81 Epälineaaristen riippuvuuksien linearisointi Vaatimukset muunnoksille On syytä huomata, että ei riitä, että valitut muunnokset tuottavat lineaarisen mallin, joka sopii hyvin havaintoihin, vaan käytettävien muunnosten pitää toteuttaa selitettävän muuttujan ja selittäjän käyttäytymiseen liittyvät loogisuusehdot: (i) Muunnosfunktioiden määrittely-ja arvoalueiden pitää liittyä loogisella tavalla selitettävän muuttujan ja selittäjän mahdollisten arvojen alueisiin. (ii) Muunnosfunktioiden asymptoottisen käyttäytymisen pitää vastata loogisella tavalla selitettävän muuttujan ja selittäjän mahdollisten arvojen käyttäytymistä niiden äärialueilla. TKK (c) Ilkka Mellin (2004) 81
Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotJohdatus regressioanalyysiin. Heliövaara 1
Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotJohdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin erusteet, kevät 2007 10. luento: Regressiomallin (selittäjien) valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin erusteet, kevät 007 Regressiomallin (selittäjien valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.
LisätiedotErityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli
LisätiedotRegressiodiagnostiikka ja regressiomallin valinta
Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015
LisätiedotRegressiodiagnostiikka ja regressiomallin valinta
Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotJohdatus tilastotieteeseen Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiodiagnostiikka TKK (c) Ilkka Mellin (2004) 1 Regressiodiagnostiikka Yleinen lineaarinen malli ja regressiodiagnostiikka Regressiografiikka Poikkeavat havainnot Regressiokertoimien
LisätiedotHarjoitus 9: Excel - Tilastollinen analyysi
Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.14 Tilastollisen analyysin perusteet, kevät 7 7. luento: Tarina yhden selittään lineaarisesta regressiomallista atkuu Kai Virtanen 1 Luennolla 6 opittua Kuvataan havainnot (y, x ) yhden selittään
LisätiedotTilastollisen analyysin perusteet Luento 7: Lineaarinen regressio
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka
LisätiedotTilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
LisätiedotJohdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi
LisätiedotYleinen lineaarinen malli
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
Lisätiedot2. Tietokoneharjoitukset
2. Tietokoneharjoitukset Demotehtävät 2.1 Jatkoa kotitehtävälle. a) Piirrä aineistosta pistediagrammi (KULUTUS, SAIRAST) ja siihen estimoitu regressiosuora. KULUTUS on selitettävä muuttuja. b) Määrää estimoidusta
LisätiedotJohdatus regressioanalyysiin
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet
LisätiedotVastepintamenetelmä. Kuusinen/Heliövaara 1
Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,
LisätiedotMat Tilastollisen analyysin perusteet. Painotettu PNS-menetelmä. Avainsanat:
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Mallin valinta Painotettu PNS-menetelmä Alaspäin askellus, Askellus, Askeltava valikointi, Diagnostinen grafiikka, Diagnostiset
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
LisätiedotYleistetyistä lineaarisista malleista
Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit
LisätiedotRegressiomallin valinta. Regressiomallin valinta. Regressiomallin valinta: Esitiedot. Regressiomallin valinta: Mitä opimme?
TKK (c) Ilkka Melli (004) Regressiomalli valita Eälieaariste riiuvuuksie liearisoiti Johdatus tilastotieteesee Regressiomalli valita TKK (c) Ilkka Melli (004) Regressiomalli valita: Mitä oimme? Tässä luvussa
LisätiedotLatinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt
TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
LisätiedotYhden selittäjän lineaarinen regressiomalli
Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007) Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotTA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET
TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen
LisätiedotJohdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2004) 1 Testit laatueroasteikollisille muuttujille Laatueroasteikollisten muuttujien testit Testi suhteelliselle
LisätiedotIdentifiointiprosessi
Alustavia kokeita Identifiointiprosessi Koesuunnittelu, identifiointikoe Mittaustulosten / datan esikäsittely Ei-parametriset menetelmät: - Transientti-, korrelaatio-, taajuus-, Fourier- ja spektraalianalyysi
LisätiedotDynaamiset regressiomallit
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen
LisätiedotKaksisuuntainen varianssianalyysi. Heliövaara 1
Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
Lisätiedot1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset
TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotVastepintamenetelmä. Vilkkumaa / Kuusinen 1
Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin
LisätiedotTestit laatueroasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten
LisätiedotIlkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä
Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen
LisätiedotLohkoasetelmat. Vilkkumaa / Kuusinen 1
Lohkoasetelmat Vilkkumaa / Kuusinen 1 Motivointi 1/3 Kaksisuuntaisella varianssianalyysilla voidaan tutkia kahden tekijän A ja B vaikutusta sekä niiden yhdysvaikutusta tutkimuksen kohteeseen Kaksisuuntaisessa
Lisätiedot1. REGRESSIOMALLIN SYSTEMAATTISEN OSAN MUOTO
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Regressiodiagnostiikka Cooken etäisyys, Funktionaalinen muoto, Diagnostinen grafiikka, Diagnostiset testit, Heteroskedastisuus,
LisätiedotJohdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotKaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1
Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotLohkoasetelmat. Heliövaara 1
Lohkoasetelmat Heliövaara 1 Kiusatekijä Kaikissa kokeissa, kokeen tuloksiin voi vaikuttaa vaihtelu joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla mahdollisesti on vaikutusta vastemuuttujan arvoon,
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotKorrelaatiokertoinen määrittely 165
kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x
LisätiedotMS-C2128 Ennustaminen ja aikasarja-analyysi 2. harjoitukset / Tehtävät Kotitehtävä: 3,4
MS-C2128 Ennustaminen ja aikasarja-analyysi 2. harjoitukset / Tehtävät Kotitehtävä: 3,4 Tehtävä 2.1. Jatkoa tietokonetehtävälle 1.2: (a) Piirrä aineistosta pisteparvikuvaaja (KULUTUS, SAIRAST) ja siihen
LisätiedotLohkoasetelmat. Kuusinen/Heliövaara 1
Lohkoasetelmat Kuusinen/Heliövaara 1 Kiusatekijä Kaikissa kokeissa kokeen tuloksiin voi vaikuttaa vaihtelu, joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla on mahdollisesti vaikutusta vastemuuttujan
LisätiedotHarjoitus 3: Regressiomallit (Matlab)
Harjoitus 3: Regressiomallit (Matlab) SCI-C0200 Fysiikan ja matematiikan menetelmien studio SCI-C0200 Fysiikan ja matematiikan menetelmien studio 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä
LisätiedotJohdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteesee Yhde selittää lieaarie regressiomalli TKK (c) Ilkka Melli (2005) Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää
LisätiedotTestit järjestysasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotAalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,
Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, kesä 2016 Laskuharjoitus 5, Kotitehtävien palautus laskuharjoitusten
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
Lisätiedot1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO
Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Usean selittäjän lineaarinen regressiomalli Estimaatti, Estimaattori, Estimointi, Jäännösneliösumma, Jäännöstermi, Jäännösvarianssi,
LisätiedotVastepintamenetelmä. Heliövaara 1
Vastepintamenetelmä Kurssipalautteen antamisesta saa hyvityksenä yhden tenttipisteen. Palautelomakkeeseen tulee lähiaikoina linkki kurssin kotisivuille. Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä
Lisätiedot1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT
imat-2.104 Tilastollisen analyysin perusteet / Tehtävät Aiheet: Avainsanat: Ysisuuntainen varianssianalyysi Bartlettin testi, Bonferronin menetelmä, F-testi, Jäännösneliösumma, χ 2 -testi, Koonaisesiarvo,
LisätiedotJohdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio TKK (c) Ilkka Mellin (2005) 1 Tilastollinen riippuvuus ja korrelaatio Tilastollinen riippuvuus, korrelaatio ja regressio Kahden muuttujan
Lisätiedotxi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n =
1. Tutkitaan paperin ominaispainon X(kg/dm 3 ) ja puhkaisulujuuden Y (m 2 ) välistä korrelaatiota. Tiettyä laatua olevasta paperierästä on otettu satunnaisesti 10 arkkia ja määritetty jokaisesta arkista
LisätiedotJohdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1
Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n
Lisätiedot5.7 Uskottavuusfunktioon perustuvia testejä II
5.7 Uskottavuusfunktioon perustuvia testejä II Tässä pykälässä pohditaan edellä tarkasteltujen kolmen testisuureen yleistystä malleihin, joiden parametri on useampiulotteinen, ja testausasetelmiin, joissa
LisätiedotHarjoitus 3: Regressiomallit (Matlab)
Harjoitus 3: Regressiomallit (Matlab) MS-C2107 Sovelletun matematiikan tietokonetyöt MS-C2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä mallin sovittamisessa
LisätiedotJohdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin
Lisätiedot2.1. Parametrien estimointi 2.2. Regressiokertoimien estimointi kovariansseista ja korrelaatioista
Moimuuttujameetelmät: Ilkka Melli. Yleise lieaarise malli määrittelemie.. ja malli oletukset.. Yleise lieaarise malli matriisiesitys. Yleise lieaarise malli parametrie estimoiti.. Parametrie estimoiti..
LisätiedotKertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: Yleinen lineaarinen malli 1 Määritelmä
LisätiedotKertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017 Viikko 1: Yleinen lineaarinen malli 1 Määritelmä
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotJohdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman
Lisätiedot1. Tutkitaan tavallista kahden selittäjän regressiomallia
TA7, Ekonometrian johdantokurssi HARJOITUS 5 RATKAISUEHDOTUKSET 232215 1 Tutkitaan tavallista kahden selittäjän regressiomallia Y i = β + β 1 X 1,i + β 2 X 2,i + u i (a) Kirjoita regressiomalli muodossa
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotUSEAN MUUTTUJAN REGRESSIOMALLIT JA NIIDEN ANA- LYYSI
TEORIA USEAN MUUTTUJAN REGRESSIOMALLIT JA NIIDEN ANA- LYYSI Regressiomalleilla kuvataan tilanteita, jossa suureen y arvot riippuvat joukosta ns selittäviä muuttujia x 1, x 2,..., x p oletetun funktiomuotoisen
LisätiedotKoesuunnittelu Vastepintamenetelmä. TKK (c) Ilkka Mellin (2005) 1
Koesuunnittelu Vastepintamenetelmä TKK (c) Ilkka Mellin (2005) 1 Vastepintamenetelmä Vastepintamenetelmä: Johdanto 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
LisätiedotTilastolliset menetelmät. β versio. Tilastolliset menetelmät. Ilkka Mellin. Teknillinen korkeakoulu, Matematiikan laboratorio
β versio Tilastolliset menetelmät Ilkka Mellin Teknillinen korkeakoulu, Matematiikan laboratorio TKK @ Ilkka Mellin (2006) I Esipuhe Tämä moniste antaa perustiedot tilastollisista menetelmistä ja niiden
LisätiedotTilastolliset menetelmät
Tilastolliset menetelmät Ilkka Mellin 1. korjattu painos Ilkka Mellin I Ilkka Mellin II Esipuhe Tämä moniste pyrkii antamaan perustiedot tilastollisista menetelmistä ja niiden soveltamisesta. Tämä on monisteen
LisätiedotHarha mallin arvioinnissa
Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö
LisätiedotKoesuunnittelu 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 1
Koesuunnittelu 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 k -faktorikokeet 2 2 -faktorikokeet 2 3 -faktorikokeet 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 2 k -faktorikokeet: Mitä opimme?
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotTilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä
Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme
Lisätiedot