Vastepintamenetelmä. Kuusinen/Heliövaara 1

Samankaltaiset tiedostot
Vastepintamenetelmä. Vilkkumaa / Kuusinen 1

Vastepintamenetelmä. Heliövaara 1

Koesuunnittelu Vastepintamenetelmä. TKK (c) Ilkka Mellin (2005) 1

Kaksisuuntainen varianssianalyysi. Heliövaara 1

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

Koesuunnittelu 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 1

Lohkoasetelmat. Vilkkumaa / Kuusinen 1

Lohkoasetelmat. Kuusinen/Heliövaara 1

Lohkoasetelmat. Heliövaara 1

Kertausluento. Vilkkumaa / Kuusinen 1

Hierarkkiset koeasetelmat. Heliövaara 1

Regressioanalyysi. Kuusinen/Heliövaara 1

Keskipisteen lisääminen 2 k -faktorikokeeseen (ks. Montgomery 9-6)

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1

2 k -faktorikokeet. Vilkkumaa / Kuusinen 1

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

Johdatus regressioanalyysiin. Heliövaara 1

Osafaktorikokeet. Kurssipalautetta voi antaa Oodissa Kuusinen/Heliövaara 1

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Kaksisuuntaisen varianssianalyysin tilastollisessa malli voidaan esittää seuraavassa muodossa:

Toimittaja Erä

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1

Mat Tilastollisen analyysin perusteet, kevät 2007

Harjoitus 9: Excel - Tilastollinen analyysi

Mat Tilastollisen analyysin perusteet, kevät 2007

Sovellettu todennäköisyyslaskenta B

Mat Tilastollisen analyysin perusteet, kevät 2007

Sovellettu todennäköisyyslaskenta B

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Väliestimointi (jatkoa) Heliövaara 1

2 2 -faktorikokeen määritelmä

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Mat Tilastollisen analyysin perusteet, kevät 2007

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

Useampisuuntainen varianssianalyysi. Useampisuuntainen varianssianalyysi. Useampisuuntainen varianssianalyysi

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

MS-C2103 Koesuunnittelu ja tilastolliset mallit (5 op)

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Kaksisuuntainen varianssianalyysi. TKK (c) Ilkka Mellin (2005) 1

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT

Sovellettu todennäköisyyslaskenta B

1. Tilastollinen malli??

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Sovellettu todennäköisyyslaskenta B

1 Rajoittamaton optimointi

Mat Tilastollisen analyysin perusteet, kevät 2007

Estimointi. Vilkkumaa / Kuusinen 1

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Harjoitus 7: NCSS - Tilastollinen analyysi

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Lohkoasetelmat. Lohkoasetelmat. Lohkoasetelmat: Mitä opimme? Lohkoasetelmat. Lohkoasetelmat. Satunnaistettu täydellinen lohkoasetelma 1/4

4.0.2 Kuinka hyvä ennuste on?

Diskriminanttianalyysi I

2. Teoriaharjoitukset

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Johdatus regressioanalyysiin

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

Osa 2: Otokset, otosjakaumat ja estimointi

Sovellettu todennäköisyyslaskenta B

Testejä suhdeasteikollisille muuttujille

USEAN MUUTTUJAN REGRESSIOMALLIT JA NIIDEN ANA- LYYSI

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

MS-C2103 Koesuunnittelu ja tilastolliset mallit (5 op)

Harha mallin arvioinnissa

Testaa onko myrkkypitoisuus eri ryhmissä sama. RATK. Lasketaan kaikkien havaintoarvojen summa: k T i = = 486.

Numeeriset menetelmät TIEA381. Luento 12. Kirsi Valjus. Jyväskylän yliopisto. Luento 12 () Numeeriset menetelmät / 33

Luento 8: Epälineaarinen optimointi

1. Tutkitaan tavallista kahden selittäjän regressiomallia

Yleinen lineaarinen malli

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT

Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1

Todennäköisyyden ominaisuuksia

Inversio-ongelmien laskennallinen peruskurssi Luento 2

BM20A5840 Usean muuttujan funktiot ja sarjat Harjoitus 7, Kevät 2018

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Sovellettu todennäköisyyslaskenta B

Mat Tilastollisen analyysin perusteet, kevät 2007

a) Sievennä lauseke 1+x , kun x 0jax 1. b) Aseta luvut 2, 5 suuruusjärjestykseen ja perustele vastauksesi. 3 3 ja

Aiheet. Kvadraattinen yhtälöryhmä. Kvadraattinen homogeeninen YR. Vapaa tai sidottu matriisi. Vapauden tutkiminen. Yhteenvetoa.

Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,

Sovellettu todennäköisyyslaskenta B

Mat Tilastollisen analyysin perusteet, kevät 2007

Yhden muuttujan funktion minimointi

Matematiikka B1 - avoin yliopisto

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset

805306A Johdatus monimuuttujamenetelmiin, 5 op

Likimääräisratkaisut ja regularisaatio

Transkriptio:

Vastepintamenetelmä Kuusinen/Heliövaara 1

Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla, jota kutsutaan vastepintamalliksi. Polynomimuotoisten vastepintamallien avulla on helppo etsiä vasteeseen vaikuttavien tekijöiden optimaalista kombinaatiota. Vastepintamenetelmä on vaiheittain etenevä mallinrakentamisstrategia, jonka aikana joudutaan tavallisesti keräämään myös uusia havaintoja. Kuusinen/Heliövaara 2

Vastepintamenetelmä Oletetaan, että vastemuuttujan y havaittujen arvojen riippuvuutta tekijöiden x 1, x 2,..., x k tasoista voidaan kuvata funktiolla y = f(x 1, x 2,..., x k ) + ε, jossa jäännöstermi ε edustaa satunnaisvirhettä muuttujan y havaituissa arvoissa. Vastepintamenetelmän tavoitteena on löytää sellainen tekijöiden x 1, x 2,..., x k tasojen kombinaatio, joka optimoi (minimoi tai maksimoi) vastefunktion arvon. f(x 1, x 2,..., x k ) Kuusinen/Heliövaara 3

Vastepintamenetelmä Funktion f muoto on tavallisesti tuntematon ja siksi funktiota pyritään approksimoimaan sopivasti valitulla faktoreiden polynomilla. Tällöin on tärkeää selvittää, riittääkö funktiolle f faktoreiden kelvollisella arvoalueella lineaarinen approksimaatio vai tarvitaanko jotakin korkeampiasteista approksimaatiota. Tällä kurssilla tarkastelemme vastepintamenetelmää 2 2 -faktorikokeiden yhteydessä. Kuusinen/Heliövaara 4

Vastepintamenetelmä 2 2 -faktorikokeissa Kuusinen/Heliövaara 5

Luonnolliset muuttujat Kutsumme tekijöitä A ja B luonnollisiksi muuttujiksi, jos niiden arvot on annettu tekijöiden oikeissa, luonnollisissa mittayksiköissä. Olkoon X + =Tekijän X arvo, kun tekijän X taso on korkea (+) X =Tekijän X arvo, kun tekijän X taso on matala ( ) 2 2 -faktorikokeiden tapauksessa X = A tai X = B. Kuusinen/Heliövaara 6

Koodatut muuttujat Olkoon x = X (X + + X )/2 (X + X )/2 luonnollista muuttujaa X vastaava koodattu muuttuja. Tällöin x = +1, jos X = X + 1, jos X = X Kääntäen, luonnollisen muuttujan X arvot saadaan koodatun muuttujan x arvoista kaavalla X = 1 2 (X + X )x + 1 2 (X + + X ) Kuusinen/Heliövaara 7

1. asteen lineaarinen vastepintamalli Määritellään 1. asteen lineaarinen vastepintamalli kaavalla jossa y = β 0 + β 1 x 1 + β 2 x 2 + ε, x 1 x 2 =tekijää A vastaava koodattu muuttuja =tekijää B vastaava koodattu muuttuja Mallin avulla voidaan mallintaa tekijöiden A ja B päävaikutukset. Malli ei kykene huomioimaan vastefunktion f mahdollista kaarevuutta. Kuusinen/Heliövaara 8

1. asteen vastepintamalli 1/2 Lisäämällä 1. asteen lineaariseen vastepintamalliin koodattujen muuttujien x 1 ja x 2 tulotermin, joka kuvaa tekijöiden A ja B yhdysvaikutusta, saadaan 1. asteen vastepintamalli y = β 0 + β 1 x 1 + β 2 x 2 + β 12 x 1 x 2 + ε Mallin avulla voidaan mallintaa tekijöiden A ja B päävaikutukset ja yhdysvaikutus eli interaktio. Malli kykenee jonkin verran huomioimaan vastefunktion f mahdollista kaarevuutta tekijöiden A ja B vaikutuksien suhteen. Kuusinen/Heliövaara 9

1. asteen vastepintamalli 2/2 Vastepintamallit ovat parametrien suhteen tavanomaisia lineaarisia regressiomalleja, joiden parametrit voidaan estimoida pienimmän neliösumman menetelmällä. 1. asteen vastepintamallin parametrien β 0, β 1, β 2, β 12 PNS-estimaattorit ovat b 0 = ȳ b 2 = X B /2 b 1 = X A /2 b 12 = X AB /2 Estimoitu 1. asteen vastepinnan yhtälö on siis muotoa ŷ = ȳ + ( XA 2 ) x 1 + ( XB 2 ) x 2 + ( XAB 2 ) x 1 x 2 Kuusinen/Heliövaara 10

Vastefunktion kaarevuuden testaaminen Kuusinen/Heliövaara 11

Kvadraattisen kaarevuuden testaaminen 2 2 -koeasetelmassa sovellettavan 1. asteen vastepintamallin y = β 0 + β 1 x 1 + β 2 x 2 + β 12 x 1 x 2 + ε riittävyyttä vastefunktion f(x 1, x 2 ) approksimaationa tarkastellaan tavallisesti testaamalla tarvitaanko mallissa puhdasta kvadraattista kaarevuutta kuvaavia neliöllisiä termejä x 2 1 ja x2 2. Kuusinen/Heliövaara 12

Keskipisteen lisääminen Kaarevuutta voidaan testata lisäämällä 2 2 -koeasetelmaa + b ab vastaavaan neliöön sen keskipiste CP = (C A, C B ), B (C,C ) A B jossa (1) a C A = A + + A 2 A + C B = B + + B 2 Koodattujen muuttujien arvoissa keskipiste on origo (0, 0). Kuusinen/Heliövaara 13

Kulmapistehavainnot ja keskipistehavainnot Oletetaan, että kustakin neliön kulmapisteestä on kerätty n havaintoa. Tällöin kulmapistehavaintojen kokonaislukumäärä on 2 2 n = n F (merkintä) Kerätään neliön keskipisteestä n C > 1 havaintoa. Merkitään mitattuja vastemuuttujan y arvoja z 1, z 2,..., z nc Merkitään kulmapistehavaintojen keskiarvoa ȳ F :llä ja keskipistehavaintojen keskiarvoa ȳ C :llä. Kuusinen/Heliövaara 14

Kaarevuus Jos kulmapistehavaintojen ja keskipistehavaintojen keskiarvojen erotus ȳ F ȳ C on pieni, ovat keskipistehavainnot lähellä kulmapistehavaintojen määräämää tasoa ja vastefunktion kaarevuus on pientä. Kuusinen/Heliövaara 15

Nollahypoteesi 1/2 Vastefunktion kaarevuutta koskeva nollahypoteesi H P Q : Ei puhdasta kvadraattista kaarevuutta voidaan ilmaista 2. asteen vastepintamallin y = β 0 + k β i x i + i<j β ij x i x j + k β ii x 2 i + ε i=1 i=1 parametrien avulla muodossa H P Q : k i=1 β ii = 0 Kuusinen/Heliövaara 16

Nollahypoteesi 2/2 Kaarevuutta koskeva nollahypoteesi on ekvivalentti nollahypoteesin H P Q : k i=1 β ii = 0 H P Q : µ F µ C = 0, kanssa, missä µ F on kulmapistehavaintojen ja µ C keskipistehavaintojen odotusarvo. Kuusinen/Heliövaara 17

Kaarevuutta ja virhettä kuvaavat neliösummat Koska erotus µ F µ C on kontrasti, saadaan puhdasta kvadraattista kaarevuutta kuvaava neliösumma kaavalla SSP Q = n F n C n F + n C (ȳ F ȳ C ) 2 Määritellään puhdasta virhettä kuvaava neliösumma kaavalla SSP E = 2 2 n (y kij ȳ ij ) 2 + n C (z k ȳ C ) 2 i=1 j=1 k=1 k=1 Kuusinen/Heliövaara 18

Testi puhtaalle kvadraattiselle kaarevuudelle Määritellään F -testisuure Jos nollahypoteesi F P Q = (n F + n C 5) SSP Q SSP E H P Q : Ei puhdasta kvadraattista kaarevuutta pätee, niin F P Q F (1, n F + n C 5) Suuret testisuureen F P Q arvot johtavat nollahypoteesin hylkäämiseen. Kuusinen/Heliövaara 19

Varianssianalyysihajotelma Jos 2 2 -faktorikokeeseen on liitetty keskipiste, pätee varianssianalyysihajotelma SST = SSA + SSB + SSAB + SSP Q + SSP E Keskipistehavaintojen lisääminen on mahdollistanut 2 2 -faktorikokeen tavanomaisen varianssianalyysihajotelman SST = SSA + SSB + SSAB + SSE virhetermin SSE pilkkomisen puhdasta kvadraattista kaarevuutta ja puhdasta virhettä kuvaavaan neliösummaan: SSE = SSP Q + SSP E Kuusinen/Heliövaara 20

Varianssianalyysitaulukko Varianssianalyysitaulukko 2 2 -faktorikokeelle, johon on lisätty keskipiste: Vaihtelun lähde SS df M S F A SSA 1 MSA = SSA/df F A = MSA/MSP E B SSB 1 MSB = SSB/df F B = MSB/MSP E AB SSAB 1 MSAB = SSAB/df F AB = MSAB/MSP E P Q SSP Q 1 MSP Q = SSP Q/df F P Q = MSP Q/MSP E P E SSP E n F + n C 5 MSP E = SSP E/df E SSE n F + n C 4 MSE = SSE/df T SST n F + n C 1 Kuusinen/Heliövaara 21

Vastefunktion optimin etsiminen ja gradienttimenetelmä Kuusinen/Heliövaara 22

1. asteen vastepintamalli ja tekijöiden optimaalisten tasojen etsiminen Jos vastefunktion f kvadraattinen kaarevuus ei ole tilastollisesti merkitsevää, riittää 1. asteen vastepintamalli vastefunktion muodon approksimointiin. Oletetaan, että haluamme löytää estimoidun 1. asteen vastepintamallin ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 avulla koodattuja muuttujia x 1 ja x 2 vastaavien tekijöiden A ja B tasot, jotka optimoivat (minimoivat/maksimoivat) vastefunktion arvon. f(x 1, x 2 ) Kuusinen/Heliövaara 23

Gradienttimenetelmä Kuten tunnettua, funktio kasvaa voimakkaimmin sen gradientin suuntaan. Keskipisteessä CP, eli x 1 x 2 -koordinaatiston origossa, 1. asteen vastepinnan gradientti on muotoa b = [b 1, b 2 ] T Gradienttimenetelmässä poimitaan uusia havaintoja niillä tekijöiden A ja B tasoilla, jotka määräytyvät liikkumalla keskipisteestä CP tasaisin askelin gradientin b suuntaan (maksimoitaessa), tai sitä vastaan (minimoitaessa). Uusia havaintoja poimitaan, kunnes vasteen arvo ei enää parane (kasva tai vähene). Kuusinen/Heliövaara 24

Askelpituuksien määrääminen 1/2 Askeleet, joilla siirtyminen vektorin b (tai b) suuntaan tapahtuu, voidaan määrätä seuraavasti: (i) Valitaan vasteeseen vaikuttavista tekijöistä tärkeämpi (oletetaan, tekijä B on tärkeämpi). Olkoon x 2 tärkeämpää faktoria B vastaava koodattu muuttuja. Valitaan tärkeämmälle muuttujalle x 2 askelpituudeksi x 2. (ii) Valitaan muuttujalle x 1 askelpituus kaavalla x 1 = b 1 b 2 x 2 (iii) Konvertoidaan askelpituudet koodattujen muuttujien arvoista luonnollisten muuttujien arvoiksi kaavalla X = x X + X 2 Kuusinen/Heliövaara 25

2. asteen vastepintamalli ja tekijöiden optimaaliset tasot Jos vastefunktion f kvadraattinen kaarevuus on tilastollisesti merkitsevää, tarvitaan vastefunktion muodon approksimointiin 2. asteen vastepintamalli. Oletetaan, että haluamme löytää estimoidun 2. asteen vastepintamallin ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 + b 11 x 2 1 + b 22 x 2 2 avulla koodattuja muuttujia x 1 ja x 2 vastaavien tekijöiden A ja B tasot, jotka optimoivat (minimoivat/maksimoivat) vastefunktion arvon. f(x 1, x 2 ) Kuusinen/Heliövaara 26

Tekijöiden optimaaliset tasot ja vastemuuttujan arvo optimipisteessä Tekijöiden optimaaliset tasot toteuttavat yhtälöt ŷ x 1 = 0, ŷ x 2 = 0 Olkoon (x 1,s, x 2,s ) tekijöiden optimaalisia tasoja vastaava optimipiste. Vastemuuttujan arvo optimipisteessä on ŷ = b 0 + b 1 x 1,s + b 2 x 2,s + b 12 x 1,s x 2,s + b 11 x 2 1,s + b 22 x 2 2,s Kuusinen/Heliövaara 27

Lisähavaintojen tekeminen Jos havaintoja on kerätty vain 2 2 -koeasetelmaan liittyvän neliön kulmapisteissä ja keskipisteessä, joudutaan 2. asteen vastepinnan parametrien estimoimiseksi keräämään lisähavaintoja. Suosittu valinta on kerätä lisähavainnot (koodattujen muuttujien arvoissa) koordinaattiakseleilta, etäisyyden k päässä origosta olevissa pisteissä, ns. tähtipistehavainnot. Nämä pisteet ovat saman ympyrän kehällä kuin 2 2 -koeasetelmaan liittyvän neliön kulmapisteet ja niissä 2. asteen vastepinnan vastemuuttujan arvoille antamien ennusteiden varianssi on vakio. Kuusinen/Heliövaara 28