Koesuunnittelu Vastepintamenetelmä. TKK (c) Ilkka Mellin (2005) 1

Koesuunnittelu Vastepintamenetelmä TKK (c) Ilkka Mellin (2005) 1

Vastepintamenetelmä Vastepintamenetelmä: Johdanto 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma Vastefunktion optimin etsiminen ja gradienttimenetelmä Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli TKK (c) Ilkka Mellin (2005) 2

Vastepintamenetelmä: Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa etsitään vastemuuttujaan vaikuttavien tekijöiden optimaaliset tasot. Rajoitumme tilanteeseen, jossa tekijöille on valittu vain kaksi tasoa. Esitiedot: Yksisuuntainen varianssianalyysi Kaksisuuntainen varianssianalyysi Useampisuuntainen varianssianalyysi 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 3

Vastepintamenetelmä Avainsanat 1. asteen vastepintamalli 2. asteen vastepintamalli F-testi Faktorikoe Gradienttimenetelmä Interaktio Jäännösneliösumma k-suuntainen varianssianalyysi Kaarevuus Kokonaiskeskiarvo Kokonaisneliösumma Kokonaisvaihtelu Neliösumma Odotusarvo Ominaisarvotehtävä Optimi Puhdas kvadraattinen kaarevuus Puhdas virhe Päävaikutus Ryhmä Taso Testi Vapausaste Varianssi Varianssianalyysihajotelma Varianssianalyysitaulukko Vastepinta Yhdysvaikutus TKK (c) Ilkka Mellin (2005) 4

Vastepintamenetelmä >> Vastepintamenetelmä: Johdanto 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma Vastefunktion optimin etsiminen ja gradienttimenetelmä Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli TKK (c) Ilkka Mellin (2005) 5

Vastepintamenetelmä: Johdanto Vastepintamenetelmä 1/3 Haluamme selvittää, miten vastemuuttujan y arvot riippuvat k:n kvantitatiivisen faktorin eli tekijän x 1, x 2,, x k arvoista. Oletetaan, että vastemuuttujan y havaittujen arvojen riippuvuutta faktoreiden x 1, x 2,, x k tasoista voidaan kuvata funktiolla y = f(x 1, x 2,, x k ) + ε jossa jäännöstermi ε edustaa satunnaisvirhettä vastemuuttujan y havaituissa arvoissa. TKK (c) Ilkka Mellin (2005) 6

Vastepintamenetelmä: Johdanto Vastepintamenetelmä 2/3 Vastepintamenetelmän tavoitteena on löytää sellainen faktoreiden x 1, x 2,, x k tasojen kombinaatio, joka optimoi (minimoi/maksimoi) vastefunktion arvon. f(x 1, x 2,, x k ) Funktion f muoto on kuitenkin tavallisesti tuntematon ja siksi funktiota pyritään approksimoidaan sopivasti valitulla faktoreiden polynomilla. Tällöin on tärkeätä selvittää riittääkö funktiolle f faktoreiden kelvollisella arvoalueella lineaarinen approksimaatio vai tarvitaanko jotakin korkeampiasteista approksimaatiota. TKK (c) Ilkka Mellin (2005) 7

Vastepintamenetelmä: Johdanto Vastepintamenetelmä 3/3 Tarkastelemme tässä luvussa vastepintamenetelmää 2 k -faktorikokeiden yhteydessä; ks. lukua 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 8

Vastepintamenetelmä: Johdanto Luonnolliset muuttujat Kutsumme tekijöitä A, B, C,, K luonnollisiksi muuttujiksi, jos niiden arvot on annettu muuttujien oikeissa, luonnollisissa mittayksiköissä. Olkoon X + = Tekijän X arvo, kun tekijän X taso on korkea (+) X = Tekijän X arvo, kun tekijän X taso on matala ( ) jossa X = A, B, C,, K TKK (c) Ilkka Mellin (2005) 9

Vastepintamenetelmä: Johdanto Koodatut muuttujat Olkoon X ( X+ + X )/2 x = ( X+ X )/2 luonnollista muuttujaa X vastaava koodattu muuttuja. Tällöin 1, jos X X x = + = + 1, jos X = X Kääntäen, luonnollisen muuttujan X arvot saadaan koodatun muuttujan x arvoista kaavalla 1 1 X = ( X+ X ) x+ ( X+ + X ) 2 2 TKK (c) Ilkka Mellin (2005) 10

Vastepintamenetelmä: Johdanto 1. asteen lineaarinen vastepintamalli 1/2 Määritellään 1. asteen lineaarinen vastepintamalli kaavalla y k = 0 + ixi + i= 1 β β ε jonka selittäjinä on tekijöitä A, B, C,, K vastaavat koodatut muuttujat x 1, x 2,, x k Mallin avulla voidaan mallintaa tekijöiden A, B, C,, K päävaikutukset. TKK (c) Ilkka Mellin (2005) 11

Vastepintamenetelmä: Johdanto 1. asteen lineaarinen vastepintamalli 2/2 Koska 1. asteen lineaarinen vastepintamalli y k = 0 + ixi + i= 1 β β ε on koodattujen muuttujien x i, i = 1, 2,, k suhteen lineaarinen, niin se ei kykene ottamaan huomioon vastefunktion f mahdollista kaarevuutta (epälineaarisuutta) tekijöiden A, B, C,, K vaikutuksien suhteen. TKK (c) Ilkka Mellin (2005) 12

Vastepintamenetelmä: Johdanto Interaktiotermien lisääminen 1. asteen lineaariseen vastepintamalliin Lisäämällä 1. asteen lineaariseen vastepintamalliin tekijöitä A, B, C,, K vastaavien koodattujen muuttujien pareittaiset tulot saadaan vastepintamalli = k 0 + i i + ij i j + i= 1 i< j y β β x β xx ε Malli on edelleen 1. astetta koodattujen muuttujien x i, i = 1, 2,, k suhteen. Mallin avulla voidaan mallintaa tekijöiden A, B, C,, K päävaikutukset ja kahden tekijän (pareittaiset) interaktiot. Malli pystyy jonkin verran ottamaan huomioon vastefunktion f mahdollista kaarevuutta (epälineaarisuutta) tekijöiden A, B, C,, K vaikutuksien suhteen. TKK (c) Ilkka Mellin (2005) 13

Vastepintamenetelmä: Johdanto 2. asteen vastepintamalli 1/2 Lisäämällä 1. asteen lineaariseen vastepintamalliin tekijöitä A, B, C,, K vastaavien koodattujen muuttujien pareittaiset tulot ja toiset potenssit saadaan 2. asteen vastepintamalli 0 k k 2 i i ij i j ii i i= 1 i< j i= 1 y= β + β x + β xx + β x + ε Mallin avulla voidaan mallintaa tekijöiden A, B, C,, K päävaikutukset ja kahden tekijän (pareittaiset) interaktiot. TKK (c) Ilkka Mellin (2005) 14

Vastepintamenetelmä: Johdanto 2. asteen vastepintamalli 2/2 2. asteen vastepintamallilla 0 k k 2 i i ij i j ii i i= 1 i< j i= 1 y= β + β x + β xx + β x + ε voidaan usein approksimoida riittävällä tarkkuudella epälineaarista vastefunktiota f niiden optimin (maksimin/ minimin) ympäristössä. Tällöin tekijöiden A, B, C,, K optimaaliset tasot on helppo määrätä käyttäen hyväksi estimoitua 2. asteen vastepintamallia. TKK (c) Ilkka Mellin (2005) 15

Vastepintamenetelmä: Johdanto Vastepintamallit regressiomalleina Huomautus: Vastepintamallit ovat parametrien suhteen tavanomaisia lineaarisia regressiomalleja, joiden parametrit voidaan estimoida pienimmän neliösumman menetelmällä millä tahansa lineaaristen mallien estimointiin tarkoitetulla ohjelmalla. TKK (c) Ilkka Mellin (2005) 16

Vastepintamenetelmä Vastepintamenetelmä: Johdanto >> 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma Vastefunktion optimin etsiminen ja gradienttimenetelmä Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli TKK (c) Ilkka Mellin (2005) 17

2 k -faktorikokeet 1. kertaluvun vastepintamalli Olkoon = k 0 + i i + ij i j + i= 1 i< j y β β x β xx ε 1. asteen vastepintamalli, jonka selittäjinä on tekijöitä A, B, C,, K vastaavat koodatut muuttujat x i, i = 1, 2,, k ja niiden pareittaiset tulot. Mallin avulla voidaan mallintaa tekijöiden A, B, C,, K päävaikutukset ja kahden tekijän (pareittaiset) interaktiot. TKK (c) Ilkka Mellin (2005) 18

2 k -faktorikokeet 1. kertaluvun vastepintamalli ja 2 k -faktorikokeet Tarkastelemme seuraavassa 1. asteen vastepintamalliin liittyviä 2 k -faktorikokeita. Huomautus: = k 0 + i i + ij i j + i= 1 i< j y β β x β xx ε 2 k -faktorikokeen tilastollinen malli on k-suuntaisen varianssianalyysin tilastollisen mallin erikoistapaus; ks. lukuja Useampisuuntainen varianssianalyysi ja 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 19

2 k -faktorikokeet 2 k -faktorikokeen määritelmä 2 k -faktorikokeen tavoitteena on tutkia, miten k faktoria eli tekijää A, B, C,, K joilla kaikilla on kaksi tasoa: matala ( ) ja korkea (+) vaikuttavat kiinnostuksen kohteena olevan vastemuuttujan y keskimääräisiin arvoihin. Tällöin kokeen kohteisiin voidaan kohdistaa 2"#$#% 2! 2= 2 k k kpl käsittelykombinaatiota. TKK (c) Ilkka Mellin (2005) 20

2 k -faktorikokeet Käsittelykombinaatioiden merkitseminen Käytetään käsittelykombinaatioille seuraavaa merkintätapaa: (i) Merkitään tekijöiden A, B, C,, K korkeata tasoa (+) vastaavilla pienillä kirjaimilla a, b, c,, k. (ii) Merkitään tekijöiden A, B, C,, K matalaa tasoa ( ) jättämällä vastaavat pienet kirjaimet merkitsemättä. (iii) Olkoon kaikkien tekijöiden matalan tason ( ) merkintänä (1). TKK (c) Ilkka Mellin (2005) 21

2 k -faktorikokeet Havaintoarvojen kokonaissummien merkitseminen Oletetaan, että jokaista käsittelykombinaatiota on kokeessa toistettu n kertaa, jolloin havaintojen kokonaislukumäärä on 2 k n Merkitään vastemuuttujan y havaittujen arvojen summaa jokaiselle käsittelykombinaatiolle samalla tavalla kuin itse käsittelykombinaatiota: (1) a, b,, k ab, ac,, jk TKK (c) Ilkka Mellin (2005) 22

2 k -faktorikokeet Tekijöiden A, B, C,, K päävaikutuksien ja yhdysvaikutuksien määrääminen 1/3 Tekijöiden A, B, C,, K päävaikutukset ja interaktiot eli yhdysvaikutukset voidaan määrätä kaavalla X = a± b± k± n k 1 ( 1)( 1)!( 1)/( 2 ) jossa X viittaa määrättävään päävaikutukseen tai yhdysvaikutukseen ja merkit sulkulausekkeissa määräytyvät seuraavan säännön mukaan: Merkki =, jos vastaava tekijä on mukana määrättävässä vaikutuksessa Merkki = +, jos vastaava tekijä ei ole mukana määrättävässä vaikutuksessa Lisäksi 1 on korvattava laskutoimitusten jälkeen merkinnällä (1). TKK (c) Ilkka Mellin (2005) 23

2 k -faktorikokeet Tekijöiden A, B, C,, K päävaikutuksien ja yhdysvaikutuksien määrääminen 2/3 Koska tässä tarkastellaan vain tekijöiden A, B, C,, K päävaikutuksia ja pareittaisia interaktioita, niin tulon X = a± b± k± n k 1 ( 1)( 1)!( 1)/( 2 ) tekijöissä esiintyy täsmälleen yksi tai kaksi miinusmerkkiä. TKK (c) Ilkka Mellin (2005) 24

2 k -faktorikokeet Tekijöiden A, B, C,, K päävaikutuksien ja yhdysvaikutuksien määrääminen 3/3 Jos (κ 1), κ = a, b, c,, k on ainoa tulon X tekijöistä, jossa esiintyy miinusmerkki, tulo X mallintaa tekijän κ päävaikutusta. Jos (κ 1), κ = a, b, c,, k (λ 1), λ = a, b, c,, k κ λ ovat ainoat tulon X tekijöistä, joissa esiintyy miinusmerkki, tulo X mallintaa tekijöiden κ ja λ pareittaista interaktiota. TKK (c) Ilkka Mellin (2005) 25

2 k -faktorikokeet Tekijöiden A, B, C,, K päävaikutuksien ja yhdysvaikutuksien neliösummien määrääminen Koska tekijöiden A, B, C,, K päävaikutukset ja yhdysvaikutukset ovat käsittelykombinaatioiden ortogonaalisia kontrasteja, niitä vastaavat neliösummat saadaan kaavalla (ks. lukua Yksisuuntainen varianssianalyysi): SSX = n X 2 2 2 k jossa X viittaa vastaavaan kontrastiin. TKK (c) Ilkka Mellin (2005) 26

2 k -faktorikokeet Varianssianalyysitaulukko Testit 2 k -faktorikokeen nollahypoteeseille perustuvat seuraavilla kalvoilla esitettävään varianssianalyysitaulukkoon. Taulukko on jaettu kolmeen osaan: (i) Päävaikutukset (ii) Kahden tekijän interaktiot (iii) Jäännösvaihtelu, kokonaisvaihtelu TKK (c) Ilkka Mellin (2005) 27

2 k -faktorikokeet Varianssianalyysitaulukko: Päävaikutukset Tekijöiden A, B, C,, K päävaikutukset: Vaihtelun lähde SS df MS = SS/df F = MS/MSE A SSA 1 MSA F A = MSA/MSE B SSB 1 MSB F B = MSB/MSE C SSC 1 MSC F C = MSC/MSE K SSK 1 MSK F K = MSK/MSE Päävaikutusten lukumäärä: k TKK (c) Ilkka Mellin (2005) 28

2 k -faktorikokeet Varianssianalyysitaulukko: Kahden tekijän interaktiot Tekijöiden A, B, C,, K kahden tekijän interaktiot: Vaihtelun lähde SS df MS = SS/df F = MS/MSE AB SSAB 1 MSAB F AB = MSAB/MSE AC SSAC 1 MSAC F AC = MSAC/MSE JK SSJK 1 MSJK F JK = MSJK/MSE Kahden tekijän interaktioiden lukumäärä: k 2 TKK (c) Ilkka Mellin (2005) 29

2 k -faktorikokeet Varianssianalyysitaulukko: k:n tekijän interaktio, jäännös- ja kokonaisvaihtelu Jäännösvaihtelu ja kokonaisvaihtelu: Vaihtelun lähde SS df MS = SS/df Jäännösvaihtelu SSE 2 k (n 1) MSE Kokonaisvaihtelu SST 2 k n 1 TKK (c) Ilkka Mellin (2005) 30

2 k -faktorikokeet 2 k -faktorikokeet ja regressioanalyysi Estimoidaan mallin = k 0 + i i + ij i j + i= 1 i< j y β β x β xx ε regressiokertoimet PNS-menetelmällä. Tällöin kertoimien PNS-estimaattoreilla on seuraavat ominaisuudet: b0 = Kaikkien havaintojen aritmeettinen keskiarvo 2bi = Tekijöiden A, B, C,, K päävaikutukset 2b = Kahden tekijän yhdysvaikutukset ij TKK (c) Ilkka Mellin (2005) 31

Vastepintamenetelmä Vastepintamenetelmä: Johdanto 2 k -faktorikokeet >> Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma Vastefunktion optimin etsiminen ja gradienttimenetelmä Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli TKK (c) Ilkka Mellin (2005) 32

Vastefunktion kaarevuuden testaaminen Kvadraattisen kaarevuuden testaaminen 2 k -koeasetelmassa sovellettavan 1. asteen vastepintamallin = k 0 + i i + ij i j + i= 1 i< j y β β x β xx ε riittävyyttä vastefunktion f(x 1, x 2,, x k ) approksimaationa tarkastellaan tavallisesti testaamalla tarvitaanko mallissa puhdasta kvadraattista kaarevuutta kuvaavia neliöllisiä termejä x 2, i= 1,2,, k i TKK (c) Ilkka Mellin (2005) 33

Vastefunktion kaarevuuden testaaminen Keskipisteen lisääminen Kaarevuuden testaaminen voidaan tehdä lisäämällä 2 k -koeasetelmaa vastaavaan k-dimensionaaliseen kuutioon sen keskipiste. Keskipiste CP saadaan laskemalla keskiarvo jokaisen tekijän A, B, C,, K arvoista korkealla (+) ja matalalla ( ) tasolla: CP = ( CA, CB,, CK) jossa X+ + X CX =, X = A, B, C,, K 2 Koodattujen muuttujien arvoissa keskipisteenä on origo: (0, 0,, 0) TKK (c) Ilkka Mellin (2005) 34

Vastefunktion kaarevuuden testaaminen Keskipisteen lisääminen: Havainnollistus Keskipisteen lisääminen 2 2 -koeasetelmaan: + b ab B (C A, C B ) (1) a A + TKK (c) Ilkka Mellin (2005) 35

Vastefunktion kaarevuuden testaaminen Kulmapistehavainnot Oletetaan, että vastemuuttujasta y on kerätty n havaintoa jokaisessa 2 k -faktorikokokeen koeasetelmaa vastaavan k-dimensionaalisen kuution kulmapisteessä. Kulmapisteissä kerättyjen havaintojen kokonaislukumäärä on 2 k n = n F (merkintä) TKK (c) Ilkka Mellin (2005) 36

Vastefunktion kaarevuuden testaaminen Keskipistehavainnot Kerätään n C (> 1) havaintoa 2 k -faktorikokokeen koeasetelmaa vastaavan k-dimensionaalinen kuution keskipisteessä CP = ( C, C,, C ) Olkoot A B K z1, z2,, z nc keskipisteessä CP mitatut vastemuuttujan y arvot. TKK (c) Ilkka Mellin (2005) 37

Vastefunktion kaarevuuden testaaminen Kulmapistehavaintojen ja keskipistehavaintojen keskiarvot Olkoon y F kulmapistehavaintojen keskiarvo. Olkoon y C 1 nc = z n C k= 1 keskipistehavaintojen keskiarvo. k TKK (c) Ilkka Mellin (2005) 38

Vastefunktion kaarevuuden testaaminen Kaarevuus Jos kulmapistehavaintojen ja keskipistehavaintojen keskiarvojen erotus y on pieni, niin keskipistehavainnot ovat lähellä kulmahavaintojen määräämää tasoa ja vastefunktion kaarevuus on pientä. Siksi kaarevuuden testaaminen perustetaan erotuksen y F F neliöön. y y C C TKK (c) Ilkka Mellin (2005) 39

Vastefunktion kaarevuuden testaaminen Nollahypoteesi Kaarevuutta koskeva nollahypoteesi H PQ : Ei puhdasta kvadraattista kaarevuutta voidaan ilmaista 2. asteen vastepintamallin 0 k k 2 i i ij i j ii i i= 1 i< j i= 1 y= β + β x + β xx + β x + ε parametrien avulla muodossa k H : β = 0 PQ i= 1 ii TKK (c) Ilkka Mellin (2005) 40

Vastefunktion kaarevuuden testaaminen Kvadraattista kaarevuutta kuvaava neliö Määritellään puhdasta kvadraattista kaarevuutta kuvaava neliö kaavalla jossa nn F C SSPQ = ( yf yc) n + n y F y C F C = Kulmapistehavaintojen keskiarvo = Keskipistehavaintojen keskiarvo n F = Havaintojen kokonaislukumäärä kulmapisteissä n C = Havaintojen lukumäärä keskipisteessä 2 TKK (c) Ilkka Mellin (2005) 41

Vastefunktion kaarevuuden testaaminen Puhdasta virhettä kuvaava neliösumma 1/2 Määrätään puhdasta virhettä kuvaava neliösumma keskipistehavainnoista z k, k = 1, 2,, n C (> 1) kaavalla jossa y C 2 2 n 2 2 ( ) kij iij ( k C ) i= 1 j= 1 k= 1 k= 1 SSPE = y y + z y y iij = Havaintoarvojen y kij aritmeettinen keskiarvo kulmapisteessä (i, j) = Keskipistehavaintojen keskiarvo n C TKK (c) Ilkka Mellin (2005) 42

Vastefunktion kaarevuuden testaaminen Puhdasta virhettä kuvaava neliösumma 2/2 Jos jokaisessa kulmapisteessä on kerätty vain yksi havainto, määrätään puhdasta virhettä kuvaava neliösumma SSPE pelkästään keskipistehavainnoista z k, k = 1, 2,, n C (> 1): jossa SSPE = ( zk yc) y C n C k= 1 2 = Keskipistehavaintojen keskiarvo TKK (c) Ilkka Mellin (2005) 43

Vastefunktion kaarevuuden testaaminen Testi puhtaalle kvadraattiselle kaarevuudelle Määritellään F-testisuure SSPQ FPQ = ( nc 1) SSPE jossa SSPQ on puhdasta kvadraattista kaarevuutta kuvaava neliö ja SSPE on puhdasta virhettä kuvaava neliösumma. Jos nollahypoteesi H PQ : Ei puhdasta kvadraattista kaarevuutta pätee, niin FPQ F(1, nc 1) Suuret testisuureen F PQ arvot johtavat nollahypoteesin hylkäämiseen. TKK (c) Ilkka Mellin (2005) 44

Vastefunktion kaarevuuden testaaminen Testi kaarevuudelle on lack-of-fit-testi Puhtaan kvadraattisen kaarevuuden olemassaolon testaamiseen tarkoitettua F-testiä kutsutaan usein lack-of-fit-testiksi koska siinä testataan, miten paljon puhtaasti kvadraattisten termien puuttuminen vastepintamallista huonontaa mallin ja havaintojen yhteensopivuutta. TKK (c) Ilkka Mellin (2005) 45

Vastepintamenetelmä Vastepintamenetelmä: Johdanto 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen >> 1. asteen vastepintamallin varianssianalyysihajotelma Vastefunktion optimin etsiminen ja gradienttimenetelmä Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli TKK (c) Ilkka Mellin (2005) 46

1. asteen vastepintamallin varianssianalyysihajotelma Varianssianalyysihajotelma 1/3 Tarkastelemme tässä 2 2 -faktorikokeeseen liittyvää varianssianalyysihajotelmaa tilanteessa, jossa kokeeseen on liitetty keskipiste. Tarkastelu yleistyy ilmeisellä tavalla 2 k -faktorikokeisiin, kun k > 2. Jos 2 2 -faktorikokeeseen on liitetty keskipiste, pätee varianssianalyysihajotelma SST = SSA + SSB + SSAB + SSPQ + SSPE TKK (c) Ilkka Mellin (2005) 47

1. asteen vastepintamallin varianssianalyysihajotelma Varianssianalyysihajotelma 2/3 Varianssianalyysihajotelman SST = SSA + SSB + SSAB + SSPQ + SSPE neliösummilla on seuraavat tulkinnat: SST SSA SSB = Havaintojen kokonaisneliösumma =Tekijän A päävaikutusta kuvaava neliösumma =Tekijän B päävaikutusta kuvaava neliösumma SSAB = Tekijöiden A ja B interaktiota kuvaava neliösumma SSPQ = Puhdasta kvadraattista kaarevuutta kuvaava neliösumma SSPE = Puhdasta virhettä kuvaava neliösumma TKK (c) Ilkka Mellin (2005) 48

1. asteen vastepintamallin varianssianalyysihajotelma Varianssianalyysihajotelma 3/3 Vertaamalla 2 2 -faktorikokeen tavanomaista varianssianalyysihajotelmaa SST = SSA + SSB + SSAB + SSE edellisen kalvon varianssianalyysihajotelmaan nähdään, että keskipistehavaintojen lisääminen on mahdollistanut jäännösneliösumman SSE hajottamisen puhdasta kvadraattista kaarevuutta ja puhdasta virhettä kuvaavien neliösummien summaksi: Huomautus: SSE = SSPQ + SSPE Keskipistehavainnoilla ei ole vaikutusta neliösummien SSA, SSB ja SSAB arvoihin. TKK (c) Ilkka Mellin (2005) 49

1. asteen vastepintamallin varianssianalyysihajotelma Varianssianalyysitaulukko 1/2 Varianssianalyysitaulukko 2 2 -faktorikokeelle, johon on lisätty keskipiste : Vaihtelun Lähde SS df MS F A SSA 1 MSA/df F A = MSA/MSPE B SSB 1 MSB/df F B = MSB/MSPE AB SSAB 1 MSAB/df F AB = MSAB/MSPE PQ SSPQ 1 MSPQ/df F PQ = MSPQ/MSPE PE SSPE n F + n C 5 E SSE n F + n C 4 MSE/df T SST n F + n C 1 TKK (c) Ilkka Mellin (2005) 50

Vastepintamenetelmä Vastepintamenetelmä: Johdanto 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma >> Vastefunktion optimin etsiminen ja gradienttimenetelmä Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli TKK (c) Ilkka Mellin (2005) 51

Vastefunktion optimin etsiminen ja gradienttimenetelmä 1. asteen vastepintamalli ja faktoreiden optimaalisten tasojen etsiminen Oletetaan, että haluamme löytää estimoidun 1. asteen vastepintamallin avulla koodattuja muuttujia x 1, x 2,, x k vastaavien tekijöiden A, B, C,, K tasot, jotka optimoivat (minimoivat/maksimoivat) vastepintafunktion arvon. k = + 0 i= 1 yˆ b bx f(x 1, x 2,, x k ) i i TKK (c) Ilkka Mellin (2005) 52

Vastefunktion optimin etsiminen ja gradienttimenetelmä Faktoreiden optimaalisten tasojen etsiminen 1/3 Kuten tunnettua, funktio kasvaa voimakkaimmin sen gradientin suuntaan. Siten vastepinta (taso) kasvaa voimakkaimmin vektorin suuntaan. k = + 0 i= 1 yˆ b bx b = (,,, ) b1 b2 b k i i Tekijöiden A, B, C,, K optimaaliset tasot löydetään keräämällä uusia havaintoja vektorin b (tai b) suunnasta, kunnes vasteen arvo ei enää parane. TKK (c) Ilkka Mellin (2005) 53

Vastefunktion optimin etsiminen ja gradienttimenetelmä Faktoreiden optimaalisten tasojen etsiminen 2/3 Askeleet, joilla siirtyminen vektorin b (tai b) suuntaan tapahtuu, voidaan määrätä seuraavalla tavalla: (i) Olkoon x j faktoreista tärkeintä vastaava koodattu muuttuja tai se, jota vastaava regressiokertoimen estimaatin itseisarvo b j on suurin. Valitaan muuttujalle x j askelpituudeksi x j. (ii) Valitaan muuttujille x i askelpituudet kaavalla bi xi = xj, i = 1,2,, k, i j bj (iii) Konvertoidaan askelpituudet koodattujen muuttujien arvoista luonnollisten muuttujien arvoiksi. TKK (c) Ilkka Mellin (2005) 54

Vastefunktion optimin etsiminen ja gradienttimenetelmä Faktoreiden optimaalisten tasojen etsiminen 3/3 Askelpituuksien konvertointi koodattujen muuttujien arvoista luonnollisten muuttujien arvoiksi tapahtuu kaavalla ( X+ X ) X = x 2 jossa ja x = X = Askelpituus koodatun muuttujan arvoissa Askelpituus luonnollisen muuttujan arvoissa X = X:n arvo, kun X:n taso on korkea ( + ) + X = X:n arvo, kun X:n taso on matala ( ) X = A, B, C,, K TKK (c) Ilkka Mellin (2005) 55

Vastepintamenetelmä Vastepintamenetelmä: Johdanto 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma Vastefunktion optimin etsiminen ja gradienttimenetelmä >> Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli TKK (c) Ilkka Mellin (2005) 56

Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli 2. asteen vastepintamalli ja faktoreiden optimaalisten tasojen etsiminen Oletetaan, että haluamme löytää estimoidun 2. asteen vastepintamallin avulla koodattuja muuttujia x 1, x 2,, x k vastaavien tekijöiden A, B, C,, K tasot, jotka optimoivat (minimoivat/maksimoivat) vastepintafunktion arvon. 0 f(x 1, x 2,, x k ) k k 2 i i ij i j ii i i= 1 i< j i= 1 yˆ = b + bx + b xx + b x TKK (c) Ilkka Mellin (2005) 57

Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli Faktoreiden optimaalisten tasojen etsiminen 1/2 Olkoon ŷ= b 0 + bx + xbx estimoitu 2. asteen vastepintamalli matriisimuodossa, jossa x1 b1 b11 b12 /2! b1 k /2 x 2 b 2 b12 /2 b22! b2 k /2 x= b= B ) ) = ) ) * ) x b b /2 b /2! b k k 1k 2k kk TKK (c) Ilkka Mellin (2005) 58

Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli Faktoreiden optimaalisten tasojen etsiminen 2/2 Derivoidaan funktio ŷ= b 0 + bx + xbx vektorin x alkioiden suhteen ja merkitään derivaatta nollaksi: yˆ = b + 2Bx = 0 x Tämän normaaliyhtälön ratkaisu on muotoa x S = 1 2 1 B b Sijoittamalla ratkaisu optimoitavaan funktioon saadaan optimiarvoksi 1 y = b + bx ˆS 0 2 S TKK (c) Ilkka Mellin (2005) 59

Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli Optimin laadun määrääminen Optimin laatu (minimi/maksimi) voidaan määrätä tutkimalla matriisin B ominaisarvoja. Matriisin B ominaisarvot saadaan determinanttiyhtälöstä B λi = 0 Jos matriisin B kaikki ominaisarvot λ 1, λ 2,, λ k ovat negatiivisia, vastaa optimi minimiä. Jos matriisin B kaikki ominaisarvot λ 1, λ 2,, λ k ovat positiivisia, vastaa optimi maksimia. TKK (c) Ilkka Mellin (2005) 60

Vastefunktion optimin etsiminen ja 2. asteen vastepintamalli Lisähavaintojen kerääminen Jos havaintoja on kerätty vain 2 k -koeasetelmaan liittyvän kuution kulmapisteissä ja keskipisteessä, joudutaan 2. asteen vastepintamallin parametrien estimoimiseksi keräämään lisähavaintoja. Suosittu valinta on kerätä lisähavainnot (koodattujen muuttujien arvoissa) koordinaattiakseleilta, etäisyyden k päässä origosta olevien pisteiden määräämistä kohdista. Nämä pisteet ovat saman pallon pinnalla kuin 2 k - koeasetelmaan liittyvän kuution kulmapisteet ja niissä estimoidun 2. asteen vastepintamallin vastemuuttujan arvoille antamien ennusteiden varianssi on vakio. TKK (c) Ilkka Mellin (2005) 61