Vastepintamenetelmä Vilkkumaa / Kuusinen 1
Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin vastetta, kun reaktioaika on joko 30 tai 40 min ja lämpötila on joko 150 F tai 160 F. Entä jos halutaan löytää (tasoja ennalta kiinnittämättä) tasokombinaatio, joka tuottaa optimaalisen vasteen? - Esim. millä reaktioaika-lämpötila-kombinaatiolla prosessin vaste on mahdollisimman suuri? Tämä edellyttää tekijöiden ja vasteen välisen funktionaalisen riippuvuuden eli vastepinnan estimointia Estimointi tehdään vastepintamenetelmällä Vilkkumaa / Kuusinen 2
Vastepintamenetelmä Oletetaan, että vastemuuttujan y havaittujen arvojen riippuvuutta tekijöiden x 1, x 2,..., x k tasoista voidaan kuvata funktiolla y = f(x 1, x 2,..., x k ) + ε, jossa jäännöstermi ε edustaa satunnaisvirhettä muuttujan y havaituissa arvoissa. Vastepintamenetelmän tavoitteena on löytää sellainen tekijöiden x 1, x 2,..., x k tasojen kombinaatio, joka optimoi (minimoi tai maksimoi) vastefunktion arvon. f(x 1, x 2,..., x k ) Vilkkumaa / Kuusinen 3
Vastepintamenetelmä Funktion f muoto on tavallisesti tuntematon ja siksi funktiota pyritään approksimoimaan sopivasti valitulla faktoreiden polynomilla. Tällöin on tärkeää selvittää, riittääkö funktiolle f faktoreiden kelvollisella arvoalueella lineaarinen approksimaatio vai tarvitaanko jotakin korkeampiasteista approksimaatiota. - Yleensä enintään toisen asteen approksimaatio on riittävä lokaalin riippuvuuden kuvaamiseksi Tällä kurssilla tarkastelemme vastepintamenetelmää 2 2 -faktorikokeiden yhteydessä. Vilkkumaa / Kuusinen 4
Esimerkki Vilkkumaa / Kuusinen 5
Vastepintamenetelmä 2 2 -faktorikokeissa Vilkkumaa / Kuusinen 6
Luonnolliset muuttujat Kutsumme tekijöitä A ja B luonnollisiksi muuttujiksi, jos niiden arvot on annettu tekijöiden oikeissa, luonnollisissa mittayksiköissä. Olkoon aloitusalueella X + =Tekijän X arvo, kun tekijän X taso on korkea (+) X =Tekijän X arvo, kun tekijän X taso on matala ( ) 2 2 -faktorikokeiden tapauksessa X = A tai X = B. Vilkkumaa / Kuusinen 7
Koodatut muuttujat Olkoon x = X (X + + X )/2 (X + X )/2 luonnollista muuttujaa X vastaava koodattu muuttuja. Tällöin x = +1, jos X = X + 1, jos X = X Kääntäen, luonnollisen muuttujan X arvot saadaan koodatun muuttujan x arvoista kaavalla X = 1 2 (X + X )x + 1 2 (X + + X ) Vilkkumaa / Kuusinen 8
1. asteen lineaarinen vastepintamalli Määritellään 1. asteen lineaarinen vastepintamalli kaavalla jossa y = β 0 + β 1 x 1 + β 2 x 2 + ε, x 1 x 2 =tekijää A vastaava koodattu muuttuja =tekijää B vastaava koodattu muuttuja Mallin avulla voidaan mallintaa tekijöiden A ja B päävaikutukset. Malli ei kykene huomioimaan vastefunktion f mahdollista kaarevuutta. Vilkkumaa / Kuusinen 9
1. asteen lineaarinen vastepintamalli 42 41 Vaste 40 39 1 0 x 2-1 -1-0.5 x 1 0 0.5 1 Vilkkumaa / Kuusinen 10
1. asteen vastepintamalli 1/3 Lisäämällä 1. asteen lineaariseen vastepintamalliin koodattujen muuttujien x 1 ja x 2 tulotermin, joka kuvaa tekijöiden A ja B yhdysvaikutusta, saadaan 1. asteen vastepintamalli y = β 0 + β 1 x 1 + β 2 x 2 + β 12 x 1 x 2 + ε Mallin avulla voidaan mallintaa tekijöiden A ja B päävaikutukset ja yhdysvaikutus eli interaktio. Malli kykenee jonkin verran huomioimaan vastefunktion f mahdollista kaarevuutta tekijöiden A ja B vaikutuksien suhteen. Vilkkumaa / Kuusinen 11
1. asteen vastepintamalli 2/3 Vastepintamallit ovat parametrien suhteen tavanomaisia lineaarisia regressiomalleja, joiden parametrit voidaan estimoida pienimmän neliösumman menetelmällä. 1. asteen vastepintamallin parametrien β 0, β 1, β 2, β 12 PNS-estimaattorit ovat b 0 = ȳ b 2 = X B /2 b 1 = X A /2 b 12 = X AB /2, missä X A = 1 (ab + a b (1)), X 2n B = 1 (ab a + b (1)) ja 2n X AB = 1 (ab a b + (1)) 2n Vilkkumaa / Kuusinen 12
1. asteen vastepintamalli 3/3 Estimoitu 1. asteen vastepinnan yhtälö on siis muotoa ŷ = ȳ + ( XA 2 ) x 1 + ( XB 2 ) x 2 + ( XAB 2 ) x 1 x 2. Esim. tutkitaan reaktioajan (A) ja lämpötilan (B) vaikutusta kem. prosessin vasteeseen: A B x 1 x 2 Vaste y Summatermi 30 150-1 -1 39.3 (1) 30 160-1 1 40.0 b 40 150 1-1 40.9 a 40 160 1 1 41.5 ab ŷ = 40.44 + 0.775x 1 + 0.325x 2 0.05x 1 x 2. Vilkkumaa / Kuusinen 13
Vastefunktion kaarevuuden testaaminen Vilkkumaa / Kuusinen 14
Kvadraattisen kaarevuuden testaaminen 2 2 -koeasetelmassa sovellettavan 1. asteen vastepintamallin y = β 0 + β 1 x 1 + β 2 x 2 + β 12 x 1 x 2 + ε riittävyyttä vastefunktion f(x 1, x 2 ) approksimaationa tarkastellaan tavallisesti testaamalla tarvitaanko mallissa puhdasta kvadraattista kaarevuutta kuvaavia neliöllisiä termejä x 2 1 ja x2 2. Vilkkumaa / Kuusinen 15
Keskipisteen lisääminen Kaarevuutta voidaan testata lisäämällä 2 2 -koeasetelmaa + b ab vastaavaan neliöön sen keskipiste CP = (C A, C B ), B (C,C ) A B jossa (1) a C A = A + + A 2 A + C B = B + + B 2 Koodattujen muuttujien arvoissa keskipiste on origo (0, 0). Vilkkumaa / Kuusinen 16
Kulmapistehavainnot ja keskipistehavainnot Oletetaan, että kustakin neliön kulmapisteestä on kerätty n havaintoa. Tällöin kulmapistehavaintojen kokonaislukumäärä on 2 2 n = n F (merkintä) Kerätään neliön keskipisteestä n C > 1 havaintoa. Merkitään mitattuja vastemuuttujan y arvoja z 1, z 2,..., z nc Merkitään kulmapistehavaintojen keskiarvoa ȳ F :llä ja keskipistehavaintojen keskiarvoa ȳ C :llä. Vilkkumaa / Kuusinen 17
Esimerkki Tutkitaan reakitoajan (A, min) ja lämpötilan (B, F ) vaikutusta kemiallisen prosessin vasteeseen A B x 1 x 2 Vaste y 30 150-1 -1 39.3 30 160-1 1 40.0 40 150 1-1 40.9 + b ab 40 160 1 1 41.5 35 155 0 0 40.3 35 155 0 0 40.5 B (C,C ) A B 35 155 0 0 40.7 35 155 0 0 40.2 (1) a 35 155 0 0 40.6 A + Vilkkumaa / Kuusinen 18
Kaarevuus Jos kulmapistehavaintojen ja keskipistehavaintojen keskiarvojen erotus ȳ F ȳ C on pieni, ovat keskipistehavainnot lähellä kulmapistehavaintojen määräämää tasoa ja vastefunktion kaarevuus on pientä. Vilkkumaa / Kuusinen 19
Nollahypoteesi 1/2 Vastefunktion kaarevuutta koskeva nollahypoteesi H P Q : Ei puhdasta kvadraattista kaarevuutta voidaan ilmaista 2. asteen vastepintamallin y = β 0 + k β i x i + i<j β ij x i x j + k β ii x 2 i + ε i=1 i=1 parametrien avulla muodossa H P Q : k i=1 β ii = 0 Vilkkumaa / Kuusinen 20
Nollahypoteesi 2/2 Kaarevuutta koskeva nollahypoteesi on ekvivalentti nollahypoteesin H P Q : k i=1 β ii = 0 H P Q : μ F μ C = 0, kanssa, missä μ F on kulmapistehavaintojen ja μ C keskipistehavaintojen odotusarvo. Vilkkumaa / Kuusinen 21
Kaarevuutta ja virhettä kuvaavat neliösummat Koska erotus μ F μ C on kontrasti, saadaan puhdasta kvadraattista kaarevuutta kuvaava neliösumma kaavalla SSP Q = n F n C n F + n C (ȳ F ȳ C ) 2 Määritellään puhdasta virhettä kuvaava neliösumma kaavalla SSP E = 2 2 n (y kij ȳ ij ) 2 + n C (z k ȳ C ) 2 i=1 j=1 k=1 k=1 Vilkkumaa / Kuusinen 22
Testi puhtaalle kvadraattiselle kaarevuudelle Määritellään F -testisuure Jos nollahypoteesi F P Q = (n F + n C 5) SSP Q SSP E H P Q : Ei puhdasta kvadraattista kaarevuutta pätee, niin F P Q F (1, n F + n C 5) Suuret testisuureen F P Q arvot johtavat nollahypoteesin hylkäämiseen. Vilkkumaa / Kuusinen 23
Varianssianalyysihajotelma Jos 2 2 -faktorikokeeseen on liitetty keskipiste, pätee varianssianalyysihajotelma SST = SSA + SSB + SSAB + SSP Q + SSP E, jossa SSA, SSB ja SSAB on laskettu kulmapistehavainnoista, ja muut neliösummat kaikista havainnoista. Vilkkumaa / Kuusinen 24
Varianssianalyysihajotelma Keskipistehavaintojen lisääminen on mahdollistanut 2 2 -faktorikokeen tavanomaisen varianssianalyysihajotelman SST = SSA + SSB + SSAB + SSE virhetermin SSE pilkkomisen puhdasta kvadraattista kaarevuutta ja puhdasta virhettä kuvaavaan neliösummaan: SSE = SSP Q + SSP E Vilkkumaa / Kuusinen 25
Varianssianalyysitaulukko Varianssianalyysitaulukko 2 2 -faktorikokeelle, johon on lisätty keskipiste: Vaihtelun lähde SS df M S F A SSA 1 MSA = SSA/df F A = MSA/MSP E B SSB 1 MSB = SSB/df F B = MSB/MSP E AB SSAB 1 MSAB = SSAB/df F AB = MSAB/MSP E P Q SSP Q 1 MSP Q = SSP Q/df F P Q = MSP Q/MSP E P E SSP E n F + n C 5 MSP E = SSP E/df E SSE n F + n C 4 MSE = SSE/df T SST n F + n C 1 Vilkkumaa / Kuusinen 26
Klikkeri-kysely Minkä johtopäätöksen voit tehdä oheisesta varianssianalyysitaulukosta? 1. Vastepintaa voi approksimoida 1. asteen lineaarisella mallilla 2. Vastepintaa pitää approksimoida 1. asteen mallilla, jossa yhdysvaikutustermi on mukana 3. Vastepintaa pitää approksimoida 2. asteen mallilla Vaihtelun lähde SS df M S F p arvo A 2.4025 1 2.4025 69.84 0.0004 B 0.4225 1 0.4225 12.28 0.0172 AB 0.0025 1 0.0025 0.0727 0.7982 P Q 0.002722 1 0.002722 0.0791 0.7897 P E 0.172 4 0.0344 E 0.174722 5 0.043681 T 3.002222 8 Vilkkumaa / Kuusinen 27
Vastefunktion optimin etsiminen ja gradienttimenetelmä Vilkkumaa / Kuusinen 28
1. asteen vastepintamalli ja tekijöiden optimaalisten tasojen etsiminen Jos vastefunktion f kvadraattinen kaarevuus ei ole tilastollisesti merkitsevää, riittää 1. asteen vastepintamalli vastefunktion muodon approksimointiin. Näin käy usein silloin, kun ollaan kaukana optimista, vaikka optimin läheisyydessä kaarevuutta löytyisikin Pyritään liikkumaan vastepintaa pitkin kohti optimialuetta, ts. vasteen kasvusuuntaan (tai minimoitaessa vähenemissuuntaan) Vilkkumaa / Kuusinen 29
Gradienttimenetelmä Funktio kasvaa voimakkaimmin gradienttinsa suuntaan. Keskipisteessä CP, eli x 1 x 2 -koordinaatiston origossa, 1. asteen vastepinnan ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 gradientti on muotoa b = [b 1, b 2 ] T Gradienttimenetelmässä poimitaan uusia havaintoja niillä tekijöiden A ja B tasoilla, jotka määräytyvät liikkumalla keskipisteestä CP tasaisin askelin gradientin b suuntaan (maksimoitaessa), tai sitä vastaan (minimoitaessa). Uusia havaintoja poimitaan, kunnes vasteen arvo ei enää parane (kasva tai vähene). Vilkkumaa / Kuusinen 30
Askelpituuksien määrääminen Askeleet, joilla siirtyminen vektorin b (tai b) suuntaan tapahtuu, voidaan määrätä seuraavasti: (i) Valitaan vasteeseen vaikuttavista tekijöistä tärkeämpi, esim. A. Olkoon x 1 faktoria A vastaava koodattu muuttuja. Valitaan x 1 :n askelpituudeksi Δx 1. (ii) Gradienttivektori [b 1, b 2 ] T ja Δx 1 kiinnittävät x 2 :n askelpituuden: Δx 2 = b 2 b 1 Δx 1 (iii) Muunnetaan askelpituudet koodattujen muuttujien arvoista luonnollisten muuttujien arvoiksi kaavalla ΔX = Δx X + X 2 Vilkkumaa / Kuusinen 31
Esimerkki Askel x 1 x 2 A B Vaste Origo 0 0 35 155 Δ 1.00 0.42 5 2 Origo+Δ 1.00 0.42 40 157 41.0 Origo+2Δ 2.00 0.84 45 159 42.9 Origo+3Δ 3.00 1.26 50 161 47.1 Origo+4Δ 4.00 1.68 55 163 49.7 Origo+5Δ 5.00 2.10 60 165 53.8 Origo+6Δ 6.00 2.52 65 167 59.9 Origo+7Δ 7.00 2.94 70 169 65.0 Origo+8Δ 8.00 3.36 75 171 70.4 Origo+9Δ 9.00 3.78 80 173 77.6 Origo+10Δ 10.00 4.20 85 175 80.3 Origo+11Δ 11.00 4.62 90 177 76.2 Origo+12Δ 12.00 5.04 95 179 75.1 Vilkkumaa / Kuusinen 32
Esimerkki Vaste 85 80 75 70 65 60 55 50 45 40 0 2 4 6 8 10 12 Askel Vilkkumaa / Kuusinen 33
Optimialue Gradienttimenetelmän avulla on löydetty (ainakin lokaali) optimialue. Optimialueella on syytä testata vastefunktion f kvadraattista kaarevuutta (kalvot 14-26). Jos vastefunktion kvadraattinen kaarevuus on tilastollisesti merkitsevää, tarvitaan vastefunktion muodon estimointiin 2. asteen vastepintamalli. ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 + b 11 x 2 1 + b 22 x 2 2 2. asteen mallin estimoinnissa tarvitaan 2 2 -koeasetelmaan liittyvän neliön kulma- ja keskipistehavaintojen lisäksi uusia havaintoja. Vilkkumaa / Kuusinen 34
Lisähavaintojen tekeminen Suosittu valinta on kerätä lisähavainnot (koodattujen muuttujien arvoissa) koordinaattiakseleilta, etäisyyden 2 päässä origosta olevissa pisteissä, ns. tähtipistehavainnot. Nämä pisteet ovat saman ympyrän kehällä kuin 2 2 -koeasetelmaan liittyvän neliön kulmapisteet ja niissä 2. asteen vastepinnan vastemuuttujan arvoille antamien ennusteiden varianssi on vakio. Vilkkumaa / Kuusinen 35
Esimerkki A B x 1 x 2 Vaste 80 170-1 -1 76.5 80 180-1 1 77.0 90 170 1-1 78.0 90 180 1 1 79.5 85 175 0 0 79.9 85 175 0 0 80.3 85 175 0 0 80.0 85 175 0 0 79.7 85 175 0 0 79.8 92.07 175 1.414 0 78.4 77.93 175-1.414 0 75.6 85 182.07 0 1.414 78.5 85 167.93 0-1.414 77.0 Vilkkumaa / Kuusinen 36
Esimerkki Vilkkumaa / Kuusinen 37
Esimerkki Vilkkumaa / Kuusinen 38
2. asteen vastepintamalli ja tekijöiden optimaaliset tasot Oletetaan, että haluamme löytää estimoidun 2. asteen vastepintamallin ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 + b 11 x 2 1 + b 22 x 2 2 avulla koodattuja muuttujia x 1 ja x 2 vastaavien tekijöiden A ja B tasot, jotka optimoivat (minimoivat/maksimoivat) vastefunktion arvon. Kirjoitetaan vastepintamalli matriisimuodossa: ŷ = b 0 + b T x + x T Bx, missä b = [b 1, b 2 ] T ja B = 1 b 2 12 b 11 1 b. 2 12 b 22 Vilkkumaa / Kuusinen 39
2. asteen vastepintamalli ja tekijöiden optimaaliset tasot Vastefunktion ääriarvopisteille x pätee dŷ = 0 x = 1 dx x=x 2 B 1 b. Ääriarvon laatu (minimi, maksimi, satulapiste) selviää tarkastelemalla vastefunktion toista derivaattaa 2B: - Jos B on pos. semidefiniitti (ominaisarvot 0), ääriarvo on minimi - Jos B on neg. semidefiniitti (ominaisarvot 0), ääriarvo on maksimi - Jos B on indefiniitti (toinen ominaisarvo <0, toinen >0), ääriarvo on satulapiste Ääriarvopisteess ŷ = b 0 1 4 bt B 1 b = b 0 + 1 2 bt x Vilkkumaa / Kuusinen 40
Esimerkki Olkoot b = [0.99505, 0.51520] T ja B = 1.37645 0.125. 0.125 1.00134 Tällöin x = 1 2 B 1 b = [0.3892, 0.3058] T on vastefunktion ääriarvo. B:n ominaisarvot ovat λ 1 = 1.4143 ja λ 2 = 0.9635 x on maksimi. Vilkkumaa / Kuusinen 41
Esimerkki Ääriarvopisteessä ŷ = b 0 + 1 2 bt x = 79.94 + 1 [0.995, 0.515] 2 0.389 = 80.212. 0.306 Tämä vaste saadaan valitsemalla A = 1 2 (90 80) 0.389 + 1 (90 + 80) 87 min 2 B = 1 2 (180 170) 0.306 + 1 2 (180 + 170) 177 F. Vilkkumaa / Kuusinen 42
Klikkeri-kysely Olet estimoinut vastepinnaksi ŷ = 25 + 2x 1 + 3x 2 + 0.5x 1 x 2 origon (x 1, x 2 ) = (0, 0) ympäristössä. Missä pisteessä tekisit seuraavan mittauksen, kun haluat maksimoida vastetta? 1. (3, 2) 2. (2, 3) 3. (1, 1) Vilkkumaa / Kuusinen 43
Hakemisto B, 32 43-1