Vastepintamenetelmä. Vilkkumaa / Kuusinen 1

Transkriptio

1 Vastepintamenetelmä Vilkkumaa / Kuusinen 1

2 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin vastetta, kun reaktioaika on joko 30 tai 40 min ja lämpötila on joko 150 F tai 160 F. Entä jos halutaan löytää (tasoja ennalta kiinnittämättä) tasokombinaatio, joka tuottaa optimaalisen vasteen? - Esim. millä reaktioaika-lämpötila-kombinaatiolla prosessin vaste on mahdollisimman suuri? Tämä edellyttää tekijöiden ja vasteen välisen funktionaalisen riippuvuuden eli vastepinnan estimointia Estimointi tehdään vastepintamenetelmällä Vilkkumaa / Kuusinen 2

3 Vastepintamenetelmä Oletetaan, että vastemuuttujan y havaittujen arvojen riippuvuutta tekijöiden x 1, x 2,..., x k tasoista voidaan kuvata funktiolla y = f(x 1, x 2,..., x k ) + ε, jossa jäännöstermi ε edustaa satunnaisvirhettä muuttujan y havaituissa arvoissa. Vastepintamenetelmän tavoitteena on löytää sellainen tekijöiden x 1, x 2,..., x k tasojen kombinaatio, joka optimoi (minimoi tai maksimoi) vastefunktion arvon. f(x 1, x 2,..., x k ) Vilkkumaa / Kuusinen 3

4 Vastepintamenetelmä Funktion f muoto on tavallisesti tuntematon ja siksi funktiota pyritään approksimoimaan sopivasti valitulla faktoreiden polynomilla. Tällöin on tärkeää selvittää, riittääkö funktiolle f faktoreiden kelvollisella arvoalueella lineaarinen approksimaatio vai tarvitaanko jotakin korkeampiasteista approksimaatiota. - Yleensä enintään toisen asteen approksimaatio on riittävä lokaalin riippuvuuden kuvaamiseksi Tällä kurssilla tarkastelemme vastepintamenetelmää 2 2 -faktorikokeiden yhteydessä. Vilkkumaa / Kuusinen 4

5 Esimerkki Vilkkumaa / Kuusinen 5

6 Vastepintamenetelmä 2 2 -faktorikokeissa Vilkkumaa / Kuusinen 6

7 Luonnolliset muuttujat Kutsumme tekijöitä A ja B luonnollisiksi muuttujiksi, jos niiden arvot on annettu tekijöiden oikeissa, luonnollisissa mittayksiköissä. Olkoon aloitusalueella X + =Tekijän X arvo, kun tekijän X taso on korkea (+) X =Tekijän X arvo, kun tekijän X taso on matala ( ) 2 2 -faktorikokeiden tapauksessa X = A tai X = B. Vilkkumaa / Kuusinen 7

8 Koodatut muuttujat Olkoon x = X (X + + X )/2 (X + X )/2 luonnollista muuttujaa X vastaava koodattu muuttuja. Tällöin x = +1, jos X = X + 1, jos X = X Kääntäen, luonnollisen muuttujan X arvot saadaan koodatun muuttujan x arvoista kaavalla X = 1 2 (X + X )x (X + + X ) Vilkkumaa / Kuusinen 8

9 1. asteen lineaarinen vastepintamalli Määritellään 1. asteen lineaarinen vastepintamalli kaavalla jossa y = β 0 + β 1 x 1 + β 2 x 2 + ε, x 1 x 2 =tekijää A vastaava koodattu muuttuja =tekijää B vastaava koodattu muuttuja Mallin avulla voidaan mallintaa tekijöiden A ja B päävaikutukset. Malli ei kykene huomioimaan vastefunktion f mahdollista kaarevuutta. Vilkkumaa / Kuusinen 9

10 1. asteen lineaarinen vastepintamalli Vaste x x Vilkkumaa / Kuusinen 10

11 1. asteen vastepintamalli 1/3 Lisäämällä 1. asteen lineaariseen vastepintamalliin koodattujen muuttujien x 1 ja x 2 tulotermin, joka kuvaa tekijöiden A ja B yhdysvaikutusta, saadaan 1. asteen vastepintamalli y = β 0 + β 1 x 1 + β 2 x 2 + β 12 x 1 x 2 + ε Mallin avulla voidaan mallintaa tekijöiden A ja B päävaikutukset ja yhdysvaikutus eli interaktio. Malli kykenee jonkin verran huomioimaan vastefunktion f mahdollista kaarevuutta tekijöiden A ja B vaikutuksien suhteen. Vilkkumaa / Kuusinen 11

12 1. asteen vastepintamalli 2/3 Vastepintamallit ovat parametrien suhteen tavanomaisia lineaarisia regressiomalleja, joiden parametrit voidaan estimoida pienimmän neliösumman menetelmällä. 1. asteen vastepintamallin parametrien β 0, β 1, β 2, β 12 PNS-estimaattorit ovat b 0 = ȳ b 2 = X B /2 b 1 = X A /2 b 12 = X AB /2, missä X A = 1 (ab + a b (1)), X 2n B = 1 (ab a + b (1)) ja 2n X AB = 1 (ab a b + (1)) 2n Vilkkumaa / Kuusinen 12

13 1. asteen vastepintamalli 3/3 Estimoitu 1. asteen vastepinnan yhtälö on siis muotoa ŷ = ȳ + ( XA 2 ) x 1 + ( XB 2 ) x 2 + ( XAB 2 ) x 1 x 2. Esim. tutkitaan reaktioajan (A) ja lämpötilan (B) vaikutusta kem. prosessin vasteeseen: A B x 1 x 2 Vaste y Summatermi (1) b a ab ŷ = x x x 1 x 2. Vilkkumaa / Kuusinen 13

14 Vastefunktion kaarevuuden testaaminen Vilkkumaa / Kuusinen 14

15 Kvadraattisen kaarevuuden testaaminen 2 2 -koeasetelmassa sovellettavan 1. asteen vastepintamallin y = β 0 + β 1 x 1 + β 2 x 2 + β 12 x 1 x 2 + ε riittävyyttä vastefunktion f(x 1, x 2 ) approksimaationa tarkastellaan tavallisesti testaamalla tarvitaanko mallissa puhdasta kvadraattista kaarevuutta kuvaavia neliöllisiä termejä x 2 1 ja x2 2. Vilkkumaa / Kuusinen 15

16 Keskipisteen lisääminen Kaarevuutta voidaan testata lisäämällä 2 2 -koeasetelmaa + b ab vastaavaan neliöön sen keskipiste CP = (C A, C B ), B (C,C ) A B jossa (1) a C A = A + + A 2 A + C B = B + + B 2 Koodattujen muuttujien arvoissa keskipiste on origo (0, 0). Vilkkumaa / Kuusinen 16

17 Kulmapistehavainnot ja keskipistehavainnot Oletetaan, että kustakin neliön kulmapisteestä on kerätty n havaintoa. Tällöin kulmapistehavaintojen kokonaislukumäärä on 2 2 n = n F (merkintä) Kerätään neliön keskipisteestä n C > 1 havaintoa. Merkitään mitattuja vastemuuttujan y arvoja z 1, z 2,..., z nc Merkitään kulmapistehavaintojen keskiarvoa ȳ F :llä ja keskipistehavaintojen keskiarvoa ȳ C :llä. Vilkkumaa / Kuusinen 17

18 Esimerkki Tutkitaan reakitoajan (A, min) ja lämpötilan (B, F ) vaikutusta kemiallisen prosessin vasteeseen A B x 1 x 2 Vaste y b ab B (C,C ) A B (1) a A + Vilkkumaa / Kuusinen 18

19 Kaarevuus Jos kulmapistehavaintojen ja keskipistehavaintojen keskiarvojen erotus ȳ F ȳ C on pieni, ovat keskipistehavainnot lähellä kulmapistehavaintojen määräämää tasoa ja vastefunktion kaarevuus on pientä. Vilkkumaa / Kuusinen 19

20 Nollahypoteesi 1/2 Vastefunktion kaarevuutta koskeva nollahypoteesi H P Q : Ei puhdasta kvadraattista kaarevuutta voidaan ilmaista 2. asteen vastepintamallin y = β 0 + k β i x i + i<j β ij x i x j + k β ii x 2 i + ε i=1 i=1 parametrien avulla muodossa H P Q : k i=1 β ii = 0 Vilkkumaa / Kuusinen 20

21 Nollahypoteesi 2/2 Kaarevuutta koskeva nollahypoteesi on ekvivalentti nollahypoteesin H P Q : k i=1 β ii = 0 H P Q : μ F μ C = 0, kanssa, missä μ F on kulmapistehavaintojen ja μ C keskipistehavaintojen odotusarvo. Vilkkumaa / Kuusinen 21

22 Kaarevuutta ja virhettä kuvaavat neliösummat Koska erotus μ F μ C on kontrasti, saadaan puhdasta kvadraattista kaarevuutta kuvaava neliösumma kaavalla SSP Q = n F n C n F + n C (ȳ F ȳ C ) 2 Määritellään puhdasta virhettä kuvaava neliösumma kaavalla SSP E = 2 2 n (y kij ȳ ij ) 2 + n C (z k ȳ C ) 2 i=1 j=1 k=1 k=1 Vilkkumaa / Kuusinen 22

23 Testi puhtaalle kvadraattiselle kaarevuudelle Määritellään F -testisuure Jos nollahypoteesi F P Q = (n F + n C 5) SSP Q SSP E H P Q : Ei puhdasta kvadraattista kaarevuutta pätee, niin F P Q F (1, n F + n C 5) Suuret testisuureen F P Q arvot johtavat nollahypoteesin hylkäämiseen. Vilkkumaa / Kuusinen 23

24 Varianssianalyysihajotelma Jos 2 2 -faktorikokeeseen on liitetty keskipiste, pätee varianssianalyysihajotelma SST = SSA + SSB + SSAB + SSP Q + SSP E, jossa SSA, SSB ja SSAB on laskettu kulmapistehavainnoista, ja muut neliösummat kaikista havainnoista. Vilkkumaa / Kuusinen 24

25 Varianssianalyysihajotelma Keskipistehavaintojen lisääminen on mahdollistanut 2 2 -faktorikokeen tavanomaisen varianssianalyysihajotelman SST = SSA + SSB + SSAB + SSE virhetermin SSE pilkkomisen puhdasta kvadraattista kaarevuutta ja puhdasta virhettä kuvaavaan neliösummaan: SSE = SSP Q + SSP E Vilkkumaa / Kuusinen 25

26 Varianssianalyysitaulukko Varianssianalyysitaulukko 2 2 -faktorikokeelle, johon on lisätty keskipiste: Vaihtelun lähde SS df M S F A SSA 1 MSA = SSA/df F A = MSA/MSP E B SSB 1 MSB = SSB/df F B = MSB/MSP E AB SSAB 1 MSAB = SSAB/df F AB = MSAB/MSP E P Q SSP Q 1 MSP Q = SSP Q/df F P Q = MSP Q/MSP E P E SSP E n F + n C 5 MSP E = SSP E/df E SSE n F + n C 4 MSE = SSE/df T SST n F + n C 1 Vilkkumaa / Kuusinen 26

27 Klikkeri-kysely Minkä johtopäätöksen voit tehdä oheisesta varianssianalyysitaulukosta? 1. Vastepintaa voi approksimoida 1. asteen lineaarisella mallilla 2. Vastepintaa pitää approksimoida 1. asteen mallilla, jossa yhdysvaikutustermi on mukana 3. Vastepintaa pitää approksimoida 2. asteen mallilla Vaihtelun lähde SS df M S F p arvo A B AB P Q P E E T Vilkkumaa / Kuusinen 27

28 Vastefunktion optimin etsiminen ja gradienttimenetelmä Vilkkumaa / Kuusinen 28

29 1. asteen vastepintamalli ja tekijöiden optimaalisten tasojen etsiminen Jos vastefunktion f kvadraattinen kaarevuus ei ole tilastollisesti merkitsevää, riittää 1. asteen vastepintamalli vastefunktion muodon approksimointiin. Näin käy usein silloin, kun ollaan kaukana optimista, vaikka optimin läheisyydessä kaarevuutta löytyisikin Pyritään liikkumaan vastepintaa pitkin kohti optimialuetta, ts. vasteen kasvusuuntaan (tai minimoitaessa vähenemissuuntaan) Vilkkumaa / Kuusinen 29

30 Gradienttimenetelmä Funktio kasvaa voimakkaimmin gradienttinsa suuntaan. Keskipisteessä CP, eli x 1 x 2 -koordinaatiston origossa, 1. asteen vastepinnan ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 gradientti on muotoa b = [b 1, b 2 ] T Gradienttimenetelmässä poimitaan uusia havaintoja niillä tekijöiden A ja B tasoilla, jotka määräytyvät liikkumalla keskipisteestä CP tasaisin askelin gradientin b suuntaan (maksimoitaessa), tai sitä vastaan (minimoitaessa). Uusia havaintoja poimitaan, kunnes vasteen arvo ei enää parane (kasva tai vähene). Vilkkumaa / Kuusinen 30

31 Askelpituuksien määrääminen Askeleet, joilla siirtyminen vektorin b (tai b) suuntaan tapahtuu, voidaan määrätä seuraavasti: (i) Valitaan vasteeseen vaikuttavista tekijöistä tärkeämpi, esim. A. Olkoon x 1 faktoria A vastaava koodattu muuttuja. Valitaan x 1 :n askelpituudeksi Δx 1. (ii) Gradienttivektori [b 1, b 2 ] T ja Δx 1 kiinnittävät x 2 :n askelpituuden: Δx 2 = b 2 b 1 Δx 1 (iii) Muunnetaan askelpituudet koodattujen muuttujien arvoista luonnollisten muuttujien arvoiksi kaavalla ΔX = Δx X + X 2 Vilkkumaa / Kuusinen 31

32 Esimerkki Askel x 1 x 2 A B Vaste Origo Δ Origo+Δ Origo+2Δ Origo+3Δ Origo+4Δ Origo+5Δ Origo+6Δ Origo+7Δ Origo+8Δ Origo+9Δ Origo+10Δ Origo+11Δ Origo+12Δ Vilkkumaa / Kuusinen 32

33 Esimerkki Vaste Askel Vilkkumaa / Kuusinen 33

34 Optimialue Gradienttimenetelmän avulla on löydetty (ainakin lokaali) optimialue. Optimialueella on syytä testata vastefunktion f kvadraattista kaarevuutta (kalvot 14-26). Jos vastefunktion kvadraattinen kaarevuus on tilastollisesti merkitsevää, tarvitaan vastefunktion muodon estimointiin 2. asteen vastepintamalli. ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 + b 11 x b 22 x asteen mallin estimoinnissa tarvitaan 2 2 -koeasetelmaan liittyvän neliön kulma- ja keskipistehavaintojen lisäksi uusia havaintoja. Vilkkumaa / Kuusinen 34

35 Lisähavaintojen tekeminen Suosittu valinta on kerätä lisähavainnot (koodattujen muuttujien arvoissa) koordinaattiakseleilta, etäisyyden 2 päässä origosta olevissa pisteissä, ns. tähtipistehavainnot. Nämä pisteet ovat saman ympyrän kehällä kuin 2 2 -koeasetelmaan liittyvän neliön kulmapisteet ja niissä 2. asteen vastepinnan vastemuuttujan arvoille antamien ennusteiden varianssi on vakio. Vilkkumaa / Kuusinen 35

36 Esimerkki A B x 1 x 2 Vaste Vilkkumaa / Kuusinen 36

37 Esimerkki Vilkkumaa / Kuusinen 37

38 Esimerkki Vilkkumaa / Kuusinen 38

39 2. asteen vastepintamalli ja tekijöiden optimaaliset tasot Oletetaan, että haluamme löytää estimoidun 2. asteen vastepintamallin ŷ = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 + b 11 x b 22 x 2 2 avulla koodattuja muuttujia x 1 ja x 2 vastaavien tekijöiden A ja B tasot, jotka optimoivat (minimoivat/maksimoivat) vastefunktion arvon. Kirjoitetaan vastepintamalli matriisimuodossa: ŷ = b 0 + b T x + x T Bx, missä b = [b 1, b 2 ] T ja B = 1 b 2 12 b 11 1 b b 22 Vilkkumaa / Kuusinen 39

40 2. asteen vastepintamalli ja tekijöiden optimaaliset tasot Vastefunktion ääriarvopisteille x pätee dŷ = 0 x = 1 dx x=x 2 B 1 b. Ääriarvon laatu (minimi, maksimi, satulapiste) selviää tarkastelemalla vastefunktion toista derivaattaa 2B: - Jos B on pos. semidefiniitti (ominaisarvot 0), ääriarvo on minimi - Jos B on neg. semidefiniitti (ominaisarvot 0), ääriarvo on maksimi - Jos B on indefiniitti (toinen ominaisarvo <0, toinen >0), ääriarvo on satulapiste Ääriarvopisteess ŷ = b bt B 1 b = b bt x Vilkkumaa / Kuusinen 40

41 Esimerkki Olkoot b = [ , ] T ja B = Tällöin x = 1 2 B 1 b = [0.3892, ] T on vastefunktion ääriarvo. B:n ominaisarvot ovat λ 1 = ja λ 2 = x on maksimi. Vilkkumaa / Kuusinen 41

42 Esimerkki Ääriarvopisteessä ŷ = b bt x = [0.995, 0.515] = Tämä vaste saadaan valitsemalla A = 1 2 (90 80) ( ) 87 min 2 B = 1 2 ( ) ( ) 177 F. Vilkkumaa / Kuusinen 42

43 Klikkeri-kysely Olet estimoinut vastepinnaksi ŷ = x 1 + 3x x 1 x 2 origon (x 1, x 2 ) = (0, 0) ympäristössä. Missä pisteessä tekisit seuraavan mittauksen, kun haluat maksimoida vastetta? 1. (3, 2) 2. (2, 3) 3. (1, 1) Vilkkumaa / Kuusinen 43

44 Hakemisto B,