Sovellettu todennäköisyyslaskenta B

Transkriptio

1 Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta / 19

2 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen lineaarisessa tapauksessa 2 Epälineaarisista malleista 3 Linearisoituvat mallit 4 Usean muuttujan lineaarinen regressiomalli Polynomimalli Antti Rasila () TodB 30. marraskuuta / 19

3 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä 2/2 Tutkitaan havaintoja (x 1, y 1 ),..., (x n, y n ). Oletetaan, että y i = β 0 + β 1 x i + ε i, i = 1,..., n, missä β 0, β 1 ovat regeressiomallin kertoimet ja ε i :t ovat riippumattomia, ε i N(0, σ 2 ). Tällöin kullakin x:n arvolla havainto y on satunnaismuuttujan saama arvo. Y N(β 0 + β 1 x, σ 2 ) Antti Rasila () TodB 30. marraskuuta / 19

4 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä 1/2 Voidaan määrittää otoksen likelihood-funktio L(β 0, β 1 ) = f Y (y 1 ; β 0, β1)... f Y (y n ; β 0, β1), missä f Y on normaalijakauman tiheysfunktio: Saadaan L(β 0, β 1 ) = f Y (y) = 1 ( exp (y β 0 + β 1 x) 2 ) 2πσ 2σ 2. 1 ( ( 2πσ) exp 1 n 2σ 2 n (y i β 0 β 1 x i ) 2). i=1 Antti Rasila () TodB 30. marraskuuta / 19

5 Likelihood-funktio ja PNS-menetelmä Koska eksponenttifunktio on kaikkialla kasvava, likelihood-funktio L(β 0, β 1 ) saavuttaa maksiminsa parametrien β 0, β 1 suhteen, kun neliösumma n F (β 0, β 1 ) = (y i β 0 β 1 x i ) 2 saavuttaa miniminsä. i=1 Seuraus: Pienimmän neliösumman estimaatti parametreille β 0, β 1 on suurimma uskottavuuden estimaatti ko. parametreille. Antti Rasila () TodB 30. marraskuuta / 19

6 Minimin löytäminen lineaarisessa tapauksessa 1/2 Tarkastellaan funktiota F (β 0, β 1 ) = i (y i β 0 β 1 x i ) 2. Etsitään piste (β 0, β 1 ) siten, että Lasketaan osittaisderivaatta Ratkaistaan nollakohta F (β 0, β 1 ) = 0. β 0 F (β 0, β 1 ) = 2 ( β 1 xi + nβ 0 y i ). β 0 = 1 n yi β 1 n xi = ȳ β 1 x. Antti Rasila () TodB 30. marraskuuta / 19

7 Minimin löytäminen lineaarisessa tapauksessa 2/2 Lasketaan seuraavaksi osittaisderivaatta β 1 F (β 0, β 1 ) = 2 ( β 0 xi + β 1 x 2 i x i y i ). Sijoittamalla β 0 :n lauseke saadaan Ratkaistaa nollakohta n xȳ nβ 1 x 2 + β 1 x 2 i x i y i = 0. β 1 = n xȳ x i y i n x 2 x 2 i = (xi x) 2 (xi x)(y i ȳ). Antti Rasila () TodB 30. marraskuuta / 19

8 Esimerkki: 2. asteen sovitus 1/3 Tutkitaan lisäaineen määrän x vaikutusta kuivumisaikaan y. Eri lisäaineen määrillä x i (grammaa) saatiin kuivumisajat y i (tuntia), i = 1,..., 9: x i y i Huomataan, että kuivumisajan riippuvuus lisäaineen määrästä on epälineaarista. Minimikohdan estimoimiseksi sovitetaan havaintoihin paraabeli y = β 0 + β 1 x + β 2 x 2. Pienimmän neliösumman yhtälöryhmä mallille on β k (yi β 0 β 1 x i β 2 x 2 i ) 2 = 0, k = 0, 1, 2. Antti Rasila () TodB 30. marraskuuta / 19

9 Esimerkki: 2. asteen sovitus 2/3 Näistä saadaan yhtälöryhmä nβ 0 + β 1 xi + β 2 x 2 i = y i, β 0 xi + β 1 x 2 i + β 2 x 3 i = x i y i β 0 x 2 i + β 1 x 3 i + β 2 x 4 i = xi 2y i. Laskemalla yhtälöryhmän kertoimet havainnoista saadaan 9β β β 2 = β β β 2 = β β β 2 = Ratkaisuna ovat estimaatit ˆβ 0 = 11.15, ˆβ 1 = ja ˆβ 2 = Pienimmän neliösumman mielessä parhaiten havaintoihin liittyvä paraabeli on siis y = x x 2. Antti Rasila () TodB 30. marraskuuta / 19

10 Esimerkki: 2. asteen sovitus 3/3 Havainnoista voidaan edelleen laskea kokonaisneliösumma jäännösneliösumma SST = (y i ȳ) 2 = , SSE = (y i x i x 2 i ) 2 = 1.525, ja mallineliösumma Selitysasteeksi saadaan SSM = SST SSE = R 2 = SSM SST = = Antti Rasila () TodB 30. marraskuuta / 19

11 Linearisoituvat mallit Toisinaan funktio, joka ei ole lineaarinen parametrien suhteen, voidaan saattaa sopivalla muunnoksella lineaariseksi. Esimerkki tällaisesta tapauksesta on funktio y = β 0 e β 1x, joka linearisoituu lograritmin avulla: ln(y) = ln(β 0 ) + β 1 x. Nyt voidaan sovittaa suora aineistoon, jossa arvot on logaritmoitu. Antti Rasila () TodB 30. marraskuuta / 19

12 Esimerkki (Laininen) 1/2 Vesialtaan happipitoisuus DO (mg/l) riippuu altaan lämpötilasta ( C) yhtälön DO = ae bt mukaisesti, missä a, b > 0. Parametrien estimoimiseksi mitattiin erilaisilla T :n arvoilla t i vastaavat DO:n arvot d i : t i d i Ottamalla logaritmi saadaan ln(do) = ln(a) bt. Antti Rasila () TodB 30. marraskuuta / 19

13 Esimerkki (Laininen) 2/2 Merkitään t i = x i ja ln(d i ) = y i. Saadaan ja ˆβ 1 = b = = ˆβ 0 = ln(a) = ( 0.110) = Saadaan siis eli ln(do) = T, DO = e T. Antti Rasila () TodB 30. marraskuuta / 19

14 Usean muuttujan lineaarinen regressiomalli 1/4 Oletetaan suure y riippuu useasta muuttujasta x i, i = 1, 2,..., m ja riippuvuus on lineaarista. Voidaan kirjoittaa y = β 0 + β 1 x 1 + β 2 x β m x m. Oletetaan edelleen, että käytettävissä on tilastoaineisto, jossa suureesta y ja jokaisesta selittävästä muuttujasta x i on n havaintoa. Käytännön syistä on oletettavas myös, että n m + 1 (ja mieluiten tietysti n on vieläkin suurempi). Merkitään havaintoja y k, x ik, i = 1,..., m, k = 1,..., n, Antti Rasila () TodB 30. marraskuuta / 19

15 Usean muuttujan lineaarinen regressiomalli 2/4 Kuten yhden muuttujan tapauksessa, malli saadaan minimoimalla funktio f (β 0,..., β m ) = n ( yk (β 0 + β 1 x 1k β m x mk ) ) 2. k=1 Minimi saadaan etsimällä piste, jossa F (β 0,..., β m ) = 0. Nollakohdat ratkaisemalla päädytään yhtälöryhmään, jotka kutsutaan normaaliryhmäksi. Kertoimet saadaan ratkaisemalla normaaliryhmä. Antti Rasila () TodB 30. marraskuuta / 19

16 Usean muuttujan lineaarinen regressiomalli 3/4 Kirjoitetaan nyt regressiomalli muotoon y = X β, (1) missä X on kerrointen x ik muodostama n m-matriisi: y 1 1 x 11 x x m1 y = y 2..., X = 1 x 12 x x m y n 1 x 1n x 2n... x mn ja β = β 0 β 1... β m. Antti Rasila () TodB 30. marraskuuta / 19

17 Usean muuttujan lineaarinen regressiomalli 4/4 Valitettavasti yleensä n m + 1, joten X ei ole neliömatriisi. Kertomalla matriisiyhtälö (1) puolittain X :n transpoosilla X T, saadaan normaaliyhtälö muotoon X T y = X T X β, missä X T X on (m + 1) (m + 1)-neliömatriisi. Yhtälön ratkaisu on β = (X T X ) 1 X T y, olettaen tietenkin, että käänteismatriisi (X T X ) 1 on olemassa. Antti Rasila () TodB 30. marraskuuta / 19

18 Esimerkki Etsitään aineistoon x k y k Erityisesti yhden muuttujan lineaarinen regressiomalli on erikoistapaus: y = β 0 + β 1 x. Ratkaistaan missä β = (X T X ) 1 X T y = y = ja X = ( ),. Antti Rasila () TodB 30. marraskuuta / 19

19 Polynomimalli Polynomimallissa sovitetaan tilastoaineistoon astetta n oleva polynomi. y = c 0 + c 1 x + c 2 x c n x n Malli palautuu usean muuttujan lineaariseksi malliksi sijoittamalla x 1 = x, x 2 = x 2, jne. Antti Rasila () TodB 30. marraskuuta / 19