Pienimmän neliösumman menetelmä (PNS)

Transkriptio

1 neliösumman

2 Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T.

3 Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T. q-aikasarjat ovat kolmen osittain toisiaan korvaavien raaka-aineiden 1, 2 ja 3 myydyt määrät päivittäin kymmenen päivän aikana ja

4 Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T. q-aikasarjat ovat kolmen osittain toisiaan korvaavien raaka-aineiden 1, 2 ja 3 myydyt määrät päivittäin kymmenen päivän aikana ja p-aikasarja on raaka-aineen 1 hinta päivittäin kymmenen päivän aikana.

5 Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T. q-aikasarjat ovat kolmen osittain toisiaan korvaavien raaka-aineiden 1, 2 ja 3 myydyt määrät päivittäin kymmenen päivän aikana ja p-aikasarja on raaka-aineen 1 hinta päivittäin kymmenen päivän aikana. Etsimme sellaista kysyntäfunktiota p 1 = b 1 q 1 + b 2 q 2 + b 3 q 3 + b 4, että mallin antamat arvot hinnalle ovat mahdollisimman lähellä havaittuja arvoja

6 Perusongelman kuvaus 2 Siis b 1 q 11 + b 2 q 12 + b 3 q 13 + b 4 1 = ˆp 11 p 11 b 1 q 21 + b 2 q 22 + b 3 q 23 + b 4 1 = ˆp 21 p b 1 q 10,1 + b 2 q 10,2 + b 3 q 10,3 + b 4 1 = ˆp 10,1 p 10,1 Kertoimet onnistuvat sitä paremmin, mitä pienempi on neliösumma NS = 10 j=1 (ˆp j1 p j,1 ) 2. Tästä tulee menetelmän nimi: NeliöSumman. (englaniksi Ordinary Least Square (OLS).)

7 Perusongelman kuvaus 3 Muotoillaan edellinen yhtälöryhmä matriisikielellä. Sitä varten muodostamme vektoreista q 11, q 11 ja q 11 sekä ykösvektorista 1 = (1,1,...,1) T. matriisit V = q 11 q 12 q 13 q 21 q 22 q q 10,1 q 10,2 q 10,3 Näillä merkinnöillä etsimme vektoria b q 11 q 12 q 13 1 ja W = q 21 q 22 q q 10,1 q 10,2 q 10,3 1 W b = ˆ p 1 p 1, NS = ˆ p 1 p 1 2 = W b p 1 2 niin, että NS on niin pieni kuin mahdollista. menetelmä (PNS)

8 4 Kahden vektorin u = (u 1,u 2,...,u n ) T ja v = (v 1,v 2,...,v n ) T pistetulo on u v = u 1 v 1 + u 2 v u n v n ja vektorin u pituus on u = u1 2 + u u2 n = u u.

9 4 Kahden vektorin u = (u 1,u 2,...,u n ) T ja v = (v 1,v 2,...,v n ) T pistetulo on u v = u 1 v 1 + u 2 v u n v n ja vektorin u pituus on u = u1 2 + u u2 n = u u. Kaksi vektoria ovat kohtisuorassa, jos niiden pistetulo on nolla u v u v = 0.

10 5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c a n b n + a n c n ) = a b + a c.

11 5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c a n b n + a n c n ) = a b + a c. Edellisen seurauksena saamme klassisen lauseen

12 5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c a n b n + a n c n ) = a b + a c. Edellisen seurauksena saamme klassisen lauseen ( I.) Jos vektorit u ja v ovat kohtisuorassa, niin u + v 2 = u 2 + v 2 u + v v u

13 5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c a n b n + a n c n ) = a b + a c. Edellisen seurauksena saamme klassisen lauseen ( I.) Jos vektorit u ja v ovat kohtisuorassa, niin u + v 2 = u 2 + v 2 u + v v Perustelu on suora lasku u + v 2 = ( u + v) ( u + v) = u }{{} u + u }{{} v = u 2 =0 u + v }{{} u =0 + v v }{{} = v 2

14 Pseudoinverssi 6 (Moore-Penrose) Tarkastellaan uudelleen alkuperäisen ongelman kaltaista mutta yksinkertaisempaa ongelmaa 2 4 ( ) x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A = b

15 Pseudoinverssi 6 (Moore-Penrose) Tarkastellaan uudelleen alkuperäisen ongelman kaltaista mutta yksinkertaisempaa ongelmaa 2 4 ( ) x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A Jos olemme varmoja siitä, että yhtälöryhmällä on yksikäsitteinen ratkaisu, ja A T A on säännöllinen, niin yhtälöryhmän ratkaisu saadaan laskettua kaavalla x = (A T A) 1 A T b = b

16 Pseudoinverssi 6 (Moore-Penrose) Tarkastellaan uudelleen alkuperäisen ongelman kaltaista mutta yksinkertaisempaa ongelmaa 2 4 ( ) x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A Jos olemme varmoja siitä, että yhtälöryhmällä on yksikäsitteinen ratkaisu, ja A T A on säännöllinen, niin yhtälöryhmän ratkaisu saadaan laskettua kaavalla x = (A T A) 1 A T b = b Perustelu: (A T A) 1 A T b }{{} =A x = (A T A) 1 (A T A) x = x

17 Pseudoinverssi 7 (Moore-Penrose) Jos matriisi A T A on säännöllinen, niin sanomme, että matriisin A (Moore-Penrosen ) on A = (A T A) 1 A T

18 Pseudoinverssi 7 (Moore-Penrose) Jos matriisi A T A on säännöllinen, niin sanomme, että matriisin A (Moore-Penrosen ) on A = (A T A) 1 A T Jos A on säännöllinen neliömatriisi, niin A = A 1.

19 Pseudoinverssi 7 (Moore-Penrose) Jos matriisi A T A on säännöllinen, niin sanomme, että matriisin A (Moore-Penrosen ) on A = (A T A) 1 A T Jos A on säännöllinen neliömatriisi, niin A = A 1. Jos A on olemassa, niin A A = I.

20 Pseudoinverssi 8 (Moore-Penrose) Esimerkki 1. Ratkaistaan n avulla edellä esiintynyt yhtälöryhmä 2 4 ( ) x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A o c t a v e :2> A=[2 4 ; 1 2 ; 3, 1]; o c t a v e :3> b =[2; 5; 1 0 ] ; o c t a v e :4> x=(a A)ˆ( 1) A b x = = b

21 Pseudoinverssi 9 (Moore-Penrose) Esimerkki 2. Jos yritämme ratkaista yhtälöryhmää 2 4 ( ) x = 5, y 3 1 }{{} 5 }{{} = x }{{} =A niin osoittautuu, ettei täsmällistä ratkaisua ole olemassa! = b

22 Pseudoinverssi 9 (Moore-Penrose) Esimerkki 2. Jos yritämme ratkaista yhtälöryhmää 2 4 ( ) x = 5, y 3 1 }{{} 5 }{{} = x }{{} =A niin osoittautuu, ettei täsmällistä ratkaisua ole olemassa! Seuraavaksi pyrimme löytämään sellaisen vektorin x, että = b A x b 2 tulee niin pieneksi kuin mahdollista.

23 Pseudoinverssi 9 (Moore-Penrose) Esimerkki 2. Jos yritämme ratkaista yhtälöryhmää 2 4 ( ) x = 5, y 3 1 }{{} 5 }{{} = x }{{} =A niin osoittautuu, ettei täsmällistä ratkaisua ole olemassa! Seuraavaksi pyrimme löytämään sellaisen vektorin x, että = b A x b 2 tulee niin pieneksi kuin mahdollista. Ratkaisu on x = A b. Perustelemme asian seuraavassa.

24 Pseudoinverssi 10 (Moore-Penrose) Väite: Lauseke A x b 2 saa pienimmän arvonsa, kun x = A b. Perustelu: Olkoon w x jokin toinen ratkaisuehdokas. Nyt A w b 2 = (A w A x) +(A x b) }{{}}{{} = u = v 2

25 Pseudoinverssi 10 (Moore-Penrose) Väite: Lauseke A x b 2 saa pienimmän arvonsa, kun x = A b. Perustelu: Olkoon w x jokin toinen ratkaisuehdokas. Nyt A w b 2 = (A w A x) +(A x b) }{{}}{{} = u = v Suora lasku osoittaa, että vektorit u ja v ovat kohtisuorassa u T v = (A( w x)) T (A(A T A) 1 A T b b) = ( w x) T {A T A(A T A) 1 A T b A T b} = 0 2

26 Pseudoinverssi 10 (Moore-Penrose) Väite: Lauseke A x b 2 saa pienimmän arvonsa, kun x = A b. Perustelu: Olkoon w x jokin toinen ratkaisuehdokas. Nyt A w b 2 = (A w A x) +(A x b) }{{}}{{} = u = v Suora lasku osoittaa, että vektorit u ja v ovat kohtisuorassa u T v = (A( w x)) T (A(A T A) 1 A T b b) = ( w x) T {A T A(A T A) 1 A T b A T b} = 0 2 en mukaan siis A w b 2 = u 2 + v 2 = u 2 + A x b 2 x = A b on kaikista ehdokkaista NeliöSumman kannalta paras.

27 11 Haetaan esimerkin 2 yhtälöryhmälle pienimmän neliösumman ratkaisu o c t a v e :2> A = [ 2 4 ; 1 2 ; 3 1]; o c t a v e :3> b = [ 2 ; 5; 5 ] ; o c t a v e :4> x = (A A)ˆ( 1) A b x = o c t a v e :5> A x ans =

28 n estimointi. 12 Tarkastellaan uudelleen kolmen tuotteen myynti- ja hinta-aikasarjoja q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T, p 2 = (p 12,p 22,...,p 10,2 ) T, p 3 = (p 13,p 23,...,p 10,3 ) T.

29 n estimointi. 12 Tarkastellaan uudelleen kolmen tuotteen myynti- ja hinta-aikasarjoja q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T, p 2 = (p 12,p 22,...,p 10,2 ) T, p 3 = (p 13,p 23,...,p 10,3 ) T. Muodostetaan vastaavat matriisit q 11 q 12 q 13 q 21 q 22 q 23 Q =..., P = q 10,1 q 10,2 q 10,3 p 11 p 12 p 13 p 21 p 22 p p 10,1 p 10,2 p 10,3

30 n estimointi. 13 W = q 11 q 12 q 13 1 q 21 q 22 q q 10,1 q 10,2 q 10,3 1

31 n estimointi. 13 W = q 11 q 12 q 13 1 q 21 q 22 q q 10,1 q 10,2 q 10,3 1 Etsimme sellaista kysyntäfunktiota q k1 b 1j + q k2 b 2j + q k3 b 3j + 1 b 4j = p kj, että mallin antamat arvot hinnalle ovat mahdollisimman lähellä havaittuja arvoja

32 n estimointi. 13 W = q 11 q 12 q 13 1 q 21 q 22 q q 10,1 q 10,2 q 10,3 1 Etsimme sellaista kysyntäfunktiota q k1 b 1j + q k2 b 2j + q k3 b 3j + 1 b 4j = p kj, että mallin antamat arvot hinnalle ovat mahdollisimman lähellä havaittuja arvoja eli q 11 q 12 q 13 1 q 21 q 22 q q 10,1 q 10,2 q 10,3 1 b 11 b 12 b 13 b 21 b 22 b 23 b 31 b 32 b 33 b 41 b 42 b 43 p 11 p 12 p 13 p 21 p 22 p p 10,1 p 10,2 p 10,3

33 n estimointi. 14 q 11 q 12 q 13 1 q 21 q 22 q q 10,1 q 10,2 q 10,3 1 b 11 b 12 b 13 b 21 b 22 b 23 b 31 b 32 b 33 b 41 b 42 b 43 PNS-mielessä parhaat kertoimet malliin saadaan kaavalla B = W P p 11 p 12 p 13 p 21 p 22 p p 10,1 p 10,2 p 10,3