neliösumman
Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T.
Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T. q-aikasarjat ovat kolmen osittain toisiaan korvaavien raaka-aineiden 1, 2 ja 3 myydyt määrät päivittäin kymmenen päivän aikana ja
Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T. q-aikasarjat ovat kolmen osittain toisiaan korvaavien raaka-aineiden 1, 2 ja 3 myydyt määrät päivittäin kymmenen päivän aikana ja p-aikasarja on raaka-aineen 1 hinta päivittäin kymmenen päivän aikana.
Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T. q-aikasarjat ovat kolmen osittain toisiaan korvaavien raaka-aineiden 1, 2 ja 3 myydyt määrät päivittäin kymmenen päivän aikana ja p-aikasarja on raaka-aineen 1 hinta päivittäin kymmenen päivän aikana. Etsimme sellaista kysyntäfunktiota p 1 = c 4 + c 1 q 1 + c 2 q 2 + c 3 q 3, että mallin antamat arvot hinnalle ovat mahdollisimman lähellä havaittuja arvoja
Perusongelman kuvaus 2 Siis c 1 q 11 + c 2 q 12 + c 3 q 13 + c 4 1 = ˆp 11 p 11 c 1 q 21 + c 2 q 22 + c 3 q 23 + c 4 1 = ˆp 21 p 21..... c 1 q 10,1 + c 2 q 10,2 + c 3 q 10,3 + c 4 1 = ˆp 10,1 p 10,1 Kertoimet onnistuvat sitä paremmin, mitä pienempi on neliösumma NS = 10 j=1 (ˆp j1 p j,1 ) 2. Tästä tulee menetelmän nimi: NeliöSumman. (englaniksi Ordinary Least Square (OLS).)
Perusongelman kuvaus 3 Muotoillaan edellinen yhtälöryhmä matriisikielellä. Sitä varten muodostamme vektoreista q 11, q 11 ja q 11 sekä ykösvektorista 1 = (1,1,...,1) T. matriisit V = q 11 q 12 q 13 q 21 q 22 q 23... q 10,1 q 10,2 q 10,3 Näillä merkinnöillä etsimme vektoria c q 11 q 12 q 13 1 ja W = q 21 q 22 q 23 1.... q 10,1 q 10,2 q 10,3 1 W c = ˆ p 1 p 1, NS = ˆ p 1 p 1 2 = W c p 1 2 niin, että NS on niin pieni kuin mahdollista.
4 Kahden vektorin u = (u 1,u 2,...,u n ) T ja v = (v 1,v 2,...,v n ) T pistetulo on u v = u 1 v 1 + u 2 v 2 + + u n v n ja vektorin u pituus on u = u1 2 + u2 2 + + u2 n = u u.
4 Kahden vektorin u = (u 1,u 2,...,u n ) T ja v = (v 1,v 2,...,v n ) T pistetulo on u v = u 1 v 1 + u 2 v 2 + + u n v n ja vektorin u pituus on u = u1 2 + u2 2 + + u2 n = u u. Kaksi vektoria ovat kohtisuorassa, jos niiden pistetulo on nolla u v u v = 0.
5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c 2 + + a n b n + a n c n ) = a b + a c.
5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c 2 + + a n b n + a n c n ) = a b + a c. Edellisen seurauksena saamme klassisen lauseen
5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c 2 + + a n b n + a n c n ) = a b + a c. Edellisen seurauksena saamme klassisen lauseen ( I.) Jos vektorit u ja v ovat kohtisuorassa, niin u + v 2 = u 2 + v 2 u + v v u
5 Pistetulonmääritelmästä seuraa välittömästi, että a ( b + c) = a 1 (b 1 + c 1 ) + a 2 (b 2 + c 2 ) + + a n (b n + c n ) = a 1 b 1 + a 1 c 1 + a 2 b 2 + a 2 c 2 + + a n b n + a n c n ) = a b + a c. Edellisen seurauksena saamme klassisen lauseen ( I.) Jos vektorit u ja v ovat kohtisuorassa, niin u + v 2 = u 2 + v 2 u + v v Perustelu on suora lasku u + v 2 = ( u + v) ( u + v) = u }{{} u + u }{{} v = u 2 =0 u + v }{{} u =0 + v v }{{} = v 2
Pseudoinverssi 6 (Moore-Penrose) Tarkastellaan uudelleen alkuperäisen ongelman kaltaista mutta yksinkertaisempaa ongelmaa 2 4 ( ) 2 1 2 x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A = b
Pseudoinverssi 6 (Moore-Penrose) Tarkastellaan uudelleen alkuperäisen ongelman kaltaista mutta yksinkertaisempaa ongelmaa 2 4 ( ) 2 1 2 x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A Jos olemme varmoja siitä, että yhtälöryhmällä on yksikäsitteinen ratkaisu, ja A T A on säännöllinen, niin yhtälöryhmän ratkaisu saadaan laskettua kaavalla x = (A T A) 1 A T b = b
Pseudoinverssi 6 (Moore-Penrose) Tarkastellaan uudelleen alkuperäisen ongelman kaltaista mutta yksinkertaisempaa ongelmaa 2 4 ( ) 2 1 2 x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A Jos olemme varmoja siitä, että yhtälöryhmällä on yksikäsitteinen ratkaisu, ja A T A on säännöllinen, niin yhtälöryhmän ratkaisu saadaan laskettua kaavalla x = (A T A) 1 A T b = b Perustelu: (A T A) 1 A T b }{{} =A x = (A T A) 1 (A T A) x = x
Pseudoinverssi 6 (Moore-Penrose) Jos matriisi A T A on säännöllinen, niin sanomme, että matriisin A (Moore-Penrosen ) on A = (A T A) 1 A T
Pseudoinverssi 6 (Moore-Penrose) Jos matriisi A T A on säännöllinen, niin sanomme, että matriisin A (Moore-Penrosen ) on A = (A T A) 1 A T Jos A on säännöllinen neliömatriisi, niin A = A 1.
Pseudoinverssi 6 (Moore-Penrose) Jos matriisi A T A on säännöllinen, niin sanomme, että matriisin A (Moore-Penrosen ) on A = (A T A) 1 A T Jos A on säännöllinen neliömatriisi, niin A = A 1. Jos A on olemassa, niin A A = I.
Pseudoinverssi 7 (Moore-Penrose) Esimerkki 1. Ratkaistaan n avulla edellä esiintynyt yhtälöryhmä 2 4 ( ) 2 1 2 x = 5 y 3 1 }{{} 10 }{{} = x }{{} =A o c t a v e :2> A=[2 4 ; 1 2 ; 3, 1]; o c t a v e :3> b =[2; 5; 1 0 ] ; o c t a v e :4> x=(a A)ˆ( 1) A b x = 3.0000 1.0000 = b
Pseudoinverssi 8 (Moore-Penrose) Esimerkki 2. Jos yritämme ratkaista yhtälöryhmää 2 4 ( ) 2 1 2 x = 5, y 3 1 }{{} 5 }{{} = x }{{} =A niin osoittautuu, ettei täsmällistä ratkaisua ole olemassa! = b
Pseudoinverssi 8 (Moore-Penrose) Esimerkki 2. Jos yritämme ratkaista yhtälöryhmää 2 4 ( ) 2 1 2 x = 5, y 3 1 }{{} 5 }{{} = x }{{} =A niin osoittautuu, ettei täsmällistä ratkaisua ole olemassa! Seuraavaksi pyrimme löytämään sellaisen vektorin x, että = b A x b 2 tulee niin pieneksi kuin mahdollista.
Pseudoinverssi 8 (Moore-Penrose) Esimerkki 2. Jos yritämme ratkaista yhtälöryhmää 2 4 ( ) 2 1 2 x = 5, y 3 1 }{{} 5 }{{} = x }{{} =A niin osoittautuu, ettei täsmällistä ratkaisua ole olemassa! Seuraavaksi pyrimme löytämään sellaisen vektorin x, että = b A x b 2 tulee niin pieneksi kuin mahdollista. Ratkaisu on x = A b. Perustelemme asian seuraavassa.
Pseudoinverssi 9 (Moore-Penrose) Väite: Lauseke A x b 2 saa pienimmän arvonsa, kun x = A b. Perustelu: Olkoon w x jokin toinen ratkaisuehdokas. Nyt A w b 2 = (A w A x) +(A x b) }{{}}{{} = u = v 2
Pseudoinverssi 9 (Moore-Penrose) Väite: Lauseke A x b 2 saa pienimmän arvonsa, kun x = A b. Perustelu: Olkoon w x jokin toinen ratkaisuehdokas. Nyt A w b 2 = (A w A x) +(A x b) }{{}}{{} = u = v Suora lasku osoittaa, että vektorit u ja v ovat kohtisuorassa u T v = (A( w x)) T (A(A T A) 1 A T b b) = ( w x) T {A T A(A T A) 1 A T b A T b} = 0 2
Pseudoinverssi 9 (Moore-Penrose) Väite: Lauseke A x b 2 saa pienimmän arvonsa, kun x = A b. Perustelu: Olkoon w x jokin toinen ratkaisuehdokas. Nyt A w b 2 = (A w A x) +(A x b) }{{}}{{} = u = v Suora lasku osoittaa, että vektorit u ja v ovat kohtisuorassa u T v = (A( w x)) T (A(A T A) 1 A T b b) = ( w x) T {A T A(A T A) 1 A T b A T b} = 0 2 en mukaan siis A w b 2 = u 2 + v 2 = u 2 + A x b 2 x = A b on kaikista ehdokkaista NeliöSumman kannalta paras.
10 Haetaan esimerkin 2 yhtälöryhmälle pienimmän neliösumman ratkaisu o c t a v e :2> A = [ 2 4 ; 1 2 ; 3 1]; o c t a v e :3> b = [ 2 ; 5; 5 ] ; o c t a v e :4> x = (A A)ˆ( 1) A b x = 1.84211 0.59649 o c t a v e :5> A x ans = 1.2982 3.0351 6.1228
n estimointi. 11 Tarkastellaan uudelleen kolmen tuotteen myynti- ja hinta-aikasarjoja q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T, p 2 = (p 12,p 22,...,p 10,2 ) T, p 3 = (p 13,p 23,...,p 10,3 ) T.
n estimointi. 11 Tarkastellaan uudelleen kolmen tuotteen myynti- ja hinta-aikasarjoja q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1 ) T, p 2 = (p 12,p 22,...,p 10,2 ) T, p 3 = (p 13,p 23,...,p 10,3 ) T. Muodostetaan vastaavat matriisit q 11 q 12 q 13 q 21 q 22 q 23 Q =..., P = q 10,1 q 10,2 q 10,3 p 11 p 12 p 13 p 21 p 22 p 23... p 10,1 p 10,2 p 10,3
n estimointi. 12 W = q 11 q 12 q 13 1 q 21 q 22 q 23 1.... q 10,1 q 10,2 q 10,3 1
n estimointi. 12 W = q 11 q 12 q 13 1 q 21 q 22 q 23 1.... q 10,1 q 10,2 q 10,3 1 Etsimme sellaista kysyntäfunktiota q k1 c 1j + q k2 c 2j + q k3 c 3j + 1 c 4j = p kj, että mallin antamat arvot hinnalle ovat mahdollisimman lähellä havaittuja arvoja
n estimointi. 12 W = q 11 q 12 q 13 1 q 21 q 22 q 23 1.... q 10,1 q 10,2 q 10,3 1 Etsimme sellaista kysyntäfunktiota q k1 c 1j + q k2 c 2j + q k3 c 3j + 1 c 4j = p kj, että mallin antamat arvot hinnalle ovat mahdollisimman lähellä havaittuja arvoja eli q 11 q 12 q 13 1 q 21 q 22 q 23 1.... q 10,1 q 10,2 q 10,3 1 c 11 c 12 c 13 c 21 c 22 c 23 c 31 c 32 c 33 c 41 c 42 c 43 p 11 p 12 p 13 p 21 p 22 p 23... p 10,1 p 10,2 p 10,3
n estimointi. 13 q 11 q 12 q 13 1 q 21 q 22 q 23 1.... q 10,1 q 10,2 q 10,3 1 c 11 c 12 c 13 c 21 c 22 c 23 c 31 c 32 c 33 c 41 c 42 c 43 PNS-mielessä parhaat kertoimet malliin saadaan kaavalla C = W P Nyt on odotettavissa, että päivänä t pätee relaatio ( qt,1 q t,2 q t,3 1 ) C ( p t,1 p t,2 p t,3 ) p 11 p 12 p 13 p 21 p 22 p 23... p 10,1 p 10,2 p 10,3
n estimointi. 14 ( qt,1 q t,2 q t,3 1 ) c 11 c 12 c 13 c 21 c 22 c 23 c 31 c 32 c 33 c 41 c 42 c 43 ( ) p t,1 p t,2 p t,3
n estimointi. 14 ( qt,1 q t,2 q t,3 1 ) c 11 c 21 c 31 c 41 c 12 c 22 c 32 c 42 c 13 c 23 c 33 c 43 c 11 c 12 c 13 c 21 c 22 c 23 c 31 c 32 c 33 c 41 c 42 c 43 q t,1 q t,2 q t,3 1 ( ) p t,1 p t,2 p t,3 p t,1 p t,2 p t,3
n estimointi. 14 ( qt,1 q t,2 q t,3 1 ) c 11 c 21 c 31 c 41 c 12 c 22 c 32 c 42 c 13 c 23 c 33 c 43 c 11 c 21 c 31 c 12 c 22 c 32 c 13 c 23 c 33 q t,1 q t,2 q t,3 c 11 c 12 c 13 c 21 c 22 c 23 c 31 c 32 c 33 c 41 c 42 c 43 q t,1 q t,2 q t,3 1 + c 41 c 42 c 43 ( ) p t,1 p t,2 p t,3 p t,1 p t,2 p t,3 p t,1 p t,2 p t,3
n estimointi. 15 c 11 c 21 c 31 c 12 c 22 c 32 c 13 c 23 c 33 Myyntitulo päivänä t on q t,1 q t,2 q t,3 q t1 p t1 + q t2 p t2 + q t3 p t3 = ( ) q t1 q t2 q t3 = ( q t1 q t2 ) q t3 + p t,1 p t,2 p t,3 c 41 c 42 c 43 c 11 c 21 c 31 c 12 c 22 c 32 c 13 c 23 c 33 + q t1 c 41 + q t2 c 42 + q t3 c 43 p t,1 p t,2 p t,3 q t,1 q t,2 q t,3 +...