Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1
Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka Mellin (005)
Moniulotteisia todennäköisyysjakaumia: Mitä opimme? 1/ Tässä luvussa tarkastellaan kahta moniulotteista todennäköisyysjakaumaa: (i) (ii) Multinomijakauma on binomijakauman (ks. lukua Diskreettejä jakaumia) moniulotteinen yleistys. Kaksiulotteinen normaalijakauma on normaalijakauman (ks. lukua Jatkuvia jakaumia) moniulotteinen yleistys. TKK (c) Ilkka Mellin (005) 3
Moniulotteisia todennäköisyysjakaumia: Mitä opimme? / Multinormaalijakaumalla on seuraavat ominaisuudet: (i) Multinormaalijakauman reunajakaumat ovat normaalisia. (ii) Multinormaalijakauman ehdolliset jakaumat ovat normaalisia. (iii) Multinormaalijakauman ehdolliset odotusarvot ovat lineaarisia. (iv) Multinormaalijakauman tapauksessa korreloimattomuudesta seuraa riippumattomuus, mikä ei ole yleisesti totta. Huomautus: Satunnaismuuttujien riippumattomuudesta seuraa aina niiden korreloimattomuus. Kaksiulotteinen normaalijakauma ja sen useampiulotteinen yleistys multinormaalijakauma muodostavat teoreettisen perustan lineaaristen regressiomallien teorialle satunnaisten selittäjien tapauksessa. TKK (c) Ilkka Mellin (005) 4
Moniulotteisia todennäköisyysjakaumia: Esitiedot Esitiedot: ks. seuraavia lukuja: Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut Diskreettejä jakaumia Jatkuvia jakaumia Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat TKK (c) Ilkka Mellin (005) 5
Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka Mellin (005) 6
Multinomijakauma Avainsanat Binomijakauma Multinomi Multinomijakauma Multinomikerroin Ositus Pistetodennäköisyysfunktio Reunajakauma hteisjakauma TKK (c) Ilkka Mellin (005) 7
Multinomijakauma Multinomijakauman tausta 1/3 Multinomijakauma on binomijakauman (ks. lukua Diskreettejä jakaumia) yleistys useamman toisensa poissulkevan tapahtuman tilanteeseen. Olkoon A 1, A,, A k otosavaruuden S ositus. Tällöin: A i A j =, i j S = A 1 A A k Olkoot tapahtumien A 1, A,, A k todennäköisyydet: Pr(A i ) = p i, i = 1,,, k p 1 + p + + p k = 1 TKK (c) Ilkka Mellin (005) 8
Multinomijakauma Multinomijakauman tausta /3 Määritellään satunnaismuuttujat i, i = 1,,, k: i = Tapahtuman A i esiintymisten lukumäärä n-kertaisessa toistokokeessa Tällöin i ~Bin( n, pi), i = 1,,, k jossa p i = Pr(A i ), i = 1,,, k Lisäksi + + + = n 1 k TKK (c) Ilkka Mellin (005) 9
Multinomijakauma Multinomijakauman tausta 3/3 Multinomijakaumalla tarkoitetaan satunnaismuuttujien 1,,, k yhteisjakaumaa. Huomautus: Satunnaismuuttuja i eivät ole riippumattomia, koska niitä sitoo toisiinsa ehto 1+ + + k = n jossa toistokokeiden lukumäärä n on kiinteä luku. TKK (c) Ilkka Mellin (005) 10
Multinomijakauma Multinomijakauma ja sen pistetodennäköisyysfunktio Satunnaismuuttujat 1,,, k noudattavat (k 1)- ulotteista multinomijakaumaa, jos niiden yhteisjakauman pistetodennäköisyysfunktio on muotoa Pr( 1 = n1 ja = n ja ja k = nk) n! n1 n nk = p1 p pk n1! n! nk! jossa p1+ p + + pk = 1 n1+ n + + nk = n Merkintä: ( 1,,, k ) Multinom(p 1, p,, p k ; n) TKK (c) Ilkka Mellin (005) 11
Multinomijakauma Multinomijakauman ominaisuuksia Jos k =, niin multinomijakauma yhtyy binomijakaumaan: Pr Multinom( 1 = n1 ja = n n1) = Pr Bin( 1 = n1) Multinomijakauman yksiulotteiset reunajakaumat ovat binomijakaumia. Multinomitodennäköisyydet saadaan korottamalla multinomi (p 1 + p + + p k ) potenssiin n: n n! n1 n n ( p1+ p + + p ) = k k p1 p pk n1! n! nk! jossa summa lasketaan yli kaikkien lukujen n 1, n,, n k, joille pätee ehto n 1 + n + + n k = n TKK (c) Ilkka Mellin (005) 1
Moniulotteisia todennäköisyysjakaumia Multinomijakauma >> Kaksiulotteinen normaalijakauma TKK (c) Ilkka Mellin (005) 13
Avainsanat Ehdollinen jakauma Ehdollinen odotusarvo Ehdollinen varianssi Ellipsi Ellipsin eksentrisyys Ellipsin pääakselit Kaksiulotteinen normaalijakauma Kovarianssimatriisi Normaalijakauma Ominaisarvot Ominaisvektorit Pääakselihajotelma Regressiofunktio Regressiosuora Reunajakauma Tasa-arvoellipsit Tiheysfunktio hteisjakauma TKK (c) Ilkka Mellin (005) 14
Kaksiulotteinen normaalijakauma Kaksiulotteinen normaalijakauma on normaalijakauman (ks. lukua Jatkuvia jakaumia) kaksiulotteinen yleistys. Huomautus: Normaalijakauman yleistystä p-ulotteiseen avaruuteen (p > 1) kutsutaan multinormaalijakaumaksi. TKK (c) Ilkka Mellin (005) 15
Kaksiulotteinen normaalijakauma ja sen tiheysfunktio 1/ Satunnaismuuttujat ja noudattavat kaksiulotteista normaalijakaumaa, jos niiden yhteisjakauman tiheysfunktio on muotoa 1 1 f ( xy, ) = exp Qxy (, ) π (1 ) 1 ρ ρ jossa x y x y Qxy (, ) µ µ µ µ ρ = + Merkintä: (, ) N (µ, µ,,, ρ ) TKK (c) Ilkka Mellin (005) 16
Kaksiulotteinen normaalijakauma ja sen tiheysfunktio / Kaksiulotteisen normaalijakauman N (µ, µ,,, ρ ) parametrien on toteuttava seuraavat ehdot: < µ < + > 0 < µ < + > 0 1< ρ <+ 1 TKK (c) Ilkka Mellin (005) 17
Kaksiulotteinen normaalijakauman parametrit Olkoon (, ) N (µ, µ,,, ρ ) Kaksiulotteisen normaalijakauman parametreina, jotka täysin määräävät jakauman, ovat satunnaismuuttujien ja odotusarvot ja varianssit sekä niiden korrelaatio: E( ) = µ Var( ) = E( ) = µ Var( ) = Cor(, ) = ρ Lisäksi Cov(, ) = = ρ TKK (c) Ilkka Mellin (005) 18
Tiheysfunktion ominaisuudet Kaksiulotteisen normaalijakauman tiheysfunktio muodostaa pinnan z = f (x, y) kolmiulotteisessa avaruudessa. Pinnalla on maksimi satunnaismuuttujien ja odotusarvojen µ ja µ määräämässä jakauman todennäköisyysmassan painopisteessä (µ, µ ). Pinnan muodon määräävät tasa-arvoellipsit x y x y Qxy (, ) µ µ µ µ ρ = + = c (vakio) TKK (c) Ilkka Mellin (005) 19
Tasa-arvoellipsien ominaisuudet 1/3 Kaksiulotteisen normaalijakauman tiheysfunktion muodostaman pinnan muodon määräävillä tasaarvoellipseillä on seuraavat ominaisuudet: (i) Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste (µ, µ ) (ii) Ellipsien eksentrisyys on sekä korrelaatiokertoimen ρ että standardipoikkeamien ja funktio. (iii) Ellipsi on sitä eksentrisempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ TKK (c) Ilkka Mellin (005) 0
Tasa-arvoellipsien ominaisuudet /3 (iv) Jos ρ = 0 ellipsien pääakselit ovat koordinaattiakseleiden suuntaiset. (v) Jos ρ = 0 ja lisäksi = niin ellipsit ovat ympyröitä. (vi) Jos ρ = ±1 niin ellipsit surkastuvat janoiksi. TKK (c) Ilkka Mellin (005) 1
Tasa-arvoellipsien ominaisuudet 3/3 Tasa-arvoellipsien pääakselit ovat satunnaismuuttujien ja kovarianssimatriisin Σ = ominaisvektoreiden suuntaiset ja niiden pituudet suhtautuvat toisiinsa kuten matriisin Σ ominaisarvojen neliöjuuret. TKK (c) Ilkka Mellin (005)
Esimerkki: Jakauman määrittely Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman parametrit ovat E( ) = µ = 4 Var( ) = = E( ) = µ = 3 Var( ) = = 1 Cor(, ) = ρ = 0.7 Siten Cov(, ) = ρ = 0.7 1 = 0.9899 TKK (c) Ilkka Mellin (005) 3
Esimerkki: Tiheysfunktion kuvaaja Olkoon (, ) N (4, 3,, 1, 0.7) jolloin µ = 4 = µ = 3 = 1 ρ = 0.7 Kuva oikealla esittää jakauman tiheysfunktiota f (x, y) 0. 0.1 0-0 x 4 6 8 10-0 8 10 6 4 y TKK (c) Ilkka Mellin (005) 4
Esimerkki: Tasa-arvoellipsien yhtälöt Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman todennäköisyysmassan painopisteenä on piste (µ, µ ) = (4, 3) Jakauman tiheysfunktion muodostaman pinnan muodon määräävät tasa-arvoellipsit x 4 y 3 x 4 y 3 Qxy (, ) = + 0.7 1 1 = c (vakio) Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste (µ, µ ) = (4, 3) TKK (c) Ilkka Mellin (005) 5
Esimerkki: Kovarianssimatriisi Olkoon (, ) N (4, 3,, 1, 0.7) Tällöin satunnaismuuttujien ja kovarianssimatriisi on Σ = ρ = ρ 0.7 1 = 0.7 1 1 0.9899 = 0.9899 1 TKK (c) Ilkka Mellin (005) 6
Esimerkki: Kovarianssimatriisin pääakselihajotelma 1/6 Olkoon Σ = ULU kovarianssimatriisin Σ pääakselihajotelma, jossa L on matriisin Σ ominaisarvojen muodostama diagonaalimatriisi ja U on vastaavien ominaisvektoreiden muodostama ortogonaalinen matriisi, jossa ominaisvektorit ovat sarakkeina. TKK (c) Ilkka Mellin (005) 7
Esimerkki: Kovarianssimatriisin pääakselihajotelma /6 Olkoot λ 1 λ matriisin Σ ominaisarvot ja u 1 = (u 11, u 1 ) u = (u 1, u ) niitä vastaavat ominaisvektorit. Tällöin λ1 0 u11 u1 L=, 0 λ U= u1 u ja U ΣU = L U U = UU = I TKK (c) Ilkka Mellin (005) 8
Esimerkki: Kovarianssimatriisin pääakselihajotelma 3/6 Olkoon λ kovarianssimatriisin Σ ominaisarvo. Tällöin λ toteuttaa yhtälön λ det( Σ λi) = det λ = λ ( + ) λ+ = 0 Tämän. asteen yhtälön ratkaisut saadaan kaavasta + ± ( ) + 4 λ = Ratkaisuiksi saadaan λ 1 =.6091 λ = 0.3909 TKK (c) Ilkka Mellin (005) 9
Esimerkki: Kovarianssimatriisin pääakselihajotelma 4/6 Olkoon u = (u 1, u ) kovarianssimatriisin Σ ominaisarvoa λ vastaava ominaisvektori. Tällöin u toteuttaa matriisiyhtälön Σu= λu Koska vaadimme, että uu = u1 + u = 1 niin vektori u = (u 1, u ) saadaan ratkaistuksi yhtälöryhmästä + = λ ( λ) u1 u 0 u1+ ( ) u = 0 u1 + u = 1 TKK (c) Ilkka Mellin (005) 30
Esimerkki: Kovarianssimatriisin pääakselihajotelma 5/6 Ominaisarvoa λ 1 =.6091 vastaavaksi ominaisvektoriksi saadaan u 1 = (u 11, u 1 ) = (0.8517, 0.540) Ominaisarvoa λ = 0.3909 vastaavaksi ominaisvektoriksi saadaan u = (u 1, u ) = ( 0.540, 0.8517) TKK (c) Ilkka Mellin (005) 31
Esimerkki: Kovarianssimatriisin pääakselihajotelma 6/6 Kovarianssimatriisin 0.7 0.9899 Σ = = = 0.7 1 0.9899 1 pääakselihajotelmaksi Σ = ULU saadaan siis λ1 0.6091 0 L = 0 λ = 0 0.3909 u11 u1 0.8517 0.540 U = u1 u = 0.540 0.8517 jossa L on matriisin Σ ominaisarvojen muodostama diagonaalimatriisi ja U on vastaavien ominaisvektoreiden muodostama ortogonaalinen matriisi, jossa ominaisvektorit ovat sarakkeina. TKK (c) Ilkka Mellin (005) 3
Esimerkki: Tasa-arvoellipsit ja niiden pääakselit 1/4 Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman tiheysfunktion muodostaman pinnan muodon määräävien tasa-arvoellipsien pääakselit leikkaavat jakauman todennäköisyysmassan painopisteessä ( µ, µ ) = (4,3) Tasa-arvoellipsien pääakseleiden pituudet suhtautuvat toisiinsa kuten kovarianssimatriisin Σ ominaisarvojen λ 1 =.6091 λ = 0.3909 neliöjuuret ja vastaavat ominaisvektorit määräävät pääakseleiden suunnat. TKK (c) Ilkka Mellin (005) 33
Esimerkki: Tasa-arvoellipsit ja niiden pääakselit /4 Tasa-arvoellipsien pääakseleiden suuntaisten suorien yhtälöt ovat y = a1+ bx 1 y = a + bx jossa u1 0.540 b1 = = = 0.615 u11 0.8517 a1 = µ b1µ = 3 b1 4 = 0.5390 ovat suurempaa ominaisarvoa.6091 vastaavan, pitempään pääakseliin liittyvän suoran kertoimet ja u 0.8517 b = = = 1.654 u1 0.540 a = µ bµ = 3 b 4 = 9.5015 ovat pienempää ominaisarvoa 0.3909 vastaavan, lyhyempään pääakseliin liittyvän suoran kertoimet. TKK (c) Ilkka Mellin (005) 34
Esimerkki: Tasa-arvoellipsit ja niiden pääakselit 3/4 Olkoon (, ) N (4, 3,, 1, 0.7) jolloin µ = 4 = µ = 3 = 1 ρ = 0.7 Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Esimerkiksi uloimman ellipsin sisään jää n. 99.7 % jakauman todennäköisyysmassasta. 10 8 6 4 0 - N (4, 3,, 1, 0.7) ( µ, µ ) - 0 4 6 8 10 TKK (c) Ilkka Mellin (005) 35
Esimerkki: Tasa-arvoellipsit ja niiden pääakselit 4/4 Olkoon (, ) N (4, 3,, 1, 0.7) Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Kuvaan on lisäksi piirretty tasaarvoellipsien pääakselien suuntaiset suorat y = 0.5390 + 0.615 x y = 9.5015 1.654 x 10 8 6 4 0 - N (4, 3,, 1, 0.7) - 0 4 6 8 10 TKK (c) Ilkka Mellin (005) 36
Reunajakaumat Voidaan osoittaa, että kaksiulotteisen normaalijakauman reunajakaumat ovat normaalisia: N(µ, ) N(µ, ) ja niiden tiheysfunktiot ovat 1 1x µ f ( x) = exp π 1 1 y µ f ( y) = exp π TKK (c) Ilkka Mellin (005) 37
Esimerkki: Reunajakaumat 0.5 N(4, ) 0.5 N(3, 1) 0.4 0.4 0.3 0.3 0. 0. 0.1 0.1 0 0-0 4 6 8 10-0 4 6 8 10 Olkoon (, ) N (4, 3,, 1, 0.7) Kuvat yllä esittävät satunnaismuuttujien ja reunajakaumia: N(4, ) N(3, 1) TKK (c) Ilkka Mellin (005) 38
Korreloimattomuus vs riippumattomuus Kaksiulotteisen normaalijakauman tapauksessa satunnaismuuttujien ja korreloimattomuus on yhtäpitävää niiden riippumattomuuden kanssa. Huomautuksia: Satunnaismuuttujien riippumattomuudesta seuraa aina niiden korreloimattomuus. Satunnaismuuttujien korreloimattomuudesta ei yleisesti seuraa niiden riippumattomuus. TKK (c) Ilkka Mellin (005) 39
Korreloimattomuus vs riippumattomuus: Perustelu 1/3 Oletetaan, että satunnaismuuttujat ja noudattavat kaksiulotteista normaalijakaumaa: (, ) N (µ, µ,,, ρ ) Jos satunnaismuuttujat ja ovat riippumattomia, niin ne ovat myös korreloimattomia, koska satunnaismuuttujien riippumattomuudesta seuraa aina niiden korreloimattomuus; ks. lukua Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. Oletetaan nyt, että satunnaismuuttujat ja korreloimattomia eli ρ = 0 TKK (c) Ilkka Mellin (005) 40
Korreloimattomuus vs riippumattomuus: Perustelu /3 Kaksiulotteisen normaalijakauman tiheysfunktio on 1 1 f ( x, y) = exp Q( x, y) π 1 ρ (1 ρ ) x µ y µ x µ y µ Qxy (, ) = ρ + Jos ρ = 0, niin 1 1x µ µ f ( x, y) = exp π + y x µ y µ 1 1 1 1 = exp exp π π = f ( x) f ( y) TKK (c) Ilkka Mellin (005) 41
Korreloimattomuus vs riippumattomuus: Perustelu 3/3 Jos siis ρ = 0, niin f ( xy, ) = f ( xf ) ( y) jossa f (x) ja f (y) ovat satunnaismuuttujien ja reunajakaumien tiheysfunktiot. Koska oletuksesta ρ = 0 seuraa, että kaksiulotteisen normaalijakauman tiheysfunktio voidaan esittää reunajakaumiensa tiheysfunktioiden tulona, niin satunnaismuuttujat ja ovat tällöin rippumattomia; ks. lukua Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. TKK (c) Ilkka Mellin (005) 4
Ehdolliset jakaumat 1/ Kaksiulotteisen normaalijakauman ehdolliset jakaumat ovat normaalisia: ( ( = y )~ N µ, ) jossa µ = E( = y) = µ + ρ ( y µ ) = Var( = y) = (1 ) ρ TKK (c) Ilkka Mellin (005) 43
Ehdolliset jakaumat / Kaksiulotteisen normaalijakauman ehdolliset jakaumat ovat normaalisia: ( ( = x )~ N µ, ) jossa µ = E( = x) = µ + ρ ( x µ ) = Var( = x) = (1 ) ρ TKK (c) Ilkka Mellin (005) 44
Ehdolliset jakaumat: Perustelu 1/4 Esitetään perustelu kaksiulotteisen normaalijakauman ehdollisten jakaumien normaalisuudelle tarkastelemalla satunnaismuuttujan ehdollista jakaumaa satunnaismuuttujan suhteen (ehdolla = x). Olkoon f f ( xy, ) ( y x) = satunnaismuuttujien ja yhteisjakauman tiheysfunktio = satunnaismuuttujan ehdollisen jakauman tiheysfunktio satunnaismuuttujan suhteen = satunnaismuuttujan reunajakauman tiheysfunktio f ( x) Ehdollisen jakauman tiheysfunktion määritelmän mukaan f ( x, y) f ( y x) = f ( x) TKK (c) Ilkka Mellin (005) 45
Ehdolliset jakaumat: Perustelu /4 Kaksiulotteisen normaalijakauman tiheysfunktio f ( x, y) : 1 1 f ( x, y) = exp Q( x, y) π 1 ρ (1 ρ ) x µ y µ x µ y µ Qxy (, ) = ρ + Satunnaismuuttujan reunajakauman tiheysfunktio f ( x) : 1 1x µ f ( x) = exp π TKK (c) Ilkka Mellin (005) 46
Ehdolliset jakaumat: Perustelu 3/4 Nähdään (melko) helposti, että f ( x, y) f ( y x) = f ( x) 1 1 = exp Qy ( x) π ρ (1 ρ) (1 ) Qy ( x) = y µ y ρ ( x µ ) TKK (c) Ilkka Mellin (005) 47
Ehdolliset jakaumat: Perustelu 4/4 Siten satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen (ehdolla = x) on normaalinen: ( = x ) ~ N( µ, ) jossa µ = E( = x) = µ + ρ ( x µ ) = Var( = x) = (1 ρ ) TKK (c) Ilkka Mellin (005) 48
Ehdolliset odotusarvot Satunnaismuuttujan ehdollinen odotusarvo eli regressiofunktio satunnaismuuttujan suhteen E( = y) = µ + ρ ( y µ ) on lineaarinen satunnaismuuttujan arvojen y suhteen. Satunnaismuuttujan ehdollinen odotusarvo eli regressiofunktio satunnaismuuttujan suhteen E( = x) = µ + ρ ( x µ ) on lineaarinen satunnaismuuttujan arvojen x suhteen. TKK (c) Ilkka Mellin (005) 49
Regressiosuorat Kaksiulotteisen multinormaalijakauman regressiokäyrät ovat suoria, joiden yhtälöt voidaan kirjoittaa satunnaismuuttujan saamien arvojen x funktioina seuraaviin muotoihin: (i) y:n regressiosuora x:n suhteen: y = µ + ρ ( x µ ) (ii) x:n regressiosuora y:n suhteen: 1 y = µ + ( x µ ) ρ TKK (c) Ilkka Mellin (005) 50
Regressiosuorien ominaisuudet 1/5 Olkoon y = µ + ρ ( x µ ) y:n regressiosuora x:n suhteen ja 1 y = µ + ( x µ ) ρ x:n regressiosuora y:n suhteen. TKK (c) Ilkka Mellin (005) 51
Regressiosuorien ominaisuudet /5 Regressiosuorilla on seuraavat ominaisuudet: (i) Molemmat regressiosuorat kulkevat jakauman todennäköisyysmassan painopisteen (µ, µ ) kautta. (ii) Molempien regressiosuorien kulmakertoimilla ja satunnaismuuttujien ja korrelaatiokertoimella ρ on aina sama merkki: Suorat ovat nousevia, jos ρ > 0. Suorat ovat laskevia, jos ρ < 0. (iii) y:n regressiosuora x:n suhteen on aina loivempi kuin x:n regressiosuora y:n suhteen, koska ρ 1 TKK (c) Ilkka Mellin (005) 5
Regressiosuorien ominaisuudet 3/5 (iv) (v) y:n regressiosuora x:n suhteen on sitä jyrkempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ x:n regressiosuora y:n suhteen on sitä loivempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ TKK (c) Ilkka Mellin (005) 53
Regressiosuorien ominaisuudet 4/5 (vi) Molemmat regressiosuorat ovat sitä jyrkempiä mitä suurempi on satunnaismuuttujan varianssi (vii) Molemmat regressiosuorat ovat sitä jyrkempiä mitä pienempi on satunnaismuuttujan varianssi (viii) Regressiosuorat yhtyvät täsmälleen silloin, kun ρ = ±1 TKK (c) Ilkka Mellin (005) 54
Regressiosuorien ominaisuudet 5/5 (ix) Jos ρ = 0, niin regressiosuorat ovat kohtisuorassa toisiaan vastaan ja y:n regressiosuora x:n suhteen on y = µ ja x:n regressiosuora y:n suhteen on x = µ jolloin y:n saamat arvot eivät riipu x:n saamista arvoista ja x:n saamat arvot eivät riipu y:n saamista arvoista. TKK (c) Ilkka Mellin (005) 55
Esimerkki: Regressiosuorat 1/ Olkoon (, ) N (4, 3,, 1, 0.7) y:n regressiosuora muuttujan x suhteen on y = µ + ρ ( x µ ) 1 = 3 + 0.7 ( x 4) = 1.001+ 0.4950x x:n regressiosuora muuttujan y suhteen on 1 y = µ + ( x µ ) ρ 1 1 = 3 + ( x 4) = 1.0406 + 1.0101x 0.7 TKK (c) Ilkka Mellin (005) 56
Esimerkki: Regressiosuorat / Olkoon (, ) N (4, 3,, 1, 0.7) Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Kuvan suorista loivempi y = 1.001+ 0.4950 x on y:n regressiosuora x:n suhteen ja suorista jyrkempi y = 1.0406 + 1.0101 x on x:n regressiosuora y:n suhteen. 10 8 6 4 0 - N (4, 3,, 1, 0.7) - 0 4 6 8 10 TKK (c) Ilkka Mellin (005) 57
Regressiosuorat ja standardointi Regressiosuorat voidaan kirjoittaa standardoitujen muuttujien y µ x µ y = x = funktioina seuraaviin muotoihin: y = ρ x y:n regressiosuora x:n suhteen 1 y = x x:n regressiosuora y:n suhteen ρ Standardoitujen muuttujien välisten regressiosuorien kulmakertoimet ovat siis toistensa käänteislukuja. TKK (c) Ilkka Mellin (005) 58
Ehdolliset varianssit 1/ Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on korkeintaan yhtä suuri kuin satunnaismuuttujan varianssi: 0 = (1 ρ ) Jos siis ρ 0, niin satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen vaihtelee x:n regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja oman painopisteensä ympärillä. Lisäksi pätee, että = 0 ρ =± 1 = ρ = 0 TKK (c) Ilkka Mellin (005) 59
Ehdolliset varianssit / Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on korkeintaan yhtä suuri kuin satunnaismuuttujan varianssi: 0 = (1 ρ ) Jos siis ρ 0, niin satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen vaihtelee y:n regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja oman painopisteensä ympärillä. Lisäksi pätee, että = 0 ρ =± 1 = ρ = 0 TKK (c) Ilkka Mellin (005) 60
Ehdolliset varianssit: Kommentti Satunnaismuuttujan ehdollisen varianssin kaavasta = (1 ρ) ja satunnaismuuttujan ehdollisen varianssin kaavasta = (1 ρ) nähdään välittömästi, että kumpikaan ehdollisista variansseista ei riipu ehtomuuttujan arvoista. Siten kaksiulotteisen normaalijakauman kummankaan ehdollisen jakauman todennäköisyysmassan vaihtelu vastaavan regressiosuoran ympärillä ei riipu ehtomuuttujan arvoista. TKK (c) Ilkka Mellin (005) 61
Esimerkki: Ehdolliset varianssit Olkoon (, ) ~ N (4, 3,, 1, 0.7) Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on 0 = (1 ρ ) = (1 0.7 ) 1= 0.51 1= Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on 0 = (1 ρ ) = (1 0.7 ) = 1.0 = TKK (c) Ilkka Mellin (005) 6