Moniulotteisia todennäköisyysjakaumia

Samankaltaiset tiedostot
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteiset satunnaismuuttujat ja jakaumat

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan:

Mat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3

Ilkka Mellin (2008) 1/5

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi. Viikko 3. Kaksiulotteiset satunnaismuuttujat

Johdatus todennäköisyyslaskentaan Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. TKK (c) Ilkka Mellin (2005) 1

Ilkka Mellin Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat

Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat

Sallitut apuvälineet: MAOL-taulukot, kirjoitusvälineet, laskin sekä itse laadittu, A4-kokoinen lunttilappu. f(x, y) = k x y, kun 0 < y < x < 1,

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

Satunnaismuuttujien muunnokset ja niiden jakaumat

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

Johdatus todennäköisyyslaskentaan Satunnaismuuttujien muunnokset ja niiden jakaumat. TKK (c) Ilkka Mellin (2004) 1

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1

10 Moniulotteinen normaalijakauma

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Johdatus regressioanalyysiin

2. Multinormaalijakauma

Johdatus todennäköisyyslaskentaan Jatkuvia jakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1

Normaalijakaumasta johdettuja jakaumia

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Kertymäfunktio. TKK (c) Ilkka Mellin (2007) 1

1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x

031021P Tilastomatematiikka (5 op) viikko 7

Osa 2: Otokset, otosjakaumat ja estimointi

Johdatus todennäköisyyslaskentaan Kertymäfunktio. TKK (c) Ilkka Mellin (2005) 1

Ilkka Mellin Todennäköisyyslaskenta. Osa 3: Todennäköisyysjakaumia. Diskreettejä jakaumia. TKK (c) Ilkka Mellin (2007) 1

5/11 6/11 Vaihe 1. 6/10 4/10 6/10 4/10 Vaihe 2. 5/11 6/11 4/11 7/11 6/11 5/11 5/11 6/11 Vaihe 3

Todennäköisyyslaskun kertaus. Heliövaara 1

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Jakaumien tunnusluvut. TKK (c) Ilkka Mellin (2007) 1

Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus

Sovellettu todennäköisyyslaskenta B

Tilastomatematiikka Kevät 2008

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia

Sovellettu todennäköisyyslaskenta B

Johdatus todennäköisyyslaskentaan Diskreettejä jakaumia. TKK (c) Ilkka Mellin (2005) 1

Sovellettu todennäköisyyslaskenta B

Satunnaismuuttujat ja todennäköisyysjakaumat Kertymäfunktio

Mat Sovellettu todennäköisyyslasku A

Harjoitus 2: Matlab - Statistical Toolbox

4.1. Olkoon X mielivaltainen positiivinen satunnaismuuttuja, jonka odotusarvo on

Otosavaruus ja todennäköisyys Otosavaruus Ë on joukko, jonka alkiot ovat kokeen tulokset Tapahtuma on otosavaruuden osajoukko

30A02000 Tilastotieteen perusteet

Sovellettu todennäköisyyslaskenta B

Inversio-ongelmien laskennallinen peruskurssi Luento 7

Johdatus todennäköisyyslaskentaan Jakaumien tunnusluvut. TKK (c) Ilkka Mellin (2005) 1

7. laskuharjoituskierros, vko 10, ratkaisut

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Regressioanalyysi. Kuusinen/Heliövaara 1

Matemaattinen tilastotiede. Erkki Liski Matematiikan, Tilastotieteen ja Filosofian Laitos Tampereen Yliopisto

Todennäköisyyslaskenta. β versio. Todennäköisyyslaskenta. Ilkka Mellin. Teknillinen korkeakoulu, Matematiikan laboratorio. Ilkka Mellin (2006) I

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

MS-A0003/A Matriisilaskenta Laskuharjoitus 6

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

10 Moniulotteinen normaalijakauma

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Sovellettu todennäköisyyslaskenta B

D ( ) Var( ) ( ) E( ) [E( )]

8.1 Ehdolliset jakaumat

Yleistä tietoa kokeesta

Todennäköisyyden ominaisuuksia

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Diskreetin satunnaismuuttujan odotusarvo, keskihajonta ja varianssi

4.0.2 Kuinka hyvä ennuste on?

Verkot ja todennäköisyyslaskenta Verkko Verkko eli graafi muodostuu pisteiden joukosta V, särmien joukosta A ja insidenssikuvauksesta : A V V jossa

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2

Matemaattinen Analyysi / kertaus

Sallitut apuvälineet: kirjoitusvälineet, laskin sekä käsinkirjoitettu, A4-kokoinen lunttilappu ja MAOL taulukkokirjaa

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

5. laskuharjoituskierros, vko 8, ratkaisut

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

Testit laatueroasteikollisille muuttujille

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

3. laskuharjoituskierros, vko 6, ratkaisut

6 MATRIISIN DIAGONALISOINTI

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

Epäyhtälöt ovat yksi matemaatikon voimakkaimmista

Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Testit järjestysasteikollisille muuttujille

Luento 8: Epälineaarinen optimointi

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH

Käytetään satunnaismuuttujaa samoin kuin tilastotieteen puolella:

Matemaattisten tieteiden kandiohjelma / MTL Todennäköisyyslaskenta IIb Kurssikoe (kesto 2h 30 min)

Testejä suhdeasteikollisille muuttujille

Ominaisarvo ja ominaisvektori

MAT Todennäköisyyslaskenta Tentti / Kimmo Vattulainen

Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1

Lineaarikuvauksen R n R m matriisi

Tekijä Pitkä matematiikka

Tehtäväsarja I Tehtävät 1-5 perustuvat monisteen kappaleisiin ja tehtävä 6 kappaleeseen 2.8.

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

Transkriptio:

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1

Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka Mellin (007)

Multinomijakauma Multinomijakauman tausta 1/3 Multinomijakauma on binomijakauman (ks. lukua Diskreettejä jakaumia) yleistys useamman toisensa poissulkevan tapahtuman tilanteeseen. Olkoon A 1, A,, A k otosavaruuden S ositus. Tällöin: A i A j =, i j S = A 1 A A k Olkoot tapahtumien A 1, A,, A k todennäköisyydet: Pr(A i ) = p i, i = 1,,, k p 1 + p + + p k = 1 TKK (c) Ilkka Mellin (007) 3

Multinomijakauma Multinomijakauman tausta /3 Määritellään satunnaismuuttujat i, i = 1,,, k: i = Tapahtuman A i esiintymisten lukumäärä n-kertaisessa toistokokeessa Tällöin i ~Bin( n, pi), i = 1,,, k jossa p i = Pr(A i ), i = 1,,, k Lisäksi + + + = n 1 k TKK (c) Ilkka Mellin (007) 4

Multinomijakauma Multinomijakauman tausta 3/3 Multinomijakaumalla tarkoitetaan satunnaismuuttujien 1,,, k yhteisjakaumaa. Huomautus: Satunnaismuuttuja i eivät ole riippumattomia, koska niitä sitoo toisiinsa ehto 1+ + + k = n jossa toistokokeiden lukumäärä n on kiinteä luku. TKK (c) Ilkka Mellin (007) 5

Multinomijakauma Multinomijakauma ja sen pistetodennäköisyysfunktio Satunnaismuuttujat 1,,, k noudattavat (k 1)- ulotteista multinomijakaumaa, jos niiden yhteisjakauman pistetodennäköisyysfunktio on muotoa Pr( 1 = n1 ja = n ja ja k = nk) n! n1 n nk = p1 p pk n1! n! nk! jossa p1+ p + + pk = 1 n1+ n + + nk = n Merkintä: ( 1,,, k ) Multinom(p 1, p,, p k ; n) TKK (c) Ilkka Mellin (007) 6

Multinomijakauma Multinomijakauman ominaisuuksia Jos k =, niin multinomijakauma yhtyy binomijakaumaan: Pr Multinom( 1 = n1 ja = n n1) = Pr Bin( 1 = n1) Multinomijakauman yksiulotteiset reunajakaumat ovat binomijakaumia. Multinomitodennäköisyydet saadaan korottamalla multinomi (p 1 + p + + p k ) potenssiin n: n n! n1 n n ( p1+ p + + p ) = k k p1 p pk n1! n! nk! jossa summa lasketaan yli kaikkien lukujen n 1, n,, n k, joille pätee ehto n 1 + n + + n k = n TKK (c) Ilkka Mellin (007) 7

Moniulotteisia todennäköisyysjakaumia Multinomijakauma >> Kaksiulotteinen normaalijakauma TKK (c) Ilkka Mellin (007) 8

Kaksiulotteinen normaalijakauma Kaksiulotteinen normaalijakauma on normaalijakauman (ks. lukua Jatkuvia jakaumia) kaksiulotteinen yleistys. Huomautus: Normaalijakauman yleistystä p-ulotteiseen avaruuteen (p > 1) kutsutaan multinormaalijakaumaksi tai p-ulotteiseksi normaalijakaumaksi. TKK (c) Ilkka Mellin (007) 9

Kaksiulotteinen normaalijakauma ja sen tiheysfunktio 1/ Satunnaismuuttujat ja noudattavat kaksiulotteista normaalijakaumaa, jos niiden yhteisjakauman tiheysfunktio on muotoa 1 1 f ( x, y) = exp Q( x, y) π (1 ) 1 ρ ρ jossa x y x y Qxy (, ) µ µ µ µ ρ = + Merkintä: (, ) N (µ, µ,,, ρ ) TKK (c) Ilkka Mellin (007) 10

Kaksiulotteinen normaalijakauma ja sen tiheysfunktio / Kaksiulotteisen normaalijakauman N (µ, µ,,, ρ ) parametrien on toteuttava seuraavat ehdot: < µ < + > 0 < µ < + > 0 1< ρ <+ 1 TKK (c) Ilkka Mellin (007) 11

Kaksiulotteinen normaalijakauman parametrit Olkoon (, ) N (µ, µ,,, ρ ) Kaksiulotteisen normaalijakauman parametreina, jotka täysin määräävät jakauman, ovat satunnaismuuttujien ja odotusarvot ja varianssit sekä niiden korrelaatio: E( ) = µ Var( ) = E( ) = µ Var( ) = Cor(, ) = ρ Lisäksi Cov(, ) = = ρ TKK (c) Ilkka Mellin (007) 1

Tiheysfunktion ominaisuudet Kaksiulotteisen normaalijakauman tiheysfunktio määrittelee pinnan z = f (x, y) kolmiulotteisessa avaruudessa. Pinnalla on maksimi satunnaismuuttujien ja odotusarvojen µ ja µ määräämässä jakauman todennäköisyysmassan painopisteessä (µ, µ ). Pinnan muodon määräävät tasa-arvoellipsit x y x y Qxy (, ) µ µ µ µ ρ = + = c (vakio) TKK (c) Ilkka Mellin (007) 13

Tasa-arvoellipsien ominaisuudet 1/3 Kaksiulotteisen normaalijakauman tiheysfunktion muodostaman pinnan muodon määräävillä tasaarvoellipseillä on seuraavat ominaisuudet: (i) Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste (µ, µ ) (ii) Ellipsien eksentrisyys on sekä korrelaatiokertoimen ρ että standardipoikkeamien ja funktio. (iii) Ellipsi on sitä eksentrisempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ TKK (c) Ilkka Mellin (007) 14

Tasa-arvoellipsien ominaisuudet /3 (iv) Jos ρ = 0 ellipsien pääakselit ovat koordinaattiakseleiden suuntaiset. (v) Jos ρ = 0 ja lisäksi = niin ellipsit ovat ympyröitä. (vi) Jos ρ = ±1 niin ellipsit surkastuvat janoiksi. TKK (c) Ilkka Mellin (007) 15

Tasa-arvoellipsien ominaisuudet 3/3 Tasa-arvoellipsien pääakselit ovat satunnaismuuttujien ja kovarianssimatriisin Σ = ominaisvektoreiden suuntaiset ja niiden pituudet suhtautuvat toisiinsa kuten matriisin Σ ominaisarvojen neliöjuuret. TKK (c) Ilkka Mellin (007) 16

Esimerkki: Jakauman määrittely Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman parametrit ovat E( ) = µ = 4 Var( ) = = E( ) = µ = 3 Var( ) = = 1 Cor(, ) = ρ = 0.7 Siten Cov(, ) = ρ = 0.7 1 = 0.9899 TKK (c) Ilkka Mellin (007) 17

Esimerkki: Tiheysfunktion kuvaaja Olkoon (, ) N (4, 3,, 1, 0.7) jolloin µ = 4 = µ = 3 = 1 ρ = 0.7 Kuva oikealla esittää jakauman tiheysfunktiota f (x, y) 0. 0.1 0-0 x 4 6 8 10-0 8 10 6 4 y TKK (c) Ilkka Mellin (007) 18

Esimerkki: Tasa-arvoellipsien yhtälöt Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman todennäköisyysmassan painopisteenä on piste (µ, µ ) = (4, 3) Jakauman tiheysfunktion muodostaman pinnan muodon määräävät tasa-arvoellipsit x 4 y 3 x 4 y 3 Qxy (, ) = + 0.7 1 1 = c (vakio) Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste (µ, µ ) = (4, 3) TKK (c) Ilkka Mellin (007) 19

Esimerkki: Kovarianssimatriisi Olkoon (, ) N (4, 3,, 1, 0.7) Tällöin satunnaismuuttujien ja kovarianssimatriisi on Σ = ρ = ρ 0.7 1 = 0.7 1 1 0.9899 = 0.9899 1 TKK (c) Ilkka Mellin (007) 0

Esimerkki: Kovarianssimatriisin pääakselihajotelma 1/6 Olkoon Σ = ULU kovarianssimatriisin Σ pääakselihajotelma, jossa L on matriisin Σ ominaisarvojen muodostama diagonaalimatriisi ja U on vastaavien ominaisvektoreiden muodostama ortogonaalinen matriisi, jossa ominaisvektorit ovat sarakkeina. TKK (c) Ilkka Mellin (007) 1

Esimerkki: Kovarianssimatriisin pääakselihajotelma /6 Olkoot λ 1 λ matriisin Σ ominaisarvot ja u 1 = (u 11, u 1 ) u = (u 1, u ) niitä vastaavat ominaisvektorit. Tällöin λ1 0 u11 u1 L=, 0 λ U= u1 u ja U ΣU = L U U = UU = I TKK (c) Ilkka Mellin (007)

Esimerkki: Kovarianssimatriisin pääakselihajotelma 3/6 Olkoon λ kovarianssimatriisin Σ ominaisarvo. Tällöin λ toteuttaa yhtälön λ det( Σ λi) = det λ = λ ( + ) λ+ = 0 Tämän. asteen yhtälön ratkaisut saadaan kaavasta + ± ( ) + 4 λ = Ratkaisuiksi saadaan λ 1 =.6091 λ = 0.3909 TKK (c) Ilkka Mellin (007) 3

Esimerkki: Kovarianssimatriisin pääakselihajotelma 4/6 Olkoon u = (u 1, u ) kovarianssimatriisin Σ ominaisarvoa λ vastaava ominaisvektori. Tällöin u toteuttaa matriisiyhtälön Σu= λu Koska vaadimme, että uu = u1 + u = 1 niin vektori u = (u 1, u ) saadaan ratkaistuksi yhtälöryhmästä + = λ ( λ) u1 u 0 u1+ ( ) u = 0 u1 + u = 1 TKK (c) Ilkka Mellin (007) 4

Esimerkki: Kovarianssimatriisin pääakselihajotelma 5/6 Ominaisarvoa λ 1 =.6091 vastaavaksi ominaisvektoriksi saadaan u 1 = (u 11, u 1 ) = (0.8517, 0.540) Ominaisarvoa λ = 0.3909 vastaavaksi ominaisvektoriksi saadaan u = (u 1, u ) = ( 0.540, 0.8517) TKK (c) Ilkka Mellin (007) 5

Esimerkki: Kovarianssimatriisin pääakselihajotelma 6/6 Kovarianssimatriisin 0.7 0.9899 Σ = = = 0.9899 1 0.7 1 pääakselihajotelmaksi Σ = ULU saadaan siis λ1 0.6091 0 L = = 0 λ 0 0.3909 u11 u1 0.8517 0.540 U = = u1 u 0.540 0.8517 jossa L on matriisin Σ ominaisarvojen muodostama diagonaalimatriisi ja U on vastaavien ominaisvektoreiden muodostama ortogonaalinen matriisi, jossa ominaisvektorit ovat sarakkeina. TKK (c) Ilkka Mellin (007) 6

Esimerkki: Tasa-arvoellipsit ja niiden pääakselit 1/4 Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman tiheysfunktion muodostaman pinnan muodon määräävien tasa-arvoellipsien pääakselit leikkaavat jakauman todennäköisyysmassan painopisteessä ( µ, µ ) = (4,3) Tasa-arvoellipsien pääakseleiden pituudet suhtautuvat toisiinsa kuten kovarianssimatriisin Σ ominaisarvojen λ 1 =.6091 λ = 0.3909 neliöjuuret ja vastaavat ominaisvektorit määräävät pääakseleiden suunnat. TKK (c) Ilkka Mellin (007) 7

Esimerkki: Tasa-arvoellipsit ja niiden pääakselit /4 Tasa-arvoellipsien pääakseleiden suuntaisten suorien yhtälöt ovat y = a1+ bx 1 y = a + bx jossa u1 0.540 b1 = = = 0.615 u11 0.8517 a1 = µ b1µ = 3 b1 4 = 0.5390 ovat suurempaa ominaisarvoa.6091 vastaavan, pitempään pääakseliin liittyvän suoran kertoimet ja u 0.8517 b = = = 1.654 u1 0.540 a = µ bµ = 3 b 4 = 9.5015 ovat pienempää ominaisarvoa 0.3909 vastaavan, lyhyempään pääakseliin liittyvän suoran kertoimet. TKK (c) Ilkka Mellin (007) 8

Esimerkki: Tasa-arvoellipsit ja niiden pääakselit 3/4 Olkoon (, ) N (4, 3,, 1, 0.7) jolloin µ = 4 = µ = 3 = 1 ρ = 0.7 Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Esimerkiksi uloimman ellipsin sisään jää n. 99.7 % jakauman todennäköisyysmassasta. 10 8 6 4 0 - N (4, 3,, 1, 0.7) ( µ, µ ) - 0 4 6 8 10 TKK (c) Ilkka Mellin (007) 9

Esimerkki: Tasa-arvoellipsit ja niiden pääakselit 4/4 Olkoon (, ) N (4, 3,, 1, 0.7) Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Kuvaan on lisäksi piirretty tasaarvoellipsien pääakselien suuntaiset suorat y = 0.5390 + 0.615 x y = 9.5015 1.654 x 10 8 6 4 0 - N (4, 3,, 1, 0.7) - 0 4 6 8 10 TKK (c) Ilkka Mellin (007) 30

Reunajakaumat Voidaan osoittaa, että kaksiulotteisen normaalijakauman reunajakaumat ovat normaalisia: N(µ, ) N(µ, ) ja niiden tiheysfunktiot ovat 1 1 x µ f ( x) = exp π 1 1 y µ f ( y) = exp π TKK (c) Ilkka Mellin (007) 31

Esimerkki: Reunajakaumat 0.5 N(4, ) 0.5 N(3, 1) 0.4 0.4 0.3 0.3 0. 0. 0.1 0.1 0 0-0 4 6 8 10-0 4 6 8 10 Olkoon (, ) N (4, 3,, 1, 0.7) Kuvat yllä esittävät satunnaismuuttujien ja reunajakaumia: N(4, ) N(3, 1) TKK (c) Ilkka Mellin (007) 3

Korreloimattomuus vs riippumattomuus Kaksiulotteisen normaalijakauman tapauksessa satunnaismuuttujien ja korreloimattomuus on yhtäpitävää niiden riippumattomuuden kanssa. Huomautuksia: Satunnaismuuttujien riippumattomuudesta seuraa aina niiden korreloimattomuus. Satunnaismuuttujien korreloimattomuudesta ei yleisesti seuraa niiden riippumattomuus. TKK (c) Ilkka Mellin (007) 33

Korreloimattomuus vs riippumattomuus: Perustelu 1/3 Oletetaan, että satunnaismuuttujat ja noudattavat kaksiulotteista normaalijakaumaa: (, ) N (µ, µ,,, ρ ) Jos satunnaismuuttujat ja ovat riippumattomia, niin ne ovat myös korreloimattomia, koska satunnaismuuttujien riippumattomuudesta seuraa aina niiden korreloimattomuus; ks. lukua Moniulotteiset satunnaismuuttujat ja jakaumat. Oletetaan nyt, että satunnaismuuttujat ja korreloimattomia eli ρ = 0 TKK (c) Ilkka Mellin (007) 34

Korreloimattomuus vs riippumattomuus: Perustelu /3 Kaksiulotteisen normaalijakauman tiheysfunktio on 1 1 f ( x, y) = exp Q( x, y) π 1 ρ (1 ρ ) x µ y µ x µ y µ Qxy (, ) = ρ + Jos ρ = 0, niin 1 1 x µ µ f ( x, y) = exp π + y x µ y µ 1 1 1 1 = exp exp π π = f ( x) f ( y) TKK (c) Ilkka Mellin (007) 35

Korreloimattomuus vs riippumattomuus: Perustelu 3/3 Jos siis ρ = 0, niin f ( x, y) = f ( x) f ( y) jossa f (x) ja f (y) ovat satunnaismuuttujien ja reunajakaumien tiheysfunktiot. Koska oletuksesta ρ = 0 seuraa, että kaksiulotteisen normaalijakauman tiheysfunktio voidaan esittää reunajakaumiensa tiheysfunktioiden tulona, niin satunnaismuuttujat ja ovat tällöin rippumattomia; ks. lukua Moniulotteiset satunnaismuuttujat ja jakaumat. TKK (c) Ilkka Mellin (007) 36

Ehdolliset jakaumat 1/ Kaksiulotteisen normaalijakauman ehdolliset jakaumat ovat normaalisia: ( ( = y )~ N µ, ) jossa µ = E( = y) = µ + ρ ( y µ ) = Var( = y) = (1 ) ρ TKK (c) Ilkka Mellin (007) 37

Ehdolliset jakaumat / Kaksiulotteisen normaalijakauman ehdolliset jakaumat ovat normaalisia: ( ( = x )~ N µ, ) jossa µ = E( = x) = µ + ρ ( x µ ) = Var( = x) = (1 ) ρ TKK (c) Ilkka Mellin (007) 38

Ehdolliset jakaumat: Perustelu 1/4 Esitetään perustelu kaksiulotteisen normaalijakauman ehdollisten jakaumien normaalisuudelle tarkastelemalla satunnaismuuttujan ehdollista jakaumaa satunnaismuuttujan suhteen (ehdolla = x). Olkoon f f ( x, y) ( y x) = satunnaismuuttujien ja yhteisjakauman tiheysfunktio = satunnaismuuttujan ehdollisen jakauman tiheysfunktio satunnaismuuttujan suhteen = satunnaismuuttujan reunajakauman tiheysfunktio f ( x) Ehdollisen jakauman tiheysfunktion määritelmän mukaan f ( x, y) f ( y x) = f ( x) TKK (c) Ilkka Mellin (007) 39

Ehdolliset jakaumat: Perustelu /4 Kaksiulotteisen normaalijakauman tiheysfunktio f ( x, y) : 1 1 f ( x, y) = exp Q( x, y) π 1 ρ (1 ρ ) x µ y µ x µ y µ Qxy (, ) = ρ + Satunnaismuuttujan reunajakauman tiheysfunktio f ( x) : 1 1 x µ f ( x) = exp π TKK (c) Ilkka Mellin (007) 40

Ehdolliset jakaumat: Perustelu 3/4 Nähdään (melko) helposti, että f ( x, y) f ( y x) = f ( x) 1 1 = exp Qy ( x) π ρ (1 ρ) (1 ) Qy ( x) = y µ y ρ ( x µ ) TKK (c) Ilkka Mellin (007) 41

Ehdolliset jakaumat: Perustelu 4/4 Siten satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen (ehdolla = x) on normaalinen: ( = x )~ N( µ, ) jossa µ = E( = x) = µ + ρ ( x µ ) = Var( = x) = (1 ρ ) TKK (c) Ilkka Mellin (007) 4

Ehdolliset odotusarvot Satunnaismuuttujan ehdollinen odotusarvo eli regressiofunktio satunnaismuuttujan suhteen E( = y) = µ + ρ ( y µ ) on lineaarinen satunnaismuuttujan arvojen y suhteen. Satunnaismuuttujan ehdollinen odotusarvo eli regressiofunktio satunnaismuuttujan suhteen E( = x) = µ + ρ ( x µ ) on lineaarinen satunnaismuuttujan arvojen x suhteen. TKK (c) Ilkka Mellin (007) 43

Regressiosuorat Kaksiulotteisen multinormaalijakauman regressiokäyrät ovat suoria, joiden yhtälöt voidaan kirjoittaa satunnaismuuttujan saamien arvojen x funktioina seuraaviin muotoihin: (i) x:n regressiosuora y:n suhteen: 1 y = µ + ( x µ ) ρ (ii) y:n regressiosuora x:n suhteen: y = µ + ρ ( x µ ) TKK (c) Ilkka Mellin (007) 44

Regressiosuorien ominaisuudet 1/5 Olkoon 1 y = µ + ( x µ ) ρ x:n regressiosuora y:n suhteen ja y = µ + ρ ( x µ ) y:n regressiosuora x:n suhteen. TKK (c) Ilkka Mellin (007) 45

Regressiosuorien ominaisuudet /5 Regressiosuorilla on seuraavat ominaisuudet: (i) Molemmat regressiosuorat kulkevat jakauman todennäköisyysmassan painopisteen (µ, µ ) kautta. (ii) Molempien regressiosuorien kulmakertoimilla ja satunnaismuuttujien ja korrelaatiokertoimella ρ on aina sama merkki: Suorat ovat nousevia, jos ρ > 0. Suorat ovat laskevia, jos ρ < 0. (iii) x:n regressiosuora y:n suhteen on aina jyrkempi kuin y:n regressiosuora x:n suhteen, koska ρ 1 TKK (c) Ilkka Mellin (007) 46

Regressiosuorien ominaisuudet 3/5 (iv) (v) x:n regressiosuora y:n suhteen on sitä loivempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ y:n regressiosuora x:n suhteen on sitä jyrkempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ TKK (c) Ilkka Mellin (007) 47

Regressiosuorien ominaisuudet 4/5 (vii) Molemmat regressiosuorat ovat sitä jyrkempiä mitä pienempi on satunnaismuuttujan varianssi (vi) Molemmat regressiosuorat ovat sitä jyrkempiä mitä suurempi on satunnaismuuttujan varianssi (viii) Regressiosuorat yhtyvät täsmälleen silloin, kun ρ = ±1 TKK (c) Ilkka Mellin (007) 48

Regressiosuorien ominaisuudet 5/5 (ix) Jos ρ = 0, niin regressiosuorat ovat kohtisuorassa toisiaan vastaan ja x:n regressiosuora y:n suhteen on x = µ ja y:n regressiosuora x:n suhteen on y = µ jolloin x:n saamat arvot eivät riipu y:n saamista arvoista ja y:n saamat arvot eivät riipu x:n saamista arvoista. TKK (c) Ilkka Mellin (007) 49

Esimerkki: Regressiosuorat 1/ Olkoon (, ) N (4, 3,, 1, 0.7) x:n regressiosuora muuttujan y suhteen on 1 y = µ + ( x µ ) ρ 1 1 = 3 + ( x 4) = 1.0406 + 1.0101x 0.7 y:n regressiosuora muuttujan x suhteen on y = µ + ρ ( x µ ) 1 = 3 + 0.7 ( x 4) = 1.001+ 0.4950x TKK (c) Ilkka Mellin (007) 50

Esimerkki: Regressiosuorat / Olkoon (, ) N (4, 3,, 1, 0.7) Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Kuvan suorista jyrkempi y = 1.0406 + 1.0101 x on x:n regressiosuora y:n suhteen ja suorista loivempi y = 1.001+ 0.4950 x on y:n regressiosuora x:n suhteen. 10 8 6 4 0 - N (4, 3,, 1, 0.7) - 0 4 6 8 10 TKK (c) Ilkka Mellin (007) 51

Regressiosuorat ja standardointi Regressiosuorat voidaan kirjoittaa standardoitujen muuttujien x µ y µ x = y = funktioina seuraaviin muotoihin: 1 y = ρ x x:n regressiosuora y:n suhteen y = ρ x y:n regressiosuora x:n suhteen Standardoitujen muuttujien välisten regressiosuorien kulmakertoimet ovat siis toistensa käänteislukuja. TKK (c) Ilkka Mellin (007) 5

Ehdolliset varianssit 1/ Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on korkeintaan yhtä suuri kuin satunnaismuuttujan varianssi: 0 = (1 ρ ) Jos siis ρ 0, niin satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen vaihtelee x:n regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja oman painopisteensä ympärillä. Lisäksi pätee, että = 0 ρ =± 1 = ρ = 0 TKK (c) Ilkka Mellin (007) 53

Ehdolliset varianssit / Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on korkeintaan yhtä suuri kuin satunnaismuuttujan varianssi: 0 = (1 ρ ) Jos siis ρ 0, niin satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen vaihtelee y:n regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja oman painopisteensä ympärillä. Lisäksi pätee, että = 0 ρ =± 1 = ρ = 0 TKK (c) Ilkka Mellin (007) 54

Ehdolliset varianssit: Kommentti Satunnaismuuttujan ehdollisen varianssin kaavasta = (1 ρ ) ja satunnaismuuttujan ehdollisen varianssin kaavasta = (1 ρ ) nähdään välittömästi, että kumpikaan ehdollisista variansseista ei riipu ehtomuuttujan arvoista. Siten kaksiulotteisen normaalijakauman kummankaan ehdollisen jakauman todennäköisyysmassan vaihtelu vastaavan regressiosuoran ympärillä ei riipu ehtomuuttujan arvoista. TKK (c) Ilkka Mellin (007) 55

Esimerkki: Ehdolliset varianssit Olkoon (, ) ~ N (4, 3,, 1, 0.7) Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on 0 = (1 ρ ) = (1 0.7 ) = 1.0 = Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on 0 = (1 ρ ) = (1 0.7 ) 1= 0.51 1= TKK (c) Ilkka Mellin (007) 56