Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia

Samankaltaiset tiedostot
Moniulotteisia todennäköisyysjakaumia

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteiset satunnaismuuttujat ja jakaumat

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan:

Mat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3

Ilkka Mellin (2008) 1/5

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi. Viikko 3. Kaksiulotteiset satunnaismuuttujat

Johdatus todennäköisyyslaskentaan Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. TKK (c) Ilkka Mellin (2005) 1

Ilkka Mellin Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat

Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat

Sallitut apuvälineet: MAOL-taulukot, kirjoitusvälineet, laskin sekä itse laadittu, A4-kokoinen lunttilappu. f(x, y) = k x y, kun 0 < y < x < 1,

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

Satunnaismuuttujien muunnokset ja niiden jakaumat

Johdatus todennäköisyyslaskentaan Satunnaismuuttujien muunnokset ja niiden jakaumat. TKK (c) Ilkka Mellin (2004) 1

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1

10 Moniulotteinen normaalijakauma

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1

Johdatus regressioanalyysiin

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Jatkuvia jakaumia. TKK (c) Ilkka Mellin (2005) 1

2. Multinormaalijakauma

031021P Tilastomatematiikka (5 op) viikko 7

Normaalijakaumasta johdettuja jakaumia

1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x

Osa 2: Otokset, otosjakaumat ja estimointi

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Kertymäfunktio. TKK (c) Ilkka Mellin (2007) 1

Todennäköisyyslaskun kertaus. Heliövaara 1

Ilkka Mellin Todennäköisyyslaskenta. Osa 3: Todennäköisyysjakaumia. Diskreettejä jakaumia. TKK (c) Ilkka Mellin (2007) 1

Tilastomatematiikka Kevät 2008

Johdatus todennäköisyyslaskentaan Kertymäfunktio. TKK (c) Ilkka Mellin (2005) 1

Lineaarikombinaatio, lineaarinen riippuvuus/riippumattomuus

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia

5/11 6/11 Vaihe 1. 6/10 4/10 6/10 4/10 Vaihe 2. 5/11 6/11 4/11 7/11 6/11 5/11 5/11 6/11 Vaihe 3

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia

Johdatus todennäköisyyslaskentaan Diskreettejä jakaumia. TKK (c) Ilkka Mellin (2005) 1

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Jakaumien tunnusluvut. TKK (c) Ilkka Mellin (2007) 1

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B

4.1. Olkoon X mielivaltainen positiivinen satunnaismuuttuja, jonka odotusarvo on

Otosavaruus ja todennäköisyys Otosavaruus Ë on joukko, jonka alkiot ovat kokeen tulokset Tapahtuma on otosavaruuden osajoukko

Sovellettu todennäköisyyslaskenta B

Satunnaismuuttujat ja todennäköisyysjakaumat Kertymäfunktio

30A02000 Tilastotieteen perusteet

Mat Sovellettu todennäköisyyslasku A

Harjoitus 2: Matlab - Statistical Toolbox

10 Moniulotteinen normaalijakauma

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Todennäköisyyden ominaisuuksia

Matemaattinen tilastotiede. Erkki Liski Matematiikan, Tilastotieteen ja Filosofian Laitos Tampereen Yliopisto

Todennäköisyyslaskenta. β versio. Todennäköisyyslaskenta. Ilkka Mellin. Teknillinen korkeakoulu, Matematiikan laboratorio. Ilkka Mellin (2006) I

Regressioanalyysi. Kuusinen/Heliövaara 1

Inversio-ongelmien laskennallinen peruskurssi Luento 7

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

4.0.2 Kuinka hyvä ennuste on?

MS-A0003/A Matriisilaskenta Laskuharjoitus 6

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

7. laskuharjoituskierros, vko 10, ratkaisut

8.1 Ehdolliset jakaumat

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Sovellettu todennäköisyyslaskenta B

D ( ) Var( ) ( ) E( ) [E( )]

Johdatus todennäköisyyslaskentaan Jakaumien tunnusluvut. TKK (c) Ilkka Mellin (2005) 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Diskreetin satunnaismuuttujan odotusarvo, keskihajonta ja varianssi

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

Epäyhtälöt ovat yksi matemaatikon voimakkaimmista

2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

Sallitut apuvälineet: kirjoitusvälineet, laskin sekä käsinkirjoitettu, A4-kokoinen lunttilappu ja MAOL taulukkokirjaa

Yleistä tietoa kokeesta

Matemaattinen Analyysi / kertaus

6 MATRIISIN DIAGONALISOINTI

MAT Todennäköisyyslaskenta Tentti / Kimmo Vattulainen

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Verkot ja todennäköisyyslaskenta Verkko Verkko eli graafi muodostuu pisteiden joukosta V, särmien joukosta A ja insidenssikuvauksesta : A V V jossa

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Matemaattisten tieteiden kandiohjelma / MTL Todennäköisyyslaskenta IIb Kurssikoe (kesto 2h 30 min)

Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Testit järjestysasteikollisille muuttujille

Käytetään satunnaismuuttujaa samoin kuin tilastotieteen puolella:

Testejä suhdeasteikollisille muuttujille

Ominaisarvo ja ominaisvektori

Testit laatueroasteikollisille muuttujille

Sovellettu todennäköisyyslaskenta B

5. laskuharjoituskierros, vko 8, ratkaisut

Tekijä Pitkä matematiikka

Lineaarikuvauksen R n R m matriisi

Luento 8: Epälineaarinen optimointi

Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH

Transkriptio:

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1

Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka Mellin (006)

Multinomijakauma Multinomijakauman tausta 1/3 Multinomijakauma on binomijakauman (ks. lukua Diskreettejä jakaumia) yleistys useamman toisensa poissulkevan tapahtuman tilanteeseen. Olkoon A 1, A,, A k otosavaruuden S ositus. Tällöin: A i A j =, i j S = A 1 A A k Olkoot tapahtumien A 1, A,, A k todennäköisyydet: Pr(A i ) = p i, i = 1,,, k p 1 + p + + p k = 1 TKK (c) Ilkka Mellin (006) 3

Multinomijakauma Multinomijakauman tausta /3 Määritellään satunnaismuuttujat i, i = 1,,, k: Tällöin jossa Lisäksi i = Tapahtuman A i esiintymisten lukumäärä n kertaisessa toistokokeessa ~ Bin( n, p ), i = 1,, K, k i p i = Pr(A i ), i = 1,,, k + + L+ = n 1 k i TKK (c) Ilkka Mellin (006) 4

Multinomijakauma Multinomijakauman tausta 3/3 Multinomijakaumalla tarkoitetaan satunnaismuuttujien 1,,, k yhteisjakaumaa. Huomautus: Satunnaismuuttuja i eivät ole riippumattomia, koska niitä sitoo toisiinsa ehto + + L+ = n 1 k jossa toistokokeiden lukumäärä n on kiinteä luku. TKK (c) Ilkka Mellin (006) 5

Multinomijakauma Multinomijakauma ja sen pistetodennäköisyysfunktio Satunnaismuuttujat 1,,, k noudattavat (k 1) ulotteista multinomijakaumaa, jos niiden yhteisjakauman pistetodennäköisyysfunktio on muotoa Pr( = n ja = n ja K ja = n ) 1 1 n! n = p p n1! n! Lnk! jossa p + p + L+ p = 1 1 n1+ n + L+ nk = n Merkintä: k n 1 1 Lp ( 1,,, k ) Multinom(p 1, p,, p k ; n) n k k k k TKK (c) Ilkka Mellin (006) 6

Multinomijakauma Multinomijakauman ominaisuuksia Jos k =, niin multinomijakauma yhtyy binomijakaumaan: Pr Multinom( 1 = n1 ja = n n1) = Pr Bin( 1 = n1) Multinomijakauman yksiulotteiset reunajakaumat ovat binomijakaumia. Multinomitodennäköisyydet saadaan korottamalla multinomi (p 1 + p + + p k ) potenssiin n: n n! n1 n n ( p1+ p + L+ p ) = k k p1 p Lpk n1! n! Lnk! jossa summa lasketaan yli kaikkien lukujen n 1, n,,n k, joille pätee ehto n 1 + n + + n k = n TKK (c) Ilkka Mellin (006) 7

Moniulotteisia todennäköisyysjakaumia Multinomijakauma >> Kaksiulotteinen normaalijakauma TKK (c) Ilkka Mellin (006) 8

Kaksiulotteinen normaalijakauma Kaksiulotteinen normaalijakauma on normaalijakauman (ks. lukua Jatkuvia jakaumia) kaksiulotteinen yleistys. Huomautus: Normaalijakauman yleistystä p ulotteiseen avaruuteen (p > 1) kutsutaan multinormaalijakaumaksi tai p ulotteiseksi normaalijakaumaksi. TKK (c) Ilkka Mellin (006) 9

Kaksiulotteinen normaalijakauma ja sen tiheysfunktio 1/ Satunnaismuuttujat ja noudattavat kaksiulotteista normaalijakaumaa, jos niiden yhteisjakauman tiheysfunktio on muotoa 1 1 f ( xy, ) = exp Qxy (, ) π 1 (1 ρ ) ρ jossa x y x y Qxy (, ) µ µ µ µ ρ = + Merkintä: (, ) N (µ, µ,,, ρ ) TKK (c) Ilkka Mellin (006) 10

Kaksiulotteinen normaalijakauma ja sen tiheysfunktio / Kaksiulotteisen normaalijakauman N (µ, µ,,, ρ ) parametrien on toteuttava seuraavat ehdot: < µ <+ > < µ < + > 1< ρ <+ 1 0 0 TKK (c) Ilkka Mellin (006) 11

Kaksiulotteinen normaalijakauman parametrit Olkoon (, ) N (µ, µ,,, ρ ) Kaksiulotteisen normaalijakauman parametreina, jotka täysin määräävät jakauman, ovat satunnaismuuttujien ja odotusarvot ja varianssit sekä niiden korrelaatio: Lisäksi E( ) = µ Var( ) = E( ) = µ Var( ) = Cor(, ) = ρ Cov(, ) = = ρ TKK (c) Ilkka Mellin (006) 1

Tiheysfunktion ominaisuudet Kaksiulotteisen normaalijakauman tiheysfunktio muodostaa pinnan z = f (x, y) kolmiulotteisessa avaruudessa. Pinnalla on maksimi satunnaismuuttujien ja odotusarvojen µ ja µ määräämässä jakauman todennäköisyysmassan painopisteessä (µ, µ ). Pinnan muodon määräävät tasa arvoellipsit x y x y Qxy (, ) µ µ µ µ ρ = + = c(vakio) TKK (c) Ilkka Mellin (006) 13

Tasa arvoellipsien ominaisuudet 1/3 Kaksiulotteisen normaalijakauman tiheysfunktion muodostaman pinnan muodon määräävillä tasaarvoellipseillä on seuraavat ominaisuudet: (i) Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste (µ, µ ) (ii) Ellipsien eksentrisyys on sekä korrelaatiokertoimen ρ että standardipoikkeamien ja funktio. (iii) Ellipsi on sitä eksentrisempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ TKK (c) Ilkka Mellin (006) 14

Tasa arvoellipsien ominaisuudet /3 (iv) Jos ρ = 0 ellipsien pääakselit ovat koordinaattiakseleiden suuntaiset. (v) Jos ρ = 0 ja lisäksi = niin ellipsit ovat ympyröitä. (vi) Jos ρ = ±1 niin ellipsit surkastuvat janoiksi. TKK (c) Ilkka Mellin (006) 15

Tasa arvoellipsien ominaisuudet 3/3 Tasa arvoellipsien pääakselit ovat satunnaismuuttujien ja kovarianssimatriisin = ominaisvektoreiden suuntaiset ja niiden pituudet suhtautuvat toisiinsa kuten matriisin Σ ominaisarvojen neliöjuuret. TKK (c) Ilkka Mellin (006) 16

Esimerkki: Jakauman määrittely Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman parametrit ovat E( ) = µ = 4 Var( ) = = E( ) = µ = 3 Var( ) = = 1 Cor(, ) = ρ = 0.7 Siten Cov(, ) = ρ = 0.7 1 = 0.9899 TKK (c) Ilkka Mellin (006) 17

Esimerkki: Tiheysfunktion kuvaaja Olkoon (, ) N (4, 3,, 1, 0.7) jolloin µ = = µ = = ρ = 0.7 Kuva oikealla esittää jakauman tiheysfunktiota f (x, y) 4 3 1 0. 0.1 0 0 x 4 6 8 10 0 10 8 6 4 y TKK (c) Ilkka Mellin (006) 18

Esimerkki: Tasa arvoellipsien yhtälöt Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman todennäköisyysmassan painopisteenä on piste (µ, µ ) = (4, 3) Jakauman tiheysfunktion muodostaman pinnan muodon määräävät tasa arvoellipsit Ellipsien keskipisteenä on jakauman todennäköisyysmassan painopiste (µ, µ ) = (4, 3) x 4 y 3 x 4 y 3 Qxy (, ) = + 0.7 1 1 = c(vakio) TKK (c) Ilkka Mellin (006) 19

Esimerkki: Kovarianssimatriisi Olkoon (, ) N (4, 3,, 1, 0.7) Tällöin satunnaismuuttujien ja kovarianssimatriisi on = ρ = ρ 0.7 1 = 0.7 1 1 0.9899 = 0.9899 1 TKK (c) Ilkka Mellin (006) 0

Esimerkki: Kovarianssimatriisin pääakselihajotelma 1/6 Olkoon Σ = ULU kovarianssimatriisin Σ pääakselihajotelma, jossa L on matriisin Σ ominaisarvojen muodostama diagonaalimatriisi ja U on vastaavien ominaisvektoreiden muodostama ortogonaalinen matriisi, jossa ominaisvektorit ovat sarakkeina. TKK (c) Ilkka Mellin (006) 1

Esimerkki: Kovarianssimatriisin pääakselihajotelma /6 Olkoot λ 1 λ matriisin Σ ominaisarvot ja u 1 = (u 11, u 1 ) u = (u 1, u ) niitä vastaavat ominaisvektorit. Tällöin ja λ 0 u u L=, U= 1 11 1 0 λ u 1 u U ΣU = L U U = UU =I TKK (c) Ilkka Mellin (006)

Esimerkki: Kovarianssimatriisin pääakselihajotelma 3/6 Olkoon λ kovarianssimatriisin Σ ominaisarvo. Tällöin λ toteuttaa yhtälön λ det( λi) = det λ = λ ( + ) λ+ = 0 Tämän. asteen yhtälön ratkaisut saadaan kaavasta + ± ( ) + 4 λ = Ratkaisuiksi saadaan λ 1 =.6091 λ = 0.3909 TKK (c) Ilkka Mellin (006) 3

Esimerkki: Kovarianssimatriisin pääakselihajotelma 4/6 Olkoon u = (u 1, u ) kovarianssimatriisin Σ ominaisarvoa λ vastaava ominaisvektori. Tällöin u toteuttaa matriisiyhtälön u = λu Koska vaadimme, että uu = u + u = 1 1 niin vektori u = (u 1, u ) saadaan ratkaistuksi yhtälöryhmästä λ u + u = u1+ ( λ) u = 0 u1 + u = 1 ( ) 1 0 TKK (c) Ilkka Mellin (006) 4

Esimerkki: Kovarianssimatriisin pääakselihajotelma 5/6 Ominaisarvoa λ 1 =.6091 vastaavaksi ominaisvektoriksi saadaan Ominaisarvoa u 1 = (u 11, u 1 ) = (0.8517, 0.540) λ = 0.3909 vastaavaksi ominaisvektoriksi saadaan u = (u 1, u ) = ( 0.540, 0.8517) TKK (c) Ilkka Mellin (006) 5

Esimerkki: Kovarianssimatriisin pääakselihajotelma 6/6 Kovarianssimatriisin 0.7 0.9899 = = = 0.7 1 0.9899 1 pääakselihajotelmaksi Σ = ULU saadaan siis λ1 0.6091 0 L= 0 λ = 0 0.3909 u11 u1 0.8517 0.540 U = u1 u = 0.540 0.8517 jossa L on matriisin Σ ominaisarvojen muodostama diagonaalimatriisi ja U on vastaavien ominaisvektoreiden muodostama ortogonaalinen matriisi, jossa ominaisvektorit ovat sarakkeina. TKK (c) Ilkka Mellin (006) 6

Esimerkki: Tasa arvoellipsit ja niiden pääakselit 1/4 Olkoon (, ) N (4, 3,, 1, 0.7) Jakauman tiheysfunktion muodostaman pinnan muodon määräävien tasa arvoellipsien pääakselit leikkaavat jakauman todennäköisyysmassan painopisteessä ( µ, µ ) = (4,3) Tasa arvoellipsien pääakseleiden pituudet suhtautuvat toisiinsa kuten kovarianssimatriisin Σ ominaisarvojen λ 1 =.6091 λ = 0.3909 neliöjuuret ja vastaavat ominaisvektorit määräävät pääakseleiden suunnat. TKK (c) Ilkka Mellin (006) 7

Esimerkki: Tasa arvoellipsit ja niiden pääakselit /4 Tasa arvoellipsien pääakseleiden suuntaisten suorien yhtälöt ovat jossa y= a + bx 1 1 y= a + bx b u 0.540 1 1 = = = u11 0.8517 0.615 a1 = µ b1µ = 3 b1 4 = 0.5390 ovat suurempaa ominaisarvoa.6091 vastaavan, pitempään pääakseliin liittyvän suoran kertoimet ja u 0.8517 b = = = 1.654 u 0.540 1 a = µ bµ = 3 b 4 = 9.5015 ovat pienempää ominaisarvoa 0.3909 vastaavan, lyhyempään pääakseliin liittyvän suoran kertoimet. TKK (c) Ilkka Mellin (006) 8

Esimerkki: Tasa arvoellipsit ja niiden pääakselit 3/4 Olkoon (, ) N (4, 3,, 1, 0.7) jolloin µ = = µ = = ρ = 0.7 4 3 1 Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Esimerkiksi uloimman ellipsin sisään jää n. 99.7 % jakauman todennäköisyysmassasta. 10 8 6 4 0 N (4, 3,, 1, 0.7) ( µ, µ ) 0 4 6 8 10 TKK (c) Ilkka Mellin (006) 9

Esimerkki: Tasa arvoellipsit ja niiden pääakselit 4/4 Olkoon (, ) N (4, 3,, 1, 0.7) Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Kuvaan on lisäksi piirretty tasaarvoellipsien pääakselien suuntaiset suorat y = 0.5390 + 0.615 x y = 9.5015 1.654 x 10 8 6 4 0 N (4, 3,, 1, 0.7) 0 4 6 8 10 TKK (c) Ilkka Mellin (006) 30

Reunajakaumat Voidaan osoittaa, että kaksiulotteisen normaalijakauman reunajakaumat ovat normaalisia: N(µ, ) N(µ, ) ja niiden tiheysfunktiot ovat 1 1 x µ f ( x) = exp π f 1 1 ( y) = exp π y µ TKK (c) Ilkka Mellin (006) 31

Esimerkki: Reunajakaumat 0.5 N(4, ) 0.5 N(3, 1) 0.4 0.4 0.3 0.3 0. 0. 0.1 0.1 0 0 0 4 6 8 10 0 4 6 8 10 Olkoon (, ) N (4, 3,, 1, 0.7) Kuvat yllä esittävät satunnaismuuttujien ja reunajakaumia: N(4, ) N(3, 1) TKK (c) Ilkka Mellin (006) 3

Korreloimattomuus vs riippumattomuus Kaksiulotteisen normaalijakauman tapauksessa satunnaismuuttujien ja korreloimattomuus on yhtäpitävää niiden riippumattomuuden kanssa. Huomautuksia: Satunnaismuuttujien riippumattomuudesta seuraa aina niiden korreloimattomuus. Satunnaismuuttujien korreloimattomuudesta ei yleisesti seuraa niiden riippumattomuus. TKK (c) Ilkka Mellin (006) 33

Korreloimattomuus vs riippumattomuus: Perustelu 1/3 Oletetaan, että satunnaismuuttujat ja noudattavat kaksiulotteista normaalijakaumaa: (, ) N (µ, µ,,, ρ ) Jos satunnaismuuttujat ja ovat riippumattomia, niin ne ovat myös korreloimattomia, koska satunnaismuuttujien riippumattomuudesta seuraa aina niiden korreloimattomuus; ks. lukua Moniulotteiset satunnaismuuttujat ja jakaumat. Oletetaan nyt, että satunnaismuuttujat ja korreloimattomia eli ρ = 0 TKK (c) Ilkka Mellin (006) 34

Korreloimattomuus vs riippumattomuus: Perustelu /3 Kaksiulotteisen normaalijakauman tiheysfunktio on 1 1 f ( xy, ) = exp Qxy (, ) π 1 ρ (1 ρ ) x µ y µ x µ y µ Qxy (, ) = ρ + Jos ρ = 0, niin 1 1 x µ y µ f ( xy, ) = exp π + x µ y µ 1 1 1 1 = exp exp π π = f ( x) f ( y) TKK (c) Ilkka Mellin (006) 35

Korreloimattomuus vs riippumattomuus: Perustelu 3/3 Jos siis ρ = 0, niin f ( x, y) = f ( x) f ( y) jossa f (x) ja f (y) ovat satunnaismuuttujien ja reunajakaumien tiheysfunktiot. Koska oletuksesta ρ = 0 seuraa, että kaksiulotteisen normaalijakauman tiheysfunktio voidaan esittää reunajakaumiensa tiheysfunktioiden tulona, niin satunnaismuuttujat ja ovat tällöin rippumattomia; ks. lukua Moniulotteiset satunnaismuuttujat ja jakaumat. TKK (c) Ilkka Mellin (006) 36

Ehdolliset jakaumat 1/ Kaksiulotteisen normaalijakauman ehdolliset jakaumat ovat normaalisia: ( ) ( = y )~ N µ, jossa µ = E( = y) = µ + ρ ( y µ ) = Var( = y) = (1 ρ ) TKK (c) Ilkka Mellin (006) 37

Ehdolliset jakaumat / Kaksiulotteisen normaalijakauman ehdolliset jakaumat ovat normaalisia: ( ) ( = x )~ N µ, jossa µ = E( = x) = µ + ρ ( x µ ) = Var( = x) = (1 ρ ) TKK (c) Ilkka Mellin (006) 38

Ehdolliset jakaumat: Perustelu 1/4 Esitetään perustelu kaksiulotteisen normaalijakauman ehdollisten jakaumien normaalisuudelle tarkastelemalla satunnaismuuttujan ehdollista jakaumaa satunnaismuuttujan suhteen (ehdolla = x). Olkoon f f ( xy, ) ( y x) f ( x) = satunnaismuuttujien ja yhteisjakauman tiheysfunktio = satunnaismuuttujan ehdollisen jakauman tiheysfunktio satunnaismuuttujan suhteen = satunnaismuuttujan reunajakauman tiheysfunktio Ehdollisen jakauman tiheysfunktion määritelmän mukaan f ( y x) = f f ( xy, ) ( x) TKK (c) Ilkka Mellin (006) 39

Ehdolliset jakaumat: Perustelu /4 Kaksiulotteisen normaalijakauman tiheysfunktio f ( xy, ): 1 1 f ( xy, ) = exp Qxy (, ) π 1 ρ (1 ρ ) x µ y µ x µ y µ Qxy (, ) = ρ + Satunnaismuuttujan reunajakauman tiheysfunktio f ( x) : 1 1 x µ f ( x) = exp π TKK (c) Ilkka Mellin (006) 40

Ehdolliset jakaumat: Perustelu 3/4 Nähdään (melko) helposti, että f ( y x) = f f ( xy, ) ( x) 1 1 = exp Q( y x) π ρ (1 ρ ) (1 ) Q( y x) = y µ y ρ ( x µ ) TKK (c) Ilkka Mellin (006) 41

Ehdolliset jakaumat: Perustelu 4/4 Siten satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen (ehdolla = x) on normaalinen: jossa = x µ ( )~ N(, ) µ = E( = x) = µ + ρ ( x µ ) = Var( = x) = (1 ρ ) TKK (c) Ilkka Mellin (006) 4

Ehdolliset odotusarvot Satunnaismuuttujan ehdollinen odotusarvo eli regressiofunktio satunnaismuuttujan suhteen E( = y) = µ + ρ ( y µ ) on lineaarinen satunnaismuuttujan arvojen y suhteen. Satunnaismuuttujan ehdollinen odotusarvo eli regressiofunktio satunnaismuuttujan suhteen E( = x) = µ + ρ ( x µ ) on lineaarinen satunnaismuuttujan arvojen x suhteen. TKK (c) Ilkka Mellin (006) 43

Regressiosuorat Kaksiulotteisen multinormaalijakauman regressiokäyrät ovat suoria, joiden yhtälöt voidaan kirjoittaa satunnaismuuttujan saamien arvojen x funktioina seuraaviin muotoihin: (i) y:n regressiosuora x:n suhteen: y = µ + ρ ( x µ ) (ii) x:n regressiosuora y:n suhteen: 1 y = µ + ( x µ ) ρ TKK (c) Ilkka Mellin (006) 44

Regressiosuorien ominaisuudet 1/5 Olkoon y = µ + ρ ( x µ ) y:n regressiosuora x:n suhteen ja 1 y = µ + ( x µ ) ρ x:n regressiosuora y:n suhteen. TKK (c) Ilkka Mellin (006) 45

Regressiosuorien ominaisuudet /5 Regressiosuorilla on seuraavat ominaisuudet: (i) (ii) (iii) Molemmat regressiosuorat kulkevat jakauman todennäköisyysmassan painopisteen (µ, µ ) kautta. Molempien regressiosuorien kulmakertoimilla ja satunnaismuuttujien ja korrelaatiokertoimella ρ on aina sama merkki: Suorat ovat nousevia, jos ρ > 0. Suorat ovat laskevia, jos ρ < 0. y:n regressiosuora x:n suhteen on aina loivempi kuin x:n regressiosuora y:n suhteen, koska ρ 1 TKK (c) Ilkka Mellin (006) 46

Regressiosuorien ominaisuudet 3/5 (iv) (v) y:n regressiosuora x:n suhteen on sitä jyrkempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ x:n regressiosuora y:n suhteen on sitä loivempi mitä voimakkaammin satunnaismuuttujat ja ovat korreloituneita eli mitä suurempi on ρ TKK (c) Ilkka Mellin (006) 47

Regressiosuorien ominaisuudet 4/5 (vi) Molemmat regressiosuorat ovat sitä jyrkempiä mitä suurempi on satunnaismuuttujan varianssi (vii) Molemmat regressiosuorat ovat sitä jyrkempiä mitä pienempi on satunnaismuuttujan varianssi (viii) Regressiosuorat yhtyvät täsmälleen silloin, kun ρ = ±1 TKK (c) Ilkka Mellin (006) 48

Regressiosuorien ominaisuudet 5/5 (ix) Jos ρ = 0, niin regressiosuorat ovat kohtisuorassa toisiaan vastaan ja y:n regressiosuora x:n suhteen on y = µ ja x:n regressiosuora y:n suhteen on x = µ jolloin y:n saamat arvot eivät riipu x:n saamista arvoista ja x:n saamat arvot eivät riipu y:n saamista arvoista. TKK (c) Ilkka Mellin (006) 49

Esimerkki: Regressiosuorat 1/ Olkoon (, ) N (4, 3,, 1, 0.7) y:n regressiosuora muuttujan x suhteen on y = µ + ρ ( x µ ) 1 = 3 + 0.7 ( x 4) = 1.001+ 0.4950x x:n regressiosuora muuttujan y suhteen on 1 y = µ + ( x µ ) ρ 1 1 = 3 + ( x 4) = 1.0406 + 1.0101x 0.7 TKK (c) Ilkka Mellin (006) 50

Esimerkki: Regressiosuorat / Olkoon (, ) N (4, 3,, 1, 0.7) Kuva oikealla esittää jakauman tiheysfunktion kuvaajan tasaarvoellipsejä, jotka vastaavat (likimäärin) todennäköisyyksiä 68 %, 95 % ja 99.7 %. Kuvan suorista loivempi y = 1.001+ 0.4950 x on y:n regressiosuora x:n suhteen ja suorista jyrkempi y = 1.0406 + 1.0101 x on x:n regressiosuora y:n suhteen. 10 8 6 4 0 N (4, 3,, 1, 0.7) 0 4 6 8 10 TKK (c) Ilkka Mellin (006) 51

Regressiosuorat ja standardointi Regressiosuorat voidaan kirjoittaa standardoitujen muuttujien y y µ x µ = x = funktioina seuraaviin muotoihin: y = ρ x y:n regressiosuora x:n suhteen 1 y = x x:n regressiosuora y:n suhteen ρ Standardoitujen muuttujien välisten regressiosuorien kulmakertoimet ovat siis toistensa käänteislukuja. TKK (c) Ilkka Mellin (006) 5

Ehdolliset varianssit 1/ Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on korkeintaan yhtä suuri kuin satunnaismuuttujan varianssi: 0 = (1 ρ ) Jos siis ρ 0, niin satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen vaihtelee x:n regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja oman painopisteensä ympärillä. Lisäksi pätee, että = 0 ρ =± 1 = ρ = 0 TKK (c) Ilkka Mellin (006) 53

Ehdolliset varianssit / Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on korkeintaan yhtä suuri kuin satunnaismuuttujan varianssi: 0 = (1 ρ ) Jos siis ρ 0, niin satunnaismuuttujan ehdollinen jakauma satunnaismuuttujan suhteen vaihtelee y:n regressiosuoran ympärillä vähemmän kuin satunnaismuuttuja oman painopisteensä ympärillä. Lisäksi pätee, että = 0 ρ =± 1 = ρ = 0 TKK (c) Ilkka Mellin (006) 54

Ehdolliset varianssit: Kommentti Satunnaismuuttujan ehdollisen varianssin kaavasta = (1 ρ) ja satunnaismuuttujan ehdollisen varianssin kaavasta = (1 ρ) nähdään välittömästi, että kumpikaan ehdollisista variansseista ei riipu ehtomuuttujan arvoista. Siten kaksiulotteisen normaalijakauman kummankaan ehdollisen jakauman todennäköisyysmassan vaihtelu vastaavan regressiosuoran ympärillä ei riipu ehtomuuttujan arvoista. TKK (c) Ilkka Mellin (006) 55

Esimerkki: Ehdolliset varianssit Olkoon (, ) ~N (4, 3,, 1, 0.7) Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on 0 = (1 ρ ) = (1 0.7 ) 1 = 0.51 1 = Satunnaismuuttujan ehdollinen varianssi satunnaismuuttujan suhteen on 0 = (1 ρ ) = (1 0.7 ) = 1.0 = TKK (c) Ilkka Mellin (006) 56