Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1
Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita Jatkuvien jakaumien momenttiemäfunktioita Karakteristinen funktio TKK (c) Ilkka Mellin (5)
Momenttiemäfunktio ja karakteristinen funktio: Mitä opimme? 1/ Tässä luvussa tarkastellaan satunnaismuuttujien momenttiemäfunktioita eli momentit generoivia funktioita ja karakteristisia funktioita, jotka ovat paljon käytettyjä työvälineinä todennäköisyyslaskennassa ja matemaattisessa tilastotieteessä. Satunnaismuuttujan momenttiemäfunktion tai karakteristisen funktion avulla voidaan helposti johtaa satunnaismuuttujan momentit; ks. lukua Jakaumien tunnusluvut. Monet tärkeät todennäköisyyslaskennan ja matemaattisen tilastotieteen teoreemat voidaan todistaa kätevästi momenttiemäfunktion tai karakteristisen funktion avulla; ks. lukuja Satunnaismuuttujien muunnokset ja niiden jakaumat ja Konvergenssikäsitteet ja rajaarvolauseet. TKK (c) Ilkka Mellin (5) 3
Momenttiemäfunktio ja karakteristinen funktio: Mitä opimme? / Johdamme tässä luvussa tavallisimpien diskreettien ja jatkuvien todennäköisyysjakaumien (ks. lukuja Diskreettejä jakaumia ja Jatkuvia jakaumia) momenttiemäfunktiot. Lisäksi näytämme, miten käsiteltyjen jakaumien odotusarvot ja varianssit (ks. lukua Jakaumien tunnusluvut) johdetaan momenttiemäfunktion avulla. On syytä huomata, että kaikilla todennäköisyysjakaumilla ei ole momenttiemäfunktiota, mutta kaikille jakaumille voidaan määrätä karakteristinen funktio ja siksi kaikissa pitemmälle menevissä todennäköisyyslaskennan ja matemaattisen tilastotieteen esityksissä sovelletaan karakteristista funktiota. Tässä luvussa esitellään myös tärkeimmät karakteristisen funktion ominaisuudet. TKK (c) Ilkka Mellin (5) 4
Momenttiemäfunktio ja karakteristinen funktio: Esitiedot Esitiedot: ks. seuraavia lukuja: Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut Diskreettejä jakaumia Jatkuvia jakaumia Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat TKK (c) Ilkka Mellin (5) 5
Momenttiemäfunktio ja karakteristinen funktio: Lisätiedot Momenttiemäfunktiota sovelletaan riippumattomien satunnaismuuttujien summien jakaumien määräämiseen luvussa Satunnaismuuttujien muunnokset ja niiden jakaumat Momenttiemäfunktiota sovelletaan keskeisen raja-arvolauseen todistamiseen luvussa Konvergenssikäsitteet ja raja-arvolauseet TKK (c) Ilkka Mellin (5) 6
Momenttiemäfunktio ja karakteristinen funktio >> Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita Jatkuvien jakaumien momenttiemäfunktioita Karakteristinen funktio TKK (c) Ilkka Mellin (5) 7
Momenttiemäfunktio Avainsanat Momentit generoiva funktio Momentti Momenttiemäfunktio Odotusarvo Riippumattomien satunnaismuuttujien summan jakauma Taylorin sarja TKK (c) Ilkka Mellin (5) 8
Momenttiemäfunktio Momenttiemäfunktion määritelmä Olkoon X satunnaismuuttuja. Oletetaan, että odotusarvo m X (t) = E(e tx ) on olemassa kaikille t ( h, +h) jossa h > on vakio. Tällöin funktiota m X (t) kutsutaan satunnaismuuttujan X ja sen jakauman momenttiemäfunktioksi eli momentit generoivaksi funktioksi. TKK (c) Ilkka Mellin (5) 9
Momenttiemäfunktio Momenttiemäfunktion määritelmä: Kommentteja 1/ Satunnaismuuttujan momenttiemäfunktio eli momentit generoiva funktio ei välttämättä ole olemassa. Momenttiemäfunktion m X (t) = E(e tx ) olemassaolo tarkoittaa sitä, että odotusarvo E(e tx ) on äärellinen. TKK (c) Ilkka Mellin (5) 1
Momenttiemäfunktio Momenttiemäfunktion määritelmä: Kommentteja / Satunnaismuuttujan X momenttiemäfunktio m X (t) = E(e tx ) riippuu vain argumentista t. Jos satunnaismuuttujan X momenttiemäfunktio m X (t) on olemassa, niin m X () = E(e ) = E(1) = 1 TKK (c) Ilkka Mellin (5) 11
Momenttiemäfunktio Diskreettien satunnaismuuttujien momenttiemäfunktio Olkoon X diskreetti satunnaismuuttuja, jonka pistetodennäköisyysfunktio on f(x) =Pr(X = x) Jos satunnaismuuttujan X momenttiemäfunktio on olemassa, niin se saadaan kaavalla tx tx m () t E( e ) e f( x) X = = x TKK (c) Ilkka Mellin (5) 1
Momenttiemäfunktio Jatkuvien satunnaismuuttujien momenttiemäfunktio Olkoon X jatkuva satunnaismuuttuja, jonka tiheysfunktio on f(x) Jos satunnaismuuttujan X momenttiemäfunktio on olemassa, niin se saadaan kaavalla + () E( tx tx mx t = e ) = e f( x) dx TKK (c) Ilkka Mellin (5) 13
Momenttiemäfunktio Momenttiemäfunktion yksikäsitteisyys Jos satunnaismuuttujan X momenttiemäfunktio m X (t) = E(e tx ) on olemassa jossakin pisteen t = ympäristössä, se on yksikäsitteinen ja määrää täysin satunnaismuuttujan X todennäköisyysjakauman. Tämä merkitsee seuraavaa: Jos satunnaismuuttujilla U ja V on sama momenttiemäfunktio, satunnaismuuttujat U ja V noudattavat samaa todennäköisyysjakaumaa. TKK (c) Ilkka Mellin (5) 14
Momenttiemäfunktio Momenttiemäfunktion yksikäsitteisyys: Seuraus 1/ Momenttiemäfunktion yksikäsitteisyyttä käytetään usein hyväksi todennäköisyyslaskennan ja matemaattisen tilastotieteen lauseiden todistuksissa seuraavalla kalvolla esitettävässä tilanteessa. TKK (c) Ilkka Mellin (5) 15
Momenttiemäfunktio Momenttiemäfunktion yksikäsitteisyys: Seuraus / Tehtävänä on selvittää, mikä on satunnaismuuttujan U jakauma. Oletetaan, että satunnaismuuttujan U momenttiemäfunktio m U (t) yhtyy pisteen t = ympäristössä satunnaismuuttujan V momenttiemäfunktioon m V (t) jonka todennäköisyysjakauma tunnetaan. Tällöin momenttiemäfunktion yksikäsitteisyydestä seuraa, että satunnaismuuttuja U noudattaa samaa jakaumaa kuin satunnaismuuttuja V. TKK (c) Ilkka Mellin (5) 16
Momenttiemäfunktio Momenttiemäfunktio ja satunnaismuuttujan momentit Olkoon m X (t) = E(e tx ) satunnaismuuttujan X momenttiemäfunktio eli momentit generoiva funktio. Momentit generoivalla funktiolla m X (t) on kaikkien kertalukujen derivaatat pisteessä t = ja k dmx() t k = E( X ) = αk, k = 1,,3, k dt jossa α k = E(X k ) on satunnaismuuttujan X k. (origo-) momentti. TKK (c) Ilkka Mellin (5) 17
Momenttiemäfunktio Momenttiemäfunktio ja satunnaismuuttujan momentit: Perustelu Olkoon m X (t) = E(e tx ) satunnaismuuttujan X momentit generoiva funktio. Tällöin k d mx () t d = k dt dt k k tx E( e ) k d tx = E k e dt k tx = E( X e ) k = E( X ) = α k TKK (c) Ilkka Mellin (5) 18
Momenttiemäfunktio Momenttiemäfunktio ja satunnaismuuttujan momenttien määrääminen Satunnaismuuttujan ja sen jakauman momentit voidaan johtaa kätevästi käyttämällä hyväksi jakauman momentit generoivan funktion derivaattoja; ks. edellisiä kalvoja. TKK (c) Ilkka Mellin (5) 19
Momenttiemäfunktio Momenttiemäfunktio ja satunnaismuuttujan odotusarvo ja varianssi Satunnaismuuttujan X odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t µ = α1 = E( X ) = dt α () dmx t = E( X ) = dt = Var( X) = E[( X ) ] = 1 σ µ α α TKK (c) Ilkka Mellin (5)
Momenttiemäfunktio Momenttiemäfunktion Taylorin sarjakehitelmä Olkoon m X (t) = E(e tx ) satunnaismuuttujan X momenttiemäfunktio. Momenttiemäfunktio m X (t) voidaan kehittää Taylorin sarjaksi k k t k t mx() t = E( X ) = k k k! k k! α = = jossa k α k = E( X ) on satunnaismuuttujan Xk.momentti. TKK (c) Ilkka Mellin (5) 1
Momenttiemäfunktio Momenttiemäfunktion Taylorin sarjakehitelmä: Johto Olkoon m X (t) = E(e tx ) satunnaismuuttujan X momenttiemäfunktio. Kehitetään eksponenttifunktio e tx Taylorin sarjaksi: k tx ( tx ) e = k! k= Ottamalla tästä sarjakehitelmästä odotusarvo saadaan: k tx ( tx ) mx () t = E( e ) = E k= k! k t k = E( X ) k= k! k t = k k! α k= TKK (c) Ilkka Mellin (5)
Momenttiemäfunktio Momenttiemäfunktion Taylorin sarjakehitelmä ja satunnaismuuttujan momentit Olkoon j j tx t j t mx () t = E( e ) = E( X ) = j j j! j j! α = = satunnaismuuttujan X momenttiemäfunktion Taylorin sarjakehitelmä. Derivoidaan tämä sarjakehitelmä termeittäin t:n suhteen: k j j dmx() t t j+ k t = E( X ) = j k, k 1,,3, k dt j! j! α + = j= j= Valitsemalla tässä t =, saadaan edellä esitetty tulos: k d mx () t k = E( X ) = αk, k = 1,,3, k dt TKK (c) Ilkka Mellin (5) 3
Momenttiemäfunktio Riippumattomien satunnaismuuttujien summan momenttiemäfunktio Olkoot X 1, X,, X n riippumattomia satunnaismuuttujia, joiden momenttiemäfunktiot ovat m 1 (t), m (t),, m n (t) Tällöin summan X = X 1 + X + + X n momenttiemäfunktio on satunnaismuuttujien X 1, X,, X n momenttiemäfunktioiden tulo: m X (t) = m 1 (t)m (t) m n (t) TKK (c) Ilkka Mellin (5) 4
Momenttiemäfunktio Riippumattomien satunnaismuuttujien summan momenttiemäfunktio: Perustelu 1/ Olkoot X 1, X,, X n riippumattomia satunnaismuuttujia, joiden momenttiemäfunktiot ovat m 1 (t), m (t),, m n (t) Määritellään satunnaismuuttuja X = X 1 + X + + X n Käytämme hyväksi sitä, että riippumattomien satunnaismuuttujien tulon odotusarvo on tulon tekijöiden odotusarvojen tulo (ks. lukua Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat). TKK (c) Ilkka Mellin (5) 5
Momenttiemäfunktio Riippumattomien satunnaismuuttujien summan momenttiemäfunktio: Perustelu / Siten m ( t) = E[exp( tx)] X = E[exp( t( X + X + + X ))] 1 1 = E[exp( tx + tx + + tx )] 1 = E[exp( tx )exp( tx ) exp( tx )] 1 = E[exp( tx )]E[exp( tx )] E[exp( tx )] 1 = m () t m () t m () t X X X n n n n n TKK (c) Ilkka Mellin (5) 6
Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio >> Diskreettien jakaumien momenttiemäfunktioita Jatkuvien jakaumien momenttiemäfunktioita Karakteristinen funktio TKK (c) Ilkka Mellin (5) 7
Diskreettien jakaumien momenttiemäfunktioita Avainsanat Diskreettejä jakaumia: Bernoulli-jakauma Binomijakauma Diskreetti tasainen jakauma Geometrinen jakauma Negatiivinen binomijakauma Poisson-jakauma Momentit generoiva funktio Momentti Momenttiemäfunktio Odotusarvo Varianssi TKK (c) Ilkka Mellin (5) 8
Diskreettien jakaumien momenttiemäfunktioita Diskreettejä todennäköisyysjakaumia 1/ Tarkastelemme seuraavien diskreettien todennäköisyysjakaumien momenttiemäfunktioita eli momentit generoivia funktioita: Diskreetti tasainen jakauma Bernoulli-jakauma Binomijakauma Geometrinen jakauma Negatiivinen binomijakauma Poisson-jakauma Lisätietoja diskreeteistä todennäköisyysjakaumista: ks. lukua Diskreettejä jakaumia. TKK (c) Ilkka Mellin (5) 9
Diskreettien jakaumien momenttiemäfunktioita Diskreettejä todennäköisyysjakaumia / Jokaisen tarkasteltavan jakauman momenttiemäfunktiolle esitetään johto. Johdettua momenttiemäfunktioita sovelletaan jakauman odotusarvon,. momentin ja varianssin määräämiseen. TKK (c) Ilkka Mellin (5) 3
Diskreettien jakaumien momenttiemäfunktioita Diskreetti tasainen jakauma Oletetaan, että satunnaismuuttuja X noudattaa diskreettiä tasaista jakaumaa. Tällöin sen pistetodennäköisyysfunktio on 1 f ( x) = Pr( X = x) =, x= x k n k = 1,,, n jossa {x 1, x,, x n } on reaaliakselin erillisten pisteiden muodostama joukko. Diskreetin tasaisen jakauman momenttiemäfunktio on n 1 txk mx () t = e n k = 1 TKK (c) Ilkka Mellin (5) 31
Diskreettien jakaumien momenttiemäfunktioita Diskreetti tasainen jakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa diskreettiä tasaista jakaumaa, niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) X = = x n k= 1 n 1 = n e e k= 1 n tx tx k= 1 k k e f( x ) 1 n tx k k TKK (c) Ilkka Mellin (5) 3
Diskreettien jakaumien momenttiemäfunktioita Diskreetti tasainen jakauma: Odotusarvo ja varianssi 1/ Diskreetin tasaisen jakauman momenttiemäfunktio on n 1 txk mx () t = e n k = 1 1. derivaatta pisteessä t = : n dmx () t 1 tx 1 k = xke = dt n k n. derivaatta pisteessä t = : dmx = 1 k= 1 () t 1 1 = = dt n n n x n n txk xke xk k= 1 k= 1 k TKK (c) Ilkka Mellin (5) 33
Diskreettien jakaumien momenttiemäfunktioita Diskreetti tasainen jakauma: Odotusarvo ja varianssi / Siten diskreetin tasaisen jakauman odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: n dmx () t 1 µ = E( X) = α1 = = xk = x dt n α dm () t 1 k= 1 n X = E( X ) = = xk dt n k= 1 n n 1 1 σ = Var( X ) = α α1 = xk xk n k 1 n = k= 1 n 1 = ( xk x) n k= 1 TKK (c) Ilkka Mellin (5) 34
Diskreettien jakaumien momenttiemäfunktioita Bernoulli-jakauma Oletetaan, että satunnaismuuttuja X noudattaa Bernoullijakaumaa Ber(p). Tällöin sen pistetodennäköisyysfunktio on x 1 x f ( x) = Pr( X = x) = p q,< p< 1, q= 1 p Bernoulli-jakauman momenttiemäfunktio on m () t = q+ pe X x =,1 t TKK (c) Ilkka Mellin (5) 35
Diskreettien jakaumien momenttiemäfunktioita Bernoulli-jakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa Bernoulli-jakaumaa Ber(p), niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) X x = Pr( = ) + Pr( = 1) t t 1 e X e X t = q+ pe TKK (c) Ilkka Mellin (5) 36
Diskreettien jakaumien momenttiemäfunktioita Bernoulli-jakauma: Odotusarvo ja varianssi 1/ Bernoulli-jakauman Ber(p) momenttiemäfunktio on t mx () t = q+ pe 1. derivaatta pisteessä t = : dmx () t t = pe = dt. derivaatta pisteessä t = : dmx() t t = pe = p dt p TKK (c) Ilkka Mellin (5) 37
Diskreettien jakaumien momenttiemäfunktioita Bernoulli-jakauma: Odotusarvo ja varianssi / Siten Bernoulli-jakauman Ber(p) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t µ = E( X ) = α1 = = p dt α dmx() t = E( X ) = = p dt = Var( X ) = 1 = p p σ α α = pq TKK (c) Ilkka Mellin (5) 38
Diskreettien jakaumien momenttiemäfunktioita Binomijakauma Oletetaan, että satunnaismuuttuja X noudattaa binomijakaumaa Bin(n, p). Tällöin sen pistetodennäköisyysfunktio on n x n x f ( x) = Pr( X = x) = p q, p 1, q 1 p x < < = x=,1,,, n Binomijakauman momenttiemäfunktio on m () t = ( q+ pe t ) X n TKK (c) Ilkka Mellin (5) 39
Diskreettien jakaumien momenttiemäfunktioita Binomijakauma: Momenttiemäfunktion johto 1 Jos satunnaismuuttuja X noudattaa binomijakaumaa Bin(n, p), niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) X x n n = e p q x x = n n = ( pe ) q x= x t n = ( q+ pe ) tx x n x t x n x TKK (c) Ilkka Mellin (5) 4
Diskreettien jakaumien momenttiemäfunktioita Binomijakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa binomijakaumaa Bin(n, p), niin se voidaan esittää riippumattomien, samaa Bernoulli-jakaumaa Ber(p) noudattavien satunnaismuuttujien X 1, X,, X n summana: X = X 1 + X + + X n Koska riippumattomien satunnaismuuttujien summan momenttiemäfunktio on summan tekijöiden momenttiemäfunktioiden tulo (ks. kappaletta Momenttiemäfunktio), niin tx m () t = E( e ) = m () t m () t m () t X 1 n t t t = ( q+ pe ) ( q+ pe ) ( q+ pe ) t = ( q+ pe ) n TKK (c) Ilkka Mellin (5) 41
Diskreettien jakaumien momenttiemäfunktioita Binomijakauma: Odotusarvo ja varianssi 1/ Binomijakauman Bin(n, p) momenttiemäfunktio on m () ( t ) n X t = q+ pe 1. derivaatta pisteessä t = : dmx () t 1 ( t ) n = n q + pe pe t = np dt. derivaatta pisteessä t = : dmx() t 1 = n( n 1)( q+ pe ) pe pe + n( q+ pe ) pe dt t n t t t n t = npe q+ pe n pe + q+ pe = np + n( n 1) p t t n t t ( ) ( 1) ( ) TKK (c) Ilkka Mellin (5) 4
Diskreettien jakaumien momenttiemäfunktioita Binomijakauma: Odotusarvo ja varianssi / Siten binomijakauman Bin(n, p) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t µ = E( X) = α1 = = np dt α dm () t X = E( X ) = = np+ n( n 1) p dt = Var( X ) = 1 = np + n( n 1) p n p σ α α = npq TKK (c) Ilkka Mellin (5) 43
Diskreettien jakaumien momenttiemäfunktioita Geometrinen jakauma Oletetaan, että satunnaismuuttuja X noudattaa geometrista jakaumaa Geom(p). Tällöin sen pistetodennäköisyysfunktio on x 1 f ( x) = Pr( X = x) = q p,< p< 1, q= 1 p x = 1,,3, Geometrisen jakauman momenttiemäfunktio on t pe mx () t = t 1 qe TKK (c) Ilkka Mellin (5) 44
Diskreettien jakaumien momenttiemäfunktioita Geometrinen jakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa geometrista jakaumaa Geom(p), niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) X = = = x tx x 1 e pq x= 1 t tx t x 1 pe e q pe x= 1 t t x 1 x= 1 t pe = 1 qe t ( qe ) TKK (c) Ilkka Mellin (5) 45
Diskreettien jakaumien momenttiemäfunktioita Geometrinen jakauma: Odotusarvo ja varianssi 1/3 Geometrisen jakauman Geom(p) momenttiemäfunktio on t pe mx () t = 1 qe t 1. derivaatta pisteessä t = : t t t t dmx () t pe (1 qe ) pe ( qe ) = t dt (1 qe ) t pe = t (1 qe ) 1 = p TKK (c) Ilkka Mellin (5) 46
Diskreettien jakaumien momenttiemäfunktioita Geometrinen jakauma: Odotusarvo ja varianssi /3 Geometrisen jakauman Geom(p) momenttiemäfunktio on t pe mx () t = 1 qe t. derivaatta pisteessä t = : t t t t t dmx() t pe (1 qe ) pe (1 qe )( qe ) = t 4 dt (1 qe ) = t t pe (1 + qe ) t 3 (1 qe ) 1+ q = p TKK (c) Ilkka Mellin (5) 47
Diskreettien jakaumien momenttiemäfunktioita Geometrinen jakauma: Odotusarvo ja varianssi 3/3 Siten geometrisen jakauman Geom(p) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t 1 µ = E( X ) = α1 = = dt p α dmx() t 1+ q = E( X ) = = dt p 1+ q 1 σ = Var( X ) = α α = p p q = p 1 TKK (c) Ilkka Mellin (5) 48
Diskreettien jakaumien momenttiemäfunktioita Negatiivinen binomijakauma Oletetaan, että satunnaismuuttuja X noudattaa negatiivista binomijakaumaa NegBin(r, p). Tällöin sen pistetodennäköisyysfunktio on x 1 x r r f ( x) = Pr( X = x) = q p, p 1, q 1 p r 1 < < = r = 1,,3, ; x= r, r+ 1, r+, Negatiivisen binomijakauman momenttiemäfunktio on m () t = t r ( pe ) (1 qe ) X t r TKK (c) Ilkka Mellin (5) 49
Diskreettien jakaumien momenttiemäfunktioita Negatiivinen binomijakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa negatiivista binomijakaumaa NegBin(r, p), niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) X x tx x 1 x r r = e q p x r r 1 = r+ x 1 = ( pe ) e q x r 1 = t r t r = ( pe ) (1 qe ) t r ( pe ) = t r (1 qe ) t r tx x TKK (c) Ilkka Mellin (5) 5
Diskreettien jakaumien momenttiemäfunktioita Negatiivinen binomijakauma: Odotusarvo ja varianssi 1/3 Negatiivisen binomijakauman NegBin(r, p) momenttiemäfunktio on t r ( pe ) mx () t = t r (1 qe ) 1. derivaatta pisteessä t = : t r 1 t t r t r t r 1 t dmx () t r( pe ) pe (1 qe ) ( pe ) r(1 qe ) ( qe ) = t r dt (1 qe ) t r( pe ) = t (1 qe ) = r p r r+ 1 TKK (c) Ilkka Mellin (5) 51
Diskreettien jakaumien momenttiemäfunktioita Negatiivinen binomijakauma: Odotusarvo ja varianssi /3 Negatiivisen binomijakauman NegBin(r, p) momenttiemäfunktio on t r ( pe ) mx () t = t r (1 qe ). derivaatta pisteessä t = : dmx() t dt r = + rq p t r 1 t t r+ 1 t r t r t r ( pe ) pe (1 qe ) r( pe ) ( r+ 1)(1 qe ) ( qe ) = t r+ (1 qe ) t r t r( pe ) ( r+ qe ) = t r+ (1 qe ) TKK (c) Ilkka Mellin (5) 5
Diskreettien jakaumien momenttiemäfunktioita Negatiivinen binomijakauma: Odotusarvo ja varianssi 3/3 Siten negatiivisen binomijakauman NegBin(r, p) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t r µ = E( X ) = α1 = = dt p α dm() t r + rq X = E( X ) = = dt p r + rq r = Var( X ) = 1 = σ α α p rq = p p TKK (c) Ilkka Mellin (5) 53
Diskreettien jakaumien momenttiemäfunktioita Poisson-jakauma Oletetaan, että satunnaismuuttuja X noudattaa Poissonjakaumaa Poisson(λ). Tällöin sen pistetodennäköisyysfunktio on x e λ λ f( x) = Pr( X = x) =, λ > x! x =,1,, Poisson-jakauman momenttiemäfunktio on m () t = e λ X t ( e 1) TKK (c) Ilkka Mellin (5) 54
Diskreettien jakaumien momenttiemäfunktioita Poisson-jakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa Poisson-jakaumaa Poisson(λ), niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) X = = e = e = e x λ e x= e t tx x= λ λ ( e 1) λ x e λ x! t ( λe ) x! t λe x TKK (c) Ilkka Mellin (5) 55
Diskreettien jakaumien momenttiemäfunktioita Poisson-jakauma: Odotusarvo ja varianssi 1/ Poisson-jakauman Poisson(λ) momenttiemäfunktio on t ( e 1) mx () t = e λ 1. derivaatta pisteessä t = : dm X dt () t t t. derivaatta pisteessä t = : dmx dt () t λ λ λ λ( e 1) t t+ λ( e 1) = e e = e = t = t = t = λe (1 + λe ) = λ+ λ t+ λ ( e 1) t t = TKK (c) Ilkka Mellin (5) 56
Diskreettien jakaumien momenttiemäfunktioita Poisson-jakauma: Odotusarvo ja varianssi / Siten Poisson-jakauman Poisson(λ) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t µ = E( X ) = α1 = = λ dt α dmx() t = E( X ) = = λ dt = Var( X ) = 1 = + σ α α λ λ λ = λ TKK (c) Ilkka Mellin (5) 57
Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita >> Jatkuvien jakaumien momenttiemäfunktioita Karakteristinen funktio TKK (c) Ilkka Mellin (5) 58
Jatkuvien jakaumien momenttiemäfunktioita Avainsanat Jatkuvia jakaumia: Eksponenttijakauma Jatkuva tasainen jakauma Normaalijakauma Momentit generoiva funktio Momentti Momenttiemäfunktio Odotusarvo Varianssi TKK (c) Ilkka Mellin (5) 59
Jatkuvien jakaumien momenttiemäfunktioita Jatkuvia todennäköisyysjakaumia 1/ Tarkastelemme seuraavien jatkuvien todennäköisyysjakaumien momenttiemäfunktioita eli momentit generoivia funktioita: Jatkuva tasainen jakauma Eksponenttijakauma Normaalijakauma Lisätietoja jatkuvista todennäköisyysjakaumista: ks. lukua Jatkuvia jakaumia. TKK (c) Ilkka Mellin (5) 6
Jatkuvien jakaumien momenttiemäfunktioita Jatkuvia todennäköisyysjakaumia / Jokaisen tarkasteltavan jakauman momenttiemäfunktiolle esitetään johto. Johdettua momenttiemäfunktioita sovelletaan jakauman odotusarvon,. momentin ja varianssin määräämiseen. TKK (c) Ilkka Mellin (5) 61
Jatkuvien jakaumien momenttiemäfunktioita Jatkuva tasainen jakauma Oletetaan, että satunnaismuuttuja X noudattaa jatkuvaa tasaista jakaumaa Uniform(a, b). Tällöin sen tiheysfunktio on 1 f ( x) =, a x b b a Jatkuvan tasaisen jakauman momenttiemäfunktio on bt at e e mx () t = tb ( a) TKK (c) Ilkka Mellin (5) 6
Jatkuvien jakaumien momenttiemäfunktioita Jatkuva tasainen jakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa jatkuva tasaista jakaumaa Uniform(a, b), niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) dx X = + b a e tx 1 dx b a tx 1 e = b a t bt at e e = tb ( a) b a TKK (c) Ilkka Mellin (5) 63
Jatkuvien jakaumien momenttiemäfunktioita Jatkuva tasainen jakauma: Odotusarvo ja varianssi 1/3 Jatkuvan tasaisen jakauman Uniform(a, b) momenttiemäfunktio on bt at e e mx () t = tb ( a) 1. derivaatta pisteessä t = : bt at bt at dmx () t ( be ae ) t( b a) ( e e )( b a) = dt t ( b a) bt at bt at ( be ae ) t ( e e ) = t ( b a) a+ b = TKK (c) Ilkka Mellin (5) 64
Jatkuvien jakaumien momenttiemäfunktioita Jatkuva tasainen jakauma: Odotusarvo ja varianssi /3 Jatkuvan tasaisen jakauman Uniform(a, b) momenttiemäfunktio on bt at e e mx () t = tb ( a). derivaatta pisteessä t = : dmx() t dt bt [( be at ae ) t bt ( be at ae ) bt ( be at ae )] t ( b a) 4 + = t ( b a) bt at bt at [( be ae ) t ( e e )] t( b a) 4 t ( b a) ( be ae ) t ( be ae ) t+ ( e e ) a + ab+ b = = 3 t ( b a) 3 bt at bt at bt at TKK (c) Ilkka Mellin (5) 65
Jatkuvien jakaumien momenttiemäfunktioita Jatkuva tasainen jakauma: Odotusarvo ja varianssi 3/3 Siten jatkuvan tasaisen jakauman Uniform(a, b) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t a+ b µ = E( X ) = α1 = = dt α dm() t a + ab+ b X = E( X ) = = dt 3 a + ab+ b ( a+ b) = Var( X ) = 1 = σ α α 3 4 ( b a) = 1 TKK (c) Ilkka Mellin (5) 66
Jatkuvien jakaumien momenttiemäfunktioita Eksponenttijakauma Oletetaan, että satunnaismuuttuja X noudattaa eksponenttijakaumaa Exp(λ). Tällöin sen tiheysfunktio on λx f ( x) = λe, λ >, x Eksponenttijakauman momenttiemäfunktio on mx () t λ = λ t TKK (c) Ilkka Mellin (5) 67
Jatkuvien jakaumien momenttiemäfunktioita Eksponenttijakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa eksponenttijakaumaa Exp(λ), niin sen momenttiemäfunktio on () E( tx tx m t = e ) = e f( x) dx X = + tx λx e λe dx = λ e ( t λ ) x dx ( t λ ) x e = λ t λ λ = λ t TKK (c) Ilkka Mellin (5) 68
Jatkuvien jakaumien momenttiemäfunktioita Eksponenttijakauma: Odotusarvo ja varianssi 1/ Eksponenttijakauman Exp(λ) momenttiemäfunktio on λ mx () t = λ t 1. derivaatta pisteessä t = : dmx () t λ 1 = = dt ( λ t) λ. derivaatta pisteessä t = : dmx() t λ = = 3 dt ( λ t) λ TKK (c) Ilkka Mellin (5) 69
Jatkuvien jakaumien momenttiemäfunktioita Eksponenttijakauma: Odotusarvo ja varianssi / Siten eksponenttijakauman Exp(λ) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t 1 µ = E( X ) = α1 = = dt λ α dmx() t = E( X ) = = dt λ 1 σ = Var( X ) = α α = λ λ 1 = λ 1 TKK (c) Ilkka Mellin (5) 7
Jatkuvien jakaumien momenttiemäfunktioita Normaalijakauma Oletetaan, että satunnaismuuttuja X noudattaa normaalijakaumaa N(µ, σ ). Tällöin sen tiheysfunktio on 1 1 x µ f( x) = exp, < µ <+, σ > σ π σ < x < + Normaalijakauman momenttiemäfunktio on m t µ t σ t 1 X ( ) = exp( + ) TKK (c) Ilkka Mellin (5) 71
Jatkuvien jakaumien momenttiemäfunktioita Normaalijakauma: Momenttiemäfunktion johto Jos satunnaismuuttuja X noudattaa normaalijakaumaa N(µ, σ ), niin sen momenttiemäfunktio on tx tx m () t = E( e ) = e f( x) dx X + + 1 1 exp( tx) exp ( x µ ) dx σ σ π 1 exp( µ t σ t ) = = + = t e µ + 1 1 1 exp [ ( µ + σ )] σ π σ σ t + x t dx TKK (c) Ilkka Mellin (5) 7
Jatkuvien jakaumien momenttiemäfunktioita Normaalijakauma: Odotusarvo ja varianssi 1/ Normaalijakauman N(µ, σ ) momenttiemäfunktio on 1 mx ( t) = exp( µ t+ σ t ) 1. derivaatta pisteessä t = : dmx () t dt µ t+ σ 1 t = e ( µ + σ t) = µ. derivaatta pisteessä t = : dm 1 1 X () t µ t+ σ t µ t+ σ t = e ( µ + σ t) + e σ dt = µ + σ TKK (c) Ilkka Mellin (5) 73
Jatkuvien jakaumien momenttiemäfunktioita Normaalijakauma: Odotusarvo ja varianssi / Siten normaalijakauman N(µ, σ ) odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavilla kaavoilla: dmx () t µ = E( X ) = α 1 = = µ dt dm() t α µ σ X = E( X ) = = + dt = Var( X ) = 1 = + σ α α µ σ µ = σ TKK (c) Ilkka Mellin (5) 74
Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita Jatkuvien jakaumien momenttiemäfunktioita >> Karakteristinen funktio TKK (c) Ilkka Mellin (5) 75
Karakteristinen funktio Avainsanat Fourier-muunnos Karakteristinen funktio Odotusarvo Riippumattomien satunnaismuuttujien summan jakauma Taylorin sarja TKK (c) Ilkka Mellin (5) 76
Karakteristinen funktio Karakteristisen funktion määritelmä Olkoon X satunnaismuuttuja. Tällöin odotusarvo ϕ () t = E( e itx ), i = X 1 on satunnaismuuttujan X ja sen jakauman karakteristinen funktio. TKK (c) Ilkka Mellin (5) 77
Karakteristinen funktio Karakteristisen funktion määritelmä: Kommentteja Satunnaismuuttujan karakteristinen funktio on toisin kuin sen momenttiemäfunktio aina olemassa. Karakteristisen funktion ϕ () t = E( e itx ), i = X 1 olemassaolo tarkoittaa sitä, että odotusarvo E(e itx ) on äärellinen. Satunnaismuuttujan X karakteristinen funktio ϕ () t = E( e itx ), i = X 1 riippuu vain argumentista t. TKK (c) Ilkka Mellin (5) 78
Karakteristinen funktio Karakteristinen funktio ja momenttiemäfunktio Jos satunnaismuuttujan X momenttiemäfunktio m X (t) = E(e tx ) tunnetaan, saadaan sen karakteristinen funktio ϕ () t = E( e itx ), i = X 1 momenttiemäfunktiosta sijoituksella t it, i = 1 TKK (c) Ilkka Mellin (5) 79
Karakteristinen funktio Karakteristisen funktion ominaisuuksia Olkoon ϕ () t = E( e itx ), i = X 1 satunnaismuuttujan X karakteristinen funktio. Aina pätee: (i) ϕ X () = E(e ) = E(1) = 1 (ii) ϕ X (t) 1 kaikille t (, + ). (iii) ϕx( t) = ϕx( t) jossa merkintä z tarkoittaa kompleksiluvun z konjugaattia. (iv) ϕ X (t) on tasaisesti jatkuva kaikille t (, + ). TKK (c) Ilkka Mellin (5) 8
Karakteristinen funktio Diskreettien satunnaismuuttujien karakteristinen funktio Olkoon X diskreetti satunnaismuuttuja, jonka pistetodennäköisyysfunktio on f X (x) =Pr(X = x) Satunnaismuuttujan X karakteristinen funktio saadaan kaavalla itx itx ϕ X() t = E( e ) = e fx( x), i = 1 x TKK (c) Ilkka Mellin (5) 81
Karakteristinen funktio Jatkuvien satunnaismuuttujien karakteristinen funktio Olkoon X jatkuva satunnaismuuttuja, jonka tiheysfunktio on f X (x) Satunnaismuuttujan X karakteristinen funktio saadaan kaavalla ϕ X + itx itx () t = E( e ) = e fx( x) dx, i = 1 TKK (c) Ilkka Mellin (5) 8
Karakteristinen funktio Inversioteoreema 1/ Olkoon F X (x) = Pr(X x) satunnaismuuttujan X kertymäfunktio ja ϕ () t = E( e itx ), i = X 1 sen karakteristinen funktio. Oletetaan, että (a h, a + h) sellainen reaaliakselin väli, että kertymäfunktio F X (x) on jatkuva välin päätepisteissä. TKK (c) Ilkka Mellin (5) 83
Karakteristinen funktio Inversioteoreema / Tällöin F ( a+ h) F ( a h) X X + T 1 sin( ht) ita = lim e ϕx ( t) dt T + π t T TKK (c) Ilkka Mellin (5) 84
Karakteristinen funktio Inversioteoreema: Kommentteja Jos jakauman karakteristinen funktio tunnetaan, voidaan jakauman kertymäfunktio määrätä inversioteoreemassa määritellyn rajaprosessin avulla. Myös karakteristisen funktion yksikäsitteisyys voidaan todistaa inversioteoreeman avulla. TKK (c) Ilkka Mellin (5) 85
Karakteristinen funktio Inversioteoreema ja jatkuvat jakaumat 1/ Olkoon ϕ () t = E( e itx ), i = X 1 satunnaismuuttujan X karakteristinen funktio. Oletetaan, että ϕ X (t) on integroituva kaikille t (, + ). Tällöin satunnaismuuttuja X on jatkuva ja sen tiheysfunktio f X (x) saadaan kaavalla + 1 itx fx( x) = e ϕ X( t) dt, i = 1 π TKK (c) Ilkka Mellin (5) 86
Karakteristinen funktio Inversioteoreema ja jatkuvat jakaumat / Huomaa, että jatkuvan satunnaismuuttujan X karakteristinen funktio ϕ X + itx () t = e fx( x) dx, i = 1 on satunnaismuuttujan X tiheysfunktion Fouriermuunnos ja + 1 itx fx( x) = e ϕ X( t) dt, i = 1 π on sen käänteinen Fourier-muunnos. TKK (c) Ilkka Mellin (5) 87
Karakteristinen funktio Karakteristisen funktion yksikäsitteisyys Satunnaismuuttujan X karakteristinen funktio ϕ () t = E( e itx ), i = X 1 on yksikäsitteinen ja määrää täysin satunnaismuuttujan X todennäköisyysjakauman. Tämä merkitsee seuraavaa: Jos satunnaismuuttujilla U ja V on sama karakteristinen funktio, satunnaismuuttujat U ja V noudattavat samaa todennäköisyysjakaumaa. TKK (c) Ilkka Mellin (5) 88
Karakteristinen funktio Karakteristisen funktion yksikäsitteisyys: Seuraus 1/ Karakteristisen funktion yksikäsitteisyyttä käytetään usein hyväksi todennäköisyyslaskennan ja matemaattisen tilastotieteen lauseiden todistuksissa seuraavalla kalvolla esitettävässä tilanteessa. TKK (c) Ilkka Mellin (5) 89
Karakteristinen funktio Karakteristisen funktion yksikäsitteisyys: Seuraus / Tehtävänä on selvittää, mikä on satunnaismuuttujan U jakauma. Oletetaan, että satunnaismuuttujan U karakteristinen funktio ϕ U (t) yhtyy satunnaismuuttujan V karakteristiseen funktioon ϕ V (t) jonka todennäköisyysjakauma tunnetaan. Tällöin karakteristisen funktion yksikäsitteisyydestä seuraa, että satunnaismuuttuja U noudattaa samaa jakaumaa kuin satunnaismuuttuja V. TKK (c) Ilkka Mellin (5) 9
Karakteristinen funktio Satunnaismuuttujan momentit ja karakteristisen funktion derivaatat 1/ Olkoon ϕ () t = E( e itx ), i = X 1 satunnaismuuttujan X karakteristinen funktio. Oletetaan, että satunnaismuuttujan X r. (origo-) momentti r α = E( X ) r on olemassa. Tällöin karakteristinen funktio ϕ X (t) on differentioituva kertalukuun r ja k k 1 d ϕ X () t αk = E( X ) =, i = 1, k = 1,,, r k k i dt TKK (c) Ilkka Mellin (5) 91
Karakteristinen funktio Satunnaismuuttujan momentit ja karakteristisen funktion derivaatat / Olkoon ϕ () t = E( e itx ), i = X 1 satunnaismuuttujan X karakteristinen funktio. Oletetaan, että satunnaismuuttujan X karakteristinen funktio ϕ X (t) on differentioituva kertalukuun r. Tällöin kaikki momentit k α k = E( X ), k = 1,,, r ovat olemassa, jos r on parillinen ja kaikki momentit k α k = E( X ), k = 1,,, r 1 ovat olemassa, jos r on pariton. TKK (c) Ilkka Mellin (5) 9
Karakteristinen funktio Karakteristisen funktion derivaatat ja satunnaismuuttujan momentit: Johto Olkoon ϕ () t = E( e itx ), i= X 1 satunnaismuuttujan X karakteristinen funktio. Jos E(X k ) on olemassa, niin k k d ϕ X () t d itx = E( e ) k k dt dt k d itx = E k e dt k k tx = E( ixe ) = i k k = i α k E( X ) k TKK (c) Ilkka Mellin (5) 93
Karakteristinen funktio Karakteristisen funktion derivaatat ja satunnaismuuttujan momentit 1/ Jos satunnaismuuttujan momentit ovat olemassa, niin ne voidaan johtaa kätevästi käyttämällä hyväksi jakauman karakteristisen funktion derivaattoja; ks. edellisiä kalvoja. TKK (c) Ilkka Mellin (5) 94
Karakteristinen funktio Karakteristisen funktion derivaatat ja satunnaismuuttujan momentit / Satunnaismuuttujan X odotusarvo µ,. momentti α ja varianssi σ saadaan seuraavista kaavoista: dϕx () t = ie( X) = iα 1 = iµ dt jossa d ϕ () t X = i E( X ) = α dt = Var( X) = E[( X ) ] = 1 σ µ α α i = 1 TKK (c) Ilkka Mellin (5) 95
Karakteristinen funktio Karakteristisen funktion Taylorin sarjakehitelmä Olkoon ϕ () t = E( e itx ), i = X 1 satunnaismuuttujan X karakteristinen funktio. Oletetaan, että satunnaismuuttujan X r. (origo-) momentti r α = E( X ) r on olemassa. Tällöin karakteristinen funktio ϕ X (t) voidaan kehittää Taylorin sarjaksi r k r k ( it) k r ( it) r ϕx() t = E( X ) + ot ( ) = αk + ot ( ) k= k! k= k! jossa o(t r )/t r, kun t. TKK (c) Ilkka Mellin (5) 96
Karakteristinen funktio Riippumattomien satunnaismuuttujien summan karakteristinen funktio Olkoot X 1, X,, X n riippumattomia satunnaismuuttujia, joiden karakteristiset funktiot ovat ϕ 1 (t), ϕ (t),, ϕ n (t) Tällöin summan X = X 1 + X + + X n karakteristinen funktio on satunnaismuuttujien X 1, X,, X n karakterististen funktioiden tulo: ϕ X (t) = ϕ 1 (t)ϕ (t) ϕ n (t) TKK (c) Ilkka Mellin (5) 97
Karakteristinen funktio Riippumattomien satunnaismuuttujien summan karakteristinen funktio: Perustelu 1/ Olkoot X 1, X,, X n riippumattomia satunnaismuuttujia, joiden momenttiemäfunktiot ovat ϕ 1 (t), ϕ (t),, ϕ n (t) Määritellään satunnaismuuttuja X = X 1 + X + + X n Käytämme hyväksi sitä, että riippumattomien satunnaismuuttujien tulon odotusarvo on tulon tekijöiden odotusarvojen tulo (ks. lukua Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat). TKK (c) Ilkka Mellin (5) 98
Karakteristinen funktio Riippumattomien satunnaismuuttujien summan karakteristinen funktio: Perustelu / Siten ϕ X ( t) = E[exp( itx )] = E[exp( it( X + X + + X ))] 1 1 = E[exp( itx + itx + + itx )] 1 = E[exp( itx )exp( itx ) exp( itx )] 1 = E[exp( itx )]E[exp( itx )] E[exp( itx )] 1 = ϕ () t ϕ () t ϕ () t X X X n n n n n TKK (c) Ilkka Mellin (5) 99