Momentit generoiva funktio

TAMPEREEN YLIOPISTO Pro gradu -tutkielma Jessica Glassar Momentit generoiva funktio Informaatiotieteiden yksikkö Matematiikka Joulukuu 212

Tampereen yliopisto Informaatiotieteiden yksikkö GLASSAR, JESSICA: Momentit generoiva funktio Pro gradu -tutkielma, 3 s. Matematiikka Joulukuu 212 Tiivistelmä Tutkielman pääaihe on momentit generoiva funktio. Se on funktio, jonka avulla voidaan nimensä mukaisesti generoida jakauman momentteja. Lisäksi se on työväline, jonka avulla voidaan luonnehtia jakaumaa muodossa, jota on tietyissä tilanteissa helpompi käsitellä. Tutkielman alussa pohjustetaan aihetta käyden läpi tarvittavia perusmääritelmiä satunnaismuuttujasta, odotusarvosta ja momenteista. Toinen esitietoja käsittelevä luku taas sisältää asiaa yleisesti generoivista funktioista sekä tarkemmin karakteristisesta funktiosta. Itse momentit generoivaan funktioon päästään luvussa 4, jossa käsitellään määritelmän ja perusominaisuuksien lisäksi jakauman määrittämistä momenteista, momenttiepäyhtälöitä sekä riippumattomien muuttujien summaa. Lukijan oletetaan tuntevan matemaattisen tilastotieteen perusteet sekä todennäköisyyslaskentaa. Tutkielman päälähteenä on käytetty Vijay K. Rohatgin ja A.K. Md. Ehsanes Salehin kirjan An Introduction to Probability and Statistics toista painosta. 2

Sisältö 1 Johdanto 4 2 Satunnaismuuttuja ja siihen liittyviä käsitteitä 4 2.1 Satunnaismuuttuja........................ 4 2.2 Riippumattomuus......................... 5 2.3 Odotusarvo............................ 6 2.4 Momentit............................. 8 3 Tarvittavia ennakkokäsitteitä 1 3.1 Generoivat funktiot........................ 1 3.2 Karakteristinen funktio...................... 12 4 Momentit generoiva funktio 13 4.1 Momentit generoivan funktion määritelmä ja perusominaisuuksia................................. 13 4.2 Jakauman määrittäminen momenteista............. 19 4.3 Momenttiepäyhtälöitä...................... 22 4.4 Riippumattomien muuttujien summa.............. 26 Viitteet 29 3

1 Johdanto Tämän tutkielman pääaiheena on momentit generoiva funktio. Aluksi on kuitenkin hyvä pohjustaa aihetta hiukan, joten luvussa 2 kerrataan matemaattisessa tilastotieteessä käytettäviä käsitteitä siinä suhteessa, miten tarpeellisia ne ovat tutkielman aiheen kannalta. Ensin kerrotaan satunnaismuuttujasta (alaluvut 2.1 ja 2.2), joka on ehkä koko tutkielman eniten toistettu käsite. Sen jälkeen käydään läpi vielä odotusarvo (2.3) ja momentit (2.4), jotta lukijalla olisi tuoreessa muistissa nämä aiheen kannalta tärkeät asiat. Luku 3 pitää sisällään kaksi osaa, joista ensimmäinen (3.1) kertoo generoivista funktioista yleensä. Se pyrkii hiukan valottamaan sitä, mitä generoivat funktiot oikein tekevät. Toinen osa (3.2) kertoo karakteristisesta funktiosta, joka on oikein hyödyllinen funktio, mutta joka käydään tässä tutkielmassa läpi oikeastaan vain siksi, että sitä tarvitaan erään lauseen todistuksessa. Karakteristinen funktio on myös generoiva funktio. Viimein luvussa 4 päästään itse asiaan. Ensin määritellään momentit generoiva funktio ja käydään läpi sen perusominaisuuksia (alaluku 4.1). Sitten mietitään, voisiko tietyn jakauman määrittäminen momenteista onnistua (alaluku 4.2). Alaluku 4.3 käsittelee momenttiepäyhtälöitä ja viimeinen alaluku 4.4 tilanteita, joissa satunnaismuuttujia onkin enemmän kuin yksi. Lukijalta odotetaan, että hän tuntee matemaattisen tilastotieteen perusteet sekä hieman erilaisia jakaumia, kuten normaalijakauma ja Poissonjakauma. Myös matemaattisen analyysin perusteet oletetaan tunnetuiksi. Tutkielman päälähteenä on käytetty Vijay K. Rohatgin ja A.K. Md. Ehsanes Salehin kirjaa An Introduction to Probability and Statistics, Second edition. 2 Satunnaismuuttuja ja siihen liittyviä käsitteitä Pohjustetaan aihetta hieman tarvittavilla ennakkotiedoilla. Tässä kappaleessa käydään läpi pääpiirteittäin satunnaismuuttuja, sen ominaisuuksia sekä odotusarvo. Niiden jälkeen tarkastellaan vielä momentteja, jotka nimensäkin perusteella liittyvät kiinteästi momentit generoivaan funktioon. 2.1 Satunnaismuuttuja Tutkimustuloksia on usein helpompi käsitellä jonkinlaisen tiivistetyn muuttujan avulla. Esimerkiksi vaikka kyselytutkimus, jossa vastaukset on jaoteltu myönteisiin, 1, ja kielteisiin,, ja vastauksia on saatu 5 henkilöltä. Nyt otosavaruudessa on 2 5 elementtiä, joista jokainen on 1:n ja :n muodostama 5 alkion merkkijono. Tällainen tietomäärä on saatava pakattua tiiviimmäksi, jotta sitä voidaan käsitellä helpommin. Voidaan määrittää muuttuja 4

X = 1 :n määrä 5 vastauksen joukossa. Tällöin otosavaruus on pienentynyt kokonaislukujen joukoksi {, 1, 2,..., 5}, mitä on paljon helpompi käsitellä. [2, s. 27] Kun määritetään X tällä tavoin, on luotu kuvaus alkuperäiseltä otosavaruudelta uudelle sellaiselle, useimmiten joukolle reaalilukuja. Yleisesti käytetään seuraavanlaista määritelmää: Määritelmä 2.1. Satunnaismuuttuja X on funktio otosavaruudesta S reaaliluvuille, toisin sanoen X : S R. [2, s. 27] Esimerkki 2.1. Taulukossa 1 on muutamia esimerkkejä erilaisista satunnaiskokeista ja niissä käytetyistä satunnaismuuttujista. Koe Heitetään kahta noppaa Heitetään kolikkoa 25 kertaa Viljellään eri maissilajikkeita Satunnaismuuttuja X = saatujen lukujen summa X = kruunujen määrä 25:ssä heitossa X = tuotto/aari Taulukko 1: Esimerkkejä erilaisista satunnaismuuttujista Tässä tutkielmassa tarkastelun kohteena olevat käsitteet on suurelta osin jaoteltu kahteen tapaukseen sen mukaan, onko satunnaismuuttuja jatkuva vai diskreetti, joten määritellään vielä sekin ominaisuus. Määritelmä 2.2. Satunnaismuuttuja X on jatkuva, jos sen kertymäfunktio F (x) on jatkuva. Satunnaismuuttuja X on taas diskreetti silloin, kun sen kertymäfunktio F (x) on porrasfunktio. [2, s. 33] 2.2 Riippumattomuus Erityisesti tutkielman loppupuolella käsitellään toisistaan riippumattomia satunnaismuuttujia. Tässä kappaleessa selvennetään hiukan, mitä riippumattomuus satunnaismuuttujien kohdalla tarkoittaa. Satunnaismuuttujien riippumattomuus pohjaa ehdollisen todennäköisyyden käsitteestä. Kerrataan se lyhyesti: Kun A ja B ovat jonkin otosavaruuden tapahtumia, niin tapahtuman B ehdollinen todennäköisyys ehdolla A on P (B A) = P (B A), kun P (A) >. P (A) Kun tapahtumat ovat riippumattomia, on ehdollinen todennäköisyys P (B A) sama kuin ehdollistamaton todennäköisyys P (B). Siis P (B) = P (B A) = Tästä seuraa riippumattomuuden määritelmä: 5 P (B A). P (A)

Määritelmä 2.3. Tapahtumat A ja B ovat riippumattomat, jos P (B A) = P (A)P (B) [1, s. 54] Satunnaismuuttujien riippumattomuus määritellään vastaavalla tavalla. Määritelmä 2.4. Olkoot X ja Y satunnaismuuttujia. Ne ovat riippumattomat, jos P ({X A} {Y B}) = P ({X A})P ({Y B}), kaikilla A R ja B R. [9, s. 39] Määritelmästä seuraa suoraan muun muassa se, että jos ja vain jos X ja Y ovat riippumattomia, F (x, y) = F 1 (x)f 2 (y), kaikilla (x, y) R 2. Tässä F 1 (x), F 2 (y) ovat satunnaismuuttujien X, Y kertymäfunktioita ja F (x, y) niiden yhdistetty kertymäfunktio. [13, s. 119] 2.3 Odotusarvo Odotusarvo on yksi tärkeä jakaumien tunnusluku. Tässä kappaleessa kerrataan siihen liittyviä perusasioita. Odotusarvon kohdalla aloitetaan myös erikseen diskreetin ja jatkuvan tapauksen esittäminen (ks. Määritelmä 2.2). Olkoon X diskreetin jakauman satunnaismuuttuja, jonka tiheysfunktio on p k = P {X = x k }, k = 1, 2,.... Jos (2.1) x k p k <, k=1 niin X:n odotusarvo, E(X), on olemassa ja (2.2) µ = E(X) = x k p k. k=1 On siis huomattava, että on mahdollista, että jälkimmäinen sarja (2.2) suppenee, mutta ensimmäinen (2.1) ei. Tällöin määritellään, että E(X) ei ole olemassa. Esimerkki 2.2. Olkoon X:n tiheysfunktio määritelty seuraavanlaisesti: p j = P { j+1 3j X = ( 1) j } 6 = 2, j = 1, 2,.... 3j

Tällöin ja E(X) ei ole olemassa, vaikka sarja onkin suppeneva. 2 x j p j = j=1 j=1 j = x j p j = j=1 j=1( 1) j+1 2 j Jos X taas on jatkuva satunnaismuuttuja ja sillä on tiheysfunktio f, saadaan sen odotusarvo integraalin avulla yhtälöstä E(X) = xf(x) dx. Tällöin on vastaavasti oltava x f(x) dx <. Tässä vaiheessa on hyvä palauttaa mieleen, että integraali ϕ(x) dx on olemassa vain silloin, kun raja-arvo lim a a b b ϕ(x) dx on olemassa. Rajaarvon lim a a a ϕ(x) dx on hyvinkin mahdollista olla olemassa ilman, että integraali ϕ(x) dx on. Esimerkki 2.3. Tarkastellaan esimerkkinä Cauchyn jakauman tiheysfunktiota: f(x) = 1 1, < x <. π 1 + x2 Selvästikin a x 1 lim dx =. π 1 + x2 a a Nyt E(X) ei kuitenkaan ole olemassa, sillä integraali 1 π x dx hajaantuu. 1 + x2 Huomautus 1. Sanotaan, että satunnaismuuttuja X on symmetrinen pisteen α suhteen, jos P {X α + x} = P {X α x} kaikilla x:n arvoilla. 7

Kertymäfunktiolle F tämä tarkoittaa seuraavaa: Jos kaikille x R pätee F (α x) = 1 F (α + x) + P {X = α + x}, niin sanotaan F :n olevan symmetrinen ja α:n olevan sen symmetriakeskus. Jos α =, pätee jokaisella x F ( x) = 1 F (x) + P {X = x}. Erityisesti jos X on jatkuva satunnaismuuttuja, se on symmetrinen α:n ollessa sen symmetriakeskus, jos ja vain jos sen tiheysfunktio f toteuttaa seuraavan yhtälön kaikilla x:n arvoilla: f(α x) = f(α + x). Siinä tapauksessa, että α = puhutaan yksinkertaisesti, että X on symmetrinen. Tästä seuraa suoraan se, että kun X on symmetrinen, α symmetriakeskuksena ja E(X) <, niin E(X) = α. Selkeä esimerkki symmetrisestä jakaumasta on Cauchyn tiheysfunktio, joka esiteltiin tämän kappaleen esimerkissä 2.3. [13, s. 69-71] 2.4 Momentit Ennen momentit generoivaa funktiota on hyvä selventää hieman sitä, mitä momentit ovat. Ne ovat myös tärkeitä jakauman tunnuslukuja. Momenttien avulla voidaan luonnehtia satunnaismuuttujan jakaumaa ja ne määritellään odotusarvon avulla. Määritelmä 2.5. Kun n Z + ja odotusarvo E(X) on olemassa, satunnaismuuttujan X n:s momentti on m n = E(X n ). Satunnaismuuttujan X n:s keskusmomentti taas saadaan seuraavan kaavan avulla: missä m = m 1 = E(X) m n = E[(X m) n ], [2, s. 59] Huomautus 2. Kun α on positiivinen kokonaisluku ja E( X ) α <, saadaan β α = E( X ) α, jota kutsutaan satunnaismuuttujan X α:ksi itseisarvomomentiksi. Tämä esiintyy myöhemmin kappaleessa 4.3 sekä Tsebysevin epäyhtälön että Ljapunovin epäyhtälön yhteydessä. [13, s. 72] 8

Määritelmästä 2.5 nähdään, että satunnaismuuttujan ensimmäinen momentti on jakauman odotusarvo. Toinen tärkeä ja usein tarpeellinen momentti on satunnaismuuttujan toinen keskusmomentti, joka tunnetaan paremmin varianssina. [2, s. 59] Määritelmä 2.6. Jos E(X 2 ) on olemassa, on E[(X m) 2 ] satunnaisfunktion X varianssi ja voidaan merkitä σ 2 = var(x) = E[(X m) 2 ]. [13, s. 79] Esimerkki 2.4. Olkoon X tasaisesta jakaumasta luonnollisten lukujen joukosta. Olkoon siis P {X = k} = 1, k = 1, 2,..., N. N Selvästi kaikkien kertalukujen momentit ovat olemassa: [13, s. 73] N E(X) = k 1 k=1 N = N + 1, 2 N E(X 2 ) = k 2 1 (N + 1)(2N + 1) = k=1 N 6 jne. Esimerkki 2.5. Olkoon X eksponenttijakauman satunnaismuuttuja. Tällöin sen tiheysfunktio on Määritetään ensin X:n odotusarvo: f(x) = 1 λ e x/λ, x < ja λ >. E(X) = = = / 1 λ xe x/λ dx xe x/λ + e x/λ dx = λ. [2, s. 56] Määritetään sitten X:n varianssi: e x/λ dx osittaisintegrointi [3, s. 8-9] var(x) = E[(X λ) 2 ] = = (x λ) 2 1 λ e x/λ dx (x 2 2xλ + λ 2 ) 1 λ e x/λ dx = λ 2. 9

3 Tarvittavia ennakkokäsitteitä Jatketaan pohjustusta vielä tarpeellisilla esitiedoilla karakteristisesta funktiosta ja generoivista funktioista yleensä. Generoivia funktioita on siis muitakin, kuin tässä tutkielmassa käsittelyyn otettu momentit generoiva funktio. Käydään tässä kappaleessa läpi yleisellä tasolla generoivien funktioiden tarkoitusta sekä määritellään karakteristinen funktio, jota hyödynnetään myöhemmin muun muassa Lauseen 4.1 todistuksessa. 3.1 Generoivat funktiot Oletetaan, että halutaan tutkia lukujonoa (a, a 1, a 2,... ). Tällainen jono saattaa olla määritelty tietyn suhdeluvun avulla tai se saattaa käsittää jonkin joukkoperheen. Erilaisia lukujonojen luokkia, joilla kaikilla on hyvin erilaiset ominaisuudet, on monia. Mitä ovat ne yleiset keinot, joilla lukujonoja voidaan tutkia? Yksi tällainen työväline on generoiva funktio: A(x) = a + a 1 x + a 2 x 2 + = a k x k. k= [12, s. 1] Generoiva funktio on siis keino esittää lukujonoja tiiviimmässä muodossa. Esimerkiksi geometrinen lukujono voidaan muotoilla seuraavasti: a + arx + ar 2 x 2 + = ar k x k = k= [12, s. 1] Generoivien funktioiden summa on yksinkertaisesti A(x) + B(x) = (a k + b k )x k. k= a 1 rx. [7, s. 32] Generoivien fuktioiden tulo taas on hieman mielenkiintoisempi. Kirjoitetaan siitä määritelmä. Määritelmä 3.1. Olkoon A(x) = k= a k x k ja B(x) = k= b k x k generoivia funktioita. Niiden tulo AB on generoiva funktio C(x) = k= c k x k, missä k c k = a i b k i. i= [12, s. 5] Tätä tuloa kutsutaan myös Cauchyn tuloksi. [7, s. 32] 1

Kun generoivia funktioita lähestytään algebrallisesti, symbolille x ei välttämättä anneta lukuarvoja, jolloin sen potenssi vain ilmaisee kertoimensa paikan lukujonossa. Tällaisen lähestymistavan etuna on, että sarjan suppenemista ei tarvitse tutkia ollenkaan. Generoivia funktioita voi kuitenkin lähestyä myös analyyttisesti, kuten tässä tutkielmassa myöhemmin tehdään. Tällöin sarjan A(x) suppenemisellekin asetetaan tiettyjä ehtoja. [7, s. 32-33] Toinen generoiva funktio, joka on hyvä tuntea, on eksponentiaalinen generoiva funktio: x k a k k!. k= Tietyissä tilanteissa tämä on soveltuvampi työväline. Esimerkiksi x k k! = ex, k= joka on jonon (1, 1, 1,... ) eksponentiaalinen generoiva funktio. [1, s. 6] Yksinkertaisin generoiva funktio, jota käytetään todennäköisyysteoriassa on diskreetin satunnaismuuttujan X todennäköisyydet generoiva funktio. Määritelmä 3.2. Olkoon X:n tiheysfunktio p k = P {X = k}, k =, 1, 2,... ja p k = 1. k= Tällöin satunnaismuuttujan X todennäköisyydet generoiva funktio on mikä suppenee, kun s 1. G(s) = p k s k, k= Esimerkki 3.1. Tarkastellaan Poisson-jakautunutta satunnaismuuttujaa X, jonka tiheysfunktio on Tällöin saadaan, että P {X = k} = e λ λk, k =, 1, 2,.... k! G(s) = (sλ) k e λ k= k! = e λ e sλ = e λ(1 s) kaikilla s:n arvoilla. [13, s. 85-86] 11

3.2 Karakteristinen funktio Karakteristinen funktio on kuvaus, jota kutsutaan analyysin puolella myös Fourier-Stieltjes-muunnokseksi. Tässä tutkielmassa sitä tarvitaan Lauseen 4.1 todistuksessa. Karakteristinen funktio on olemassa kaikille jakaumille toisin kuin esimerkiksi momentit generoiva funktio. Määritelmä 3.3. Olkoon X satunnaismuuttuja. Kompleksiarvoinen funktio φ on määritelty joukossa R seuraavasti (3.1) φ(t) = E(e itx ), t R ja i = 1 on imaginääriyksikkö. Tätä funktiota φ kutsutaan satunnaismuuttujan X karakteristiseksi funktioksi. [13, s. 89] Kun kyseessä on diskreetti jakauma, φ(t) = k e itx k P {X = x k } ja kun jakauma on jatkuva, φ(t) = e itx f(x) dx. Esimerkki 3.2. Olkoon X Poisson-jakautunut parametrilla λ. Tällöin [15, s. 67] φ(t) = e λ k= itk λk e k! = e λ (λe it ) k k! k= = e λ e λeit = e λ(eit 1). Esimerkki 3.3. Olkoon X normaalisti jakautunut satunnaismuuttuja, jonka tiheysfunktio on f(x) = 1 e x2 /2, x R. 2π Muutetaan ensin Eulerin kaavaa, e ix (3.1) muotoon = cos x + i sin x, käyttäen kaava φ(t) = E(e itx ) = E(cos(tX)) + ie(sin(tx)). Nyt 12

φ(t) = 1 2π cos(tx)e x2 /2 dx + i 2π sin(tx)e x2 /2 dx. Huomataan, että sin(tx) on pariton funktio samoin kuin sin(tx)e x2 /2. Näin ollen edellisen funktion oikeanpuoleinen integraali häviää ja saadaan (vrt. [13, s. 9]) φ(t) = 1 2π = 2 2π cos(tx)e x2 /2 dx 1 2 cos(tx)e x2 /2 dx = e t2 /2, t R. 4 Momentit generoiva funktio Nyt päästään vihdoin momentit generoivaan funktioon. Tämä kappale sisältää aluksi tietenkin määritelmän, minkä jälkeen esitellään muutamia esimerkkejä ja momentit generoivan funktion ominaisuuksia. Näiden jälkeen tarkastellaan tietyn jakauman määrittämistä sen momenteista sekä muutamia momenttiepäyhtälöitä. Viimeinen luku käsittelee riippumattomien muuttujien summaa. 4.1 Momentit generoivan funktion määritelmä ja perusominaisuuksia Momentit generoiva funktio on hyödyllinen työkalu todennäköisyyslaskennassa ja tilastotieteessä. Sen avulla voidaan, nimensä mukaisesti, johtaa satunnaismuuttujan momentit. Tässä tutkielmassa momentit generoivasta funktiosta voidaan käyttää myös merkintää MGF. Määritelmä 4.1. Olkoon X satunnaismuuttuja, jolla on kertymäfunktio F. Funktio (4.1) M(s) = E(e sx ) on tällöin satunnaismuuttujan X momentit generoiva funktio, jos lausekkeen (4.1) oikeanpuoleinen odotusarvo on olemassa jossain nollan ympäristössä. Toisin sanoen on olemassa h > siten, että kaikilla s:n arvoilla h < s < h, E(e sx ) on olemassa. [13, s. 87] ja [2, s. 62] 13

ja Tämän pohjalta voidaan tarkentaa, että X:n MGF on M(s) = e sx P {X = x}, k=1 M(s) = e sx f(x) dx, kun X on diskreetti kun X on jatkuva. Esimerkki 4.1. Olkoon diskreetin satunnaismuuttujan X tiheysfunktio Nyt P {X = k} = E(e sx ) = 6 π 2 k=1 { 6 1 π 2, k = 1, 2,... k 2 muulloin. e sk =, kun s >. k2 Tästä nähdään, että X:n MGF ei ole olemassa. Itse asiassa myös E(X) =. Esimerkki 4.2. Olkoon X:n tiheysfunktio f(x) = Tällöin X on selvästi jatkuva ja M(s) = 1 2 { 1 2 e x/2, x > muulloin. e (s 1/2)x dx = 1 1 2s, s < 1 2. Tarkastellaan sitten samaa jakaumaa kuin generoivan funktion yhteydessä: Esimerkki 4.3. Olkoon X:n tiheysfunktio (vrt. esimerkki 3.1) Silloin (vrt. [13, s. 87-88]) { e λ λ k, k =, 1, 2,... P {X = k} = k! muulloin. M(s) = E(e sx ) = e λ = e λ(1 es ) 14 k= sk λk e k! kaikilla s:n arvoilla.

Esimerkki 4.4. Binomijakauman tiheysfunktio on muotoa f(x) = P {X = x} = ( ) n p x (1 p) n x, x =, 1,... n, k missä n on positiivinen kokonaisluku ja p 1. Nyt ) n M(s) = e sx( n p x (1 p) n x = x= k Binomikaavan (ks. esim. [2, s. 9]) mukaan n x= n x= ( ) n u x v n x = (u + v) n. x Tällöin, kun u = pe s ja v = 1 p, saadaan M(s) = [pe s + (1 p)] n. ( ) n (pe s ) x (1 p) n x. k Lause 4.1. Momentit generoiva funktio määrittää aina tietyn kertymäfunktion yksikäsitteisesti. [13, s. 88] Todistus. Tämän lauseen todistus on esitetty tässä pääpiirteittäin. Tarkemmasta esityksestä kiinnostunut lukija voi tutustua esimerkiksi lähteeseen [4]. (i) Tarkastellaan ensin rajoitettua jatkuvaa satunnaismuuttujaa. Tiedetään, että kun X on jatkuva M(s) = E(e sx ) = e sx f(x) dx. Jos korvataan s it:llä, missä t on reaaliluku ja i = 1, silloin sarja suppenee kaikilla t ja voidaan määritellä funktio φ(t) = M(it) = e itx f(x) dx. Tämähän on X:n karakteristinen funktio. Tästä nähdään myös, että funktio φ on f:n Fourier-muunnos (ks. esim. [11]). Toisaalta tiedetään, että Fouriermuunnoksen käänteisfunktio saadaan kaavaa soveltaen.[6, s. 398] f(x) = 1 2π e itx φ(t) dt 15

Näin nähdään, että karakteristinen funktio φ ja sitä kautta momentit generoiva funktio M, määrää tiheysfunktion f yksikäsitteisesti, jolloin myös kertymäfunktio on yksikäsitteisesti määritelty. (ii) Toisena käsitellään tapaus, kun X on diskreetti satunnaismuuttuja, jolla on äärellinen arvojoukko {x 1, x 2,..., x n }, kertymäfunktio F ja momentit generoiva funktio M. Tällöin n M(s) = e sx j F (x j ). j=1 Asetetaan a j = F (x j ) ja sitten valitaan n kpl soveltuvia s:n erilaisia arvoja s i ja merkitään b i = M(s i ). Näin saadaan tai matriisimerkinnöillä n b i = e s ix j a j j=1 B = MA. Tässä B = (b i ) ja A = (a j ) ovat n-sarakevektoreita ja M = (e s ix j ) on n n- matriisi. Saatu matriisiyhtälö voidaan ratkaista A:n suhteen: A = M 1 B, silloin, kun matriisi M on kääntyvä (ts. M:n determinantin on oltava eri kuin ). Tämä voidaan aina järjestää valitsemalla arvot s i = i 1, sillä tällöin M:n determinantti on Vandermonden determinantti e x i :lle, det 1 1 1... 1 e sx 1 e sx 2 e sx 3... e sxn e 2sx 1 e 2sx 2 e 2sx 3... e 2sxn... e (n 1)sx 1 e (n 1)sx 2 e (n 1)sx 3... e (n 1)sxn jonka arvo on i<j(e x i e x j ). Tällainen determinantti eroaa aina nollasta, jos sen x j :t ovat eriarvoiset. Siis sarakevektori A = (a j ) saadaan ratkaistuksi matriisiyhtälöstä, jolloin kertymäfunktio tulee yksikäsitteisesti määritetyksi. [6, s. 37] Huomautetaan vielä, että jos oletus satunnaismuuttujan äärellisyydestä otetaan pois, edellinen todistus ei välttämättä enää päde. Seuraava lause selittää, miksi funktiota M(s) kutsutaan momentit generoivaksi funktioksi., 16

Lause 4.2. Jos satunnaismuuttujan X momentit generoiva funktio, M(s), on olemassa s:lle välillä [ s, s ], kun s >, on sen kaikkien asteiden derivaatat olemassa, kun s = ja M (k) () = E(X k ), k on positiivinen kokonaisluku. [13, s. 88] Todistus. Olkoon M(s) = E(e sx ) satunnaismuuttujan X momentit generoiva funktio. Erotetaan diskreetti ja jatkuva tapaus toisistaan: Kun X on diskreetti: d ds M(s) = d e sx p(x) ds x = d x ds esx p(x) = xe sx p(x), x ( ) jolloin M () = x xe x p(x) = x xp(x) = E(X). ( ) suppenevan potenssisarjan voi derivoida termeittäin Koska dk ds k e sx = x k e sx, on selvää, että tulos voidaan yleistää koskemaan myös k. derivaattaa. [5, s. 2] Kun X on jatkuva ja oletetaan, että integraalimerkin yli voidaan derivoida, saadaan d ds M(s) = d ds = = e sx f(x) dx ( d ds esx )f(x) dx (xe sx )f(x) dx = E(Xe sx ). Näin ollen M () = E(Xe X ) = E(X). 17

Kun jatketaan vastaavalla tavalla päädytään tulokseen M (k) () = dk ds k M() = E(Xk e X ) = E(X k ) [3, s. 1] Huomautus 3. Vaihtoehtoisesti, jos MGF, M(s), on olemassa s:lle välillä [ s, s ], kun s >, voidaan M(s) ilmaista (yksikäsitteisesti) Maclaurin sarjan kehitelmänä: M(s) = M() + M () 1! s + M () s 2 +, 2! jossa siis E(X k ) on termin s k /k! kerroin. Kun muistetaan alaluvun 2.4 määritelmä 2.5, niin saadaan vielä toinen muotoilu: M(s) = k= m k k! sk. Viimeistään tästä nähdään selkeästi, mistä momentit generoivan funktion nimi saadaan. Esimerkki 4.5. Olkoon nyt X jatkuva satunnaismuuttuja, jonka arvojoukko on väli [, ) ja kertymäfunktio f(x) = λe λx. Silloin Nyt m n = E(X n ) = x n λe λx dx = λ( 1) n dn e λx dx dλ n [ 1 λ] = λ( 1) n dn dλ n = n! λ n. M(s) = = m k s k k= k= k! [ s = k= λ k!s k 1 λ k k! ] k = λ λ s. Tämä sarja suppenee vain, jos s < λ. [6, s. 396] Huomautus 4. Satunnaismuuttujan X varianssi voidaan nyt muotoilla myös toisella tavalla (vrt. Määritelmä 2.6), var(x) = E(X 2 ) (E(X)) 2. 18

Esimerkki 4.6. Olkoon X satunnaismuuttuja, jonka tiheysfunktio on Esimerkistä 4.2. saadaan, että Tällöin M (s) = Tästä seuraa, että f(x) = 1 2 e x/2, x >. M(s) = 1 1 2s, kun s < 1 2. 2 (1 2s) 2 ja M (s) = 4 2 (1 2s) 3, s < 1 2. E(X) = 2, E(X 2 ) = 8 ja var(x) = 4. Esimerkki 4.7. Olkoon X satunnaismuuttuja, jonka tiheysfunktio on { 1, x 1 f(x) = muulloin. Nyt ja M(s) = 1 e sx dx = es 1, kaikilla s, s M (s) = es s (s s 1) 1 s 2, E(X) = M () = lim s se s e s + 1 s 2 = 1 2. (vrt. [13, s. 89]) Painotetaan vielä, että odotusarvo E(e sx ) ei ole aina olemassa. Itse asiassa vaatimus siitä, että M(s) on olemassa nollan läheisyydessä, on kova vaatimus, jota jotkut yleiset jakaumat eivät täytä. On olemassa generoiva funktio, joka on olemassa kaikille jakaumille, karakteristinen funktio. Tarkempaa tietoa siitä löytyy tutkielman pohjatiedoista. 4.2 Jakauman määrittäminen momenteista Käsitellään nyt jakauman määrittämistä sen momenteista. Annetaan joukko vakioita, {µ = 1, µ 1, µ 2,... } ja kysytään, voivatko ne olla tietyn kertymäfunktion F momentteja. Tässä vaiheessa on hyvä huomioida muutama asia. Ensinnäkin jos M(s) = E(e sx ) on olemassa jollekin satunnaismuuttujalle X, s:n ollessa nollan läheisyydessä, silloin E( X n ) < kaikilla n 1. Mutta oletuksesta E( X n ) < kaikilla n 1 ei kuitenkaan seuraa, että X:n MGF on olemassa. [13, s. 9] 19

Esimerkki 4.8. Olkoon X satunnaismuuttuja, jonka tiheysfunktio on f(x) = ce x α, < α < 1, < x <, missä c on vakio ja määritelty yhtälöstä c e x α dx = 1. Olkoon s >. Tällöin e sx e xα dx = e x(s xα 1) dx ja koska α 1 <, e sx e xα dx on ääretön kaikilla s >. Näin ollen momentit generoivaa funktiota ei ole olemassa. Kuitenkin E( X n ) = c x n e x α dx = 2c x n e xα dx < kaikilla n Z +. Toiseksi, kahdella (tai useammalla) satunnaismuuttujalla voi olla sama joukko momentteja. Esimerkki 4.9. Olkoon X:llä lognormaalisti jakautunut tiheysfunktio ja f(x) =, kun x. f(x) = (x 2π) 1 e (log x)2 /2, x >, Olkoon X ε :n, ε 1, tiheysfunktio f ε (x) = f(x)[1 + ε sin(2π log x)], x R. [Huomaa, että f ε kaikille ε, ε 1, ja f ε(x) dx = 1, joten f ε on tiheysfunktio.] Koska kuitenkin x k f(x) sin(2π log x) = 1 2π e (t2 /2)+kt sin(2πt) dt = 1 2π e k2 /2 e y2 /2 sin(2πy) dy =, niin nähdään, että x k f(x) dx = x k f ε (x) dx, kaikille ε, kun ε 1 ja k =, 1, 2,.... Mutta f(x) f ε (x). 2

[13, s. 91] Kolmanneksi, jokaisen satunnaismuuttujan X momentit täyttävät tietyt vaatimukset. Esimerkiksi, jos β ν = E( X ν ), myöhemmin esitettävän Ljapunovin epäyhtälön (4.7) perusteella nähdään, että (β ν ) 1/ν on ν:n kasvava funktio. Yhtä lailla sen neliömuoto ( n ) 2 E X α i t i i=1 antaa X:n eri kertalukujen momenttien välisen suhteen. [13, s. 91] Aiemmin todistettu Lause 4.1 antaa riittävän ehdon tietyn F :n määrittämiseen sen momenteista. Esimerkki 4.1. Olkoon satunnaismuuttujalla X tiheysfunktio { e f(x) = x, kun x, kun x <. Tällöin E(X k ) = ja Huomautuksesta 3 saadaan, että (4.2) M(s) = k= x k e x dx = k!, m k s k k! = k= s k = 1 1 s, kun < s < 1, mikä on X:n momentit generoiva funktio, jolloin {m k } määrittää F :n yksikäsitteisesti. niin Tarkemmin, jos jollakin vakiolla c k=1 m k c k, k = 1, 2,..., m k s k k! (cs) k < e c s, kun s > k! k=1 ja X:n kertymäfunktio määritetään yksikäsitteisesti. Näin ollen, jos P { X c} = 1 jollakin c >, niin kaikki X:n momentit ovat olemassa täyttäen ehdot m k c k, k 1 ja X:n kertymäfunktio on yksikäsitteisesti määritetty sen momenteista. Esitetään vielä riittäviä ehtoja, joilla jono momentteja voi määrittää yksikäsitteisesti kertymäfunktion. (i) Satunnaismuuttujan vaihteluväli on äärellinen. (ii) k=1 (m 2k ) 1/2k =, kun satunnaismuuttujan vaihteluväli on (, ). Jos vaihteluväli on (, ), riittää ehdoksi k=1 (m k ) 1/2k =. (iii) lim n [(m 2n ) 1/2n /2n] on äärellinen. [13, s. 92] 21

4.3 Momenttiepäyhtälöitä Tässä kappaleessa johdetaan muutama epäyhtälö satunnaismuuttujan momenteille. Luvun päätulos on Lause 4.3 (sekä seuraus 4.4), joka antaa ylärajan häntätodennäköisyydelle (tail probability) jonkin satunnaismuuttujan momentin suhteen. Luku seuraa päälähdettä [13] sivuilta 95-1. Lause 4.3. Olkoon X satunnaismuuttuja ja olkoon h sellainen, että h(x) on ei-negatiivinen satunnaismuuttuja. Jos E(h(X)) on olemassa, niin jokaisella ε > pätee (4.3) P {h(x) ε} E(h(X)). ε Todistus. Todistetaan tulos, kun X on diskreetti. Olkoon P {X = x k } = p k, k = 1, 2,.... Tällöin E(h(X)) = k h(x k )p k missä Nyt ( = + ) h(x k )p k, A A c A = {k : h(x k ) ε}. E(h(X)) A h(x k )p k ε A p k = εp {h(x) ε}. Seuraus 4.4. Olkoon h(x) = X r ja ε = K r, missä r > ja K >. Nyt (4.4) P { X K} E( X r ) K r. Tätä kutsutaan Markovin epäyhtälöksi. Jos vielä määritetään, että h(x) = (X µ) 2, ε = K 2 σ 2, saadaan Tsebyshevin epäyhtälö: (4.5) P { X µ Kσ} 1 K 2, missä µ = E(X) ja σ 2 = var(x). 22

Huomautus 5. Jos halutaan olla tarkkoja kertymäfunktion määritelmän, F (x) = P {X x} suhteen, voidaan kaava (4.3) muotoilla uudelleen seuraavalla tavalla: P {h(x) > ε} < E(h(X)). ε Sellaisille satunnaismuuttujille, joilla on äärellinen toisen asteen momentti, epäyhtälö (4.5) on tarkin ilmaisu, johon voidaan päästä. Esimerkki 4.11. Olkoot Näin ollen P {X = } = 1 1 K 2, P {X = ±1} = 1 2K 2, K > 1 ja vakio E(X) =, E(X 2 ) = 1 K 2, σ = 1 K. jolloin päästään yhtäsuuruuteen. P { X Kσ} = P { X 1} = 1 K 2, Esimerkki 4.12. Olkoon X:n tiheysfunktio { 1, kun < x < 1 f(x) = muulloin. Nyt ja E(X) = 1 2, E(X2 ) = 1 3, var(x) = 1 3 1 4 = 1 12 P X 1 { 1 2 < 2 1 12 = P 2 1 < X < 1 3 2 + 1 } = 1. 3 Tsebyshevin epäyhtälöstä saadaan vielä P X 1 1 2 < 2 12 1 1 =, 75. 4 Kuvassa 1 (s. 24) verrataan epäyhtälön P { X 1 2 k/ 12 } antamaa ylärajaa tarkkaan todennäköisyyteen. Joissakin tapauksissa on mahdollista tarkentaa arviota vielä Tsebyshevin epäyhtälöstä, jos oletetaan, että korkeamman asteen momentteja on olemassa. Sitä varten tarvitaan seuraava lemma. 23

1 tarkka yläraja 1 3 k Kuva 1: Epäyhtälön antama yläraja sekä tarkka todennäköisyys piirrettynä samaan kuvaajaan. Lemma 4.5. Olkoon X satunnaismuuttuja siten, että E(X) = ja var(x) = σ 2. Tällöin (4.6) P {X x} σ2 σ 2 + x 2, jos x > ja (4.7) P {X x} x2, jos x <. σ 2 + x2 Todistus. Olkoon h(t) = (t + c) 2, c >. Silloin h(t) kaikilla t:n arvoilla ja h(t) (x + c) 2, kun t x >. Tästä seuraa, että P {X x} P {h(x) (x + c) 2 } E((X + c)2 ) (x + c) 2 aina, kun c > ja x >. Kaavan (4.7) todistus menee vastaavalla tavalla. Lause 4.6. Olkoon E( X 4 ) < ja olkoot E(X) =, E(X 2 ) = σ 2. Silloin P { X Kσ} missä µ 4 = E(X 4 ). µ 4 σ 4, kun K > 1, µ 4 + σ 4 K 4 2K 2 σ4 24

Todistus. Sijoitetaan todistusta varten osamäärän (X 2 σ 2 )/(K 2 σ 2 σ 2 ) tilalle X ja asetetaan x = 1 kaavaan (4.6). Siten saadaan, että P {X 2 σ 2 K 2 σ 2 σ 2 } var[(x2 σ 2 )/(K 2 σ 2 σ 2 )] 1 + var[(x 2 σ 2 )/(K 2 σ 2 σ 2 )] µ 4 σ 4 = µ 4 (K 2 1) 2 + µ 4 σ 4 = µ 4 σ 4 µ 4 + σ 4 K 4 2K 2 σ 4, K > 1. Esimerkki 4.13. Olkoon X tasaisesti jakautunut ja sen tiheysfunktio Tällöin ja mistä saadaan f(x) = { 1, kun < x < 1 muulloin. E(X) = 1 2, var(x) = 1 12, µ 4 = E P X 1 1 1 2 2 12 1 8 144 1 + 1 16 8 1 8 144 P X 1 1 2 < 2 12 45 49 ( ( X 1 ) ) 2 = 1 2 8 144, 92. = 4 49, Tämä on paljon tarkempi arvio, kuin mitä saadaan Tsebyshevin epäyhtälöstä esimerkissä 4.12. Lause 4.7 (Ljapunovin epäyhtälö). Olkoon β n = E( X n ) <. Nyt saadaan β 1/(k 1) k 1 β 1/k k, kun k saa mielivaltaisen arvon väliltä 2 k n. Todistus. Käsitellään neliömuotoa: Q(u, v) = (u x (k 1)/2 + v x (k+1)/2 ) 2 f(x) dx, 25

missä ollaan oletettu, että X on jatkuva ja f on sen tiheysfunktio. Tässä on siis Q(u, v) = u 2 β k 1 + 2uvβ k + β k+1 v 2. Selvästikin Q kaikilla u, v R. Tästä seuraa, että mikä implikoi, että β k 1 β k β k β k+1, Näin ollen β 2k k β k k 1β k k+1. β 2 1 β 1 β 1 2, β 4 2 β 2 1β 2 3,..., β 2(n 1) n 1 β n 1 n 2β n 1 n, missä β = 1. Kun otetaan k 1 peräkkäisen tällaisen tulo, saadaan Tästä seuraa, että β k k 1 β k 1 k tai β 1/(k 1) k 1 β 1/k k. β 1 β 1/2 2 β 1/3 3 β 1/n n. Yhtäsuuruus on voimassa, jos ja vain jos β 1/k k = β 1/(k+1) k+1 kun k = 1, 2,.... Toisin sanoen {β 1/k k } on yhden vakion lukujono, mikä on totta jos ja vain jos X on degeneroitunut. Siis jollain c:n arvolla P { X = c} = 1. (vrt. [13, s. 95-1]) 4.4 Riippumattomien muuttujien summa Tarkastellaan lopuksi vielä tilanteita, joissa on mukana kaksi tai useampi satunnaismuuttuja. Miten momentit generoiva funktio sopii tällöin käytettäväksi? Lause 4.8. Olkoot X ja Y riippumattomia satunnaismuuttujia, joiden MGF:t ovat M X (s) ja M Y (s). Tällöin M X+Y (s) = M X (s) M Y (s) 26

Todistus. M X+Y (s) = E(e s(x+y ) ) = E(e sx e sy ) = E(e sx ) E(e sy ) muuttujat riippumattomia = M X (s) M Y (s). [14, s. 95] Seuraus 4.9. Jos X 1, X 2,..., X n ovat riippumattomia satunnaismuuttujia, niin M X1 +X 2 + +X n (s) = M X1 (s) M X2 (s) M Xn (s). Tämä voidaan todistaa vastaavasti kuin Lause 4.8. [14, s. 95] Esimerkki 4.14. Tietyissä tilanteissa Lauseen 4.8 avulla voidaan johtaa tuntemattoman jakauman Z tunnuslukuja, kun jakaumat X ja Y on tunnettuja. Olkoot esimerkiksi X N(µ, σ 2 ) ja Y N(γ, τ 2 ) riippumattomia normaalisti jakautuneita satunnaismuuttujia. Tiedetään, että tällöin niiden MGF:t ovat M X (s) = e (µs+σ2 s 2 /2) ja M Y (s) = e (γs+τ 2 s 2 /2). Nyt siis Lauseen 4.8 mukaan, MGF satunnaismuuttujalle Z = X + Y on M Z (s) = M X (s)m Y (s) = e (µs+σ2 s 2 /2) e (γs+τ 2 s 2 /2) = e (µ+γ)s+(σ2 +τ 2 )s 2 /2). Tämä taas on selvästi sellaisen normaalisti jakautuneen satunnaismuuttujan MGF, jonka odotusarvo on µ + γ ja varianssi σ 2 + τ 2. [2, s. 156] Huomautus 6. Siinä tapauksessa, että X 1, X 2,..., X n ovat riippumattomia satunnaismuuttujia, mutta identtisesti jakautuneita, pätee M X1 +X 2 + +X n (s) = [M(s)] n, missä M(s) = M Xj (s) on kaikkien X j yhteinen MGF. [8, s. 3] Esimerkki 4.15. Otetaan uudelleen käsittelyyn binomijakauma. Käyttäen hyödyksi seurausta 4.9 voidaan MGF löytää vielä lyhyempää kautta. Olkoon X binomijakaumasta siten, että n on toistojen määrä ja p onnistumisen todennäköisyys. Nyt X voidaan kirjoittaa erillisten yritysten summana: n X j, j=1 27

missä X j = 1, jos yritys on onnistunut ja X j =, jos epäonnistunut. Nyt X j ovat riippumattomia ja identtisesti jakautuneita, mistä seuraa, että X:n MGF on X j :n MGF korotettuna potenssiin n. Siis M Xj (s) = E(e sx j ) = pe s + 1 p ja M X (s) = [M Xj (s)] n = (pe s + 1 p) n. Mikä on tietenkin sama tulos, kuin esimerkissä 4.4. 28

Viitteet [1] Aigner, M., A Course in Enumeration, Springer-Verlag, Berlin, Heidelberg, 27. [2] Casella, G., Berger, R. L., Statistical Inference Second edition. USA, Duxbury, 22. [3] Chen, H., Advanced Statistical Inference I & II, Lecture 9, National Taiwan University, 21. URL: http://www.math.ntu.edu.tw/~hchen/ teaching/statinference/notes/lecture9.pdf Viitattu 14.12.212 [4] Curtiss, J.H., The Annals of Mathematical Statistics. Volume 13, Number 4, sivut 43-433, 1942. URL: http://projecteuclid.org/ DPubS?service=UI&version=1.&verb=Display&handle=euclid. aoms/1177731541 Viitattu 19.9.212 [5] Dorman, K., Part V, Moment generating functions, stat341, Iowa State University, 29. URL: http://thirteen-1.stat.iastate.edu/wiki/ stat341/files?filename=29-4-1h.pdf Viitattu 14.12.212 [6] Grinstead, C. M., Snell, J. L., Introduction to probability, Chapter 1. URL: http://www.dartmouth.edu/~chance/teaching_aids/books_ articles/probability_book/chapter1.pdf Viitattu 14.12.212 Koko kirja ladattavissa osoitteesta: http://www.dartmouth.edu/ ~chance/teaching_aids/books_articles/probability_book/ amsbook.mac.pdf [7] Haukkanen, P., Kombinatoriikkaa, kurssimateriaali, Tampereen yliopisto, 27. URL: http://www.sis.uta.fi/matematiikka/ kombinatoriikka/haukkanenkomb.pdf Viitattu 14.12.212 [8] Kennedy, T., Theory of probability, Chapter 4 (lecture notes), University of Arizona, 21. URL: http://math.arizona.edu/~tgk/464_1/ chap4_9_29.pdf Viitattu 14.12.212 [9] Koistinen, P., Todennäköisyyslaskennan kurssin luentomoniste, Helsingin yliopisto, 29. URL: http://www.rni.helsinki.fi/~pek/papers/ tn9.pdf Viitattu 14.12.212 [1] Liski, E., Matemaattinen tilastotiede, kurssimateriaali, Luku 3, Tampereen yliopisto, 26. URL: http://www.sis.uta.fi/tilasto/ liski-arkisto/mtt6/luennot6/luku3.pdf Viitattu 14.12.212 [11] Olver, P., Introduction to Partial Differential Equations, Chapter 8: Fourier Transforms, University of Minnesota, 212. URL: http://www.math. umn.edu/~olver/pd_/ft.pdf Viitattu 14.12.212 29

[12] Qiaochu, Y., Topics in generating functions, Massachusetts Institute of Technology, 29. URL: http://math.berkeley.edu/~qchu/ TopicsInGF.pdf Viitattu 14.12.212 [13] Rohatgi, V., Saleh, A., An Introduction to Probability and Statistics. New York: John Wiley & Sons, Inc., 21. [14] Shanghai Jiao Tong University, Probability Theory, courseware, 22. URL: http://bcmi.sjtu.edu.cn/statlearning/upload/ courseware/courseware_725f757-b432-44-ba95-f443c2ce5789_ ProbabilityTheory.pdf Viitattu 14.12.212 [15] Sottinen, T., Todennäköisyysteoria, kurssimateriaali, Luku 6, Helsingin yliopisto, 26. URL: http://mathstat.helsinki.fi/~tsottine/tnt/ tnt-6.pdf Viitattu 14.12.212 3