Johdatus todennäköisyyslaskentaan Konvergenssikäsitteet ja raja-arvolauseet. TKK (c) Ilkka Mellin (2004) 1

Transkriptio

1 Johdatus todeäköisyyslasketaa Kovergessikäsitteet ja raja-arvolauseet TKK (c) Ilkka Melli (2004) 1

2 Kovergessikäsitteet ja raja-arvolauseet Kovergessikäsitteitä Suurte lukuje lait Keskeie raja-arvolause Keskeise raja-arvolausee seurauksia TKK (c) Ilkka Melli (2004) 2

3 Kovergessikäsitteet ja raja-arvolauseet: Mitä opimme? 1/2 Tässä luvussa tarkastellaa seuraavia todeäköisyyslaskea kovergessikäsitteitä: (i) (ii) (iii) (iv) Melkei varma kovergessi Kvadraattie kovergessi Stokastie kovergessi Jakaumakovergessi Todeäköisyyslaskea kovergessikäsitteide avulla päästää tarkastelemaa satuaismuuttuji jooje asymptoottista käyttäytymistä. TKK (c) Ilkka Melli (2004) 3

4 Kovergessikäsitteet ja raja-arvolauseet: Mitä opimme? 2/2 Melkei varma kovergessi ja stokastise kovergessi sovelluksea tarkastelemme suurte lukuje lakeja, jotka koskevat riippumattomie ja samoi jakautueide satuaismuuttujie aritmeettise keskiarvo asymptoottista käyttäytymistä, ku satuaismuuttujie lukumäärä aetaa kasvaa rajatta. Jakaumakovergessi sovelluksea tarkastelemme keskeistä rajaarvolausetta, joka mukaa riippumattomie ja samoi jakautueide satuaismuuttujie summa jakauma lähestyy ormaalijakaumaa, ku yhteelaskettavie lukumäärä aetaa rajatta kasvaa. Keskeie raja-arvolause o ehkä tärkei perustelu ormaalijakauma keskeiselle asemalle tilastotieteessä. Keskeise raja-arvolausee seurauksia tarkastellaa biomi-, hypergeometrise ja Poisso-jakautueide satuaismuuttujie rajakäyttäytymistä. TKK (c) Ilkka Melli (2004) 4

5 Kovergessikäsitteet ja raja-arvolauseet: Esitiedot Esitiedot: ks. seuraavia lukuja: Satuaismuuttujat ja todeäköisyysjakaumat Jakaumie tuusluvut Diskreettejä jakaumia Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia Momettiemäfuktio ja karakteristie fuktio TKK (c) Ilkka Melli (2004) 5

6 Kovergessikäsitteet ja raja-arvolauseet: Lisätiedot Suurte lukuje lakii o viitattu tilastollise stabiliteeti käsittee matemaattisea formuloitia seuraavissa luvuissa: Todeäköisyyslaskea peruskäsitteet Jakaumie tuusluvut Keskeistä raja-arvolausetta o sovellettu luvussa Jatkuvia jakaumia esitettäessä mite biomi-, hypergeometrista ja Poisso-jakaumia voidaa approksimoida ormaalijakaumalla. TKK (c) Ilkka Melli (2004) 6

7 Kovergessikäsitteet ja raja-arvolauseet >> Kovergessikäsitteitä Suurte lukuje lait Keskeie raja-arvolause Keskeise raja-arvolausee seurauksia TKK (c) Ilkka Melli (2004) 7

8 Kovergessikäsitteitä Avaisaat Heikko kovergessi Jakaumakovergessi Kvadraattie kovergessi Melkei varma kovergessi Satuaismuuttuja Satuaismuuttujie joo Stokastie kovergessi Varma kovergessi TKK (c) Ilkka Melli (2004) 8

9 Kovergessikäsitteitä Satuaismuuttujat Olkoo ( S, F,Pr) todeäköisyyskettä ja olkoo X (mitallie) fuktio otosavaruudesta S reaalilukuje joukkoo R : X : S R Tällöi X o satuaismuuttuja. Jos haluamme korostaa sitä, että satuaismuuttuja X o otosavaruude S kuvaus reaalilukuje joukkoo R, merkitsemme X(s) R, s S TKK (c) Ilkka Melli (2004) 9

10 Kovergessikäsitteitä Satuaismuuttujat: Kommetteja Satuaismuuttuja o fuktioa täysi määrätty, mutta sattuma määrää mikä fuktio arvoista realisoituu. Satuaismuuttuja kuvaa satuaisilmiö tulosvaihtoehtoja umeerisessa muodossa. Satuaismuuttuja liittää jokaisee satuaisilmiö tulosvaihtoehtoo reaaliluvu (umeerise koodi). TKK (c) Ilkka Melli (2004) 10

11 Kovergessikäsitteitä Satuaismuuttujie joot 1/2 Tarkastelemme jatkossa satuaismuuttujie X 1, X 2, X 3, muodostamia jooja ja iide kovergessia. Satuaismuuttujie X 1, X 2, X 3, muodostama joo ei ole lukujoo missää tavaomaisessa mielessä, vaa se o lukujooje joukko. Satuaismuuttujie X 1, X 2, X 3, muodostamassa joossa jokaisee otosavaruude alkioo s S liittyy lukujoo X 1 (s), X 2 (s), X 3 (s), TKK (c) Ilkka Melli (2004) 11

12 Kovergessikäsitteitä Satuaismuuttujie joot 2/2 Lukujoo X 1 (s), X 2 (s), X 3 (s), voi kovergoida, ku s A S ja hajaatua, ku s A c S Tämä havaito muodostaa toise lähtökohda todeäköisyyslaskea kovergessikäsitteide tarkastelulle. Toise lähtökohda muodostaa satuaismuuttujie X 1, X 2, X 3, jakaumie ja iide kovergessi tarkastelu. TKK (c) Ilkka Melli (2004) 12

13 Kovergessikäsitteitä Varma kovergessi Satuaismuuttujie X 1, X 2, X 3, muodostama joo kovergoi varmasti kohti satuaismuuttujaa X, jos lim X ( s) = X( s) s S i Huomautus: i Satuaismuuttujie jooje varmaa kovergessia käytetää liia rajoittavaa kovergessi muotoa vai harvoi. TKK (c) Ilkka Melli (2004) 13

14 Kovergessikäsitteitä Melkei varma kovergessi Satuaismuuttujie X 1, X 2, X 3, muodostama joo kovergoi melkei varmasti eli todeäköisyydellä yksi kohti satuaismuuttujaa X, jos Pr(lim X = X) = 1 i i Käytämme tällöi seuraavia merkitöjä: lim X = X (a.s.) i X i i X a.s. i jossa lyhee a.s. = almost surely. TKK (c) Ilkka Melli (2004) 14

15 Kovergessikäsitteitä Melkei varma kovergessi: Esimerkki 1/3 Liitetää otosavaruude S = [0, 1] osaväleihi todeäköisyydet seuraavalla tavalla: Pr[a, b] = b a, 0 a b 1 Määritellää satuaismuuttuja X otosavaruudessa S kaavalla X(s) = s, s S Fuktio X( ) o idettie kuvaus. Määritellää satuaismuuttujie X i, i = 1, 2, 3, joo seuraavasti: 1, ku s = 0 1 X i ( s) = 1 s, ku 0 < s< 1 i 0, ku s = 1 TKK (c) Ilkka Melli (2004) 15

16 Kovergessikäsitteitä Melkei varma kovergessi: Esimerkki 2/3 Satuaismuuttujie X i, i = 1, 2, 3, muodostama joo kovergoi i: kasvaessa rajatta kohti rajamuuttujaa 1, ku s = 0 lim X i ( s) = s, ku 0 < s< 1 i 0, ku s = 1 Olkoo joukko A = {s S lim X i (s) X(s)} iide otosavaruude S = [0, 1] alkioide (pisteide) s joukko, joissa satuaismuuttujie X i (s), i = 1, 2, 3, muodostama joo ei kovergoi kohti satuaismuuttuja X(s) arvoa. TKK (c) Ilkka Melli (2004) 16

17 Kovergessikäsitteitä Melkei varma kovergessi: Esimerkki 3/3 Satuaismuuttujie X i (s), i = 1, 2, 3, muodostama joo kovergoi kohti satuaismuuttujaa X(s), jos 0 < s < 1, mutta ei kovergoi kohti satuaismuuttujaa X(s), jos s = 0 tai s = 1. Site A = {s S lim X i (s) X(s)} = {0, 1} Koska Pr(A) = 0 voimme saoa, että satuaismuuttujie X i (s), i = 1, 2, 3, muodostama joo kovergoi kohti satuaismuuttujaa X(s) muualla paitsi ollamittaisessa joukossa A. Site olemme todistaeet, että satuaismuuttujie X i (s), i = 1, 2, 3, muodostama joo kovergoi melkei varmasti eli todeäköisyydellä yksi kohti satuaismuuttujaa X(s): X i X (a.s.) TKK (c) Ilkka Melli (2004) 17

18 Kovergessikäsitteitä Kvadraattie kovergessi Satuaismuuttujie X 1, X 2, X 3, muodostama joo kovergoi kvadraattisesti kohti satuaismuuttujaa X, jos 2 lim E ( Xi X) = 0 i Käytämme tällöi seuraavia merkitöjä: q.m. i jossa lyhee q.m. = i quadratic mea. lim X = X (q.m.) i X i i X TKK (c) Ilkka Melli (2004) 18

19 Kovergessikäsitteitä Kvadraattie kovergessi: Esimerkki 1/2 Olkoo X i, i = 1, 2, 3, joo riippumattomia ja samoi jakautueita satuaismuuttujia, joide odotusarvot ja variassit ovat E(X i ) = µ Var(X i ) = σ 2 Määritellää satuaismuuttujie X 1, X 2, X 3,, X aritmeettie keskiarvo kaavalla 1 X = X, = 1,2,3, i = 1 i TKK (c) Ilkka Melli (2004) 19

20 Kovergessikäsitteitä Kvadraattie kovergessi: Esimerkki 2/2 Koska satuaismuuttujat X 1, X 2, X 3,, X oletettii riippumattomiksi ja iillä o sama odotusarvo ja variassi, ii iide aritmeettie keskiarvo X = Σ Xi / odotusarvo ja variassi ovat E( X ) = µ 2 Var( X ) = σ / Koska 2 2 σ E[( X µ ) ] = Var( X) = 0 ii satuaismuuttujie X 1, X 2, X 3,, X aritmeettiste keskiarvoje X =Σ Xi / muodostama joo X, = 1,2,3, kovergoi kvadraattisesti kohti satuaismuuttujie X 1, X 2, X 3, yhteistä odotusarvoa µ: X µ (q.m.) TKK (c) Ilkka Melli (2004) 20

21 Kovergessikäsitteitä Stokastie kovergessi Satuaismuuttujie X 1, X 2, X 3, muodostama joo kovergoi stokastisesti kohti satuaismuuttujaa X, jos kaikille ε > 0 pätee lim Pr( X X > ε ) = 0 i i Käytämme tällöi seuraavia merkitöjä: lim X = X (P) i X i i X P i jossa lyhee P = i probability. TKK (c) Ilkka Melli (2004) 21

22 Kovergessikäsitteitä Stokastie kovergessi: Esimerkki 1/3 Olkoo X i, i = 1, 2, 3, joo riippumattomia ja samaa ormaalijakaumaa N(µ, σ 2 ) oudattavia satuaismuuttujia, joide odotusarvot ja variassit ovat E(X i ) = µ Var(X i ) = σ 2 Määritellää satuaismuuttujie X 1, X 2, X 3,, X aritmeettie keskiarvo kaavalla Tällöi 1 X = X, = 1,2,3, X i = 1 2 N( µ, σ / ) i TKK (c) Ilkka Melli (2004) 22

23 Kovergessikäsitteitä Stokastie kovergessi: Esimerkki 2/3 Kaikille ε > 0 pätee Pr( X µ > ε ) = 1 Pr( µ ε < X < µ + ε) ε ε = 1 Φ Φ σ / σ / 0, ku jossa Φ(z) o stadardoitua ormaalijakaumaa N(0, 1) oudattava satuaismuuttuja Z kertymäfuktio. ε X µ ε = 1 Pr < <+ σ / σ / σ / ε ε = 1 Pr < Z <+ σ / σ / TKK (c) Ilkka Melli (2004) 23

24 Kovergessikäsitteitä Stokastie kovergessi: Esimerkki 3/3 Koska kaikille ε > 0 pätee Pr( X µ > ε ) 0, ku ii satuaismuuttujie X 1, X 2, X 3,, X aritmeettiste keskiarvoje X =Σ Xi / muodostama joo X, = 1,2,3, kovergoi stokastisesti kohti satuaismuuttujie X 1, X 2, X 3, yhteistä odotusarvoa µ: X µ (P) TKK (c) Ilkka Melli (2004) 24

25 Kovergessikäsitteitä Jakaumakovergessi 1/2 Olkoo X 1, X 2, X 3, joo satuaismuuttujia, joide kertymäfuktiot ovat F 1 (x), F 2 (x), F 3 (x), Satuaismuuttujie X 1, X 2, X 3, muodostama joo kovergoi jakaumaltaa eli heikosti kohti satuaismuuttujaa X, joka kertymäfuktio o F X (x), jos lim F( x) = F ( x) i i X jokaisessa satuaismuuttuja X kertymäfuktio F X (x) jatkuvuuspisteessä x eli sellaisessa pisteessä x, jossa F X (x) o jatkuva. TKK (c) Ilkka Melli (2004) 25

26 Kovergessikäsitteitä Jakaumakovergessi 2/2 Käytämme tällöi seuraavia merkitöjä: lim X = X (L) i i L Xi X F i X x ( ) jossa L = i (probability) law. Kirjaime L tilalla käytetää joskus kirjaita D: D = i distributio. TKK (c) Ilkka Melli (2004) 26

27 Kovergessikäsitteitä Jakaumakovergessi: Esimerkki 1/2 Olkoo X 1, X 2, X 3, joo satuaismuuttujia, joide kertymäfuktiot ovat 0, ku x < 0 i x Fi ( x) = 1 1, ku 0 x i i 0, ku x> i Koska ii x lim 1 = e i i i x lim F( x) = 1 e x, x 0 i i TKK (c) Ilkka Melli (2004) 27

28 Kovergessikäsitteitä Jakaumakovergessi: Esimerkki 2/2 Fuktio x F( x) = 1 e, x 0 o ekspoettijakauma Exp(1) kertymäfuktio. Site satuaismuuttujie X i, i = 1, 2, 3, muodostama joo kovergoi jakaumaltaa eli heikosti kohti satuaismuuttujaa X ~ Exp(1): X i X ~ Exp(1) TKK (c) Ilkka Melli (2004) 28

29 Kovergessikäsitteitä Kovergessikäsitteide yhteydet 1/2 Voidaa osoittaa, että todeäköisyyslaskea kovergessikäsitteillä o seuraavat yhteydet: (i) Melkei varma kovergessi (a.s.) implikoi stokastise kovergessi (P). (ii) Kvadraattie kovergessi (q.m.) implikoi stokastise kovergessi (P). (iii) Stokastie kovergessi (P) implikoi jakaumakovergessi eli heiko kovergessi (L). (iv) Melkei varma ja kvadraattise kovergessi yhteydestä ei voida saoa mitää yleistä. Todistamme seuraavassa kohda (ii). TKK (c) Ilkka Melli (2004) 29

30 Kovergessikäsitteitä Kovergessikäsitteide yhteydet 2/2 Kovergessikäsitteide yhteydet voidaa esittää seuraavaa kaavioa: Melkei varma kovergessi (a.s.) Kvadraattie kovergessi (q.m.) Stokastie kovergessi (P) Jakaumakovergessi (L) TKK (c) Ilkka Melli (2004) 30

31 Kovergessikäsitteitä Kvadraattie kovergessi implikoi stokastise kovergessi: Todistus 1/2 Oletetaa, että satuaismuuttujie X i, i = 1, 2, 3, muodostama joo kovergoi kvadraattisesti kohti satuaismuuttujaa X, jolloi 2 lim E ( Xi X) 0 i = Tarkastellaa todeäköisyyttä Pr( X X > ε ) i Markovi epäyhtälöstä (ks. lukua Jakaumie tuusluvut) ja kvadraattise kovergessi määritelmästä seuraa, että 1 2 Pr( Xi X > ε ) E ( X ) 0 2 i X i ε TKK (c) Ilkka Melli (2004) 31

32 Kovergessikäsitteitä Kvadraattie kovergessi implikoi stokastise kovergessi: Todistus 2/2 Koska Pr( Xi X > ε ) 0 i ii satuaismuuttujie X i, i = 1, 2, 3, muodostama joo kovergoi stokastisesti kohti satuaismuuttujaa X suoraa stokastise kovergessi määritelmä perusteella. TKK (c) Ilkka Melli (2004) 32

33 Kovergessikäsitteet ja raja-arvolauseet Kovergessikäsitteitä >> Suurte lukuje lait Keskeie raja-arvolause Keskeise raja-arvolausee seurauksia TKK (c) Ilkka Melli (2004) 33

34 Suurte lukuje lait Avaisaat Heikko suurte lukuje laki Melkei varma kovergessi Satuaismuuttuja Satuaismuuttujie joo Stokastie kovergessi Vahva suurte lukuje laki TKK (c) Ilkka Melli (2004) 34

35 Suurte lukuje lait Vahva suurte lukuje laki 1/2 Olkoo X i, i = 1, 2, 3, joo riippumattomia ja samoi jakautueita satuaismuuttujia, joilla o sama odotusarvo: E(X i ) = µ, i = 1, 2, 3, Määritellää satuaismuuttujie X i, i = 1, 2,, aritmeettie keskiarvo: X 1 i = 1 = X i TKK (c) Ilkka Melli (2004) 35

36 Suurte lukuje lait Vahva suurte lukuje laki 2/2 Tällöi pätee vahva suurte lukuje laki: Satuaismuuttujie X 1, X 2, X 3,, X aritmeettiste keskiarvoje X = Σ Xi / muodostama joo kovergoi melkei varmasti eli todeäköisyydellä yksi kohti satuaismuuttujie yhteistä odotusarvoa µ: a.s. X µ Huomautus: Vahva suurte lukuje lai todistus o vaativa ja sivuutetaa; Se sijaa todistamme seuraavassa heiko suurte lukuje lai. TKK (c) Ilkka Melli (2004) 36

37 Suurte lukuje lait Vahva suurte lukuje laki: Kommetteja Vahva suurte lukuje laki ilmaistaa usei saoi seuraavasti: Samoi jakautueide satuaismuuttujie aritmeettie keskiarvo lähestyy muuttujie lukumäärä kasvaessa rajatta muuttujie yhteistä odotusarvoa melkei kaikkialla eli se otosavaruude S osajoukko, jossa kovergessia ei tapahdu o ollamittaie. TKK (c) Ilkka Melli (2004) 37

38 Suurte lukuje lait Heikko suurte lukuje laki 1/2 Olkoo X i, i = 1, 2, 3, joo riippumattomia satuaismuuttujia, joilla o sama odotusarvo ja variassi: E(X i ) = µ, D 2 (X i ) = σ 2, i = 1, 2, 3, Määritellää satuaismuuttujie X i, i = 1, 2,, aritmeettie keskiarvo: X 1 i = 1 = X i TKK (c) Ilkka Melli (2004) 38

39 Suurte lukuje lait Heikko suurte lukuje laki 2/2 Tällöi pätee heikko suurte lukuje laki: Satuaismuuttujie X 1, X 2, X 3,, X aritmeettiste keskiarvoje X = Σ Xi / muodostama joo kovergoi stokastisesti kohti satuaismuuttujie yhteistä odotusarvoa µ: P X µ TKK (c) Ilkka Melli (2004) 39

40 Suurte lukuje lait Heikko suurte lukuje laki: Todistus Olkoo X i, i = 1, 2, 3, joo riippumattomia satuaismuuttujia, joilla o sama odotusarvo ja variassi: E(X i ) = µ, D 2 (X i ) = σ 2, i = 1, 2, 3, Määritellää satuaismuuttujie X i, i = 1, 2,, aritmeettie keskiarvo: 1 X = X i i = 1 Tshebyshevi epäyhtälö (ks. lukua Jakaumie tuusluvut) mukaa 2 σ Pr( X µ > ε) 2 ε Koska epäyhtälö oikea puoli 0, ku, ii P X µ TKK (c) Ilkka Melli (2004) 40

41 Suurte lukuje lait Heikko suurte lukuje laki: Kommetteja Heikko suurte lukuje laki ilmaistaa usei saoi seuraavasti: Samoi jakautueide satuaismuuttujie aritmeettie keskiarvo lähestyy muuttujie lukumäärä kasvaessa muuttujie yhteistä odotusarvoa sellaisella tavalla, että poikkeamie todeäköisyys satuaismuuttujie yhteisestä odotusarvosta tulee yhä pieemmäksi eli poikkeamat tulevat yhä harviaisemmiksi. TKK (c) Ilkka Melli (2004) 41

42 Suurte lukuje lait Suurte lukuje lait: Kommetteja Suurte lukuje lakeja voidaa pitää matemaattisea formuloitia tilastollise stabiliteeti käsitteelle (ks. lukua Todeäköisyyslaskea peruskäsitteet). Suurte lukuje lait koskevat satuaismuuttujie asymptoottista käyttäytymistä samaa tapaa kui keskeie raja-arvolause. Vahva suurte lukuje laki implikoi heiko suurte lukuje lai. Suurte lukuje laeista o olemassa yleisempiä muotoja, joissa voidaa lievetää samoijakautueisuus-ja riippumattomuusoletuksia. TKK (c) Ilkka Melli (2004) 42

43 Suurte lukuje lait Suurte lukuje lait: Esimerkki 1/5 Olkoo A otosavaruude S joki tapahtuma ja oletetaa, että Tällöi Pr(A) = p Pr(A c ) = 1 Pr(A) = 1 p = q Määritellää diskreetti satuaismuuttuja X: 1, jos A tapahtuu X = 0, jos A ei tapahdu Satuaismuuttuja X pistetodeäköisyysfuktio o x 1 x f( x) = Pr( X = x) = p q,0< p< 1, q = 1 p, x= 0,1 jote satuaismuuttuja X oudattaa Beroulli-jakaumaa parametrilla p (ks. lukua Diskreettejä jakaumia): X ~ Beroulli(p) E(X) = p TKK (c) Ilkka Melli (2004) 43

44 Suurte lukuje lait Suurte lukuje lait: Esimerkki 2/5 Toistetaa edellisellä kalvolla määriteltyä Beroulli-koetta kertaa ja oletetaa, että koetoistot ovat riippumattomia. Tarkastellaa tapahtuma A sattumista koetoistoje aikaa. Oletuksie mukaa Pr(A) = p, Pr(A c ) = 1 p = q Määritellää diskreetit satuaismuuttujat X i, i = 1, 2,, : 1, jos A tapahtuu kokeessa i X i = 0, jos A ei tapahdu kokeessa i Satuaismuuttujat X i, i = 1, 2,, ovat riippumattomia ja oudattavat samaa Beroulli-jakaumaa Beroulli(p): X 1, X 2,, X X i ~ Beroulli(p), i = 1, 2,, E(X i ) = p, i = 1, 2,, TKK (c) Ilkka Melli (2004) 44

45 Suurte lukuje lait Suurte lukuje lait: Esimerkki 3/5 Olkoo Y = X i= 1 satuaismuuttujie X i, i = 1, 2,, summa. Koska luku 1 esiityy summassa X i täsmällee yhtä mota kertaa kui tapahtuma A sattuu : koetoisto aikaa, satuaismuuttuja Y kuvaa tapahtuma A esiitymiste frekvessiä eli lukumäärää - kertaisessa Beroulli-kokeessa. Satuaismuuttuja Y oudattaa Biomijakaumaa parametrei ja p (ks. lukua Diskreettejä jakaumia): Y ~ Bi(, p) E(Y) = p i TKK (c) Ilkka Melli (2004) 45

46 Suurte lukuje lait Suurte lukuje lait: Esimerkki 4/5 Satuaismuuttujie X i, i = 1, 2,, aritmeettie keskiarvo Y 1 X = = X i i = 1 kuvaa tapahtuma A esiitymiste suhteellista frekvessiä eli suhteellista lukumäärää -kertaisessa Beroulli-kokeessa. Tilastotieteessä satuaismuuttujat X i, i = 1, 2,, tulkitaa havaioiksi sama Beroulli-kokee toistoista. Tällöi suhteelliselle frekvessille Y/ käytetää tavallisesti merkitää f pˆ = jossa f o tapahtuma A havaittu frekvessi, ku tarkastelu kohteea oleva satuaisilmiö o toistuut kertaa. TKK (c) Ilkka Melli (2004) 46

47 Suurte lukuje lait Suurte lukuje lait: Esimerkki 5/5 Vahva suurte lukuje lai mukaa suhteellie frekvessi pˆ = f / kovergoi melkei varmasti eli todeäköisyydellä yksi kohti tapahtuma A todeäköisyyttä p: a.s. pˆ = f / p = Pr( A) Koska vahva suurte lukuje laki implikoi heiko suurte lukuje lai, tiedämme, että tapahtuma A suhteellie frekvessi kovergoi myös stokastisesti kohti tapahtuma A todeäköisyyttä. Koska tapahtuma A havaittu suhteellie frekvessi pˆ = f / kovergoi kohti tapahtuma A todeäköisyyttä Pr(A) = p, ku havaitoje X i lukumäärä kasvaa rajatta, saomme, että suhteellie frekvessi tarketuu havaitoje lukumäärä kasvaessa kohde tapahtuma A todeäköisyyttä. TKK (c) Ilkka Melli (2004) 47

48 Kovergessikäsitteet ja raja-arvolauseet Kovergessikäsitteitä Suurte lukuje lait >> Keskeie raja-arvolause Keskeise raja-arvolausee seurauksia TKK (c) Ilkka Melli (2004) 48

49 Keskeie raja-arvolause Avaisaat Approksimoiti Asymptoottie Heikko kovergessi Jakaumakovergessi Kertymäfuktio Normaalijakauma Satuaismuuttuja Satuaismuuttujie summa Stadardoitu ormaalijakauma Tiheysfuktio TKK (c) Ilkka Melli (2004) 49

50 Keskeie raja-arvolause Johdato 1/2 Olkoo X i, i = 1, 2,, joo riippumattomia, samaa ormaalijakaumaa N(µ, σ 2 ) oudattavia satuaismuuttujia. Tällöi satuaismuuttujie X i summa Y o ormaalie: Kysymys: Y = Xi i= 1 2 ~N( µ, σ ) Mitä voidaa saoa riippumattomie, samaa jakaumaa oudattavie satuaismuuttujie summa jakaumasta, jos ko. satuaismuuttujat eivät oudata ormaalijakaumaa? TKK (c) Ilkka Melli (2004) 50

51 Keskeie raja-arvolause Johdato 2/2 Ei-ormaaliste satuaismuuttujie summa ei yleesä ole ormaalie. Kuiteki, jos yhteelaskettavia o tarpeeksi paljo, satuaismuuttujie summa o (hyvi yleisi ehdoi) approksimatiivisesti ormaalie. Tämä o keskeise raja-arvolausee oleaie sisältö. Koska moia satuaismuuttujia voidaa pitää usea riippumattoma tekijä summaa, ataa keskeie rajaarvolause selitykse empiiriselle havaiolle iide ormaalisuudesta. TKK (c) Ilkka Melli (2004) 51

52 Keskeie raja-arvolause Keskeise raja-arvolausee formuloiti 1/3 Olkoo X i, i = 1, 2, 3, joo riippumattomia, samoi jakautueita satuaismuuttujia, joide odotusarvo ja variassi ovat E( X ) = µ, i = 1,2,3, i 2 2 D( Xi ) = σ, i = 1,2,3, Olkoo Y = X i= 1 i satuaismuuttujie X i, i = 1, 2,, summa. TKK (c) Ilkka Melli (2004) 52

53 Keskeie raja-arvolause Keskeise raja-arvolausee formuloiti 2/3 Summa Y odotusarvo ja variassi ovat E( Y ) = µ 2 2 D( Y ) = σ Stadardoidaa summa Y : Y µ Z = σ Aetaa Tällöi satuaismuuttuja Z jakauma lähestyy stadardoitua ormaalijakaumaa N(0, 1). TKK (c) Ilkka Melli (2004) 53

54 Keskeie raja-arvolause Keskeise raja-arvolausee formuloiti 3/3 Site keskeie raja-arvolause saoo, että jossa Φ o stadardoidu ormaalijakauma N(0, 1) kertymäfuktio. Merkitä: X µ i i= 1 lim Pr z =Φ( z) i= σ Xi µ 1 a N(0,1) σ TKK (c) Ilkka Melli (2004) 54

55 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 1/9 Olkoo X i, i = 1, 2, 3, joo riippumattomia, samoi jakautueita satuaismuuttujia. Oletetaa, että satuaismuuttujilla X i, i = 1, 2, 3, o (yhteie) momettiemäfuktio (ks. lukua Momettiemäfuktio ja karakteristie fuktio) jossaki origo ympäristössä. Olkoot satuaismuuttujie X i, i = 1, 2, 3, odotusarvo ja variassi E( X ) = µ, i = 1,2,3, i X = σ i = 2 2 D( i ), 1,2,3, TKK (c) Ilkka Melli (2004) 55

56 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 2/9 Olkoo Y = X + X + # + X 1 2 satuaismuuttujie X i, i = 1, 2,, summa. Summamuuttuja Y odotusarvo ja variassi ovat E( Y ) = µ 2 2 D( Y ) = σ Stadardoidaa summa Y : Y µ Z = σ Stadardoidu muuttuja Z odotusarvo ja variassi ovat E( Z ) = 0 Z = 2 D( ) 1 TKK (c) Ilkka Melli (2004) 56

57 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 3/9 Siirrytää tarkastelemaa keskistettyjä satuaismuuttujia T = X µ, i = 1,2,3 i i Satuaismuuttujie T i odotusarvo ja variassi ovat E( T) = 0, i = 1,2,3, i 2 2 D( Ti ) = σ, i = 1,2,3, Keskistettyje muuttujie T i avulla stadardoitu muuttuja Z voidaa kirjoittaa muotoo Y µ Z = σ X1+ X2 + # + X µ = σ 1 = ( T1+ T2 + # + T ) σ TKK (c) Ilkka Melli (2004) 57

58 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 4/9 Satuaismuuttujie X i, i = 1, 2, 3, momettiemäfuktio olemassaolosta jossaki origo ympäristössä seuraa keskitettyje muuttujie momettiemäfuktio olemassaolo jossaki origo ympäristössä. Olkoo T = X µ, i = 1,2,3 i i mt () = E( e tti ) satuaismuuttujie T i, i = 1, 2, 3, yhteie momettiemäfuktio. TKK (c) Ilkka Melli (2004) 58

59 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 5/9 Koska riippumattomie satuaismuuttujie summa momettiemäfuktio o summa tekijöide momettiemäfuktioide tulo, ii satuaismuuttuja Y µ 1 Z = = ( T1+ T2 + # + T ) σ σ momettiemäfuktio m (t) voidaa esittää muodossa t m () t = m σ jossa siis m(t) o satuaismuuttujie T i, i = 1, 2, 3, yhteie momettiemäfuktio. TKK (c) Ilkka Melli (2004) 59

60 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 6/9 Satuaismuuttujie T i, i = 1, 2, 3, yhteisellä momettiemäfuktiolla m(t) o jossaki pistee t = 0 ympäristössä voimassa sarjakehitelmä α2 2 2 mt () = 1 + α1t+ t + tη() t 2 jossa k α k = E( Ti ), k = 1,2,3, o satuaismuuttujie T i, i = 1, 2, 3, k. (origo-) mometti ja η(t) 0, ku t 0. Koska ii α = E( T) = 0, i = 1,2,3, α 1 2 i = = = σ = E( Ti ) D ( Ti), i 1,2,3, mt t α σ t t t t t t () = 1 + α1 + + η() = η() TKK (c) Ilkka Melli (2004) 60

61 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 7/9 Sijoitetaa satuaismuuttujie T i, i = 1, 2, 3, yhteise momettiemäfuktio m(t) sarjakehitelmä mt () = 1 + σ t + tη() t 2 satuaismuuttuja Y µ 1 Z = = ( T1+ T2 + # + T ) σ σ momettiemäfuktio lausekkeesee m () t t = m σ TKK (c) Ilkka Melli (2004) 61

62 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 8/9 Saamme sijoitukse tuloksea lausekkee jossa σ t t t m () t = 1+ η 2 + σ σ σ 1 = η 2 2 σ σ lim η t 0 = σ jokaiselle kiiteälle t. 2 2 t t t TKK (c) Ilkka Melli (2004) 62

63 Keskeie raja-arvolause Keskeie raja-arvolause: Todistus 9/9 Ekspoettifuktio omiaisuuksie perusteella t t t m () t = 1+ + η e 2 2 σ σ Koska t 2 /2 e o stadardoidu ormaalijakauma N(0, 1) momettiemäfuktio, satuaismuuttujie Y µ Z = σ muodostama joo kovergoi jakaumaltaa eli heikosti kohti stadardoitua ormaalijakaumaa N(0, 1): Z Z N(0,1) L t 2 /2 TKK (c) Ilkka Melli (2004) 63

64 Keskeie raja-arvolause Kommetteja 1/3 Keskeise raja-arvolausee mukaa usea satuaismuuttuja summa o (tietyi ehdoi) approksimatiivisesti ormaalie (lähes) riippumatta yhteelaskettavie jakaumasta. Huomautus: Yhteelaskettavie ei tarvitse olla edes jatkuvia, vaa e voivat olla jopa diskreettejä. TKK (c) Ilkka Melli (2004) 64

65 Keskeie raja-arvolause Kommetteja 2/3 Approksimaatio hyvyys riippuu yhteelaskettavie satuaismuuttujie lukumäärästä, iide jakaumasta ja erityisesti iide jakauma vioudesta. Approksimaatio hyvyys paraee, ku yhteelaskettavie satuaismuuttujie lukumäärä kasvaa. Jos yhteelaskettavie satuaismuuttujie jakauma o symmetrie, approksimaatio o hyvä jo suhteellise pieillä yhteelaskettavie lukumäärillä. Jos yhteelaskettavie satuaismuuttujie jakauma o epäsymmetrie, hyvä approksimaatio vaatii eemmä yhteelaskettavia. TKK (c) Ilkka Melli (2004) 65

66 Keskeie raja-arvolause Kommetteja 3/3 Keskeie raja-arvolause koskee satuaismuuttujie asymptoottista käyttäytymistä samaa tapaa kui suurte lukuje laki. Keskeisessä raja-arvolauseessa esiityvä rajakäyttäytymise muoto o esimerkki jakaumakovergessista eli heikosta kovergessista. Keskeisestä raja-arvolauseesta o olemassa yleisempiä muotoja, joissa lieveetää samoijakautueisuus-ja riippumattomuusoletuksia. TKK (c) Ilkka Melli (2004) 66

67 Keskeie raja-arvolause Aritmeettise keskiarvo approksimatiivie jakauma Keskeisestä raja-arvolauseesta seuraa: Riippumattomie samoi jakautueide satuaismuuttujie X i, i = 1, 2,, aritmeettie keskiarvo X 1 i = 1 = X i o suurille (mutta äärellisille) approksimatiivisesti ormaalie parametreiaa µ ja σ 2 /: X a 2 σ N µ, TKK (c) Ilkka Melli (2004) 67

68 Kovergessikäsitteet ja raja-arvolauseet Kovergessikäsitteitä Suurte lukuje lait Keskeie raja-arvolause >> Keskeise raja-arvolausee seurauksia TKK (c) Ilkka Melli (2004) 68

69 Keskeise raja-arvolausee seurauksia Avaisaat Approksimoiti Asymptoottie Biomijakauma Heikko kovergessi Hypergeometrie jakauma Jakaumakovergessi Kertymäfuktio Normaalijakauma Poisso-jakauma Satuaismuuttuja Satuaismuuttujie joo Satuaismuuttujie summa Stadardoitu ormaalijakauma Tiheysfuktio TKK (c) Ilkka Melli (2004) 69

70 Keskeise raja-arvolausee seurauksia De Moivre ja Laplace raja-arvolause Olkoo X Bi(, p) ja q = 1 p. Site E( X) = p Var( X ) = pq Keskeise raja-arvolausee mukaa X p lim Pr z =Φ( z) + pq jossa Φ o stadardoidu ormaalijakauma N(0, 1) kertymäfuktio. Tätä keskeise raja-arvolausee seurausta o tapaa kutsuta De Moivre ja Laplace raja-arvolauseeksi. TKK (c) Ilkka Melli (2004) 70

71 Keskeise raja-arvolausee seurauksia Biomitodeäköisyydet ja ormaalijakauma 1/4 De Moivre ja Laplace raja-arvolausee mukaa biomijakaumaa Bi(, p) voidaa suurille approksimoida ormaalijakaumalla N(µ, σ 2 ) jossa µ = 2 σ p = pq, q = 1 p TKK (c) Ilkka Melli (2004) 71

72 Keskeise raja-arvolausee seurauksia Biomitodeäköisyydet ja ormaalijakauma 2/4 Jos siis X Bi(, p) ii De Moivre ja Laplace raja-arvolausee mukaa suurille b p a p Pr( a< X b) Φ Φ pq pq jossa Φ o stadardoidu ormaalijakauma N(0, 1) kertymäfuktio. TKK (c) Ilkka Melli (2004) 72

73 Keskeise raja-arvolausee seurauksia Biomitodeäköisyydet ja ormaalijakauma 3/4 Jos a ja b ovat kokoaislukuja, approksimaatio o hiema parempi, jos käytetää kaavaa b+ 1/2 p a 1/2 p Pr( a< X b) Φ Φ pq pq Korjaustekijä 1/2 ottamie mukaa perustuu siihe, että diskreettiä biomijakaumaa approksimoidaa jatkuvalla ormaalijakaumalla. TKK (c) Ilkka Melli (2004) 73

74 Keskeise raja-arvolausee seurauksia Biomitodeäköisyydet ja ormaalijakauma 4/4 Jos aetaa a, saadaa approksimaatiotulos b+ 1/2 p Pr( X b) = FX ( b) Φ pq jossa F X o biomijakauma kertymäfuktio. Jos a = b, saadaa approksimaatiotulos a+ 1/2 p a 1/2 p Pr( X = a) = fx ( a) Φ Φ pq pq jossa f X o biomijakauma pistetodeäköisyysfuktio. TKK (c) Ilkka Melli (2004) 74

75 Keskeise raja-arvolausee seurauksia Hypergeometrise jakauma todeäköisyydet ja ormaalijakauma 1/2 Hypergeometrie jakauma HyperGeom(N, r, ) lähestyy perusjouko koo N kasvaessa rajatta biomijakaumaa jossa Bi(, p) p = r/n TKK (c) Ilkka Melli (2004) 75

76 Keskeise raja-arvolausee seurauksia Hypergeometrise jakauma todeäköisyydet ja ormaalijakauma 2/2 Site hypergeometrista jakaumaa HyperGeom(N, r, ) voidaa suurille N approksimoida ormaalijakaumalla N(µ, σ 2 ) jossa µ = r N 2 σ r = 1 N r N TKK (c) Ilkka Melli (2004) 76

77 Keskeise raja-arvolausee seurauksia Poisso-jakauma ja ormaalijakauma Olkoo X Poisso(λ). Site E( X ) = λ Var( X ) = λ Keskeise raja-arvolausee mukaa X λ lim Pr z =Φ( z) λ + λ jossa Φ o stadardoidu ormaalijakauma N(0, 1) kertymäfuktio. TKK (c) Ilkka Melli (2004) 77

78 Keskeise raja-arvolausee seurauksia Poisso-jakauma todeäköisyydet ja ormaalijakauma 1/4 Poisso-jakaumaa koskeva raja-arvolausee mukaa Poisso-jakaumaa Poisso(λ) voidaa suurille λ approksimoida ormaalijakaumalla N(µ, σ 2 ) jossa µ = λ 2 σ = λ TKK (c) Ilkka Melli (2004) 78

79 Keskeise raja-arvolausee seurauksia Poisso-jakauma todeäköisyydet ja ormaalijakauma 2/4 Jos siis X Poisso(λ) ii Poisso-jakaumaa koskeva raja-arvolausee mukaa suurille λ b λ a λ Pr( a< X b) Φ Φ λ λ jossa Φ o stadardoidu ormaalijakauma N(0, 1) kertymäfuktio. TKK (c) Ilkka Melli (2004) 79

80 Keskeise raja-arvolausee seurauksia Poisso-jakauma todeäköisyydet ja ormaalijakauma 3/4 Jos a ja b ovat kokoaislukuja, approksimaatio o hiema parempi, jos käytetää kaavaa b+ 1/2 λ a 1/2 λ Pr( a< X b) Φ Φ λ λ Korjaustekijä 1/2 ottamie mukaa perustuu siihe, että diskreettiä Poisso-jakaumaa approksimoidaa jatkuvalla ormaalijakaumalla. TKK (c) Ilkka Melli (2004) 80

81 Keskeise raja-arvolausee seurauksia Poisso-jakauma todeäköisyydet ja ormaalijakauma 4/4 Jos aetaa a, saadaa approksimaatiotulos b + 1/2 λ Pr( X b) = FX ( b) Φ λ jossa F X o Poisso-jakauma kertymäfuktio. Jos a = b, saadaa approksimaatiotulos a+ 1/2 λ a 1/2 λ Pr( X = a) = fx ( a) Φ Φ λ λ jossa f X o Poisso-jakauma pistetodeäköisyysfuktio. TKK (c) Ilkka Melli (2004) 81