Todennäköisyyslaskun kertaus. Heliövaara 1

Transkriptio

1 Todennäköisyyslaskun kertaus Heliövaara 1

2 Satunnaismuuttujat ja todennäköisyysjakaumat Heliövaara 2

3 Stunnaismuuttujat ja todennäköisyysjakaumat Jos satunnaisilmiötä halutaan mallintaa matemaattisesti, on ilmiön tulosvaihtoehdot kuvattava numeerisessa muodossa. Tämä tapahtuu liittämällä satunnaisilmiön tulosvaihtoehtoihin reaaliarvoinen funktio, jota kutsutaan satunnaismuuttujaksi. Satunnaismuuttujan arvoihin liitetään todennäköisyydet määrittelemällä satunnaismuuttujan todennäköisyysjakauma. Satunnaismuuttujien tarkastelu jaetaan kahteen osaan: (i) Diskreetit satunnaismuuttujat. (ii) Jatkuvat satunnaismuuttujat. Heliövaara 3

4 Satunnaismuuttujan määritelmä Satunnaisilmiön kaikkien mahdollisten tulosvaihtoehtojen joukkoa kutsutaan otosavaruudeksi. Siitä käytetään merkintää S. Olkoon ξ funktio otosavaruudesta S reaalilukujen joukkoon R: ξ : S R Tällöin ξ on satunnaismuuttaja. Satunnaismuuttuja on funktiona täysin määrätty, mutta sattuma määrää mikä alkeistapahtumista realisoituu ja sitä kautta myös minkä arvon satunnaismuuttuja saa. Heliövaara 4

5 Todennäköisyysjakauma Todennäköisyysjakauma kuvaa otosavaruuden todennäköisyysmassan (= 1) jakautumista otosavaruudessa määritellyn satunnaismuuttujan arvoalueelle. Tilastollinen malli on satunnaismuuttujan ja sen jakauman yhdistelmä. Heliövaara 5

6 Satunnaismuuttujien tyyppejä Satunnaismuuttujat voidaan jakaa kahteen ryhmään: Diskreetit satunnaismuuttujat - Satunnaismuuttuja on diskreetti, jos sen arvoalue on diskreetti joukko eli sen arvoalue muodostuu erillisistä reaaliakselin pisteistä. - Diskreetin muuttujan jakauma määrittelee alkeistapahtumien todennäköisyydet. Jatkuvat satunnaismuuttujat - Satunnaismuuttuja on jatkuva, jos sen arvoalue on jokin reaaliakselin osaväli. - Jatkuvan muuttujan jakauma määrittelee muuttujan arvoalueeseen kuuluvien reaaliakselin välien todennäköisyydet. Heliövaara 6

7 Pistetodennäköisyysfunktio Merkitään ξ:n arvojen joukkoa kirjaimella T : T = {x 1,x 2,...,x n }, jos S on äärellinen T = {x 1,x 2,...}, jos S on numeroituvasti ääretön Reaaliarvoinen funktio f määrittelee pistetodennäköisyysfunktion ξ:lle, jos 1. f(x i ) = Pr(ξ = x i ) x i T 2. f(x i ) 0 x i T 3. T f(x i) = 1 Todennäköisyyttä Pr(ξ = x i ) = p i sanotaan pistetodennäköisyydeksi. Pistetodennäköisyysfunktion vakioita sanotaan jakauman parametreiksi ja ne määräävät pistetodennäköisyysfunktion muodon ts. jakauman muodon. Heliövaara 7

8 Diskreetin jakauman todennäköisyydet Diskreetin jakauman tapauksessa välin [a, b] R todennäköisyys on Pr(a ξ b) = i x i [a,b] p i Heliövaara 8

9 Tiheysfunktio Reaaliarvoinen funktio f määrittelee (todennäköisyys-) tiheysfunktion jatkuvalle satunnaismuuttujalle ξ, jos 1. f(x) on x:n jatkuva funktio 2. f(x i ) 0 x 3. + f(x)dx = 1 4. Pr(a ξ b) = b a f(x)dx Tiheysfunktion vakioita sanotaan jakauman parametreiksi ja ne määräävät tiheysfunktion muodon ts. jakauman muodon. Heliövaara 9

10 Jatkuvan jakauman todennäköisyydet Edellisten lisäksi on hyvä huomata: b Pr(ξ = b) = lim Pr(a ξ b) = lim a b a b a Tiheysfunktio voidaan määritellä myös paloittain. Esim. olkoon f(x) = x + b, kun 0 x 1 0, muulloin f(x)dx = 0 Tällöin 1 0 f(x)dx = 1 Heliövaara 10

11 Diskreetti vs. jatkuva Diskreettiä satunnaisfunktiota ξ vastaavan pistetodennäköisyysfunktion f arvo pisteessä x i on todennäköisyys: f(x i ) = Pr(ξ = x i ) Näin ollen 0 f(x i ) 1 Jatkuvaa satunnaismuuttujaa ξ vastaavan tiheysfunktion f arvo pisteessä x ei ole todennäköisyys, joten on mahdollista, että f(x) > 1 Heliövaara 11

12 Kertymäfunktio Satunnaismuuttujan ξ kertymäfunktio F(x) = Pr(ξ x) kuvaa todennäköisyysmassan kertymistä argumentin x kasvaessa. Kertymäfunktio määrää ko. satunnaisilmiön kaikkien tapahtumien todennäköisyydet. Funktio F : R [0, 1] on kertymäfunktio, jos ja vain jos 1. lim x F(x) = 0 2. lim x + F(x) = 1 3. F on ei-vähenevä: F(x 1 ) F(x 2 ), jos x 1 x 2 4. F on jatkuva oikealta: lim h 0+ F(x + h) = F(x) Heliövaara 12

13 Lisää kertymäfunktiosta Edellisten lisäksi pätee: - Pr(ξ > x) = 1 F(x) - Pr(a ξ b) = F(b) F(a) Diskreetissä tapauksessa kertymäfunktio saadaan kaavalla F(x) = Pr(ξ x) = i x i x Jatkuvassa tapauksessa kertymäfunktio saadaan kaavalla p i F(x) = Pr(ξ x) = x f(x)dx Heliövaara 13

14 Jakaumien tunnusluvut Heliövaara 14

15 Odotusarvo Satunnaismuuttujan X odotusarvo on jakauman painopiste. Samalla se on piste, jonka ympärillä satunnaismuuttujan arvot vaihtelevat koetoistosta toiseen. Diskreetille jakaumalle odotusarvo määritellään seuraavasti: E(X) = µ X = i x i p i = i x i f(x i ) Vastaavasti jatkuvalle jakaumalle odotusarvo määritellään näin: E(X) = µ X = + xf(x)dx Heliövaara 15

16 Odotusarvon ominaisuuksia Vakion odotusarvo on vakio itse, koska se ei vaihtele koetoistosta toiseen: E(a) = a Lineaarimuunnokselle Y = a + bx pätee: E(Y ) = a + be(x) Kahden satunnaismuuttujan summalle ja erotukselle pätee: E(X + Y ) = E(X) + E(Y ) E(X Y ) = E(X) E(Y ) Yleisesti satunnaismuuttujien X i,i = 1, 2,...,n painotetulle summalle pätee: ( n ) n E a i X i = a i E(X i ) i=1 i=1 Heliövaara 16

17 Varianssi ja standardipoikkeama eli keskihajonta Satunnaismuuttujan X varianssi on satunnaismuuttujan odotusarvosta lasketun poikkeaman neliön odotusarvo. Ts. varianssi kuvaa vaihtelun neliötä. Diskreetin satunnaismuuttujan varianssi: D 2 (X) = Var(X) = σ 2 X = i (x i µ x ) 2 p i = i (x i µ x ) 2 f(x i ) Jatkuvan satunnaismuuttujan varianssi: D 2 (X) = Var(X) = σ 2 X = + (x µ x ) 2 f(x)dx Standardipoikkeama eli keskihajonta saadaan varianssin neliöjuurena: D(X) = D 2 (X) = Var(X) Heliövaara 17

18 Varianssin ominaisuuksia Vakion varianssi on nolla, koska vakio ei vaihtele: D 2 (a) = 0 Lineaarimuunnokselle Y = a + bx pätee: D 2 (Y ) = b 2 D 2 (X) Kahden riippumattoman satunnaismuuttujan summalle ja erotukselle pätee: D 2 (X + Y ) = D 2 (X) + D 2 (Y ) D 2 (X Y ) = D 2 (X) + D 2 (Y ) Satunnaismuuttujan X varianssi voidaan esittää myös seuraavassa muodossa: Var(X) = E(X 2 ) [E(X)] 2 Heliövaara 18

19 Lisää odotusarvosta Odotusarvo diskreetin satunnaismuuttujan X funktiolle g(x) saadaan seuraavasti: E(g(X)) = i g(x i )p i = i g(x i )f(x i ) vastaavasti jatkuvalle muuttujalle: E(g(X)) = + g(x)f(x)dx Heliövaara 19

20 Momentit Satunnaismuuttujan X k. momentti eli k. momentti origon suhteen on E(X k ) = α k erityisesti α 0 = 1 ja α 1 = E(X) = µ X Satunnaismuuttujan X k. keskusmomentti eli k. momentti painopisteen suhteen on E((X µ X ) k ) = µ k erityisesti µ 1 = 0 ja µ 2 = D 2 (X) = Var(X) Usein varianssi on näppärämpää laskea origomomenttien avulla kuin keskusmomenttina: D 2 (X) = Var(X) = E(X 2 ) (E(X)) 2 Heliövaara 20

21 Diskreetit jakaumat Heliövaara 21

22 Diskreetti tasainen jakauma Jakauma kuvaa satunnaismuuttujaa, johon liittyvän otosavaruuden alkeistapahtumat ovat symmetrisiä. Esimerkiksi virheettömän rahan tai nopan heittoa. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = 1 n, x = x k, k = 1, 2,...,n Odotusarvo: n E(X) = x = 1 n k=1 x k Varianssi: D 2 (X) = 1 n n (x k x) 2 k=1 Heliövaara 22

23 Bernoulli -jakauma X Bernoulli(p) Jakauma kuvaa yksittäistä tapahtuman A Bernoulli -koetta, jolla on vain kaksi vaihtoehtoista lopputulosta: A tapahtuu ja A ei tapahdu. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = p x q 1 x, q = 1 p, x = 0, 1 Odotusarvo: Varianssi: E(X) = p D 2 (X) = pq Heliövaara 23

24 Binomijakauma X Bin(n,p) Kun Bernoulli -koetta toistetaan n kertaa, missä n on etukäteen päätetty, tapahtuman A esiintymiskertojen lukumäärä X noudattaa Binomijakaumaa parametreinaan n ja p. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = ( ) n p x q n x, q = 1 p, x = 0, 1, 2,...,n x Odotusarvo: Varianssi: E(X) = np D 2 (X) = npq Heliövaara 24

25 Geometrinen jakauma X Geom(p) Kun Bernoulli -koetta toistetaan, kunnes tapahtuma A esiintyy ensimmäisen kerran, koetoistojen lukumäärä X noudattaa Geometrista jakaumaa parametrinaan p. Esimerkiksi heitetään rahaa kunnes saadaan klaava. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = q x 1 p, q = 1 p, x = 1, 2,... Odotusarvo: Varianssi: E(X) = 1 p D 2 (X) = q p 2 Heliövaara 25

26 Poisson -jakauma X Poisson(λ) Kun tapahtuma A esiintyy keskimäärin λ kertaa aikayksikössä, on A:n esiintymiskertojen lukumäärä aikayksikössä Poisson -jakautunut parametrina λ. Esimerkiksi jonoon saapuvien ruokailijoiden määrä puolen tunnin aikana. Pistetodennäköisyysfunktio: Odotusarvo ja varianssi: f(x) = e λ λ x x! E(X) = D 2 (X) = λ Heliövaara 26

27 Jatkuvia jakaumia Heliövaara 27

28 Jatkuva tasainen jakauma X Uniform(a,b) tai X Tas(a,b) Jakauma kuvaa tietyllä välillä tasaisesti jakautunutta jatkuvaa suuretta. Esimerkiksi onnenpyörän viisarin kulma lähtötilanteen suhteen. Tiheysfunktio: Odotusarvo: Varianssi: f(x) = 1 b a, a x b E(X) = a + b 2 D 2 (X) = (b a)2 12 Heliövaara 28

29 Eksponenttijakauma X Exp(λ) Tapahtuma A tapahtuu keskimäärin λ kertaa tunnissa. Tällöin hetki jolloin tapahtuma A tapahtuu seuraavan kerran on eksponenttijakautunut parametrina λ. Esimerkiksi hetki, jolloin seuraava asiakas saapuu ruokalan jonoon. Tiheysfunktio: f(x) = λe λx Odotusarvo: E(X) = 1 λ Varianssi: D 2 (X) = 1 λ 2 Heliövaara 29

30 Normaalijakauma X N(µ,σ 2 ) Normaalijakauma esiintyy monien ilmiöiden yhteydessä luonnossa ja tekniikassa. Esimerkiksi suomalaisten jalan kokoa ja fysikaalisen mittauksen mittausvirhettä voidaan pitää normaalijakautuneina. Tiheysfunktio: Odotusarvo ja varianssi: f(x) = 1 1 ( x µ ) 2 σ 2π e 2 σ E(X) = µ D 2 (X) = σ 2 Saadaanko normaalijakaumalle kertymäfunktio? Heliövaara 30

31 Normaalijakauman standardointi ja todennäköisyydet Olkoon X N(µ,σ 2 ). Tällöin Z = X µ σ N(0, 1) Operaatiota kutsutaan standardoinniksi ja jakaumaa N(0, 1) standardoiduksi normaalijakaumaksi. Kaikki normaalijakauman todennäköisyydet saadaan määrättyä standardoinnin avulla: ( a µ Pr(a X b) = Pr σ Z b µ ) σ Heliövaara 31

32 Normaalijakaumasta johdettuja jakaumia Heliövaara 32

33 χ 2 -jakauma Olkoot Z i N(0, 1),i = 1, 2,...,n riippumattomia satunnaismuuttujia. X = n i=1 Z2 i χ 2 (n) eli X noudattaa khin neliön jakaumaa vapausasteilla n. Jakauma kuvaa siis normaalijakautuneiden satunnaismuuttujien neliöden summan jakaumaa. Odotusarvo: E(X) = n Heliövaara 33

34 F -jakauma Olkoot X i N(0, 1),i = 1, 2,...,n ja Y i N(0, 1),i = 1, 2,...,m riippumattomia satunnaismuuttujia. Olkoot X = n i=1 X2 i χ 2 (n) ja Y = m i=1 Y 2 i χ 2 (m) sekä F = 1 Y m 1 X n Tällöin F F(m, n) eli F noudattaa Fisherin F-jakaumaa vapausasteilla m ja n. Jos F F(m,n) niin silloin 1 F F(n,m) Heliövaara 34

35 t -jakauma Olkoot X i N(0, 1),i = 1, 2,...,n ja Y N(0, 1) riippumattomia satunnaismuuttujia. Olkoon X = n i=1 X2 i χ 2 (n) sekä Tällöin T t(n) T = Y 1 n X Odotusarvo: E(T) = 0,n > 1 t-jakauma lähestyy N(0, 1)-jakaumaa vapausasteiden kasvaessa. Heliövaara 35

36 Moniulotteiset todennäköisyysjakaumat Heliövaara 36

37 Johdanto Yksi ainut satunnaismuuttuja ei riitä kuvaamaan useimpia satunnaisilmiöitä. Jos ilmiöön liittyy useita satunnaisia tekijöitä, ovat näiden tekijöiden väliset riippuvuudet tilastollisen mallintamisen kannalta erityisen mielenkiintoisia. Näiden riippuvuuksien mallintaminen tapahtuu yhteisjakauman avulla. Heliövaara 37

38 Kaksiulotteiset satunnaismuuttujat Olkoot X ja Y satunnaismuuttujia, joiden otosavaruudet ovat R ja S. Toisin sanoen: X :R R Y :S R Olkoon R S otosavaruuksien R ja S karteesinen tulo: R S = {(r,s r R,s S)} Satunnaismuuttujien X ja Y järjestetty pari (X, Y ) määrittelee kaksiulotteisen satunnaismuuttujan: (X,Y ) : R S R 2 Heliövaara 38

39 2D diskreetin jakauman pistetodennäköisyysfunktio Reaaliarvoinen funktio f XY : R 2 R määrittelee diskreettien satunnaismuuttujien X ja Y yhteisjakauman pistetodennäköisyysfunktion, jos 1. f XY (x,y) 0 x,y 2. x y f XY (x,y) = 1 3. Pr(X = x Y = y) = f XY (x,y) Olkoon A R 2 jokin tapahtuma. Tällöin Pr((X,Y ) A) = (x,y) A f XY (x,y) Heliövaara 39

40 2D jatkuvan jakauman tiheysfunktio Reaaliarvoinen jatkuva funktio f XY : R 2 R määrittelee jatkuvien satunnaismuuttujien X ja Y yhteisjakauman tiheysfunktion, jos 1. f XY (x,y) 0 x,y f XY (x,y)dydx = 1 3. Pr(a X b c Y d) = b a Olkoon A R 2 jokin tapahtuma. Tällöin Pr((X,Y ) A) = A d c f XY (x,y)dydx f XY (x,y)dydx Heliövaara 40

41 Kaksiulotteisten jakaumien kertymäfunktiot Satunnaismuuttujien X ja Y yhteisjakauman kertymäfunktio F XY määritellään seuraavasti: F XY (x,y) = Pr(X x Y y) Diskreetille jakaumalle: F XY (x,y) = Pr(X x Y y) = x i x Jatkuvalle jakaumalle: y i y f XY (x i,y i ) F XY (x,y) = Pr(X x Y y) = x y f XY (u,v)dvdu Heliövaara 41

42 Kaksiulotteisten jakaumien reunajakaumat Diskreetissä tapauksessa satunnaismuuttujien X ja Y reunajakaumien pistetodennäköisyysfunktiot saadaan seuraavasti: f X (x) = Pr(X = x) = y f XY (x,y) f Y (y) = Pr(Y = y) = x f XY (x,y) Vastaavasti jatkuvassa tapauksessa satunnaismuuttujien X ja Y reunajakaumien tiheysfunktiot saadaan seuraavasti: f X (x) = f Y (y) = + + f XY (x,y)dy f XY (x,y)dx Heliövaara 42

43 Satunnaismuuttujien riippumattomuus Kaksi satunnaismuuttujaa ovat riippumattomia jos ja vain jos seuraavat yhtäpitävät ehdot toteutuvat (Tässä F X (x) ja F Y (y) ovat reunajakaumien kertymäfunktiot.): 1. f XY (x,y) = f X (x)f Y (y) 2. F XY (x,y) = F X (x)f Y (y) Yleisesti satunnaismuuttujille X 1,X 2,...,X n, joiden yhteisjakauman pistetn- tai tiheysfunktio on f(x 1,x 2,...,x n ) ja reunajakaumien pistetn- tai tiheysfunktio ovat f(x i ),i = 1, 2,...,n (sekä vastaavat kertymäfunktiot merkittynä F :llä): 1. f(x 1,x 2,...,x n ) = f(x 1 )f(x 2 ) f(x n ) 2. F(x 1,x 2,...,x n ) = F(x 1 )F(x 2 ) F(x n ) Heliövaara 43

44 Kaksiulotteisen jakauman yleinen odotusarvo Olkoon g : R 2 R jatkuva funktio. Tällöin diskreetissä tapauksessa: E(g(X,Y )) = x y g(x,y)f XY (x,y) Ja vastaavasti jatkuvassa tapauksessa: E(g(X,Y )) = + + g(x,y)f XY (x,y)dydx Heliövaara 44

45 Reunajakaumien odotusarvot Diskreetissä tapauksessa: E(X) = x xf XY (x,y) = x x y f XY (x,y) = x xf X (x) E(Y ) = x y yf XY (x,y) = y y x f XY (x,y) = y yf Y (y) y Ja vastaavasti jatkuvassa tapauksessa: E(X) = = x + xf XY (x,y)dydx f XY (x,y)dydx = + xf X (x)dx Heliövaara 45

46 Reunajakaumien varianssit Olkoon (X, Y ) satunnaismuuttujapari, jonka yhteisjakauman pistetodennäköisyys- tai tiheysfunktiota merkitään f XY (x,y) Diskreetissä tapauksessa: Var(X) = E(X 2 ) ( E(X) ) 2 missä E(X 2 ) = x x 2 f X (x) Jatkuvassa tapauksessa: Var(X) = E(X 2 ) ( E(X) ) 2 missä E(X 2 ) = + x 2 f X (x) dx Heliövaara 46

47 Kovarianssi Kovarianssi kuvaa kahden satunnaismuuttujan yhteisvaihtelua niiden yhteisjakauman painopisteen (µ X,µ Y ) ympärillä. Cov(X,Y ) = σ XY = E ( (X µ X )(Y µ Y ) ) = E(XY ) E(X)E(Y ) Laskukaavat diskreeteille ja jatkuville jakaumille: Cov(X,Y ) = x Cov(X,Y ) = (x µ X )(y µ Y )f XY (x,y) y + + Cov(X,X) = Var(X) ja Cov(Y,Y ) = Var(Y ). (x µ X )(y µ Y )f XY (x,y) dy dx Heliövaara 47

48 Kovarianssiin liittyviä laskukaavoja Summan ja erotuksen varianssi yleisessä tapauksessa Var(X ±Y ) = Var(X)+Var(Y ) ±2Cov(X,Y ) = σ 2 X +σ 2 Y ±2σ XY Olkoot (vakiot a,b,c,d R) W = a + bx Z = c + dy Tällöin Cov(W,Z) = bdcov(x,y ) = bdσ XY X Y Cov(X,Y ) = 0, mutta käänteinen ei aina päde. Heliövaara 48

49 Korrelaatiokerroin Korrelaatiokerroin kuvaa kahden satunnaismuuttujan lineaarisen riippuvuuden voimakkuutta. Cor(X,Y ) = ρ XY = Cov(X,Y ) = Cov(X,Y ) Var(X)Var(Y ) D(X)D(Y ) = σ XY σ X σ Y Korrelaatiokertoimen ominaisuudet: 1. 1 Cor(X,Y ) 1 2. X Y Cor(X,Y ) = 0, mutta käänteinen ei aina päde. 3. Cor(X,Y ) = ±1 jos ja vain jos Y = α + βx, missä vakiot α,β R ja β 0 Heliövaara 49