Todennäköisyyslaskun kertaus Heliövaara 1
Satunnaismuuttujat ja todennäköisyysjakaumat Heliövaara 2
Stunnaismuuttujat ja todennäköisyysjakaumat Jos satunnaisilmiötä halutaan mallintaa matemaattisesti, on ilmiön tulosvaihtoehdot kuvattava numeerisessa muodossa. Tämä tapahtuu liittämällä satunnaisilmiön tulosvaihtoehtoihin reaaliarvoinen funktio, jota kutsutaan satunnaismuuttujaksi. Satunnaismuuttujan arvoihin liitetään todennäköisyydet määrittelemällä satunnaismuuttujan todennäköisyysjakauma. Satunnaismuuttujien tarkastelu jaetaan kahteen osaan: (i) Diskreetit satunnaismuuttujat. (ii) Jatkuvat satunnaismuuttujat. Heliövaara 3
Satunnaismuuttujan määritelmä Satunnaisilmiön kaikkien mahdollisten tulosvaihtoehtojen joukkoa kutsutaan otosavaruudeksi. Siitä käytetään merkintää S. Olkoon ξ funktio otosavaruudesta S reaalilukujen joukkoon R: ξ : S R Tällöin ξ on satunnaismuuttaja. Satunnaismuuttuja on funktiona täysin määrätty, mutta sattuma määrää mikä alkeistapahtumista realisoituu ja sitä kautta myös minkä arvon satunnaismuuttuja saa. Heliövaara 4
Todennäköisyysjakauma Todennäköisyysjakauma kuvaa otosavaruuden todennäköisyysmassan (= 1) jakautumista otosavaruudessa määritellyn satunnaismuuttujan arvoalueelle. Tilastollinen malli on satunnaismuuttujan ja sen jakauman yhdistelmä. Heliövaara 5
Satunnaismuuttujien tyyppejä Satunnaismuuttujat voidaan jakaa kahteen ryhmään: Diskreetit satunnaismuuttujat - Satunnaismuuttuja on diskreetti, jos sen arvoalue on diskreetti joukko eli sen arvoalue muodostuu erillisistä reaaliakselin pisteistä. - Diskreetin muuttujan jakauma määrittelee alkeistapahtumien todennäköisyydet. Jatkuvat satunnaismuuttujat - Satunnaismuuttuja on jatkuva, jos sen arvoalue on jokin reaaliakselin osaväli. - Jatkuvan muuttujan jakauma määrittelee muuttujan arvoalueeseen kuuluvien reaaliakselin välien todennäköisyydet. Heliövaara 6
Pistetodennäköisyysfunktio Merkitään ξ:n arvojen joukkoa kirjaimella T : T = {x 1,x 2,...,x n }, jos S on äärellinen T = {x 1,x 2,...}, jos S on numeroituvasti ääretön Reaaliarvoinen funktio f määrittelee pistetodennäköisyysfunktion ξ:lle, jos 1. f(x i ) = Pr(ξ = x i ) x i T 2. f(x i ) 0 x i T 3. T f(x i) = 1 Todennäköisyyttä Pr(ξ = x i ) = p i sanotaan pistetodennäköisyydeksi. Pistetodennäköisyysfunktion vakioita sanotaan jakauman parametreiksi ja ne määräävät pistetodennäköisyysfunktion muodon ts. jakauman muodon. Heliövaara 7
Diskreetin jakauman todennäköisyydet Diskreetin jakauman tapauksessa välin [a, b] R todennäköisyys on Pr(a ξ b) = i x i [a,b] p i Heliövaara 8
Tiheysfunktio Reaaliarvoinen funktio f määrittelee (todennäköisyys-) tiheysfunktion jatkuvalle satunnaismuuttujalle ξ, jos 1. f(x) on x:n jatkuva funktio 2. f(x i ) 0 x 3. + f(x)dx = 1 4. Pr(a ξ b) = b a f(x)dx Tiheysfunktion vakioita sanotaan jakauman parametreiksi ja ne määräävät tiheysfunktion muodon ts. jakauman muodon. Heliövaara 9
Jatkuvan jakauman todennäköisyydet Edellisten lisäksi on hyvä huomata: b Pr(ξ = b) = lim Pr(a ξ b) = lim a b a b a Tiheysfunktio voidaan määritellä myös paloittain. Esim. olkoon f(x) = x + b, kun 0 x 1 0, muulloin f(x)dx = 0 Tällöin 1 0 f(x)dx = 1 Heliövaara 10
Diskreetti vs. jatkuva Diskreettiä satunnaisfunktiota ξ vastaavan pistetodennäköisyysfunktion f arvo pisteessä x i on todennäköisyys: f(x i ) = Pr(ξ = x i ) Näin ollen 0 f(x i ) 1 Jatkuvaa satunnaismuuttujaa ξ vastaavan tiheysfunktion f arvo pisteessä x ei ole todennäköisyys, joten on mahdollista, että f(x) > 1 Heliövaara 11
Kertymäfunktio Satunnaismuuttujan ξ kertymäfunktio F(x) = Pr(ξ x) kuvaa todennäköisyysmassan kertymistä argumentin x kasvaessa. Kertymäfunktio määrää ko. satunnaisilmiön kaikkien tapahtumien todennäköisyydet. Funktio F : R [0, 1] on kertymäfunktio, jos ja vain jos 1. lim x F(x) = 0 2. lim x + F(x) = 1 3. F on ei-vähenevä: F(x 1 ) F(x 2 ), jos x 1 x 2 4. F on jatkuva oikealta: lim h 0+ F(x + h) = F(x) Heliövaara 12
Lisää kertymäfunktiosta Edellisten lisäksi pätee: - Pr(ξ > x) = 1 F(x) - Pr(a ξ b) = F(b) F(a) Diskreetissä tapauksessa kertymäfunktio saadaan kaavalla F(x) = Pr(ξ x) = i x i x Jatkuvassa tapauksessa kertymäfunktio saadaan kaavalla p i F(x) = Pr(ξ x) = x f(x)dx Heliövaara 13
Jakaumien tunnusluvut Heliövaara 14
Odotusarvo Satunnaismuuttujan X odotusarvo on jakauman painopiste. Samalla se on piste, jonka ympärillä satunnaismuuttujan arvot vaihtelevat koetoistosta toiseen. Diskreetille jakaumalle odotusarvo määritellään seuraavasti: E(X) = µ X = i x i p i = i x i f(x i ) Vastaavasti jatkuvalle jakaumalle odotusarvo määritellään näin: E(X) = µ X = + xf(x)dx Heliövaara 15
Odotusarvon ominaisuuksia Vakion odotusarvo on vakio itse, koska se ei vaihtele koetoistosta toiseen: E(a) = a Lineaarimuunnokselle Y = a + bx pätee: E(Y ) = a + be(x) Kahden satunnaismuuttujan summalle ja erotukselle pätee: E(X + Y ) = E(X) + E(Y ) E(X Y ) = E(X) E(Y ) Yleisesti satunnaismuuttujien X i,i = 1, 2,...,n painotetulle summalle pätee: ( n ) n E a i X i = a i E(X i ) i=1 i=1 Heliövaara 16
Varianssi ja standardipoikkeama eli keskihajonta Satunnaismuuttujan X varianssi on satunnaismuuttujan odotusarvosta lasketun poikkeaman neliön odotusarvo. Ts. varianssi kuvaa vaihtelun neliötä. Diskreetin satunnaismuuttujan varianssi: D 2 (X) = Var(X) = σ 2 X = i (x i µ x ) 2 p i = i (x i µ x ) 2 f(x i ) Jatkuvan satunnaismuuttujan varianssi: D 2 (X) = Var(X) = σ 2 X = + (x µ x ) 2 f(x)dx Standardipoikkeama eli keskihajonta saadaan varianssin neliöjuurena: D(X) = D 2 (X) = Var(X) Heliövaara 17
Varianssin ominaisuuksia Vakion varianssi on nolla, koska vakio ei vaihtele: D 2 (a) = 0 Lineaarimuunnokselle Y = a + bx pätee: D 2 (Y ) = b 2 D 2 (X) Kahden riippumattoman satunnaismuuttujan summalle ja erotukselle pätee: D 2 (X + Y ) = D 2 (X) + D 2 (Y ) D 2 (X Y ) = D 2 (X) + D 2 (Y ) Satunnaismuuttujan X varianssi voidaan esittää myös seuraavassa muodossa: Var(X) = E(X 2 ) [E(X)] 2 Heliövaara 18
Lisää odotusarvosta Odotusarvo diskreetin satunnaismuuttujan X funktiolle g(x) saadaan seuraavasti: E(g(X)) = i g(x i )p i = i g(x i )f(x i ) vastaavasti jatkuvalle muuttujalle: E(g(X)) = + g(x)f(x)dx Heliövaara 19
Momentit Satunnaismuuttujan X k. momentti eli k. momentti origon suhteen on E(X k ) = α k erityisesti α 0 = 1 ja α 1 = E(X) = µ X Satunnaismuuttujan X k. keskusmomentti eli k. momentti painopisteen suhteen on E((X µ X ) k ) = µ k erityisesti µ 1 = 0 ja µ 2 = D 2 (X) = Var(X) Usein varianssi on näppärämpää laskea origomomenttien avulla kuin keskusmomenttina: D 2 (X) = Var(X) = E(X 2 ) (E(X)) 2 Heliövaara 20
Diskreetit jakaumat Heliövaara 21
Diskreetti tasainen jakauma Jakauma kuvaa satunnaismuuttujaa, johon liittyvän otosavaruuden alkeistapahtumat ovat symmetrisiä. Esimerkiksi virheettömän rahan tai nopan heittoa. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = 1 n, x = x k, k = 1, 2,...,n Odotusarvo: n E(X) = x = 1 n k=1 x k Varianssi: D 2 (X) = 1 n n (x k x) 2 k=1 Heliövaara 22
Bernoulli -jakauma X Bernoulli(p) Jakauma kuvaa yksittäistä tapahtuman A Bernoulli -koetta, jolla on vain kaksi vaihtoehtoista lopputulosta: A tapahtuu ja A ei tapahdu. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = p x q 1 x, q = 1 p, x = 0, 1 Odotusarvo: Varianssi: E(X) = p D 2 (X) = pq Heliövaara 23
Binomijakauma X Bin(n,p) Kun Bernoulli -koetta toistetaan n kertaa, missä n on etukäteen päätetty, tapahtuman A esiintymiskertojen lukumäärä X noudattaa Binomijakaumaa parametreinaan n ja p. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = ( ) n p x q n x, q = 1 p, x = 0, 1, 2,...,n x Odotusarvo: Varianssi: E(X) = np D 2 (X) = npq Heliövaara 24
Geometrinen jakauma X Geom(p) Kun Bernoulli -koetta toistetaan, kunnes tapahtuma A esiintyy ensimmäisen kerran, koetoistojen lukumäärä X noudattaa Geometrista jakaumaa parametrinaan p. Esimerkiksi heitetään rahaa kunnes saadaan klaava. Pistetodennäköisyysfunktio: f(x) = Pr(X = x) = q x 1 p, q = 1 p, x = 1, 2,... Odotusarvo: Varianssi: E(X) = 1 p D 2 (X) = q p 2 Heliövaara 25
Poisson -jakauma X Poisson(λ) Kun tapahtuma A esiintyy keskimäärin λ kertaa aikayksikössä, on A:n esiintymiskertojen lukumäärä aikayksikössä Poisson -jakautunut parametrina λ. Esimerkiksi jonoon saapuvien ruokailijoiden määrä puolen tunnin aikana. Pistetodennäköisyysfunktio: Odotusarvo ja varianssi: f(x) = e λ λ x x! E(X) = D 2 (X) = λ Heliövaara 26
Jatkuvia jakaumia Heliövaara 27
Jatkuva tasainen jakauma X Uniform(a,b) tai X Tas(a,b) Jakauma kuvaa tietyllä välillä tasaisesti jakautunutta jatkuvaa suuretta. Esimerkiksi onnenpyörän viisarin kulma lähtötilanteen suhteen. Tiheysfunktio: Odotusarvo: Varianssi: f(x) = 1 b a, a x b E(X) = a + b 2 D 2 (X) = (b a)2 12 Heliövaara 28
Eksponenttijakauma X Exp(λ) Tapahtuma A tapahtuu keskimäärin λ kertaa tunnissa. Tällöin hetki jolloin tapahtuma A tapahtuu seuraavan kerran on eksponenttijakautunut parametrina λ. Esimerkiksi hetki, jolloin seuraava asiakas saapuu ruokalan jonoon. Tiheysfunktio: f(x) = λe λx Odotusarvo: E(X) = 1 λ Varianssi: D 2 (X) = 1 λ 2 Heliövaara 29
Normaalijakauma X N(µ,σ 2 ) Normaalijakauma esiintyy monien ilmiöiden yhteydessä luonnossa ja tekniikassa. Esimerkiksi suomalaisten jalan kokoa ja fysikaalisen mittauksen mittausvirhettä voidaan pitää normaalijakautuneina. Tiheysfunktio: Odotusarvo ja varianssi: f(x) = 1 1 ( x µ ) 2 σ 2π e 2 σ E(X) = µ D 2 (X) = σ 2 Saadaanko normaalijakaumalle kertymäfunktio? Heliövaara 30
Normaalijakauman standardointi ja todennäköisyydet Olkoon X N(µ,σ 2 ). Tällöin Z = X µ σ N(0, 1) Operaatiota kutsutaan standardoinniksi ja jakaumaa N(0, 1) standardoiduksi normaalijakaumaksi. Kaikki normaalijakauman todennäköisyydet saadaan määrättyä standardoinnin avulla: ( a µ Pr(a X b) = Pr σ Z b µ ) σ Heliövaara 31
Normaalijakaumasta johdettuja jakaumia Heliövaara 32
χ 2 -jakauma Olkoot Z i N(0, 1),i = 1, 2,...,n riippumattomia satunnaismuuttujia. X = n i=1 Z2 i χ 2 (n) eli X noudattaa khin neliön jakaumaa vapausasteilla n. Jakauma kuvaa siis normaalijakautuneiden satunnaismuuttujien neliöden summan jakaumaa. Odotusarvo: E(X) = n Heliövaara 33
F -jakauma Olkoot X i N(0, 1),i = 1, 2,...,n ja Y i N(0, 1),i = 1, 2,...,m riippumattomia satunnaismuuttujia. Olkoot X = n i=1 X2 i χ 2 (n) ja Y = m i=1 Y 2 i χ 2 (m) sekä F = 1 Y m 1 X n Tällöin F F(m, n) eli F noudattaa Fisherin F-jakaumaa vapausasteilla m ja n. Jos F F(m,n) niin silloin 1 F F(n,m) Heliövaara 34
t -jakauma Olkoot X i N(0, 1),i = 1, 2,...,n ja Y N(0, 1) riippumattomia satunnaismuuttujia. Olkoon X = n i=1 X2 i χ 2 (n) sekä Tällöin T t(n) T = Y 1 n X Odotusarvo: E(T) = 0,n > 1 t-jakauma lähestyy N(0, 1)-jakaumaa vapausasteiden kasvaessa. Heliövaara 35
Moniulotteiset todennäköisyysjakaumat Heliövaara 36
Johdanto Yksi ainut satunnaismuuttuja ei riitä kuvaamaan useimpia satunnaisilmiöitä. Jos ilmiöön liittyy useita satunnaisia tekijöitä, ovat näiden tekijöiden väliset riippuvuudet tilastollisen mallintamisen kannalta erityisen mielenkiintoisia. Näiden riippuvuuksien mallintaminen tapahtuu yhteisjakauman avulla. Heliövaara 37
Kaksiulotteiset satunnaismuuttujat Olkoot X ja Y satunnaismuuttujia, joiden otosavaruudet ovat R ja S. Toisin sanoen: X :R R Y :S R Olkoon R S otosavaruuksien R ja S karteesinen tulo: R S = {(r,s r R,s S)} Satunnaismuuttujien X ja Y järjestetty pari (X, Y ) määrittelee kaksiulotteisen satunnaismuuttujan: (X,Y ) : R S R 2 Heliövaara 38
2D diskreetin jakauman pistetodennäköisyysfunktio Reaaliarvoinen funktio f XY : R 2 R määrittelee diskreettien satunnaismuuttujien X ja Y yhteisjakauman pistetodennäköisyysfunktion, jos 1. f XY (x,y) 0 x,y 2. x y f XY (x,y) = 1 3. Pr(X = x Y = y) = f XY (x,y) Olkoon A R 2 jokin tapahtuma. Tällöin Pr((X,Y ) A) = (x,y) A f XY (x,y) Heliövaara 39
2D jatkuvan jakauman tiheysfunktio Reaaliarvoinen jatkuva funktio f XY : R 2 R määrittelee jatkuvien satunnaismuuttujien X ja Y yhteisjakauman tiheysfunktion, jos 1. f XY (x,y) 0 x,y 2. + + f XY (x,y)dydx = 1 3. Pr(a X b c Y d) = b a Olkoon A R 2 jokin tapahtuma. Tällöin Pr((X,Y ) A) = A d c f XY (x,y)dydx f XY (x,y)dydx Heliövaara 40
Kaksiulotteisten jakaumien kertymäfunktiot Satunnaismuuttujien X ja Y yhteisjakauman kertymäfunktio F XY määritellään seuraavasti: F XY (x,y) = Pr(X x Y y) Diskreetille jakaumalle: F XY (x,y) = Pr(X x Y y) = x i x Jatkuvalle jakaumalle: y i y f XY (x i,y i ) F XY (x,y) = Pr(X x Y y) = x y f XY (u,v)dvdu Heliövaara 41
Kaksiulotteisten jakaumien reunajakaumat Diskreetissä tapauksessa satunnaismuuttujien X ja Y reunajakaumien pistetodennäköisyysfunktiot saadaan seuraavasti: f X (x) = Pr(X = x) = y f XY (x,y) f Y (y) = Pr(Y = y) = x f XY (x,y) Vastaavasti jatkuvassa tapauksessa satunnaismuuttujien X ja Y reunajakaumien tiheysfunktiot saadaan seuraavasti: f X (x) = f Y (y) = + + f XY (x,y)dy f XY (x,y)dx Heliövaara 42
Satunnaismuuttujien riippumattomuus Kaksi satunnaismuuttujaa ovat riippumattomia jos ja vain jos seuraavat yhtäpitävät ehdot toteutuvat (Tässä F X (x) ja F Y (y) ovat reunajakaumien kertymäfunktiot.): 1. f XY (x,y) = f X (x)f Y (y) 2. F XY (x,y) = F X (x)f Y (y) Yleisesti satunnaismuuttujille X 1,X 2,...,X n, joiden yhteisjakauman pistetn- tai tiheysfunktio on f(x 1,x 2,...,x n ) ja reunajakaumien pistetn- tai tiheysfunktio ovat f(x i ),i = 1, 2,...,n (sekä vastaavat kertymäfunktiot merkittynä F :llä): 1. f(x 1,x 2,...,x n ) = f(x 1 )f(x 2 ) f(x n ) 2. F(x 1,x 2,...,x n ) = F(x 1 )F(x 2 ) F(x n ) Heliövaara 43
Kaksiulotteisen jakauman yleinen odotusarvo Olkoon g : R 2 R jatkuva funktio. Tällöin diskreetissä tapauksessa: E(g(X,Y )) = x y g(x,y)f XY (x,y) Ja vastaavasti jatkuvassa tapauksessa: E(g(X,Y )) = + + g(x,y)f XY (x,y)dydx Heliövaara 44
Reunajakaumien odotusarvot Diskreetissä tapauksessa: E(X) = x xf XY (x,y) = x x y f XY (x,y) = x xf X (x) E(Y ) = x y yf XY (x,y) = y y x f XY (x,y) = y yf Y (y) y Ja vastaavasti jatkuvassa tapauksessa: E(X) = = + + + x + xf XY (x,y)dydx f XY (x,y)dydx = + xf X (x)dx Heliövaara 45
Reunajakaumien varianssit Olkoon (X, Y ) satunnaismuuttujapari, jonka yhteisjakauman pistetodennäköisyys- tai tiheysfunktiota merkitään f XY (x,y) Diskreetissä tapauksessa: Var(X) = E(X 2 ) ( E(X) ) 2 missä E(X 2 ) = x x 2 f X (x) Jatkuvassa tapauksessa: Var(X) = E(X 2 ) ( E(X) ) 2 missä E(X 2 ) = + x 2 f X (x) dx Heliövaara 46
Kovarianssi Kovarianssi kuvaa kahden satunnaismuuttujan yhteisvaihtelua niiden yhteisjakauman painopisteen (µ X,µ Y ) ympärillä. Cov(X,Y ) = σ XY = E ( (X µ X )(Y µ Y ) ) = E(XY ) E(X)E(Y ) Laskukaavat diskreeteille ja jatkuville jakaumille: Cov(X,Y ) = x Cov(X,Y ) = (x µ X )(y µ Y )f XY (x,y) y + + Cov(X,X) = Var(X) ja Cov(Y,Y ) = Var(Y ). (x µ X )(y µ Y )f XY (x,y) dy dx Heliövaara 47
Kovarianssiin liittyviä laskukaavoja Summan ja erotuksen varianssi yleisessä tapauksessa Var(X ±Y ) = Var(X)+Var(Y ) ±2Cov(X,Y ) = σ 2 X +σ 2 Y ±2σ XY Olkoot (vakiot a,b,c,d R) W = a + bx Z = c + dy Tällöin Cov(W,Z) = bdcov(x,y ) = bdσ XY X Y Cov(X,Y ) = 0, mutta käänteinen ei aina päde. Heliövaara 48
Korrelaatiokerroin Korrelaatiokerroin kuvaa kahden satunnaismuuttujan lineaarisen riippuvuuden voimakkuutta. Cor(X,Y ) = ρ XY = Cov(X,Y ) = Cov(X,Y ) Var(X)Var(Y ) D(X)D(Y ) = σ XY σ X σ Y Korrelaatiokertoimen ominaisuudet: 1. 1 Cor(X,Y ) 1 2. X Y Cor(X,Y ) = 0, mutta käänteinen ei aina päde. 3. Cor(X,Y ) = ±1 jos ja vain jos Y = α + βx, missä vakiot α,β R ja β 0 Heliövaara 49