TIEDONSIIRRON MATEMAATTISET MENETELMÄT S. Harri Saarnisaari. Centre for Wireless Communications (CWC) University of Oulu, Finland

Transkriptio

1 TIEDONSIIRRON MATEMAATTISET MENETELMÄT S Harri Saarnisaari Centre for Wireless Communications (CWC) University of Oulu, Finland

2 Luennot Harri Saarnisaari Yhteystiedot puh , vastaanotto sopimuksen mukaan huoneessa TS473, tietoliikennelaboratorio, tietotalo, 4 krs. Luennot löytyvät tietoliikennelaboratorion kirjastosta TS445 ja tutortuvasta

3 Laskuharjoitukset Jarkko Huusko vastaanotto sopimuksen mukaan huoneessa TS473, tietoliikennelaboratorio, tietotalo, 4 krs. Laskuharjoitukset löytyvät tietoliikennelaboratorion kirjastosta TS445 ja tutortuvasta 3

4 Luennot Kurssi periodi 5 ( ), ti,to TS127 periodi 6 ( ) ti TS127 Hiihtolomalla ei luentoja Laskuharjoitukset periodi 5, ti 8-10 TS126 periodi 6, ti 8-10 TS101, pe 8-10 TS127 (tai kuten sovitaan) Demonstraatioharjoituksia: Vapaaehtoinen Matlab harjoitustyö Hyvitystä tentissä 4

5 Tentti 18.2, 6.5 ja 24.5 Kurssikirja: John Proakis, Digital Communications, 3. painos, 1995, luvut 1, 2, ja

6 Johdanto Kurssin tavoitteena on syventää opiskelijan tietämystä digitaalisessa tietoliikenteessä tarvittavista signaalinkäsittelymenetelmistä ja käsitteistä. Kurssin tietoja tarvitaan digitaalisen tiedonsiirron kursseilla, hajaspektritekniikassa, jne. Esiteltävät termit viliset vastaan kaikkialla alan kirjallisuudessa ja niiden tietämys on eduksi kirjallisuutta luettaessa: perusopinnot jatko-opinnot työtehtävät tutkimus- ja tuotekehityksessä. Asiat ovat suurelta osin kertausta. 6

7 Erityisinä huomionkohteina ovat satunnaisisgnaalit sekä tietoliikennesignaalien esittäminen ns. kompleksisen verhokäyrän avulla (uusi asia). Liki kaikki käytönnön signaalit sisältävät satunnaisuutta eli ovat satunnaissignaaleja. Satunnaissignaaleja ymmärtääksemme tarvitsemmeperustietoasatunnaismuuttujista ja todennäköisyyden käsitteistä. Tietoliikennesignaalien esittäminen ja järjestelmien analysointi on helpointa kompleksisen verhokäyrän avulla. Periaatteessa se on kantoaallosta vapaa signaali. Toinen nimitys on kantataajuinen signaali. Lisäksi käydään läpi näytteenotto, eli miten jatkuvat tietoliikennekanavien signaalit tulisi näytteistää nykyaikaista diskreettiä signaalinkäsittelyä varten. 7

8 Kurssin sisältö Kurssin sisällön yhteydet digitaaliseen tietoliikennejärjestelmään Missä järjestelmän eri osissa kurssin aineistoa tarvitaan Todennäköisyyden peruskäsitteet Todennäköisyys, yhteistodennäköisyys Ehdollinen todennäköisyys Bayesin teoreema Tilastollinen riippumattomuus 8

9 Satunnaismuuttujat Määritelmä Kertymä- ja tiheysfunktiot (jakaumat) Usean muuttujan kertymä- ja tiheysfunktiot Ehdolliset kertymä- ja tiheysfunktiot Riippumattommat muuttujat Satunnaismuuttujien funktiot: niiden jakaumien muodostaminen Muuttujien tilastolliset keskiarvot keskiarvo momentit keskeismomentit Karakteristinen funktio 9

10 Erilaisia tietoliikenteessä tarpeellisia jakaumia Binomi, tasa-, normaali (Gaussin), Chi-neliö, Rayleigh, Rice, Nakagami m- jakaumat Moniulotteisen Gaussin jakauman ominaisuuksia Todennäköisyyden arviointimenetelmiä (approksimaatioita, joita voi käyttää analyysissa jos tarkka analyysi mahdotonta/vaikeaa) Chebyshev epäyhtälö Chernoff raja (tiukempi yläraja) Keskeinen raja-arvo lause, jota usein käytetään analyysissä Tutkii usean satunnaismuuttujan summaa Tarkastelee milloin summa on asymptoottisesti normaalijakautunut Asymptoottinen tarkoittaa tässä että näytemäärä kasvaa 10

11 Satunnaissignaalit Määritelmä Stationaarinen prosessi Prosessien tilastolliset keskiarvot Korrelaatio Kovarianssi Korreloimattomuus Satunnaissignaalin spektri Tehotiheysspektri Lineaarisen järjestelmän vaste satunnaissignaalille Näytteenottoteoreema Kuinka esittää käytännön jatkuvat kaistarajoitetut signaalit diskreetteinä 11

12 Aikadiskreetit satunnaissignaalit ja järjestelmät Aiemman yleistys aikadiskreeteille (näytteistetyille) signaaleille Syklostationaariset signaalit Bittiaaltomuoto aiheuttaa signaaliin toistetta bitin kestoajan välein Tilastollisista keskiarvoista tulee jaksollisia 12

13 Kaistanpäästösignaalienja -järjestelmien kompleksinen verhokäyrä Kaistanpäästösignaalien ja -järjestelmien esittäminen ilman kantoaaltoa Järjestelmien vasteen laskeminen ilman kantoaaltoa Tämän muistaminen helpottaa laskemista ja analyysia sillä aina ei tarvitse välittää siitä, millä kantotaajuudella järjestelmä toimii Stationäärinen kaistanpäästösignaali Valkoinen kohina Vektori- ja signaaliavaruus Signaalin esittäminen vektori- ja signaaliavaruuksissa kantavektorien avulla Ortogonaalisten kantojen muodostus: Gram-Schmidt proseduuri 13

14 Erilaisten digitaalisten modulaatioiden esittäminen signaaliavaruuden avulla Muistittomat lineaariset digitaaliset modulaatiot Symboli: M-bittiä muodostaa k = log2m eri symbolia Bitit 0 ja 1 muodostavat 2 symbolia Jos otetaan kaksi peräkkäistä bittiä, 00, 01, 10, 11 saadaan 4 symbolia Modulaatio: symbolin kuvaaminen aaltomuodolla, joka lähetetään tiedonsiirtokanavaan Muistiton: edelliset symbolit eivät vaikuta seuraavaan symboliin 14

15 Lineaarinen: superpositioperiaate pätee peräkkäisten aaltomuotojen välillä Esim. olkoon s1(t) jas2(t) symbolejax1 ja x2 vastaavat aaltomuodot Olkoon K modulaatio, ja a1 ja a2 kaksi vakiota Modulaatio on lineaarinen jos K(a1x1 + a2x2) = a1s1(t)+ a2s2(t) 15

16 Eri modulaatiot ja niiden esittäminen signaaliavaruuden avulla Pulssiamplitudimodulaatio (phase amplitude modulation, PAM) Vaihemodulaatio (phase shift keying, PSK) Kvadratuurinen amplitudimodulaatio (quadrature amplitude modulation, QAM) Moniulotteiset signaalit (ajassa, taajuudessa) Ortogonaaliset moniulotteiset signaalit (frequency shift keying, FSK) Biortogonaaliset signaalit Simplex signaalit Binäärinen koodaus 16

17 Digitaalinen tietoliikennejärjestelmä informaatiolähde koodaus koodaus lähteen kanava digitaalinen modulaatio kanava muunnin lähteen dekoodaus kanava dekoodaus digitaalinen demodulaatio DIGITAALISEN TIETOLIIKENNEJÄRJESTELMÄN PERUSELEMENTIT 17

18 Informaatiolähde Analoginen lähde, esim. puhe Digitaalinen lähde, esim. digitaalisesti talletettu teksti tai kuva Lähde sisältää usein satunnaisuutta Aina ei toisteta samoja sanoja Puhuttaessa taustakohina muuttuu Kuvissa on eri kohteita Lähetettävä teksti muuttuu Lähde on siis usein satunnaissignaali 18

19 Lähteen koodaus Digitaalinen tietoliikennejärjestelmä esitetään lähteen sisältö digitaalisesti Analogisessa tapauksessa tarvitaan analogia-digitaali (AD)-muunnos Sen lisäksi pyritään usein poistamaan lähteestä redundanssi Lähteessä voi olla informaatiota, joka toistuu Poistamalla redundanssi lähteen sanoma voidaan esittää niin vähillä binäärisillä symboleilla (biteillä) kuin mahdollista Vähentää siirtotarvetta Esim. PCM-koodauksessa ei ole redundanssin poistoa vaan puhe esitetään aina samalla määrällä bittejä, nopeudella 64 kbit/s GSM ja muissa mobiilisovelluksissa ollaan jo alle 10 kbit/s nopeudessa, jopa 3 4 kbit/s tuottaa hyväksyttävää puheenlaatua 19

20 Tuntemalla lähteen ominaisuudet (esim. tehotiheys, jaksolliset ominaisuudet, jakauma) voidaan kehittää sopivia lähdekoodereita. 20

21 Kanavakoodaus Koodattuun informaatiojonoon lisätään hallittua redundanssia Tavoitteena on saada lähete sietämään paremmin tiedonsiirtokanavassa ilmeneviä epäideaalisuuksia kuten kohinaa ja häiriöitä Redundanssia käytetään hyväksi vastaanottimen kanavadekooderissa, esim. kanavakoodit kuten konvoluutiokoodi Tyypillisesti reduntanttisuus tarkoittaa bittien lisäämistä informaatiojonoon joka suurentaa siirtotarvetta Koodauksen suunnittelussa tarvitaan tietoja lähteen jakaumista (esim. lähdesymbolien todennäköisyyksistä) Koodauksen analyysissä tarvitaan tietoa tämän kurssin käsitteistä kuten todennäköisyys, satunnaismuuttujat ja satunnunnaismuuttujien tilastolliset keskiarvot 21

22 Digitaalinen modulaatio Muuttaa binäärisen bittijonon tiedonsiirtokanavaan sopivaksi signaaliksi Esim. bitit 0 ja 1 kuvataan signaaleilla s1(t) ja s2(t) tai bittijono 1101 esitetään signaalilla si(t) Tyypillisesti tiedonvälitys tapahtuu käyttäen elektromagneettisia signaaleja Poikkeuksena esim. vedenalainen tiedonvälitys, jossa voidaan käyttää akustisia signaaleja Modulaatio tarkoittaa siis bittijon kuvaamista joksikin tiedonsiirtokanavaan sopivaksi signaali aaltomuodoksi Tällä kurssilla esitellään joitain lineaarisia muistittomia modulaatiomenetelmiä 22

23 Tiedonsiirtokanava Väli lähettimestä vastaanottimeen Fyysinen väliaine voi vaihdella Langattomassa viestinnässä väliaineena on ilmakehä, kanavan vaimennuskertoimet on usein kuvattu satunnaismuuttujiksi tai -signaaleiksi (aikariippuviksi) Langallisessa viestinnässä sähkö- tai optinen kaapeli Vedenalla vesi Patterimorsetuksessa patteriverkosto Joka tapauksessa väliaine vaikuttaa signaaliin eri tavoin Lisää summautuvaa kohinaa (additive noise) Esiintyy luonnossa itsessään (taustasäteily, salamat), Ihmisen tekemää (elektroniset laitteet, muut signaalit) Kohinan teho ja laatu riippuu taajuudesta 23

24 Vaimentaa Signaalin teho laskee etenemisen yhteydessä Esim. vapaan tilan vaimennus suhteessa etäisyyden neliöön Suodattaa Signaalin aaltomuoto saattaa vääristyä Vastaanottimen suorituskyky ei ole enää paras mahdollinen Joissain vääristymissä vastaanotto jopa mahdotonta Erilaisilla kanavakorjaimilla pyritään torjumaan vääristymien aiheuttamia ongelmia Kohinan ja vaimentumisen kuvaus perustuu usein tilastollisiin jakaumiin Korjaimien suunnittelussa käytetään signaalinkäsittelyä, jossa tarvitaan tietoa esim. satunnaismuuttujista ja niiden tilastollisista keskiarvoista 24

25 Digitaalinen demodulaatio Demolulaattori muuntaa kanavasta tulleen, todennäköisesti turmeltuneen aaltomuodon takaisin binääriseksi jonoksi Useita erilaisia tilastollisia suunnittelun lähtökohtia: Minimi virhetodennäköisyys (BER, bit error rate) Minimi neliövirhe (MSE, mean square error) Suurimman uskottavuuden menetelmä (ML, maximum likelihood) Myös demodulaattorin suorituskyvyn analyysissä tarvitaan paljon tietoa satunnaissignaaleista, esim. jakaumat Koodaamaton bittivirhesuhde, kanavan bittivirhesuhde 25

26 Kanava dekooderi Kanava dekooderi muuntaa koodatun bittijon takaisin alkuperäiseksi koodaamattomaksi jonoksi Analyysissä käytetään paljon satunnaissignaaleja ja niiden ominaisuuksia, jopa approksimaatioita, jos varsinainen jakauma vaikea muodostaa tai analysoida Tuloksena järjestelmän bittivirhesuhde 26

27 Lähde dekooderi ja muunnin Palauttaa alkuperäisen (analogisen) signaalin 27

28 Todennäköisyys Kurssilla esitetään lyhyt katsaus niihin todennäköisyyden ja satunnaisprosessien peruskäsitteisiin ja -ominaisuuksiin, joita tarvitaan digitaalisten tietoliikennejärjestelmien ymmärtämisessä Lisätietoja saa esim. oppikirjassa mainituista lähteistä Tämä osiokäsittelee todennäköisyyttä 28

29 Todennäköisyys On havaittu, että toistuvan tapahtuman keskiarvo lähestyy jotain vakioarvoa kun toistomäärä kasvaa Todennäköisyysteoria käsittelee näitä keskiarvoja Tapahtuman A todennäköisyys P(A) voidaan ymmärtää seuraavasti: Toistetaan koe n kertaa ja havaitaan tapahtuma AnA kertaa. Silloin, erittäin varmasti, tapahtumana suhteellinen frekvenssi na/n on lähellä lukua P(A) na/n, kun n on riittävän iso (1) Esim. 1: heitettäessä reilua kolikkoa 500 kertaa saadaan klaava n. 250 kertaa eli klaavan todennäköisyys P(klaava) = 1/2, joka vastaa havaintoa että kolikossa on kaksi puolta ja rahan heitossa molempien puolien esiintymistodennäköisyys on sama 29

30 Esim. 2: heitettäessä reilua noppaa 600 kertaa esiintyy yksittäinen silmäluku noin 100 kertaa eli P(yksittäisen silmäluvun todennäköisyys) = 1/6 Toisinpäin: jos tiedetään tapahtuman todennäköisyys, niin voidaan arvioida kuinka usein se esiintyy kokeessa Esim. Olkoon arvioitu bittivirhesuhde Pb = 10 3.Tällöin jokaista lähetettyä tuhatta bittiä kohti tapahtuu yksi virhe Pb 1000 = = 1. Jokaista miljoonaa bittiä kohti tapahtuu 1000 virhettä Pb = =

31 Joukko Joukko S koostuu alkioista si, i = 1,...,n eli S = {s1, s2,...,sn} (2) ja s S (3) Joukko S on usein jonkin suuremmanjoukon S0 osa (osajoukko), mutta voi olla myös sama kuin joukko S0 eli S S0 (4) Joukon S0 ne osat jotka eivät kuulu joukkoon S muodostavat joukon S komplementaarisen joukon eli komplementin S 31

32 S s2 s1 Joukko S0, osajoukkos ja sen komplementti S 32 S S0

33 Joukkojen A ja B unionia merkitään A B ja se tarkoittaa molempien joukkojen kaikkien elementtien muodostamaa joukkoa eli S = A B = {s S : s A tai s B} (5) Joukkojen A ja B leikkausta merkitään A B ja se tarkoittaa joukkojen yhteisten elementtien muodostamaa joukkoa eli S = A B = {s S : s A ja s B} (6) Joukojen A ja B sanotaan olevan keskenään poissulkevia tai toisensa poissulkevia (mutually exclusive) jos niiden leikkaus on tyhjä joukko eli A B = 33

34 B B A A unioni A B on harmaa alue leikkaus A B on harmaa alue 34

35 Määritelmiä Näytepiste (otos) on kokeen yksittäinen tulos Näyteavaruus (otosavaruus) S on kaikkien mahdollisten näytepisteiden joukko Tapahtuma joko tapahtuu tai sitten ei kun koe suoritetaan Tapahtuma A on joukon S osajoukko (A S), joka sisältää ne joukon S alkiot joille tapahtuma tapahtuu Tapahtuma A tapahtuu jos ja vain jos kokeen ulostulo s on joukon A osa eli s A. 35

36 Todennäköisyysavaruus Näyteavaruus S on todennäköisyysavaruus jos ja vain jos jokaiseen tapahtumaan A kaikkien mahdollisten tapahtumien joukossa (Ω) on liitettävissä numero P(A) jokatäyttää seuraavat aksioomat 0 P(A) 1 (7a) P ( iai) = P (Ai) jos ja vain jos Ai Aj =, i j =1, 2,... i (7b) P (S) = 1 (ns. varma tapahtuma) (7c) Itse asiassa joukon Ω täytyy olla kenttä (field) eli joukkojen A Ω ja B Ω leikkaus, unioni ja komplementit kuuluvat myös joukkoon Ω. Tämä vaaditaan, jotta joukko-opin kaikki järkevät operaatiot olisivat käytettävissä 36

37 Yleisesti pätee P(A B) =P(A) +P(B) P(A B), kuten leikkausta esittävästä kuvasta helposti nähdään 37

38 Esimerkki Nopan tapauksessa todennäköisyyssavaruus S = {1, 2, 3, 4, 5, 6} Olkoon tapahtuma A = {2, 4} Silloin tapahtuman A komplementti Ā = {1, 3, 5, 6} Selvästi A S, Ā S, A Ā = S ja A Ā = S, sillä tyhjä joukko on jokaisen näyteavaruuden osa 38

39 Olkoot tapahtumat B = {1, 3, 6} ja C = {1, 2, 3} Tapahtumat A = {2, 4} ja B ovat keskenään poissulkevia eli niillä ei ole yhteisiä alkioita eli A B =. Havaitaan myös että A B S, B S ja A B = {1, 2, 3, 4, 6} S Tapahtumat B ja C eivät ole keskenään poissulkevia sillä B C = {1, 3}. Joukojen unioni B C = {1, 2, 3, 6} Reilun nopan tapauksessa jokaisen silmäluvun todennäköisyys on 1/6. Nyt P(A) = 2 6 = 1 3 P(A B) =P(A)+P(B) = = 5 6 P(B C) =P(B)+P(C) P(B C) = = 4 6 =

40 Yhteistodennäköisyys Joskus tarkastellaan usean tapahtuman muodostamaa kokonaisuutta Esim. kahden nopan heittoa tai kahta peräkkäistä heittoa Silloin näyteavaruus SA on yksittäisten näyteavaruuksien SAi,i= 1,...,n karteesinen tulo eli SA = SA1 S A2 S An (8) Esimerkkejä: Kaksi noppaa n1 ja n2, joissa kokeissa tulokset ni(j),j = 1,...,6 Näyteavaruus sisältää 36 pistettä ( n1(l),n2(k) ) kuten (1,1), (1,2), (2,1), jne. Yhden pisteen todennäköisyys on 1/36 40

41 Kaksi kolikkoa, mahdollisia ulostuloja 4, (kruuna,kruuna), (kruuna,klaava), (klaava,kruuna), (klaava,klaava), jokaisen todennäköisyys 1/4 (jos järjestyksellä on väliä) Todennäköisyys että nopan ja rahan heitossa saadaan pari (kruunu,2)= = 1 (avaruudessa 12 pistettä) 12 Olkoon kyse kaksoiskokeesta ja olkoot Ai, i= 1,...,nja Bj, j= 1,...,m mahdolliset tapahtumat Silloin tapahtumien yhteistodennäköisyydelle pätee 0 P(Ai,Bj) 1 (9) Jos tapahtumat Bi ovat keskenään poissulkevia, niin m P(Ai,Bj) =P(Ai,SB) =P(Ai) (10) j=1 Tämä tarkoittaa sitä, että tapahtuma Ai tapahtuu huolimatta siitä mitä tapahtuu SB:ssä 41

42 Mistä tämä johtuu? Tilanne on helpoin selittää seuraavan kuvan avulla. B1 B2 S A1 B3 A1 B4 B4 Selvästi A1 =(A1 B1) (A1 B2) Koska Bi:t keskenään poissulkevia, niin P(A1) =P(A1,SB) =P(A1 B1)+P(A1 B2)+... =P(A1,B1)+P(A1,B2)

43 Jos kaikki mahdolliset tapahtumat Ai ja Bj ovat keskenään poissulkevia, niin n m P(Ai,Bj) = 1 (11) i=1 j=1 Tämä johtuu tietysti siitä, että kaikkien mahdollisten tapahtumien unioni kattaa koko todennäköisyysavaruuden 43

44 Ehdollinen todennäköisyys Tarkastellaan yhdistettyä koetta, jossa tapahtumien A ja B yhteistodennäköisyys on P(A, B) Oletaan että tapahtuma B on jo tapahtunut Nyt halutaan tietää mikä on tapahtuman A todennäköisyys Tätä kutsutaan ehdolliseksi todennäköisyydeksi Tapahtuman A ehdollinen todennäköisyys kun tapahtuma B on jo tapahtunut on (määritelmä) olettaen että P(B) > 0 P(A B) = P(A, B) P(B) (12) Ehdolliset todennäköisyydetkin täyttävät todennäköisyysaksioomat (7) 44

45 Ehdollisesta todennäköisyydestä (12) seuraa että P(A, B) =P(A B)P(B) =P(B A)P(A) (13) Yhden kokeen tapauksessa: Jos A B, niin A B = A ja P(A B) = P(A) P(B) Jos B A, niin A B = B ja (14) P(A B) = P(B) P(B) = 1 (15) 45

46 Olkoon todennäköisyysavaruus SA jaettu keskenään poissulkeviin joukkoihin (tapahtumiin) Ai, elis = n i=1ai ja olkoon B jokin tapahtuma Silloin B = B SA = B (A1 + A2 + + An) ja P(B) =P(B,A1)+ +P(B,An) Käyttämällä tähän ehdollista todennäköisyyttä (12) saadaan P(B) =P(B A1)P(A1)+ +P(B An)P(An) (16) joka tunnetaaan nimellä totaalinen todennäköisyysteoreema (total probability theorem) Yhtälöstä (13) seuraa, että P(Ai B) =P(B Ai) P(A i) P(B) (17) 46

47 Käyttämällä tässä totaalista todennäköisyysteoreemaa (16) saadaan P(Ai B) = P(B Ai)P(Ai) P(B A1)P(A1)+ +P(B A1)P(An) joka tunnetaan nimellä Bayesin teoreema (Bayes theorem) (18) Käyttökelpoinen jos todennäköisyyttä P(Ai B) eitunneta, mutta P(B Ai) tunnetaan Bayesin teoreemaa käytetään mm. kun DTS kurssilla johdetaan tiedonsiirtojärjestelmien suorituskykyjä 47

48 Esimerkkejä: Tarkastellaan nopan heittoa kahdesti ja halutaan tietää mikä on todennäköisyys että toisella heitolla (A) saadaan 2, kun ensimmäisellä heitolla (B) saatiin 1. Tällöin P(A B) = P(A, B) P(B) = = 1 6 (19) Olkoot yhdessä nopanheitossa tapahtumat A = {1, 2, 3} ja B = {1, 3, 6}.Tällöin yhdistetty tapahtuma on A, B = {1, 3}. Halutaan tietää joukon A todennäköisyys kun B on tapahtunut. P(A B) = P(A, B) P(B) = = 2 3 (20) 48

49 Tilastollinen riippumattomuus Tapahtumien tilastollinen riipumattomuus on tärkeä, usein käytetty käsite Se tarkoittaa sitä, että toisen tapahtuman tapahtumisella ei ole mitään tekemistä toisen tapahtuman kanssa Esim. kun heitetään reilua noppaa, niin seuraavan heiton silmäluku ei mitenkään riipu edellisestä silmäluvusta Määritelmä: Tapahtumat A ja B ovat tilastollisesti riippumattomia jos P(A, B) =P(A)P(B) (21) Yleisemmin: tapahtumat A1,A2,...,An ovat riippumattomia jos P(A1,...,An) = P(A1) P(An) Riippumattomien tapahtumien yhteistodennäköisyys on siis yksittäisten tapahtumien todennäköisyyksien tulo! 49

50 Esimerkkejä Mikä on todennäköisyys ettäperäkkäiset nopan heitot antavat tuloksen 1,2,3? Se on = 1 =0, Olkoon nopan heitossa tapahtuma A = {parilliset luvut} = {2, 4, 6}.Mikä on todennäköisyys että tapahtuma A tapahtuu kahdella peräkkäisellä heitolla? Tiedetään, että nopanheitot ovat riippumattomia, joten todennököisyys on P(A, A) =P(A)P(A) = = 1 4. Sama tulos saadaan myös tarkastelemalla avaruutta (nopan heitto nopan heitto) jossa parillisia pareja (A A) on 9 36:sta mahdollisuudesta eli haluttu todennäköisyys on 9 36 =

51 Satunnaismuuttujat Satunnaismuuttuja kuvaa kokeen tuloksen reaaliakselille Satunnaismuuttuja on siis funktio X(s) joka saa reaalisia arvoja Koe s kuuluu todennäköisyysavaruuteen S (s S) Esimerkkejä Kolikonheitossatodennäköisyysavaruus S = {kruunu,klaava} Satunnaismuuttuja voisi olla { 1 (s = kruunu) X(s) = 1 (s =klaava) 51

52 Nopan heitossa S = {1, 2, 3, 4, 5, 6}. Satunnaismuuttuja voi olla X(s) =s, jolloin mahdolliset tulokset ovat 1,2,3,4,5,6 Satunnaismuuttuja voi olla myös X(s) =s 2, jolloin mahdolliset tulokset ovat 1,4,9,16,25,36 Usein merkitään yksinkertaisuuden vuoksi X(s) = X, mutta on syytä muistaa mistä on kysymys Kompleksinen satunnaismuuttuja Z on kahden reaalisen satunnaismuuttujan X ja Y funktio siten että Z = X + jy. Muuttujan Z ominaisuuksia tarkasteltaessa on tiedettävä ko. summan omaisuudet 52

53 Satunnaismuuttuja voi saada äärellisen määrän eri arvoja diskreetti satunnaismuuttuja (kuten edellisissä esimerkeissä) Satunnaismuuttuja voi myös saada kaikkia mahdollisia arvoja joltain tietyltä väliltä reaaliakselilla jatkuva satunnaismuuttuja (kuten elektronisten laitteiden generoiman kohinan amplitudi) 53

54 Käytännön tutkimustyössä tehdään usein seuraavaa: Näytteistetyn satunnaissignaalin (tiedonsiirtokanavasta vastaanotettu signaali) elementit ovat diskreettejä satunnaismuuttujia, mutta analyysissä niitä kohdellaan jatkuvina, koska jatkuvia muuttujia on helpompi käsitellä Jos sananleveys on riittävä (useita bittejä, ei kahta), niin näin tehty analyysi vastaa kokeellisia tuloksia Pienille sananleveyksille (muutama bitti) näin tehty analyysi ei ole tarkka vaan analyysi ja simulaatiotulokset (joissa käytetään ko. sananleveyttä) poikkevat jonkin verran toisistaan 54

55 Satunnaismuuttujat ja todennäköisyys Tarkastellaan tapahtumaa jossa satunnaismuuttuja X on lukua x pienempi eli tarkastellaan tapahtumaa {X x}. x voi olla mikä tahansa reaaliluku väliltä ( < x < ) Tapahtuman todennäköisyys on P(X x) Yleensä se merkitään lyhyesti F (x) (tai FX(x) jos on vaara seikoittaa johonkin muuhun vastaavaan funktioon) eli F (x) =P(X x) ( <x< ) (22) Funktiota F (x) kutsutaan todennäköisyys kertymäfunktioksi tai kumulatiiviseksi kertymäfunktioksi (CDF, cumulative distribution funktion) CDF siis kuvaa millä todennäköisyydellä satunnaismuuttuja X on lukua x pienempi 55

56 CDF on todennäköisyys joten 0 F (x) 1 On myös helppo havaita että F ( ) =0jaF ( ) =1 CDF on kasvava funktio eli F (x1) F (x2), x1 <x2 Seuraavassaesimerkkejä diskreetistä ja jatkuvasta kertymäfunktiosta sekä näiden sekoituksesta 56

57 F (x) F (x) 1 jatkuva CDF Nopanheiton CDF kun X(s) =s sekoitus CDF x 0 x Diskreetti CDF Jatkuva ja sekoitus CDF:t 57

58 Kertymäfunktion F (x) derivaattaap(x)(myöspx(x)) kutsutaan satunnaismuuttujan X todennäköisyys tiheysfunktioksi (PDF, probability density function) Nyt siis pätee ja p(x) = df(x) dx F (x) = x ( <x< ) (23a) p(u) du ( <x< ) (23b) Koska F (x) on kasvava, niin p(x) 0 Selvästi p(x) dx = F ( ) = 1 (pinta-ala on 1) 58

59 Diskreettien muuttujien tapauksessa p(x)sisältää impulssinf (x):n epäjatkuvuuskohdassa xi eli tälläisessa kohdassa p(x) on p(xi) =P(X = xi)δ(x xi) (24) jossa δ(x) on impulssifunktio eli { 1 x =0 δ(x) = 0 x 0 (25) 59

60 Satunnaismuuttujalla X sanotaan olevan jakauma. Jakaumat on usein nimetty henkilöiden (mahdollisesti keksijä) tai PDF funktion mukaan Esimerkkinä ensimmäisestä on Gaussin jakauma ja toisesta eksponentiaalinen jakauma, jossa PDF on eksponentiaalinen. Kullakin jakaumalla on PDF ja CDF, joista se on tunnistettavissa. 60

61 Usein halutaan tietää todennäköisyys jolla satunnaismuuttuja on jollain välillä eli tapahtuman {x1 <X x2} todennäköisyys (x1 <x2) Tapahtuma voidaan aina esittää kahden toisensa poissulkevan tapahtuman unionina (usein käytetty temppu) Tapahtuma {X x2} on selvästi tapahtumien {X x1} ja {x1 <X x2} unioni X x2 X x1 x1 <X X2 x1 x2 x 61

62 Tällöin P(X x2) =P(X x1)+p(x1 <X x2) eli F (x2) =F (x1)+p(x1 <X x2) Tästä seuraa x 1 P(x1 <X x2) =F (x2) F (x1) x 2 x1 x2 = = x2 x2 x1 p(x) dx x1 p(x) dx p(x) dx (26) Todennäköisyys että satunaismuuttuja X saa arvoja väliltä x1 < X x2 on siis PDF:n integraali yli tuon alueen 62

63 Useita satunnaismuutujia Kun tarkastellaan useita yhtäaikaisia tapahtumia tai peräkkäisiä tapahtumiapitäätietää näiden yhteis kertymä- ja/tai tiheysfunktiot (yhteisjakauma) Useat satunnaismuuttujat muodostavat periaatteessa moniulotteisen funktion, joka on määritelty yhdistetyssä näyteavaruudessa Tarkastellaan ensin kahden muuttujan X1 ja X2 yhteisjakaumaa ja yleistetään tulokset sen jälkeen useammille muuttujille 63

64 Yhteiskertymäfunktio (yhteis (joint) CDF) on F (x1,x2) =P(X1 x1, X2 x2) = x1 x2 p(u1,u2) du1 du2 (27) jossa p(x1,x2) on yhteis todennäköisyys tiheysfunktio (yhteis PDF), joka on p(x1,x2) = 2 F (x1,x2) (28) x1 x2 64

65 Kun yhteis PDF integroidaan yli toisen satunnaismuuttujan saadaan p(x1,x2) dx2 = p(x1) (29) jota kutsutaan marginaaliseksi PDF:ksi (erotukseksi varsinaisesta PDF:stä, jota ei ole saatu integroimalla) On helppo havaita että p(x1,x2) dx1 dx2 =1 F (, ) =F (,x2) =F (x1, ) =0 65

66 Yleistys useampiulotteisiin tapauksiin on suoraviivaista F (x1,...,xn) =P(X1 x1,...,xn xn) = p(x1,...,xn) = x1 n xn p(u1,...,un) du1...dun x1 xn F (x1,...,xn) Marginaaliset PDF:t voidaan generoida mille tahansa määrälle satunnaismuuttujia eli p(x1,x2,x3,x4,x5,...,xn) dx2 dx4 = p(x1,x3,x5,...,xn) Havaitaan myös että F (x1,,x3,,x5,...,xn) =F (x1,x3,x5,...,xn) F (x1,,x2,...,xn) =0 66

67 Ehdollinen tiheysfunktio Ehdollinen todennäköisyyshän oli P(A B) =P (A, B)/P (B) Ehdollisen todennäköisyyden, että muuttuja X1 on pienempi kuin x1 kun satunnaismuuttuja X2 on saanut arvon x2 eli todennäköisyyden P(X1 x1 X2 = x2) laskeminen ei yleisessä tapauksessa onnistu suoraan, koska tyypillisesti P(X2 = x2) =0 ( 0 vain jos kyseessä distreetti muuttuja jolla jokin arvo ko. pisteessä) Lasketaan siis tapahtuman {X1 x1 x2 <X2 x2} todennäköisyys, jossa on pieni positiivinen luku 67

68 Tällöin P(X1 x1 x2 <X2 x2) = x 1 x 2 x2 p(u 1,u2) du1 du2 x 2 x2 p(u 2) du2 = F (x 1,x2) F (x1,x2 ) F (x2) F (x2 ) (30) Olettaen, että vaaditut PDF:t ovat jatkuvia alueella (x2,x2) voidaan osoittaja ja nimittäjä yhtälössä (30) jakaa :lla ja ottaa raja-arvo 0 Derivaatan määritelmä: limh 0 ( f(x) f(x + h) ) /h 68

69 Tällöin P(X1 x1 X2 = x2) F (x1 x2) (31) = [ x1 = F(x 1,x2)/ x2 F(x2)/ x2 x 2 p(u 1,u2) du1du2] / x 2 [ x2 p(u 2) du2] / x 2 = x 1 p(u 1,x2) du1 p(x2) (32) Derivoimalla tämä x1:sen suhteen saadaan joka on ehdollinen PDF. p(x1 x2) = p(x 1,x2) p(x2) (33) 69

70 Selvästi meillä onmyös p(x1,x2) =p(x1 x2)p(x2) =p(x2 x1)p(x1) (34) Yhtälön (34) yleistys on joskus hyödyllinen jakaumia määrättäessä. Se on p(x1,x2,...,xn) =p(x1,...,xk xk+1,...,xn)p(xk+1,...,xn) 70

71 Riippumattomat satunnaismuuttujat Riippumattomuushan tarkoitti että eri kokeiden ulostulot eivät millään lailla vaikuta toisiinsa. Havaittiin, että tällöin P(A1,...,An) =P(A1) P(An) Koska satunnaismuuttujat liittyvät kokeisiin ja P (X x) = F (x) niin satunnaismuuttujat ovat tilastollisesti riippumattomia jos ja vain jos tai F (x1,...,xn) =F (x1) F (xn) = p(x1,...,xn) =p(x1) p(xn) = n F (xi) (35) i=1 n p(xi) (36) i=1 71

72 Tämä tarkoittaa siis sitä, että riippumattomien satunnaismuuttujien CDF tai PDF on yksittäisten satunnaismuuttujien CDF:ien tai PDF:ien tulo Tämä on hyvin usein käytetty ja hyödyllinen tieto 72

73 Satunnaismuuttujien funktiot Usein tarvitsee tietää mikä on satunnaismuuttujan/muuttujien funktion jakauma Tämä tarkoittaa, että halutaan tietää muuttujan Y = g(x) jakauma, kun tiedetään muuttujan X jakauma Tämä on varsin suoraviivaista jos kuvaus g on yksi-yhteen (yksikäsitteinen) Jos kuvaus ei ole yksikäsitteinen, esim. Y = X 2, niin jakauman määräämisessä täytyy olla hyvin huolellinen Tätä tietoutta tullaan käyttämään esim. joidenkin tiedonsiirtomenetelmien suorituskyvyn määräämisessä (DTS) 73

74 Esimerkki 1 Tarkastellaan muuttujaa Y = ax + b, jossa a>0jab ovat vakioita Kuvaus on lineaarinen ja monotooninen (= joko kasvava tai vähenevä funktio, nyt kasvava) Kuvaus on siis yksikäsitteinen Olkoon FX(x) jafy (y) muuttujien X ja Y CDF:t Selvästi ( FY (y) =P(Y y) =P(aX + b y) =P X y b ) a ( y b ) (y b)/a = FX = px(x) dx a Derivoimalla FY (y) saadaan py (y) = 1 a p X ( y b ) a 74

75 Lineaarisessa muunnoksessa muuttujan Y = ax + b jakauma on helposti esitettävissä muuttujan X jakauman avulla y Y = ax + b px(x) x -1 1 x py (y) b a 0 b b + a y siirtää (b) venyttää (a) Esimerkin 1 havainnollistaminen 75

76 76 x y 5 Y=aX 3 +b b Tarkastellaan muuttujaa Y = ax 3 + b Kuvaus on yksikäsitteinen Esimerkki 2

77 Nyt on siis FY (y) =P(Y y) =P(aX 3 + b y) ( ( y b ) 1/3 ) (( y b ) 1/3 ) =P X = FX a a josta derivoimalla 1 (( y b ) 1/3 ) py (y) = 3a[(y b)/a] p 2/3 X a 77

78 78 x b 4 Y=aX 2 +b y Nyt tarkastellaan muuttujaa Y = ax 2 + b Kuvaus ei ole yksikäsitteinen sillä yhtä Y :n arvoa vastaa kaksi X:n arvoa Esimerkki 3

79 Nyt FY (y) =P(aX 2 + b y) ( y b ) ( y b y b ) =P X =P <X a a a ( y b ) ( y b ) = FX FX a a Derivoimalla saadaan py (y) = p X ( (y b)/a ) 2a (y b)/a + p X ( (y b)/a ) 2a (y b)/a 79

80 Esimerkissä 3 havaittiin, että yhtälöllä g(x) =ax 2 + b on kaksi ratkaisua x1 = (y b)/a ja x2 = (y b)/a ja että muuttujan Y = ax 2 + b PDF on muotoa py (y) = p X(x1) g (x1) + p X(x2) g (x2) jossa x1 ja x2 ovat yhtälön g(x) =ax 2 + b juuret ja g (x) on g(x):än derivaatta x:n suhteen Yleisesti muuttujalle Y = g(x) päteekin py (y) = p X(x1) g (x1) + + p X(xn) g (xn) = n i=1 px(xi) g (xi) jossa xi, i = 1,...,n ovat yhtälön y = g(x) reaaliset juuret (37) 80

81 Sovelletaan edellistä tulosta (37) esimerkkiin 1 Nyt Y = ax + b, mutta ei rajoituta tilanteeseen a>0 kuten esimerkkissä 1 Yhtälön y = g(x) juuri on y =(y b)/a ja funktion g(x) = ax + b derivaatta on a. Täten py (y) = p ( ) X (y b)/a a 81

82 Usean muuttujan tilanne Olkoon X = [x1... xn] n dimensioinen satunnaisvektori eli vektori jonka elementit ovat satunnaismuuttujia Sen CDF on F (X) =F (x1,...,xn) ja PDF vastaavasti p(x) = p(x1,...,xn). Nämä ovat siis muuttujien X1,...,Xn yhteis CDF ja PDF. Vektorimerkintä on siis oiva tapa yksinkertaistaa merkintöjä Meillä on lisäksi yksiarvoiset (yksi ulostulo) funktiot gi(x) jasatunnaismuuttujat Yi = gi(x), jotka riippuvat muuttujista Xi, i = 1,...,n Myös muuttujien Yi ja gi(x) suhde voidaan esittää vektorien avulla jolloin Y = g(x) jossa Y =[Y1... Yn] jag(x) =[g1(x)... gn(x)] 82

83 Lisäksi oletetaan että käänteiskuvaukset xi = g i 1 (Y) ovatolemassa ja käänteisfunktiot ovat yksiarvoisia. Lisäksi vaaditaan, että funktioiden osittaisderivaatat ovat jatkuvia (seuraava tulos ei siis sovi joka tilanteeseen) Silloin p(y) on ( ) py (Y) =px g 1 g 1 (Y) (Y) (38) Y = p ( ) X g 1 (Y) (39) g(x) X g Determinantit 1 (Y) Y ja g(x) X ovat kuvausten g 1 (Y)jag(X) Jacobiaanit 83

84 Jacobiaanit ovat g 1 (Y) Y = g 1 1 y1 g 1 1 yn..... g n 1 y1 g n 1 yn ja g(x) X = g1 g1 x1 xn..... (40) gn x1 gn xn Jacobiaanit ovat siis muunnosten osittaisderivaatoista muodostettujen matriisien determinantteja Tulos (38) on esitetty oppikirjassa Tulosta (39) ei ole esitetty oppikirjassa mutta se voi olla hyödyllinen, sitähän käytettiin jo yhden muuttujan funktion jakauman löytämisessä eli yksikäsitteisessä tapauksessa tulos (37) on suora seuraus tuloksesta (39) 84

85 Tulos (37) on hieman yleisempi (yhdelle muuttujalle) kuin (39), sillä siinä voiyhtälöllä y = g(x) voi olla useita ratkaisuja, mutta ratkaisussa (39) on oletettu yksi ratkaisu yhtälöryhmälle Y = g(x). Tulos (39) on toki yleistettävissä Otetaan seuraava lineaarisen muunnoksen yleistys esimerkiksi kummankin tavan käytöstä. Kyseistä muunnosta käytetään hyvin usein, joten esimerkki on hyödyllinen Olkoon Y = AX + b, jossa A on ei-singulaarinen n n muunnosmatriisi, Y ja X ovat n 1 satunnaisvektoreita ja b on n 1 vakiovektori Tällöin matriisin A käänteismatriisi A 1 on olemassa Käytetään ensin tapaa (38) Nyt X = A 1 (Y b) =g 1 (Y) Käänteiskuvauksen g 1 (Y) Jacobiaani on A 1 85

86 Näin on koska A 1 (Y b)/ Y = {A 1 Y A 1 b}/ Y = A 1 Miksi näin? Tarkastellaan matriisi vektoritulon Ay i:nettäelementtiä xi = j a ijyj, jossa aij ja yj ovat m n matriisin A ja n 1 vektorin y elementit. Silloin xi yk = { j a ijyj } yk = { ai1y aikyk ainyn } yk = aik eli matriisin A (i, k) :s elementti Osittaisderivaattoja x i y on m n kpl jotka järjestettynä matriisiin antavat halutun tuloksen eli k x y = {Ay} y = A 86

87 Tuloksen (38) mukaan saadaan siis ( ) ( ) p(y) =px A 1 (Y b) A 1 px A 1 (Y b) = A sillä determinanteille pätee A 1 =1/ A Käytetään sitten tapaa (39) Tarkasteltava muunnos on Y = AX + b = g(x) Muunnoksen g(x) Jacobiaani on A Tuloksen (39) mukaan p(y) = p ( ) X A 1 (Y b) A joka on sama kuin tuloksen (38) avulla laskettu tulos 87

88 Tilastolliset keskiarvot Satunnaismuuttujien tilastolliset keskiarvot ovat usein tarvittu ominaisuus ja ne ilmenevät useissa eri yhteyksissä, esim. demodulaattorien ja kanavakorjainten suunnittelussa Tärkeimpinä ovat ehkäpä ensimmäinen ja toinen momentti ja 2. keskeismomentti. Satunnaismuuttujan n:s momentti on E{X n } = x n p(x) dx (41) 1. momenttia kutsutaan satunnaismuuttujan tilastolliseksi keskiarvoksi tai odotusarvoksi (mean or expected value) ja se on E{X} mx = xp(x) dx (42) 88

89 Olkoon satunnaismuuttuja Y = g(x). Sen odotusarvo on E{Y } = g(x)p(x) dx (43) Miksi tämä kuvaa (yleisesti) keskiarvoa? Diskreetissä tapauksessa E{Y } = i g(x i)p (x = xi)δ(x xi) selvästi kuvaa muuttujien g(xi) keskimääräistä arvoa Esim. nopanheitossa, jos g(x) = nopan silmäluku, saadaan 1 1/6+2 1/ /6 =3, 5 eli 1 esiintyy frekvenssillä 1/6, 2 frekvenssillä 1/6 jne. ja keskimääräinen arvo on 3,5 jatkuville muuttujille keskimääräinen arvo vastaa ylläolevaa integraalia 89

90 Olkoon Y =(X mx) n eli X josta on vähennetty keskiarvo (potenssiin n) Tämän keskiarvo on E{(X mx) n } = jota kutsutaan n:ksi keskeismomentiksi Se on momentti keskiarvon suhteen (x mx) n p(x) dx (44) 2. keskeismomenttia kutsutaan varianssiksi ja se on E{(X mx) 2 } σ 2 x = (x mx) 2 p(x) dx (45) ja se kuvaa muuttujan arvon heilumista keskiarvon ympärillä eli hajontaa 90

91 Purkamalla neliöinti saadaan σ x 2 = (x 2 2xmx + m 2 x)p(x) dx = x 2 p(x) dx 2mx xp(x) dx }{{} E{X 2 } }{{} mx +m 2 x p(x) dx } {{ } 1 =E{X 2 } m 2 x (46) joka muodostaa yhteyden varianssin sekä ensimmäisen ja toisen momentin välille Nollakeskiarvoiselle satunnaismuuttujalle varianssi ja toinen momentti ovat samat 91

92 Kahden muuttujan tapauksessa saadaan yhteismomentti E{X k 1 X n 2 } = sekä yhteis keskeismomentti x k 1x n 2p(x1,x2) dx1 dx2 (47) jossa mi = E{Xi}. E{(X1 m1) k (X2 m2) n } = (x1 m1) k (x2 m2) n p(x1,x2) dx1 dx2 (48) Kiinnostavin tilanne on kun n = k = 1. Silloin muuttujien Xi ja Xj yhteismomenttia kutsutaan korrelaatioksi ja yhteiskeskeismomenttia kovarianssiksi 92

93 Korrelaatio on siis E{XiXj} (49) ja kovarianssi on µij =E{(Xi mi)(xj mj)} (50) eli ne ovat muuttujien tulojen odotusarvot Kovarianssin sekä korrelaation ja keskiarvojen välillä on yhteys µij =E{XiXj Ximj mixj + mimj} =E{XiXj} E{Xi} mj mi E{Xj} +mimj }{{}}{{} mi mj =E{XiXj} mimj (51) Nollakeskiarvoisille muuttujille korrelaatio ja kovarianssi ovat samat 93

94 Useamman muuttujan tapauksessa voidaan myös määritellä erilaisia yhteismomentteja mutta useimmiten ollaan kiinnostuttu vain korrrelaatiosta ja kovarianssista eri muuttujien välillä. Olkoon meillä satunnaisvektori X = [X1 X2... Xn] T jossa yläindeksi T tarkoittaa transpoosia. X on siis n 1 pystyvektori Korrelaattiomatriisi sisältää vektorin X alkioiden väliset korrelaatiot ja kovarianssimatriisi niiden väliset kovarianssit Korrelaatiomatriisi on siis E{XX T } = E{X1X1} E{X1X2}... E{X1Xn} E{X2X1} E{X2X2}... E{X2Xn} (52) E{XnX1} E{XnX2}... E{XnXn} Diagonaali sisältää kunkin alkion 2. keskeismomentin ja diagonaalin ulkopuoliset elementit alkioiden välisiä yhteismomentteja 94

95 Olkoon m =E{X} =[m1... mn] T muuttujien Xi keskiarvovektori Kovarianssimatriisi on E{(X m)(x m) T } = µ11 µ12... µ1n µ21 µ22... µ2n (53) µn1 µn2... µnn Diagonaali sisältää alkioiden varianssit sillä µii = σ i 2 Vastaavasti voidaan määrittää satunnaisvektorien X ja Y väliset ristikorrelaatio- ja -kovarianssimatriisi eli E{XY T } ja E{(X mx)(y my) T } 95

96 Korreloimattomuus Kahta satunnaismuuttujaa Xi ja Xj sanotaan korreloimattomiksi jos niiden välinen kovarianssi on nolla eli µij = 0 Tästä seuraa se, että korrelaatio on keskiarvojen tulo, silläyhtälöstä saadaan µij =E{XiXj} mimj = mimj =0 E{XiXj} = mimj = E{Xi} E{Xj} Tästä seuraa että tilastollisesti riippumattomat satunnaismuuttujat ovat korreloimattomia Tästä ei seuraa että korreloimattomat satunnaismuuttujat ovat välttämättä riippumattomia (näin toki voi olla) Satunnaismuuttujien sanotaan olevan ortogonaalisia jos E{XiXj} =0 96

97 Näin on esim. jos muuttujat ovat korreloimattomia ja jompi kumpi tai molemmat keskiarvoista ovat nollia 97

98 Karakteristinen funktio Määritelmän mukaan satunnaismuuttujan karakteristinen funktio on E{e jvx } ψ(jv)= e jvx p(x) dx, j = 1 (54) Tämä vastaa Fourier muunnosta (lukuunottamatta eksponentin miinus merkkiä, mutta sillä ei ole väliä) Fourier käänteismuunnoksesta seuraa että muuttujan PDF karakteristisen funktion avulla ilmaistuna on p(x) = 1 ψ(jv)e jvx dv (55) 2π Karakteristisen funktion avulla voidaan siis määrittää muuttujan PDF 98

99 Toinen hyödyllinen seikka on yhteys momentteihin Derivoimalla karakteristien funktio muuttujan v suhteen saadaan dψ(jv) dv = j xe jvx p(x) dx Ratkaisemalla tämä pisteessä v = 0 saadaan dψ(jv) dv v=0 = j xp(x) dx eli 1. momentti (keskiarvo) on ilmaistavissa myös muodossa E{X} = j dψ(jv) dv v=0 (56) 99

100 Korkeamman asteen derivaatoista saadaan korkeammille momenteille yhtälö E{X n } =( j) ndn ψ(jv) dv n v=0 (57) Karakteristisen funktion avulla voidaan siis määrätä muuttujan momentit 100

101 Karakteristinen funktio voidaan esittää sarjamuodossa Karakteristisen funktion Taylorin sarja pisteen v = 0 ympäristössä on ψ(jv)= k=0 d n ψ(jv) v=0 v n dv n n! Sijoittamalla tähän derivaatan paikalle yhtälöstä (56) saatu derivaatta saadaan ψ(jv)= k=0 E{X n } (jv)n n! (58) Karakteristinen funktio voidaan siis esittää myös momenttien avulla 101

102 Karakteristisen funktion avulla on helppo löytää riippumattomien satunnaismuuttujien summan PDF Tarkastellaan usean muuttujan summaa eli muuttujaa n Y = i=1 Xi 102

103 Sen karakteristinen funktio on ψy (jv)=e{e jvy } { =E exp ( jv n ) } Xi i=1 { n ( ) } =E e jvx i (sillä e a+b = e a e b ) = i=1 ( n ) e jvx i p(x1,...,xn) dx1...,dxn i=1 103

104 Koska muuttujat Xi ovat riippumattomia, niin p(x1,...,xn) = p(x1) p(xn) jolloin n [ ] ψy (jv)= e jvx i p(x i) dxi = i=1 n (jv) (59) ψxi i=1 Riippumattomien muuttujien summan karakteristinen funktio on siis yksittäisten muuttujien karakterististen funktioiden tulo Summan PDF on tämän käänteinen Fourier muunnos Jos muuttujat ovat identtisesti jakautuneita eli p(xi) = p(xj) i, j niin [ n ψy (jv)= ψx(jv)] (60) 104

105 Fourier muunnoksen ominaisuuksista seuraa, ettäpdf:iäkäyttäen riippumattomien muuttujien summan PDF on yksittäisten PDF:ien konvoluutio Tulo on kuitenkin usein helpompi laskea kuin konvoluutio, joten karakteristisen funktion käyttö ko. summanpdf:n määräämiseen on useimmiten järkevää 105

106 Usean muuttujan yhteisjakauman tapauksessa tarvitaan moniulotteista Fourier muunnosta n:lle muuttujalle karakteristinen funktio on { n } ψ(jv1,...,jvn) =E exp (j vixi) = i=1 exp (j n vixi)p(x1,...,xn) dx1...dxn i=1 Kahden muuttujan tapauksessa meillä on ψ(jv1,jv2) = e j(v 1x1+v2x2) p(x 1,x2) dx1 dx2 106

107 Momentit saadaan generoitua vastaavasti kuten yhden muuttujan tapauksessa ottamalla osittaisderivaatat muuttujien suhteen ja ratkaisemalla se pisteissä vi =0 i. Esimerkiksi kahden muuttujan tapauksessa saadaan }{{} jj E{X1X2} = 2 ψ(jv1,jv2) v1 v2 v1=v2=0 1 Korkeammat momentit voidaan käsitellä vastaavasti 107

108 Jakaumia Seuraavassa esitellään digitaalisessa tietoliikenteessäuseinkäytettyjä jakaumia Esitellään jakaumien CDF, PDF ja karakteristiset funktiot sekä joitain momentteja kuten keskiarvo, 2. momentti ja varianssi Ensimmäisenä tarkastellaan yksi diskreettien muuttujien jakauma ja sen jälkeen keskitytään jatkuvien muuttujien jakaumiin 108

109 Binomijakauma Olkoon X diskreetti muuttuja joka voi saada kaksi eri arvoa X = 1 tai X = 0 (kuten bittijonon alkiot), todennäköisyyksillä p ja 1 p. Tämän PDF on esitetty alla olevassa kuvassa 1 p p 0 1 Muuttujan X PDF x Tarkastellaan sitten tilastollisesti riippumattomien identtisesti kuten X edellä jakautuneiden muuttujien summaa n Y = i=1 tavoitteena määrätä summan PDF Xi 109

110 Selvästi 0 Y n Arvon 0 summa saa jos kaikki arvot ovat nollia. Tämä tapahtuu todennäköisyydellä P(Y =0)=(1 p) n koska muuttujat ovat identtisiä ja riippumattomia Arvon 1 summa saa jos yksi muuttuja Xi = 1 ja muut nollia. Tämä tapahtuma voi tapahtua n:llä eri tavalla joten P(Y =1)=n }{{} p (1 p) }{{ n 1 } 1ykkönen n 1 nollaa 110

111 Jotta Y = k, niin k:n muuttujan täytyy saada arvo 1 ja muiden nolla. Koska tämä voi tapahtua ( n k ) = n! k!(n k)! (binomikerroin) tavalla, niin haluttu todennäköisyys on ( ) n P(Y = k) = p k (1 p) n k (61) k Vastaava PDF on p(y) = = n P(Y = k)δ(y k) k=0 n ( ) n p k (1 p) n k δ(y k) (62) k k=0 111

112 CDF on taas F (y) =P(Y y) = y k=0 ( n k ) p k (1 p) n k (63) jossa merkintä y tarkoittaa suurinta kokonaislukua m jolle pätee m y Ensimmäiset momentit ovat E{Y } = np (64a) E{Y 2 } = np(1 p)+n 2 p 2 (64b) σ 2 = np(1 p) (64c) Binomijakauman karakteristinen funktio on ψ(jv)=(1 p + pe jv ) n (65) 112

113 Tasajakauma Tasajakaumassa muuttuja voi saada yhtä suurella todennökäisyydellä kaikkia arvoja joltain väliltä [a, b]. Sen PDF on p(x) = { 1 a x b b a 0 muutoin (66) Kuvassa on esitetty ko. PDF ja vastava CDF p(x) F (x) 1 1/(b a) a b x a b x PDF CDF 113

114 Ensimmäiset momentit ovat E{Y } = 1 2 (a + b) (67a) E{Y 2 } = 1 3 (a2 + b 2 + ab) (67b) σ 2 = 1 12 (a b)2 (67c) Tasajakauman karakteristinen funktio on ψ(jv)= ejvb e jva jv(b a) (68) 114

115 Gaussin eli normaalijakauma Digitaalisten tietoliikennejärjestelmien analyysissä ehkäpäuseimmiten (ainakin perinteisesti) käytetty jakauma. Yksi syy on se että Gaussin jakauma johtaa suhteellisen järkeviin vastaanotinrakenteisiin joiden on usein havaittu toimivan myös käytännössä Normaalijakauman PDF on p(x) = 1 2πσ e (x m x) 2 /2σ 2 (69) jossa mx on muuttujan keskiarvo ja σ 2 varianssi Tämä on siis normalisoidun normaalijakauman p(x) = 1 2π e x2 /2 siirros (mx) jalevitys(σ 2 ). 115

116 Useat taulukot ja funktiot, varsinkin normaalijakautuneen muuttujan todennäköisyydelle, on esitetty normalisoidulle muuttujalle. Niin myös seuraavassa Normaalijakauman CDF on F (x) = x p(u) du = 1 x 2πσ e (u m x) 2 /2σ 2 du Suoritetaan muuttujanvaihdos t =(u mx)/ 2σ, jolloin du = 2σdt ja jos u = tai u = x niin t = ja t =(x mx)/ 2σ 116

117 Tällöin F (x) = 2 }{{} 2 =1 1 (x m x)/ 2σ π = 1 [ 2 0 e t2 dt 2 π } {{} =1 = ( x m ) 2 erf x 2σ e t2 dt + 2 π (x m x)/ 2σ 0 e t2 dt ] (70) jossa erf(x) = 2 x e t2 dt (71) π 0 joka on ns. virhefunktio (error function) PDF ja CDF on hahmoteltu seuraavissa kuvissa 117

118 1/ 2πσ PDF normalisoitu mx =2 σ = x mx 118 CDF 1 normalisoitu mx =2 σ =2 1/ x mx

119 CDF voidaan esittää myös komplementaarisen virhefunction avulla, jolloin erfc(x) =1 erf(x) = 2 π e t2 dt (72) x F (x) =1 1 2 erfc ( x mx 2σ ) (73) Havaitaan, että erf( x) = erf(x), erfc( x) =2 erfc(x), erf(0) = erfc( ) =0jaerf( ) = erfc(0) = 1. Jos x>mx, niin komplementaarinen virhefunktio esittää Gaussin jakauman hännän alaa Suurille x:n arvoille pätee approksimaatio ( erfc(x) = e x2 x 1 1 π 2x x ) x6 + jossa virhe on pienempi kuin viimeisin käytetty termi (74) 119

120 Toinen usein käytetty Gaussin jakauman hännän alaa esittävä funktio on Q-funktio Q(x) = 1 2π x e t2 /2 dt, x 0 (75) Vertaamalla tätä komplementaariseen virhefunktioon havaitaan, että Q(x) = 1 2 erfc ( x ) 2 Gaussin jakauman karakteristinen funktio on ψ(jv)= e jvx [ 1 2π e (x m x) 2 /2σ 2] dx = e jvm x (1/2)v 2 σ 2 (76) 120

121 Gaussin jakauman kaikki keskeismomentit ovat { E{(X mx) k 1 3 (k 1)σ k (parillinen k) } µk = 0 (pariton k) (77) eli parillisia keskeismomentteja ei ole Tavalliset momentit voidaan esittää keskeismomenttien µk avulla seuraavasti k ( ) k E{X k } = m i xµk i (78) i i=0 Gaussinjakauma onerittäinusein käytetty mm. siksi, ettäkeskeisen raja-arvolauseen nojalla satunnaismuuttujien summa tuppaa olemaan Gaussin jakautunut jos muuttujia on paljon ja mikään niistä ei dominoi. 121

122 Tällä perusteella esim. taustakohina (joka tulee useista lähteistä) mallinnetaan usein Gaussin jakautuneeksi Gaussin jakaumalla on mm. se kiva ominaisuus että riippumattomien Gaussin muuttujien summa on Gaussin jakautunut (ei siis tarvita edes keskeistä raja-arvo lausetta) Mistäs tämä johtuu? Käytetään selittämiseen karakteristista funktiota jolloin riippumattomien muuttujien summan karakteristinen funktio on erillisten karakterististen funktioiden tulo Tarkastellaan siis summaa Y = n i=1 X i, jossa muuttujat Xi ovat riippumattomia Gaussin jakautuneita satunnaismuuttujia keskiarvolla mi ja varianssilla σ 2 i 122

123 Silloin summan karakteristinen funktio on n ψy (jv)= ψxi (jv) = i=1 n i=1 =exp ( jv e jvm i v 2 σ 2 i /2 n mi i=1 }{{} =my = e jvm y v 2 σ 2 y/2 n v 2 /2 σ i 2 i=1 }{{} =σ 2 y ) (79) joka on Gaussin jakauman karakteristinen funktio eli summa Y on Gaussin jakautunut keskiarvolla my ja varianssilla σ y 2 123

124 Chi-neliö jakauma (Chi-Square) Liittyy läheisesti Gaussin jakaumaan Sitäkäytettään analysoitaessa vastaanottimia jotka neliöivät vastaanotetun Gaussin jakautuneen signaalin eli laskevat vastaanotetun signaalin tehoa tai energiaa Näitä ovat mm. epäkoherentit vastaanottimet tietoliikenteessäja radiometri signaalitiedustelussa 124

125 Olkoon X Gaussin jakautunut satunnaismuuttuja Silloin Y = X 2 on chi-neliö jakautunut Eri tyypit: keskinen chi-neliö jakauma nollakeskiarvoisille X epäkeskinen chi-neliö jakauma yleiselle X (X:llä voi olla keskiarvo) 125

126 Tarkastellaan ensin keskistä chi-neliö jakaumaa Olkoon X nollakeskiarvoinen normaalijakautunut muuttuja, jonka varianssi on σ 2 Aiemmassa esimerkissä laskettiin muuttujan Y = ax 2 + b jakauma, joka pätee nyt jos a =1jab =0.Y :n PDF oli py (y) = p ( ) X (y b)/a 2a (y b)/a + p ( ) X (y b)/a 2a (y b)/a Siitä seuraa, että py (y) = 1 e y/2σ2, y 0 (80) 2πyσ 126

127 CDF saadaan integroimalla eli FY (y) = y 0 py (u) du = 1 y 1 e u/2σ2 du (81) 2πσ u jolle ei ole olemassa ratkaisua suljetussa muodossa Karakteristinen funktio on ψ(jv)= 0 1 (82) (1 j2vσ 2 ) 1/2 Entäs sitten jos meillä on usean neliöidyn Gaussin muuttujan summa eli summa n Y = i=1 X 2 i 127

128 jossa Xi ovat tilastollisesti riippumattomia, identtisesti jakautuneita nollakeskiarvoisia Gaussin muuttujia varianssilla σ 2. Karakteristinen funktio on nyt yhden karakteristisen funktion n:s potenssi eli ψ(jv)= 1 (83) (1 j2vσ 2 ) n/2 Tämän käänteismuunnos antaa PDF:n 1 p(y) = σ n 2 n/2 Γ( 1 2 n) yn/2 1 e y/2σ2, y 0 (84) jossa Γ(p) = 0 t p 1 e t dt, p 0 (gammafunktio) Γ(p) =(p 1)! jos p on kokonaisluku, p>0 Γ( 1 2 )= π, Γ( )=1 π 128

129 Jakaumaa (84) kutsutaan keskiseksi chi-neliö (tai gamma) jakaumaksi n:llä vapausasteella Sen ensimmäiset momentit ovat E{Y } = nσ 2 E{Y 2 } =2nσ 4 + n 2 σ 4 σ 2 y =2nσ 4 Jakauman CDF on F (y) = y 0 1 σ n 2 n/2 Γ( 1 2 n) un/2 1 e u/2σ2 du, y 0 (85) Tämä voidaan esittää (muuttujanvaihdosten jälkeen) epätäydellisen gammafunktion (incomplete gamma function) avulla, joka on taulukoitu ja löytyy esim. Matlabista 129

130 Epätäydellinen gammafunktio on γ(a, x) = x 0 e t t a 1 dt, Re{a} > 0 eli tarvittava muuttujanvaihdos olisi t = u/2σ 2 Jos a on positiivinen kokonaisluku m niin m 1 γ(m, x) =(m 1)! (1 e x x s ) s! s=0 Tästä seuraa, että josm = 1 2 n on positiivinen kokonaisluku, niin chi-neliöjakauman CDF (85) on m 1 1 ( y ) k F (y) =1 e y/2σ2, y 0 (86) k! 2σ 2 k=0 130

131 Esimerkki: kompleksinen muuttuja Z = X + jy jossa X ja Y identtisesti jakautuneita riippumattomia nollakeskiarvoisia Gaussin muuttujia Nyt Z 2 = ZZ =(X +jy )(X jy )=X 2 jxy +jy X jjy 2 = X 2 + Y 2 eli kyseessä on kahden neliöidyn Gaussin muuttujan summa eli saadaan keskinen chi-neliö jakauma 2:lla vapausasteella Jos tarkastellaan summaa Y = n i=1 Z i 2 = n ( i=1 X i 2 + Yi 2) niin saadaan keskinen chi-neliö jakauma 2n vapausasteella 131

132 Epäkeskisessä chi-neliö jakaumassa X ei (välttämättä) ole nollakeskiarvoinen PDF:n määräämisessä voidaan lähteä liikkeelle samasta esimerkistä kuin keskisen chi-neliöjakauman kanssa. Nytkin muunnoksessa Y = ax 2 + b, a =1jab =0 Sijoittamalla ratkaisuun saadaan p(y) = 1 1 ( e ( y mx) 2 /2σ 2 + e ( y mx) 2 /2σ 2 ) 2πyσ 2 Koska cosh(x) =(e x + e x )/2, niin 1 ( p(y) = e (y m2 x ym ) )/2σ2 x cosh, y 0 (87) 2πyσ σ 2 Karakteristiseksi funktioksi tulee ψ(jv)= 1 (1 j2vσ 2 ) 1/2 ejm2 x v/(1 j2vσ2 ) (88) 132

133 Olkoon meillä sitten usean riippumattoman neliöidyn Gaussin muuttujan summa. Gaussin muuttujien keskiarvot voivat olla erisuuret eli E{Xi} = mi mutta niiden varianssi on sama σ 2. Tarkastellaan siis summaa Y = n i=1 X2 i Koska muuttujat ovat riippumattomia, niin summan karakteristinen funktio on muuttujien karakterististen funktioiden tulo, jolloin 1 ( jv n ) ψ(jv)= (1 j2vσ 2 ) exp i=1 m2 i (89) n/2 1 j2vσ 2 Olkoon s 2 = n i=1 m2 i eli keskiarvojen neliöiden summa Silloin PDF, joka on karakteristisen funktion käänteismuunnos, on p(y) = 1 ( y ) (n 2)/4 ( e (y+s2 )/2σ 2 y s ) I 2σ 2 s 2 n/2 1, y 0 σ 2 (90) 133

134 jossa Iα(x)onα-asteinen modifioitu ensimmäisen asteen Besselin funktio jolle on olemassa sarjaesitys Iα(x) = (x/2) α+2k k!γ(α + k +1), x 0 k=0 Tämän n-vapausasteen epäkeskisen chi-neliö jakauman CDF on F (y) = y 0 p(u) du jolle ei ole olemassa suljetussa muodossa olevaa ratkaisua Jos m = n/2 on kokonaisluku, niin CDF voidaan esittää yleistetyn Marcumin Q-funktion Qm(a, b) avulla. Tälle funktiolle on olemassa tietokoneohjelmia, jotka laskevat sen arvon Tällöin F (y) =1 Qm ( s y ) σ, σ (91) 134

135 Jakauman ensimmäiset momentit ovat E{Y } = nσ 2 + s 2 E{Y 2 } =2nσ 4 +4σ 2 s 2 +(nσ 2 + s 2 ) 2 σ 2 =2nσ 4 +4σ 2 s 2 135

136 Rayleigh jakauma Rayleigh mallia käytetään kuvaamaan häipyvässä kanavassa vastaanotetun signaalin amplitudia Se on läheisessä suhteessa keskiseen chi-neliö jakaumaan (ja siten Gaussin jakaumaan) Lähdetään liikkeelle 2:n vapausasteen keskisestä chi-neliö jakaumasta (esim. kompleksiluvun neliöstä) py (y) = 1 2σ 2 e y/2σ2 joka on siis muuttujan Y = X X 2 2 PDF. 136

137 Olkoon muuttuja R = Y Suorittamalla muuttujanvaihdos y = r jolloin y = r 2.Koska r 0 kuvaus y = r 2 on yksikäsitteinen ja Jacobiaani on 2r. Muuttujan R PDF on täten pr(r) = r σ 2e r2 /2σ 2, r 0 (92) Vastaava CDF on FR(r) =1 e r2 /2σ 2 (93) Muuttujan R momentit ovat E{R k } =(2σ 2 ) k/2 Γ( k) σ 2 r =(2 1 2 π)σ2 Karakteristinen funktio voidaan esittää konfluenttisen hypergeometrisen funktion avulla kts. kirja 137

138 Jos kyseessä on useamman nollakeskiarvoisen identtisesti Gaussin jakautuneen riippumattoman muuttujan neliöiden summan neliöjuuri eli muuttuja R = n i=1 X2 i, niin sen jakauma on yleistetty Rayleigh jakauma Sen PDF on p(r) = r n 1 /2σ2 2 (n 2)/2 σ n Γ( 1 2 n) e r2 (94) Jos m = n/2 on kokonaisluku, niin jakauman CDF voidaan esittää suljetussa muodossa (kuten chi-neliö jakauman tapauksessa) ja se on m 1 F (y) =1 e r2 /2σ 2 1 ( r 2 ) k (95) k! 2σ 2 k=0 138