Laskuharjoitus 5. Mitkä ovat kuvan 1 kanavien kapasiteetit? Kuva 1: Kaksi kanavaa. p/(1 p) ) bittiä lähetystä kohti. Voidaan

Transkriptio

1 Informaatioteoria ELEC-C7 5 Laskuharjoitus 5 Tehtävä 5.3 Mitkä ovat kuvan kanavien kapasiteetit?.3.7 a b Kuva : Kaksi kanavaa b Binäärisessä Z-kanavassa virhe tapahtuu todennäköisyydellä p ja virhe todennäköisyydellä. Tiedetään, että Z-kanavan kapasiteetti on log + pp p/ p bittiä lähetystä kohti. Voidaan kytkeä Z-kanavia sarjassa, kuten kuvassa. Mikä on tällaisen kanavan kapasitetti kun p =.5? Entä jos p =.5 ja kanavia on sarjassa m kappaletta? X Y Z p p Kuva : Z-kanavat sarjassa

2 Informaatioteoria ELEC-C7 5 Kaksi tulostearvoa voidaan jättää huomiotta, koska ne ovat mahdottomia. Kapasiteetin ylärajaksi saadaan siis log Y =, missä Y = on tulostearvojen lukumäärä. Toisaalta kanavassa on osana virheetön binäärikanava valitaan esimerkiksi mahdollisiksi syötteiksi ensimmäinen ja kolmas arvo, joten tämä yläraja on mahdollista saavuttaa. Kapasiteetti on siis. b Yksi tulostearvo voidaan jättää huomiotta, koska se on mahdoton. Kapasiteetin ylärajaksi saadaan siis log Y = log 3, missä Y = 3 on tulostearvojen lukumäärä. Toisaalta kanavassa on osana virheetön kolmiarvoinen kanava valitaan esimerkiksi mahdollisiksi syötteiksi ensimmäinen, kolmas ja neljäs, joten tämä yläraja on mahdollista saavuttaa. Kapasiteetti on siis log b Kun kytketään m kappaletta tällaisia kanavia sarjaan, virhe tapahtuu edelleen todennäköisyydellä ja virhe tapahtuu, jos ko. virhe tapahtuu vähintään yhdessä m kanavasta, eli todennäköisyys on p m. Kun p =.5, tilanne vastaa siis Z-kanavaa, jossa virheen todennäköisyys on q =.5 m =.5 m. Kapasiteetiksi saadaan log +.5 m.5 m.5m.5 m. Tapauksessa m = virheen todennäköisyys on.5 kapasiteetiksi saadaan log =.75 ja Tehtävä 5.4 Tarkastellaan kanavaa, jolle x, y {,,, 3} ja siirtotodennäköisyydet py x saadaan seuraavasta matriisista: b Mikä on kanavan kapasiteetti? Määritellään satunnaismuuttuja z = gy, jolle gy = { A jos y {, } B jos y {, 3}.

3 Informaatioteoria ELEC-C7 5 Laske Ix; z, kun x:n jakauma on { px = jos x {, 3} jos x {, }. Laske Ix; z, kun x:n jakauma on { jos x {, 3} px = jos x {, }. c Mikä on x:n ja z:n välisen kanavan kapasiteetti? b Siirtomatriisin rivit ovat toistensa permutaatioita kaikilla riveillä esiintyy samat luvut yhtä monta kertaa ja sarakkeet ovat toistensa permutaatioita kaikissa sarakkeissa esiintyy samat luvut yhtä monta kertaa. Siispä kanava on symmetrinen, joten kapasiteetti saadaan kaavasta C = log Y H siirtomatriisin rivi = log 4 H,,, = =. Lasketaan ensin siirtomatriisi pz x:lle. Se saadaan summaamalla py x:n siirtomatriisin y:n arvoja, vastaavat sarakkeet z:n arvoa A vastaavaksi sarakkeeksi ja py x:n siirtomatriisin y:n arvoja, 3 vastaavat sarakkeet z:n arvoa B vastaavaksi sarakkeeksi. Tällä jakaumalla x on aina tai 3, ja kummassakin tapauksessa z on A tai B samalla todennäköisyydellä. Siis z ja x ovat riippumattomat, eli Ix; z =. Tällä jakaumalla x on aina tai, ja ensimmäisessä tapauksessa aina z = A ja toisessa aina z = B. Siis z:sta voidaan aina päätellä x eli Hx z = eli Ix; y = Hx Hx z = H/, / =. c Koska z:lla on kaksi mahdollista arvoa, tiedetään että C log Z =. Toisaalta edellisessä kohdassa saatiin x:lle jakauma, jolla Ix; y =, eli tämä yläraja on mahdollista saavuttaa. Siis kanavan kapasiteetti on. 3

4 Informaatioteoria ELEC-C7 5 Tehtävä 5.5 Olet jumissa piiritetyssä linnassa, ja ainoa kommunikaatiokeino liittolaisesi kanssa on kirjekyyhkyjen käyttö. Oletetaan, että kukin kyyhky voi kuljettaa yhden 8-bittisen viestin, lähetät kyyhkyjä 5 minuutin välein, ja kyyhkyllä kestää 3 minuuttia päästä perille. Mikä on kanavan nopeus bitteinä tunnissa, jos kaikki kyyhkyt pääsevät perille? b Vihollinen ampuu lähettämiäsi kyyhkyjä ja saa osuuden α < α < pudotettua. Koska lähetät kyyhkyjä tasatahtiin, liittolaisesi tietää mitkä kyyhkyt on ammuttu alas. Mikä on kanavan kapasiteetti? c Ovela vihollinen lähettää ammutun kyyhkyn tilalle uuden kyyhkyn, jossa on satunnainen 8-bittinen viesti. Mikä on tämän kanavan kapasiteetti? b Yksi kyyhky kuljettaa 8 bittiä, ja kyyhkyjä kulkee tunnissa. Kapasiteetti bitteinä tunnissa on siis 8 = 96. Kanava on erasure channel. Binäärisen kanavan kapasiteetti olisi α, missä α on virheen todennäköisyys. Kurssikirjan tai luentokalvojen päättelyä vastaavalla tavalla mutta monimutkaisemmin; tämän osaamista ei odoteta tällä kurssilla voidaan osoittaa että nyt kanavan kapasiteetti yhtä kyyhkyä kohti on 8 α, eli kanavan kapasiteetti on 96 α bittiä tunnissa. c Nyt on kyseessä symmetrinen kanava 8 = syötearvolla ja tulostearvolla. Yhden kyyhkyn viesti säilyy muuttumattomana todennäköisyydellä 55α/, ja muuttuu joksikin 55 muusta mahdollisesta viestistä todennäköisyydellä α/. Kanava on symmetrinen, ja kapasiteetti kyyhkyä kohti on siis C = log Y H 55α, α, α,..., α }{{ } 55 = α log 55α + 55 α log α. 4

5 Informaatioteoria ELEC-C7 5 Voidaan jatkaa vielä tiiviimpään muotoon: = α log 55α = 8 H + 55α 55α, 55α log 55 log 55α 55α log 55. Kun tämä vielä kerrotaan :lla, saadaan kapasiteetti bitteinä tunnissa. 5