Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä?

Koko: px

Aloita esitys sivulta:

Download "Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä?"

Timo Nieminen
8 vuotta sitten
Katselukertoja:

2 Ongelma 1: Onko datassa tai informaatiossa päällekkäisyyttä? Lasse Lensu 2

3 Ongelma 2: Voidaanko dataa tai informaatiota tallettaa tiiviimpään tilaan koodaamalla se uudelleen? Lasse Lensu 3

4 Ongelma 3: Mikä on tiivein esitysmuoto tai koodaustapa tietylle datalle? Lasse Lensu 4

5 Digitaalisen datan ja informaation määrä kasvaa kiihtyvää tahtia digitalisoitumisen sekä kuva-, video- ja äänisovellusten takia. Datan esitysmuotoa on mahdollista muuttaa koodaamalla se uudelleen Lasse Lensu 5

6 Tietojenkäsittelyn perusteet 1 Tiedon tiivistäminen Lasse Lensu 6

7 Aiheen sijoittuminen Lasse Lensu 7

8 Tiedon tiivistäminen Brookshear, J.G. Computer Science - An overview, 7 th ed. Addison Wesley, 2003 Alaoutinen, S., 2008 Motivaatio tiivistämiseen Perusmenetelmiä Lasse Lensu 8

9 Miksi säästellä bittejä Pakattu tieto vie vähemmän tilaa siirrossa ja talletuksessa nopeus/tehokkuus. Useimmissa tapauksissa tiedon esitystapaa voi tiivistää käsiteltävän tiedon kärsimättä. Entropia kertoo, kuinka monta bittiä/merkki keskimäärin vähintään tarvitaan (satunnaisen tiedon koodaamiseen) Lasse Lensu 9

Useimmissa tapauksissa tiedon esitystapaa voi tiivistää käsiteltävän tiedon

10 Tiivistäminen Jokaiselle koodattavalle merkkijonon merkille (jostakin aakkostosta) oma koodisana: N L log b K, missä N koodisanan pituus, L on koodattavan merkkijonon pituus, b koodiaakkoston koko ja K koodattavan aakkoston koko. Tiivistämissuhde: kuinka paljon uudelleen koodaaminen hyödyttää. Kiinteäpituinen/muuttuvapituinen koodi Lasse Lensu 10

koodiaakkoston koko ja K koodattavan aakkoston koko.

11 Perusmenetelmät Häviötön tiivistäminen: Alkuperäisestä tiedosta ei katoa tai muutu mitään Tiivistämisessä tulee raja vastaan Häviöllinen tiivistäminen: Alkuperäistä tietoa katoaa Parempi tiivistämissuhde Lasse Lensu 11

raja vastaan Häviöllinen tiivistäminen: Alkuperäistä

12 Gray-koodi Binääriesitys, jossa kahden peräkkäisen symbolin binääriesitykset eroavat mahdollisimman vähän. Liittyy lähinnä tiedonsiirron säilyttämiseen virheettömänä Lasse Lensu 12

Liittyy lähinnä tiedonsiirron säilyttämiseen virheettömänä.

13 Jakson/jononpituuskoodaus Tiedon binääriesityksessä vuorottelevat ykkösten ja nollien jonot. Lähetetään tieto vain siitä, kunka monta kutakin bittiä on peräjälkeen (ykkönen aloittaa): Lasse Lensu 13

Lähetetään tieto vain siitä, kunka monta kutakin bittiä on

14 Kiinteän pituuden koodaus Häviötön tiivistäminen Jokaiselle koodattavalle sanalle (tai merkille) on oma bittikuvio. Bittikuvion bittien määrä N L log b K Wenglish koostuu viisikirjaimisista merkistön a-z sanoista: Kuinka monta bittiä/sana tarvitaan, jotta jokainen sana saa oman bittikuvion? Lasse Lensu 14

Bittikuvion bittien määrä N L log b K Wenglish koostuu viisikirjaimisista

15 Lasketaan... N L log b K N 5 log 2 26 N eli wenglish vaatisi 24 bittiä sanaa kohti. Tietokoneessa se vaatisi 4 tavua, eli pitkän kokonaisluvun verran Lasse Lensu 15

16 Kiinteän pituuden koodaus Häviöllinen tiivistäminen: Yleisimmille koodattaville sanoille oma bittikuvio. Harvinaiset sanat eivät kaikki saa omaa koodia. Wenglish käyttää kuitenkin tavallisesti vain noin sanaa, joten näille omat koodisanat; loput niputetaan sanaan: Entä nyt, kuinka monta bittiä/sana? Lasse Lensu 16

Wenglish käyttää kuitenkin tavallisesti vain noin 32 000 sanaa, joten näille omat

17 Lasketaan... N log N Edellisessä käsitellään siis sanoja, ei kirjaimia, joten tarvitaan siis 16 bittiä/sana. Tilantarve on tietokoneessa 2 tavua eli puolet aiemmasta Lasse Lensu 17

18 Muuttuvan pituuden koodaus Häviötön koodaus Huffman koodi: Useimmin esiintyville merkeille annetaan lyhin bittikuvio. LZW-koodi: Luo taulukkoa esiintyneistä sanoista. Q-koodi: Käyttää koodattavan merkin todennäköisyyden laskemiseen lähiympäristön merkkejä Lasse Lensu 18

LZW-koodi: Luo taulukkoa esiintyneistä sanoista.

19 Huffman-koodi Koodattavien symbolien esiintymistodennäköisyydet on tiedettävä. Menetelmä: Kahden vähiten todennäköisen symbolin todennäköisyydet lasketaan yhteen ja tulos sijoitetaan listaan niiden kahden tilalle. Toistetaan kunnes kaksi todennäköisyyttä on jäljellä: Toiselle koodisanaksi 0 ja toiselle 1. Yhdistetyn todennäköisyyden koodisanaan lisätään oikealle 0 ja Lasse Lensu 19

sijoitetaan listaan niiden kahden tilalle.

20 Huffman-koodi s i s 1 s 2 s 3 s 4 s 5 P(s i ) s i s 1 1 s s s s Lasse Lensu 20

21 Häviöllinen koodaus Ennustava koodaus Esim. Differentiaalinen pulssikoodimodulaatio (DPCM): Jo lasketuista pisteistä (historia) seuraavan pisteen lähinaapurit määräävät uuden pisteen arvon. Muunnoskoodaus Esim. Diskreetti Fourier -muunnos (DFT): Taajuustasoon muunnettu kuva kertoo, mitä taajuuksia (minkä kokoluokan yksityiskohtia) kuvassa on. Alkuperäinen kuva on täysin palautettavissa taajuustiedon perusteella Lasse Lensu 21

22 DPCM Lasse Lensu 22

23 Fourier-muunnos Lasse Lensu 23

24 Yhteenveto Koodattua tietoa voidaan tiivistää (koodata uudelleen), kun tietoalkiot koodit sisältävät päällekkäistä tietoa. Tiivistäminen voi tapahtua häviöttömästi (kaikki alkuperäinen tieto on tallella) tai häviöllisesti. Entropia määrää minimirajan tietoalkioiden koodaamiseen käytettävälle bittimäärälle Lasse Lensu 24

Samankaltaiset tiedostot

Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida?

Ongelma(t): Miten digitaalista tietoa voidaan toisintaa ja visualisoida? Miten monimutkaista tietoa voidaan toisintaa ja visualisoida? 2 Tieto on koodattu aikaisempaa yleisemmin digitaaliseen muotoon,