Tiedon esitys tietokoneessa. Jyry Suvilehto T Johdatus tietoliikenteeseen ja multimediatekniikkaan kevät 2014

Transkriptio

1 Tiedon esitys tietokoneessa Jyry Suvilehto T Johdatus tietoliikenteeseen ja multimediatekniikkaan kevät 2014

2 Luennon sisältö 1. Tiedonsiirron perusteet 2. Tiedon binääriluonne AD-muunnos 3. Tekstitiedostot ASCII XML 4. Binääritiedostot Esimerkkinä BMP Vähän väriavaruuksista 2

3 TIEDONSIIRRON PERUSTEET 3

4 Data ja Informaatio Data: kuvat, luvut, kirjaimet ilman merkitystä Informaatio: datan merkityssisältö (ihmisen kasvot, hinta, geenin emäsparijärjestys) Tieto on ihmisen ymmärrystä informaatiosta (tuote on kallis) 4

5 Tiedon esitys Tietokoneissa informaatio on esitetty binäärimuodossa Joskus binääri on esitettävissä merkkeinä, esim. tekstipohjaiset protokollat Sama informaatio voi viedä vaihtelevan määrän tilaa Häviötön pakkaus Joskus informaatiota ei pyritä säilyttämään kokonaan Häviöllinen pakkaus 5

6 Tiedon siirto Tietoliikenteessä yleensä pyritään siirtämään informaatio häviöttömänä Tietokoneille virheetön datasiirto tarpeellista informaation välittymiseksi Ihmisille aina ei Esimerkiksi puhe häiriöisen radioyhteyden yli Data saattaa olla korruptoitunutta, mutta viestin informaatiosisältö todennäköisesti menee perille 6

7 Ohjattu media Kuparijohto Parikaapeli Koaksiaalikaapeli Tiedonsiirtomediat Massatallennusvälineet Ohjaamaton media Sähkömagneettinen säteily Painevaihtelut (ääni) Olennaista: Vastaanottajien määrä Lähetteen säteily 7

8 Bitin siirto median yli Bitit on koodattava jotenkin analogiseksi ilmiöksi Kantataajuusmenetelmässä bitit muutetaan suoraan esim. jännitteeksi, toimii yhteyksillä, joissa on suhteellisen vähän häiriöitä Häiriöisillä yhteyksillä kantoaalto auttaa erottamaan signaalin taustakohinasta, signaali muokkaa kantoaaltoa Amplitudimodulaatio (AM) Taajuusmodulaatio (FM) Vaihemodulaatio (PM) Nykyään on myös monimutkaisempia koodauksia Esim. UMTS:n käyttämä CDMA 8

9 Modulaatio Amplitudi- Modulaatio (AM) Taajuus- Modulaatio (FM) Vaihe- Modulaatio (PM) 9

10 Synkronisaatio Denuntiato solum translata valet = vain vastaanotettu viesti merkitsee Vastaanottajan pitää siis tunnistaa data Synkronoimattomassa tiedonsiirrossa vastaanottaja tunnistaa viestin (yksi tavu dataa) alun ja ottaa näytteitä riittävän usein saadakseen viestin Esim. start-bitti, 8 databittiä, pariteetti ja stop-bitti Ethernetissä viesti alkaa ykkösillä Synkronoidussa tiedonsiirrossa lähettäjällä ja vastaanottajalla on kellot samassa ajassa, vastaanottaja tietää milloin bitin pitäisi tulla Tehokkaampaa Kellojen synkronointi vaikeaa 10

11 Siirtotien laatu Kaistanleveys (bandwidth) Käytettävissä oleva taajuusalue Kohina (noise) Taustalla olevat häiriösignaalit, joista viesti on erotettava Siirtokapasiteetti (capacity) Montako bittiä sekunnissa saadaan siirrettyä (lasketaan edellisistä) Virhetaajuus (error rate) Montako databittiä sekunnissa muuttuu Viive (latency) Kauanko bitiltä kestää matkata päästä päähän Huojunta (jitter) Perättäisten viestien aikavaihtelut Vaimennus (attenuation) Kuinka usein signaalia on vahvistettava (riippuu mediasta) 11

12 Signaali matkalla Lähtevä signaali Vaimennus Kaistanleveyden pyöristämä Viive Saapuva signaali Näytteenotto Vastaanotettu data 12

13 Kohinasuhde Analogisissa siirtoteissä on aina erilaisia häiriöitä Signaalinvoimakkuuden suhde kohinan voimakkuuteen on hyvin tärkeä mitta siirtotien laadulle SNR, Signal to Noise Ratio Ilmaistaan yleensä desibeleissä Esim. jossain analogisessa puhelinverkossa voidaan mitata signaalin olevan kertaa taustakohinaa voimakkaampi Tällöin SNR on 10 log = 40 db Ihmiskorva selviää vielä noin 0 db:n SNR:stä 13

14 Kaistanleveys ja kapasiteetti Kaistanleveys tarkoittaa tietyn kanavan läpäisevää taajuusaluetta Tyypillisesti siirtotien sähköiset tai optiset ominaisuudet määrittävät lähetettävälle pulssille tietyn minimipituuden, jotta se voitaisi havaita luotettavasti vastaanottopäässä Pulssin minimipituudesta saadaan vastaava korkein taajuus, joka voidaan siirtää Ilmaistaan Hertzeinä, Hz Kapasiteetti on tietyn kanavan läpi siirrettävän datan määrä Ilmaistaan bitteinä sekunnissa, b/s Nyquistin kaava tiedonsiirrolle on r max = 2 B log 2 L r max on suurin saavutettava bittien siirtokapasiteetti B on ideaalikanavan kaistanleveys L on signaalitasojen määrä Puheessa kapasiteetti sekoitetaan helposti kaistanleveyteen, koska niiden välillä on riippuvuus Riippuvuus ei ole kaksisuuntaista 14

15 Realistinen kaistanleveys Käytännön kanavilla on kohinaa, joka rajoittaa signaalitasojen määrää Shannonin kaava kanavakapasiteetille on C = B log 2 (1 + SNR) b/s C on kanavan siirtokapasiteetti b/s B on kaistanleveys SNR on kanavan signaali/kohinasuhde jos ilmaistu desibeleinä: 10 (SNR/10) Signaalitasojen määrä ei vaikuta, kaava määrittelee suurimman mahdollisen bitinsiirtokapasiteetin 15

16 Nyquistin kaava kertoo miten kapasiteettia voidaan lisätä lisäämällä signaalitasoja Shannonin kaava kertoo, että signaalitasojen määrä ei auta äärettömiin vaan maailma tulee vastaan 16

17 TIEDON BINÄÄRILUONNE 17

18 Bitti Atomi = pienin jakamaton osanen Kreik Reaalimaailmassa on olemassa atomia pienempiä osasia Tietokoneissa bitti on ihan oikeasti pienin jakamaton osa Jakamattomuudella järisyttäviä seurauksia Bitti voi olla kahdessa tilassa, esim. Jännitteenä ilmaistuna 0 on 0v 1 on +5v Kun bitin arvo on 1, sanomme että bitti on päällä tai tosi, 0 vastaavasti on pois päältä tai epätosi Biteille on olemassa luonnollinen laskujärjestelmä, nk. Boolen logiikka 1 and 1 = 1 1 or 0 = 1 0 and 1 = 0 etc. 18

19 Binääriaritmetiikka Peräkkäin asetetuille, sähköisesti esitetyille biteille on mahdollista Boolen logiikalla muodostaa sähköinen piiri joka tekee arbitäärisiä laskutoimituksia Claude Shannonin dippatyö 19

20 Lukujärjestelmämuunnos 20

21 Suurempia mittoja Bitit ryhmitellään usein tavuiksi (8 bittiä) Tietokoneen alijärjestelmät käsittelevät monen tavun mittaisia sanoja (tyypillisesti bittiä) Monimutkaisemman konstruktion kautta on mahdollista määritellä desimaalilukuja, joita ovat kiinteän ja liukuvan pilkun luvut Olennaista on se, että tarkkuus näilläkin äärellinen! Jossain tilanteissa X + ε = X, vaikka ε 0! 21

22 AD-muunnos Joskus tieto tarvitsee muuttaa analogisesta digitaaliseksi Suurin ongelma muodostuu äärellisyydestä Joudutaan määrittelemään joku minimi, jota pienempi informaatio hävitetään Aikasarjoissa näytteenottotaajuus, kuvissa tiheys (dots per inch) Alkuperäistä ei usein voida konstruoida takaisin tallenntusta Joskus voidaan, ns. Nyquistin taajuus 22

23 Näytteenotto 23

24 Yleensä ei ole järkevää käyttää arbitääristä tarkkuutta jokaiselle mittauspisteelle, vaan näytteet kvantisoidaan Arvot pyöristetään tasaväliselle asteikolle Kvantisointi lisää virhettä selkeästi Kvantisointi Vaikea kvantisoitava 24

25 Edistyneitä AD-muunnoksia Tyypillisin esimerkki AD-muunnoksesta on yksiulotteinen suure ajassa (esim. Ääni) Kameran CCD-kenno suorittaa 2Dmuunnoksen kahdessa tilaulottuvuudessa Videokamera suorittaa muunnoksen kahdessa tilaulottuvuudessa ja ajassa Perusperiaatteet ja ominaisuudet säilyvät 2D-muunnoksessa huomataan miten n^2 kasvaa nopeasti 25

26 41 megapikselin kamera Nokia ei osannut tehdä hyvää optista zoomia kännyköihin Jos vaan kaapataan törkeän paljon dataa ja zoomataan digitaalisesti Hyvä idea 5-vuotissuunnitelmaan Hypersämpläys Symbian 26

27 Toisinpäin Digitaalisesta analogiseksi muunnettaessa askeleet käännetään Toisaalta voi olla signaaleja, jotka on generoitu suoraan digitaalisessa muodossa AD-muunnoksen ongelmia ei ole Tietokoneiden ensimmäisiä käyttötarkoituksia oli maailman simulointi Jenkkiarmeijan tykistön ampuma-arvot Atomin halkeaminen 27

28 Simulointi 28

29 Tiedon jäsentämisen terminologiaa Kenttä on yksittäinen pala tietoa opiskelijanumero tai nimi Tietue on kokoelma kenttiä Yhdistetty opiskelijanumero, nimi ja ikä Tiedosto on kokoelma tietueita Listaus kurssin opiskelijoiden opiskelijanumeroista, nimistä ja i istä Tietokanta kokoelma kenttiä, joiden välillä on relaatioita 29

30 Tiedostotyypeistä Tiedostoja voidaan luokkiin monella tavalla Unixin file-työkalun filosofian mukaan on olemassa Tekstitiedostoja Binääritiedostoja Ajettavia ohjelmia (binääritiedostojen erikoistapaus) Ei käsitellä 30

31 TEKSTITIEDOSTOT 31

32 Teksti Luku- ja kirjoitustaito ovat aika vanhoja juttuja Syvälle yhteiskuntaan juurtunut vuorovaikutustapa Tietokoneiden tekstissä ensimmäinen ja laajimmalle levinnyt standardi on alunperin lennättimiä varten kehitetty American Standard for Code for Information Interchange (ASCII) 7 bittiä koska haluttiin säästää Englannin kirjoittamiseen tarvittavat aakkoset, erikoismerkkejä Paljon lennättimen ohjaamiseen erikoistuneita ns. Non-printable merkkejä 32

33 Ei-tulostuvat ja tulostuvat merkit 33

34 ASCIIn jälkeen Englannin kirjoittamiseen tarvittavat merkit eivät riitä kovin pitkälle suuri määrä erilaisia merkistöjä Lännessä yleensä taaksepäin yhteensopivia ASCIIn kanssa Unicode merkistö tullut pysyäkseen 32 bittinen osoiteavaruus Eri tapoja koodata sama merkistö, UTF-8, UTF-16, UTF-32 34

35 Tekstitiedostoformaatit Mikäli teksitiedostossa on rakenne, voidaan tehdä ohjelma joka osaa lukea sitä Erittäin yksinkertainen esimerkki: Comma Separated Values 26, Jyry, , Teemu, , Matti,

36 Tekstitiedostoformaatit Tietynlaisen rakenteen odottaminen on rajoittavaa Voidaan määrittää rakenteen palaset ja sopia että jokainen palanen on merkattu Merkkauskieli <h1>tämä on otsikkoa</h1> <p>tämä on kappale</p> 36

37 Hyperteksti Teksti on luonteeltaan sekventiaalista Kirjat on tarkoitus lukea alusta loppuun Lisätään mahdollisuus linkkien tekemiseen <a href= #toinenosa >tästä eteenpäin</a>... <a name= toinenosa > <h2>toinen osa</h2> Miksi rajoittaa saman dokumentin (tai dokumenttikirjaston) sisälle linkkaamiseen? <a href= >jotain ihan muuta</a> 37

38 HTML:n puutteita Tägit kertovat ladontatietoa Taulukoita, otsikoita, kappalejakoja Tägejä äärellinen määrä Ei laajennusmahdollisuutta Ei yleinen ratkaisu Liberaalia sen suhteen, mitä hyväksytään Ei koneiden ymmärrettävissä 38

39 XML extensible Markup Language Vanhan SGML-standardin uudet vaatteet Kehittynyt irrallaan HTML:stä, ottanut oppia HTML:n virheistä XHTML on XML-speksin mukainen HTML Perusidea on sama <tag attribute= example > This is tagged text </tag> XML:ää pidetään välillä liiankin helppolukuisena Koneluettava, laajennettava 39

40 XML-dokumentin rakenne XML-dokumentin runko koostuu elementeistä (tag), joilla voi olla attribuutteja Elementtien välistä suhdetta kuvataan jollain tavalla XML schema Document Type Description <!ELEMENT kirjasto (hylly*)> <!ELEMENT hylly (kirja*)> <!ELEMENT kirja (nimi, kirjailija?, vuosi) > <!ELEMENT nimi (#PCDATA)> <!ELEMENT kirjailija (#PCDATA)> <!ELEMENT vuosi (#PCDATA)> 40

41 DTD ja sen mukainen dokumentti <!ELEMENT kirjasto (hylly*)> <!ELEMENT hylly (hyllynro, kirja*)> <!ELEMENT hyllynro (#PCDATA> <!ELEMENT kirja (nimi, kirjailija?, vuosi) > <!ELEMENT kirja (#PCDATA)> <!ELEMENT kirjailija (#PCDATA)> <!ELEMENT vuosi (#PCDATA)> DTD on sopimus dokumentin rakenteesta: ohjelma voidaan tehdä käsittelemään DTD:n mukaista dokumenttia. Kaikille itseään kunnioittaville ohjelmointialustoille on jo olemassa XML-parsereita valmiina. <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE kirjasto PUBLIC "KIRJASTO" " <?xml-stylesheet type="text/xsl" href="hyllykko.xsl"?> <kirjasto> <hylly> <hyllynro>1</hyllynro> <kirja> <nimi>hobitti</nimi> <kirjailija>j.r.r. Tolkien</kirjailija> <vuosi>1937</vuosi> </kirja> <kirja> <nimi>silmarillion</nimi> <kirjailija>j.r.r. Tolkien</kirjailija> <vuosi>1977</vuosi> </kirja> </hylly> <hylly> <hyllynro>2</hyllynro> <kirja> <nimi>1984</nimi> <kirjailija>george Orwell</kirjailija> <vuosi>1949</vuosi> </kirja> <kirja> <nimi>suomen laki</nimi> <vuosi>2009</vuosi> </kirja> </hylly> </kirjasto> 41

42 XSL ja XPath Mm. verkkoselaimet osaavat näyttää XMLdokumentteja Muista, että XHTML on XML-kieli Xpath on tapa viitata dokumentin osiin XSLT-kuvauskielellä voidaan kuvata eri tapoja kuvata sama kerran määritelty data Kuin CSS HTML:lle, paitsi äärettömästi voimakkaampi Demo xml Katso myös esim.dtd ja hyllykko.xsl 42

43 BINÄÄRITIEDOSTOT 43

44 Binääritiedostot Binääritiedostoja ei yleensä ole tarkoitettu ihmisten luettavaksi Tarvitaan heksaeditori tai jotain muuta ikävää lukemiseen Binääritiedostot tarjoavat usein kompaktimman tavan esittää tietoa vihreä 6-7 tavua, vaikea esittää tarkkoja astevaihteluja (0,255,0) 3 tavua 44

45 Värimallit Värejä voidaan yhdistää pääväreistä Värimallit voivat olla joko Additiivisia (RGB), usein tietokonenäytöissä Subtraktiivisia (CMYK), paperipainatuksessa Koko väriavaruutta on käytännössä mahdotonta näyttää tietyllä laitteella Kuva: Mike Horvath/Wikipedia Kuva: Mirsav Todorac/Wikipedia 45

46 BMP -perusidea Kuva voi antaa väärän käsityksen. BMP:ssä pikselin värit tallennetaan yhdessä. Ei erillisinä kokonaisuuksina. 46

47 Lena Miss Marraskuu 1972 Käytetty siitä saakka esimerkkinä kuvankäsittelyssä Koska BMP-tiedostot tuppaavat olemaan kookkaita, käsittelemme vain Lenan vasenta silmää 47

48 Koko tiedoston koko Korkeus/leveys BMP Tavua/pikseli Magic number Osoitin kuvan alkuun Ensimmäisenä alavasen pikseli dc hex = 132 (G), 133 (B), 220 (R) Tästä eteenpäin riveittäin ylöspäin. 48

49 BMP -huomioita BMP ei tässä tapauksessa pakannut tietoa mitenkään Kuvassa on redundanssia, joka voidaan poistaa häviöttömästi Kuvassa on paljon ihmissilmälle tarpeetonta informaatiota, voidaan poistaa häviöllisesti Näistä myöhemmin 49

50 Yhteenvetoa Tieto siirretään analogisena siirtotietä pitkin Häiriöitä, siirtovirheitä ja muuta ikävää Tietokoneet äärellisiä, jänniä kapistuksia Tiedostot voidaan jakaa karkeasti teksti- ja binääritiedostoihin XML on human readable sisällönkuvauskieli BMP on erittäin yksinkertainen binääriformaatti kuvien tallentamiseen 50