Tiedon esitys tietokoneessa Jyry Suvilehto T-110.1100 Johdatus tietoliikenteeseen ja multimediatekniikkaan kevät 2014
Luennon sisältö 1. Tiedonsiirron perusteet 2. Tiedon binääriluonne AD-muunnos 3. Tekstitiedostot ASCII XML 4. Binääritiedostot Esimerkkinä BMP Vähän väriavaruuksista 2
TIEDONSIIRRON PERUSTEET 3
Data ja Informaatio Data: kuvat, luvut, kirjaimet ilman merkitystä Informaatio: datan merkityssisältö (ihmisen kasvot, hinta, geenin emäsparijärjestys) Tieto on ihmisen ymmärrystä informaatiosta (tuote on kallis) 4
Tiedon esitys Tietokoneissa informaatio on esitetty binäärimuodossa Joskus binääri on esitettävissä merkkeinä, esim. tekstipohjaiset protokollat Sama informaatio voi viedä vaihtelevan määrän tilaa Häviötön pakkaus Joskus informaatiota ei pyritä säilyttämään kokonaan Häviöllinen pakkaus 5
Tiedon siirto Tietoliikenteessä yleensä pyritään siirtämään informaatio häviöttömänä Tietokoneille virheetön datasiirto tarpeellista informaation välittymiseksi Ihmisille aina ei Esimerkiksi puhe häiriöisen radioyhteyden yli Data saattaa olla korruptoitunutta, mutta viestin informaatiosisältö todennäköisesti menee perille 6
Ohjattu media Kuparijohto Parikaapeli Koaksiaalikaapeli Tiedonsiirtomediat Massatallennusvälineet Ohjaamaton media Sähkömagneettinen säteily Painevaihtelut (ääni) Olennaista: Vastaanottajien määrä Lähetteen säteily 7
Bitin siirto median yli Bitit on koodattava jotenkin analogiseksi ilmiöksi Kantataajuusmenetelmässä bitit muutetaan suoraan esim. jännitteeksi, toimii yhteyksillä, joissa on suhteellisen vähän häiriöitä Häiriöisillä yhteyksillä kantoaalto auttaa erottamaan signaalin taustakohinasta, signaali muokkaa kantoaaltoa Amplitudimodulaatio (AM) Taajuusmodulaatio (FM) Vaihemodulaatio (PM) Nykyään on myös monimutkaisempia koodauksia Esim. UMTS:n käyttämä CDMA 8
Modulaatio 0 1 0 0 1 1 0 0 0 0 1 1 Amplitudi- Modulaatio (AM) Taajuus- Modulaatio (FM) Vaihe- Modulaatio (PM) 9
Synkronisaatio Denuntiato solum translata valet = vain vastaanotettu viesti merkitsee Vastaanottajan pitää siis tunnistaa data Synkronoimattomassa tiedonsiirrossa vastaanottaja tunnistaa viestin (yksi tavu dataa) alun ja ottaa näytteitä riittävän usein saadakseen viestin Esim. start-bitti, 8 databittiä, pariteetti ja stop-bitti Ethernetissä viesti alkaa ykkösillä Synkronoidussa tiedonsiirrossa lähettäjällä ja vastaanottajalla on kellot samassa ajassa, vastaanottaja tietää milloin bitin pitäisi tulla Tehokkaampaa Kellojen synkronointi vaikeaa 10
Siirtotien laatu Kaistanleveys (bandwidth) Käytettävissä oleva taajuusalue Kohina (noise) Taustalla olevat häiriösignaalit, joista viesti on erotettava Siirtokapasiteetti (capacity) Montako bittiä sekunnissa saadaan siirrettyä (lasketaan edellisistä) Virhetaajuus (error rate) Montako databittiä sekunnissa muuttuu Viive (latency) Kauanko bitiltä kestää matkata päästä päähän Huojunta (jitter) Perättäisten viestien aikavaihtelut Vaimennus (attenuation) Kuinka usein signaalia on vahvistettava (riippuu mediasta) 11
Signaali matkalla 0 1 0 0 1 0 Lähtevä signaali Vaimennus Kaistanleveyden pyöristämä Viive 0 1 0 1 1 0 Saapuva signaali Näytteenotto Vastaanotettu data 12
Kohinasuhde Analogisissa siirtoteissä on aina erilaisia häiriöitä Signaalinvoimakkuuden suhde kohinan voimakkuuteen on hyvin tärkeä mitta siirtotien laadulle SNR, Signal to Noise Ratio Ilmaistaan yleensä desibeleissä Esim. jossain analogisessa puhelinverkossa voidaan mitata signaalin olevan 10 000 kertaa taustakohinaa voimakkaampi Tällöin SNR on 10 log 10 10000 = 40 db Ihmiskorva selviää vielä noin 0 db:n SNR:stä 13
Kaistanleveys ja kapasiteetti Kaistanleveys tarkoittaa tietyn kanavan läpäisevää taajuusaluetta Tyypillisesti siirtotien sähköiset tai optiset ominaisuudet määrittävät lähetettävälle pulssille tietyn minimipituuden, jotta se voitaisi havaita luotettavasti vastaanottopäässä Pulssin minimipituudesta saadaan vastaava korkein taajuus, joka voidaan siirtää Ilmaistaan Hertzeinä, Hz Kapasiteetti on tietyn kanavan läpi siirrettävän datan määrä Ilmaistaan bitteinä sekunnissa, b/s Nyquistin kaava tiedonsiirrolle on r max = 2 B log 2 L r max on suurin saavutettava bittien siirtokapasiteetti B on ideaalikanavan kaistanleveys L on signaalitasojen määrä Puheessa kapasiteetti sekoitetaan helposti kaistanleveyteen, koska niiden välillä on riippuvuus Riippuvuus ei ole kaksisuuntaista 14
Realistinen kaistanleveys Käytännön kanavilla on kohinaa, joka rajoittaa signaalitasojen määrää Shannonin kaava kanavakapasiteetille on C = B log 2 (1 + SNR) b/s C on kanavan siirtokapasiteetti b/s B on kaistanleveys SNR on kanavan signaali/kohinasuhde jos ilmaistu desibeleinä: 10 (SNR/10) Signaalitasojen määrä ei vaikuta, kaava määrittelee suurimman mahdollisen bitinsiirtokapasiteetin 15
Nyquistin kaava kertoo miten kapasiteettia voidaan lisätä lisäämällä signaalitasoja Shannonin kaava kertoo, että signaalitasojen määrä ei auta äärettömiin vaan maailma tulee vastaan 16
TIEDON BINÄÄRILUONNE 17
Bitti Atomi = pienin jakamaton osanen Kreik Reaalimaailmassa on olemassa atomia pienempiä osasia Tietokoneissa bitti on ihan oikeasti pienin jakamaton osa Jakamattomuudella järisyttäviä seurauksia Bitti voi olla kahdessa tilassa, esim. Jännitteenä ilmaistuna 0 on 0v 1 on +5v Kun bitin arvo on 1, sanomme että bitti on päällä tai tosi, 0 vastaavasti on pois päältä tai epätosi Biteille on olemassa luonnollinen laskujärjestelmä, nk. Boolen logiikka 1 and 1 = 1 1 or 0 = 1 0 and 1 = 0 etc. 18
Binääriaritmetiikka Peräkkäin asetetuille, sähköisesti esitetyille biteille on mahdollista Boolen logiikalla muodostaa sähköinen piiri joka tekee arbitäärisiä laskutoimituksia Claude Shannonin dippatyö 19
Lukujärjestelmämuunnos 20
Suurempia mittoja Bitit ryhmitellään usein tavuiksi (8 bittiä) Tietokoneen alijärjestelmät käsittelevät monen tavun mittaisia sanoja (tyypillisesti 16-64 bittiä) Monimutkaisemman konstruktion kautta on mahdollista määritellä desimaalilukuja, joita ovat kiinteän ja liukuvan pilkun luvut Olennaista on se, että tarkkuus näilläkin äärellinen! Jossain tilanteissa X + ε = X, vaikka ε 0! 21
AD-muunnos Joskus tieto tarvitsee muuttaa analogisesta digitaaliseksi Suurin ongelma muodostuu äärellisyydestä Joudutaan määrittelemään joku minimi, jota pienempi informaatio hävitetään Aikasarjoissa näytteenottotaajuus, kuvissa tiheys (dots per inch) Alkuperäistä ei usein voida konstruoida takaisin tallenntusta Joskus voidaan, ns. Nyquistin taajuus 22
Näytteenotto 23
Yleensä ei ole järkevää käyttää arbitääristä tarkkuutta jokaiselle mittauspisteelle, vaan näytteet kvantisoidaan Arvot pyöristetään tasaväliselle asteikolle Kvantisointi lisää virhettä selkeästi Kvantisointi Vaikea kvantisoitava 24
Edistyneitä AD-muunnoksia Tyypillisin esimerkki AD-muunnoksesta on yksiulotteinen suure ajassa (esim. Ääni) Kameran CCD-kenno suorittaa 2Dmuunnoksen kahdessa tilaulottuvuudessa Videokamera suorittaa muunnoksen kahdessa tilaulottuvuudessa ja ajassa Perusperiaatteet ja ominaisuudet säilyvät 2D-muunnoksessa huomataan miten n^2 kasvaa nopeasti 25
41 megapikselin kamera Nokia ei osannut tehdä hyvää optista zoomia kännyköihin Jos vaan kaapataan törkeän paljon dataa ja zoomataan digitaalisesti Hyvä idea 5-vuotissuunnitelmaan Hypersämpläys Symbian 26
Toisinpäin Digitaalisesta analogiseksi muunnettaessa askeleet käännetään Toisaalta voi olla signaaleja, jotka on generoitu suoraan digitaalisessa muodossa AD-muunnoksen ongelmia ei ole Tietokoneiden ensimmäisiä käyttötarkoituksia oli maailman simulointi Jenkkiarmeijan tykistön ampuma-arvot Atomin halkeaminen 27
Simulointi 28
Tiedon jäsentämisen terminologiaa Kenttä on yksittäinen pala tietoa opiskelijanumero tai nimi Tietue on kokoelma kenttiä Yhdistetty opiskelijanumero, nimi ja ikä Tiedosto on kokoelma tietueita Listaus kurssin opiskelijoiden opiskelijanumeroista, nimistä ja i istä Tietokanta kokoelma kenttiä, joiden välillä on relaatioita 29
Tiedostotyypeistä Tiedostoja voidaan luokkiin monella tavalla Unixin file-työkalun filosofian mukaan on olemassa Tekstitiedostoja Binääritiedostoja Ajettavia ohjelmia (binääritiedostojen erikoistapaus) Ei käsitellä 30
TEKSTITIEDOSTOT 31
Teksti Luku- ja kirjoitustaito ovat aika vanhoja juttuja Syvälle yhteiskuntaan juurtunut vuorovaikutustapa Tietokoneiden tekstissä ensimmäinen ja laajimmalle levinnyt standardi on alunperin lennättimiä varten kehitetty American Standard for Code for Information Interchange (ASCII) 7 bittiä koska haluttiin säästää Englannin kirjoittamiseen tarvittavat aakkoset, erikoismerkkejä Paljon lennättimen ohjaamiseen erikoistuneita ns. Non-printable merkkejä 32
Ei-tulostuvat ja tulostuvat merkit 33
ASCIIn jälkeen Englannin kirjoittamiseen tarvittavat merkit eivät riitä kovin pitkälle suuri määrä erilaisia merkistöjä Lännessä yleensä taaksepäin yhteensopivia ASCIIn kanssa Unicode merkistö tullut pysyäkseen 32 bittinen osoiteavaruus Eri tapoja koodata sama merkistö, UTF-8, UTF-16, UTF-32 34
Tekstitiedostoformaatit Mikäli teksitiedostossa on rakenne, voidaan tehdä ohjelma joka osaa lukea sitä Erittäin yksinkertainen esimerkki: Comma Separated Values 26, Jyry, 191 23, Teemu, 165 19, Matti, 180 35
Tekstitiedostoformaatit Tietynlaisen rakenteen odottaminen on rajoittavaa Voidaan määrittää rakenteen palaset ja sopia että jokainen palanen on merkattu Merkkauskieli <h1>tämä on otsikkoa</h1> <p>tämä on kappale</p> 36
Hyperteksti Teksti on luonteeltaan sekventiaalista Kirjat on tarkoitus lukea alusta loppuun Lisätään mahdollisuus linkkien tekemiseen <a href= #toinenosa >tästä eteenpäin</a>... <a name= toinenosa > <h2>toinen osa</h2> Miksi rajoittaa saman dokumentin (tai dokumenttikirjaston) sisälle linkkaamiseen? <a href= http://toinen.resurssi.com/jotain/ihan/muuta >jotain ihan muuta</a> 37
HTML:n puutteita Tägit kertovat ladontatietoa Taulukoita, otsikoita, kappalejakoja Tägejä äärellinen määrä Ei laajennusmahdollisuutta Ei yleinen ratkaisu Liberaalia sen suhteen, mitä hyväksytään Ei koneiden ymmärrettävissä 38
XML extensible Markup Language Vanhan SGML-standardin uudet vaatteet Kehittynyt irrallaan HTML:stä, ottanut oppia HTML:n virheistä XHTML on XML-speksin mukainen HTML Perusidea on sama <tag attribute= example > This is tagged text </tag> XML:ää pidetään välillä liiankin helppolukuisena Koneluettava, laajennettava 39
XML-dokumentin rakenne XML-dokumentin runko koostuu elementeistä (tag), joilla voi olla attribuutteja Elementtien välistä suhdetta kuvataan jollain tavalla XML schema Document Type Description <!ELEMENT kirjasto (hylly*)> <!ELEMENT hylly (kirja*)> <!ELEMENT kirja (nimi, kirjailija?, vuosi) > <!ELEMENT nimi (#PCDATA)> <!ELEMENT kirjailija (#PCDATA)> <!ELEMENT vuosi (#PCDATA)> 40
DTD ja sen mukainen dokumentti <!ELEMENT kirjasto (hylly*)> <!ELEMENT hylly (hyllynro, kirja*)> <!ELEMENT hyllynro (#PCDATA> <!ELEMENT kirja (nimi, kirjailija?, vuosi) > <!ELEMENT kirja (#PCDATA)> <!ELEMENT kirjailija (#PCDATA)> <!ELEMENT vuosi (#PCDATA)> DTD on sopimus dokumentin rakenteesta: ohjelma voidaan tehdä käsittelemään DTD:n mukaista dokumenttia. Kaikille itseään kunnioittaville ohjelmointialustoille on jo olemassa XML-parsereita valmiina. <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE kirjasto PUBLIC "KIRJASTO" "http://www.cse.tkk.fi/u/jsuvileh/jotime/esim.dtd"> <?xml-stylesheet type="text/xsl" href="hyllykko.xsl"?> <kirjasto> <hylly> <hyllynro>1</hyllynro> <kirja> <nimi>hobitti</nimi> <kirjailija>j.r.r. Tolkien</kirjailija> <vuosi>1937</vuosi> </kirja> <kirja> <nimi>silmarillion</nimi> <kirjailija>j.r.r. Tolkien</kirjailija> <vuosi>1977</vuosi> </kirja> </hylly> <hylly> <hyllynro>2</hyllynro> <kirja> <nimi>1984</nimi> <kirjailija>george Orwell</kirjailija> <vuosi>1949</vuosi> </kirja> <kirja> <nimi>suomen laki</nimi> <vuosi>2009</vuosi> </kirja> </hylly> </kirjasto> 41
XSL ja XPath Mm. verkkoselaimet osaavat näyttää XMLdokumentteja Muista, että XHTML on XML-kieli Xpath on tapa viitata dokumentin osiin XSLT-kuvauskielellä voidaan kuvata eri tapoja kuvata sama kerran määritelty data Kuin CSS HTML:lle, paitsi äärettömästi voimakkaampi Demo http://www.cse.hut.fi/~jsuvileh/jotime/kirjasto. xml Katso myös esim.dtd ja hyllykko.xsl 42
BINÄÄRITIEDOSTOT 43
Binääritiedostot Binääritiedostoja ei yleensä ole tarkoitettu ihmisten luettavaksi Tarvitaan heksaeditori tai jotain muuta ikävää lukemiseen Binääritiedostot tarjoavat usein kompaktimman tavan esittää tietoa vihreä 6-7 tavua, vaikea esittää tarkkoja astevaihteluja (0,255,0) 3 tavua 44
Värimallit Värejä voidaan yhdistää pääväreistä Värimallit voivat olla joko Additiivisia (RGB), usein tietokonenäytöissä Subtraktiivisia (CMYK), paperipainatuksessa Koko väriavaruutta on käytännössä mahdotonta näyttää tietyllä laitteella Kuva: Mike Horvath/Wikipedia Kuva: Mirsav Todorac/Wikipedia 45
BMP -perusidea Kuva voi antaa väärän käsityksen. BMP:ssä pikselin värit tallennetaan yhdessä. Ei erillisinä kokonaisuuksina. 46
Lena Miss Marraskuu 1972 Käytetty siitä saakka esimerkkinä kuvankäsittelyssä Koska BMP-tiedostot tuppaavat olemaan kookkaita, käsittelemme vain Lenan vasenta silmää 47
Koko tiedoston koko Korkeus/leveys BMP Tavua/pikseli Magic number Osoitin kuvan alkuun Ensimmäisenä alavasen pikseli 85 85 dc hex = 132 (G), 133 (B), 220 (R) Tästä eteenpäin riveittäin ylöspäin. 48
BMP -huomioita BMP ei tässä tapauksessa pakannut tietoa mitenkään Kuvassa on redundanssia, joka voidaan poistaa häviöttömästi Kuvassa on paljon ihmissilmälle tarpeetonta informaatiota, voidaan poistaa häviöllisesti Näistä myöhemmin 49
Yhteenvetoa Tieto siirretään analogisena siirtotietä pitkin Häiriöitä, siirtovirheitä ja muuta ikävää Tietokoneet äärellisiä, jänniä kapistuksia Tiedostot voidaan jakaa karkeasti teksti- ja binääritiedostoihin XML on human readable sisällönkuvauskieli BMP on erittäin yksinkertainen binääriformaatti kuvien tallentamiseen 50