Tiedon esitys tietokoneessa Jyry Suvilehto T-110.1100 Johdatus tietoliikenteeseen ja multimediatekniikkaan kevät 2013
Luennon sisältö 1. Tiedonsiirron perusteet 2. Tiedon binääriluonne AD-muunnos 3. Tekstitiedostot ASCII XML 4. Binääritiedostot Esimerkkinä BMP Vähän väriavaruuksista 2
TIEDONSIIRRON PERUSTEET 3
Data ja Informaatio Data: kuvat, luvut, kirjaimet ilman merkitystä Informaatio: datan merkityssisältö (ihmisen kasvot, hinta, geenin emäsparijärjestys) Tieto on ihmisen ymmärrystä informaatiosta (tuote on kallis) 4
Tiedon esitys Tietokoneissa informaatio on esitetty binäärimuodossa Joskus binääri on esitettävissä merkkeinä, esim. tekstipohjaiset protokollat Sama informaatio voi viedä vaihtelevan määrän tilaa à Häviötön pakkaus Joskus informaatiota ei pyritä säilyttämään kokonaan à Häviöllinen pakkaus 5
Tiedon siirto Tietoliikenteessä yleensä pyritään siirtämään informaatio häviöttömänä Tietokoneille virheetön datasiirto tarpeellista informaation välittymiseksi Ihmisille aina ei Esimerkiksi puhe häiriöisen radioyhteyden yli Data saattaa olla korruptoitunutta, mutta viestin informaatiosisältö todennäköisesti menee perille 6
Tiedonsiirtomediat Ohjattu media Kuparijohto Parikaapeli Koaksiaalikaapeli Massatallennusvälineet Ohjaamaton media Sähkömagneettinen säteily Painevaihtelut (ääni) Olennaista: Vastaanottajien määrä Lähetteen säteily 7
Bitin siirto median yli Bitit on koodattava jotenkin analogiseksi ilmiöksi Kantataajuusmenetelmässä bitit muutetaan suoraan esim. jännitteeksi, toimii yhteyksillä, joissa on suhteellisen vähän häiriöitä Häiriöisillä yhteyksillä kantoaalto auttaa erottamaan signaalin taustakohinasta, signaali muokkaa kantoaaltoa Amplitudimodulaatio (AM) Taajuusmodulaatio (FM) Vaihemodulaatio (PM) Nykyään on myös monimutkaisempia koodauksia Esim. UMTS:n käyttämä CDMA 8
Modulaatio 0 1 0 0 1 1 0 0 0 0 1 1 Amplitudi- Modulaatio (AM) Taajuus- Modulaatio (FM) Vaihe- Modulaatio (PM) 9
Synkronisaatio Denuntiato solum translata valet = vain vastaanotettu viesti merkitsee Vastaanottajan pitää siis tunnistaa data Synkronoimattomassa tiedonsiirrossa vastaanottaja tunnistaa viestin (yksi tavu dataa) alun ja ottaa näytteitä riittävän usein saadakseen viestin Esim. start-bitti, 8 databittiä, pariteetti ja stop-bitti Ethernetissä viesti alkaa ykkösillä Synkronoidussa tiedonsiirrossa lähettäjällä ja vastaanottajalla on kellot samassa ajassa, vastaanottaja tietää milloin bitin pitäisi tulla Tehokkaampaa Kellojen synkronointi vaikeaa 10
Siirtotien laatu Kaistanleveys (bandwidth) Käytettävissä oleva taajuusalue Kohina (noise) Taustalla olevat häiriösignaalit, joista viesti on erotettava Siirtokapasiteetti (capacity) Montako bittiä sekunnissa saadaan siirrettyä (lasketaan edellisistä) Virhetaajuus (error rate) Montako databittiä sekunnissa muuttuu Viive (latency) Kauanko bitiltä kestää matkata päästä päähän Huojunta (jitter) Perättäisten viestien aikavaihtelut Vaimennus (attenuation) Kuinka usein signaalia on vahvistettava (riippuu mediasta) 11
Signaali matkalla 0 1 0 0 1 0 Lähtevä signaali Vaimennus Kaistanleveyden pyöristämä Viive 0 1 0 1 1 0 Saapuva signaali Näytteenotto Vastaanotettu data 12
Kohinasuhde Analogisissa siirtoteissä on aina erilaisia häiriöitä Signaalinvoimakkuuden suhde kohinan voimakkuuteen on hyvin tärkeä mitta siirtotien laadulle SNR, Signal to Noise Ratio Ilmaistaan yleensä desibeleissä Esim. jossain analogisessa puhelinverkossa voidaan mitata signaalin olevan 10 000 kertaa taustakohinaa voimakkaampi Tällöin SNR on 10 log 10 10000 = 40 db Ihmiskorva selviää vielä noin 0 db:n SNR:stä 13
Kaistanleveys ja kapasiteetti Kaistanleveys tarkoittaa tietyn kanavan läpäisevää taajuusaluetta Tyypillisesti siirtotien sähköiset tai optiset ominaisuudet määrittävät lähetettävälle pulssille tietyn minimipituuden, jotta se voitaisi havaita luotettavasti vastaanottopäässä Pulssin minimipituudesta saadaan vastaava korkein taajuus, joka voidaan siirtää Ilmaistaan Hertzeinä, Hz Kapasiteetti on tietyn kanavan läpi siirrettävän datan määrä Ilmaistaan bitteinä sekunnissa, b/s Nyquistin kaava tiedonsiirrolle on r max = 2 B log 2 L r max on suurin saavutettava bittien siirtokapasiteetti B on ideaalikanavan kaistanleveys L on signaalitasojen määrä Puheessa kapasiteetti sekoitetaan helposti kaistanleveyteen, koska niiden välillä on riippuvuus Riippuvuus ei ole kaksisuuntaista 14
Realistinen kaistanleveys Käytännön kanavilla on kohinaa, joka rajoittaa signaalitasojen määrää Shannonin kaava kanavakapasiteetille on C = B log 2 (1 + SNR) b/s C on kanavan siirtokapasiteetti b/s B on kaistanleveys SNR on kanavan signaali/kohinasuhde jos ilmaistu desibeleinä: 10 (SNR/10) Signaalitasojen määrä ei vaikuta, kaava määrittelee suurimman mahdollisen bitinsiirtokapasiteetin 15
Nyquistin kaava kertoo miten kapasiteettia voidaan lisätä lisäämällä signaalitasoja Shannonin kaava kertoo, että signaalitasojen määrä ei auta äärettömiin vaan maailma tulee vastaan 16
TIEDON BINÄÄRILUONNE 17
Bitti Atomi = pienin jakamaton osanen Kreik Reaalimaailmassa on olemassa atomia pienempiä osasia Tietokoneissa bitti on ihan oikeasti pienin jakamaton osa Jakamattomuudella järisyttäviä seurauksia Bitti voi olla kahdessa tilassa, esim. Jännitteenä ilmaistuna 0 on 0v 1 on +5v Kun bitin arvo on 1, sanomme että bitti on päällä tai tosi, 0 vastaavasti on pois päältä tai epätosi Biteille on olemassa luonnollinen laskujärjestelmä, nk. Boolen logiikka 1 and 1 = 1 1 or 0 = 1 0 and 1 = 0 etc. 18
Binääriaritmetiikka Peräkkäin asetetuille, sähköisesti esitetyille biteille on mahdollista Boolen logiikalla muodostaa sähköinen piiri joka tekee arbitäärisiä laskutoimituksia Claude Shannonin dippatyö 19
Lukujärjestelmämuunnos Ei kuulu tähän kurssiin varsinaisesti Ei siis tulossa tenttiin, älkää hikoilko Kuuluu yleissivistykseen osata 13 in bin = 00011011 in dec = K bitillä voidaan esittää 2 k eri arvoa 20
Suurempia mittoja Bitit ryhmitellään usein tavuiksi (8 bittiä) Tietokoneen alijärjestelmät käsittelevät monen tavun mittaisia sanoja (tyypillisesti 16-64 bittiä) Monimutkaisemman konstruktion kautta on mahdollista määritellä desimaalilukuja, joita ovat kiinteän ja liukuvan pilkun luvut Olennaista on se, että tarkkuus näilläkin äärellinen! 21
AD-muunnos Joskus tieto tarvitsee muuttaa analogisesta digitaaliseksi Suurin ongelma muodostuu äärellisyydestä Joudutaan määrittelemään joku minimi, jota pienempi informaatio hävitetään Aikasarjoissa näytteenottotaajuus, kuvissa tiheys (dots per inch) Alkuperäistä ei usein voida konstruoida takaisin tallenntusta Joskus voidaan, ns. Nyquistin taajuus 22
Näytteenotto Yksiulotteisesta signaalista otetaan näytteitä ajanhetkillä 0, t, 2t, 3t t esim 1 ms Näytteenottotaajuus f s = 1/t Shannon-Nyquistin näytteenottoteoreema Signaali, jonka kaistanleveys on B voidaan rekonstruoida täysin jos f s >2B 23
Yleensä ei ole järkevää käyttää arbitääristä tarkkuutta jokaiselle mittauspisteelle, vaan näytteet kvantisoidaan Arvot pyöristetään tasaväliselle asteikolle Kvantisointi lisää virhettä selkeästi Kvantisointi Vaikea kvantisoitava 24
Edistyneitä AD-muunnoksia Tyypillisin esimerkki AD-muunnoksesta on yksiulotteinen suure ajassa (esim. Ääni) Kameran CCD-kenno suorittaa 2Dmuunnoksen kahdessa tilaulottuvuudessa Videokamera suorittaa muunnoksen kahdessa tilaulottuvuudessa ja ajassa Perusperiaatteet ja ominaisuudet säilyvät 2D-muunnoksessa huomataan miten n^2 kasvaa nopeasti 25
41 megapikselin kamera Nokia ei osannut tehdä hyvää optista zoomia kännyköihin Jos vaan kaapataan törkeän paljon dataa ja zoomataan digitaalisesti à Hyvä idea à 5-vuotissuunnitelmaan Hypersämpläys Symbian L 26
Toisinpäin Digitaalisesta analogiseksi muunnettaessa askeleet käännetään Toisaalta voi olla signaaleja, jotka on generoitu suoraan digitaalisessa muodossa AD-muunnoksen ongelmia ei ole Tietokoneiden ensimmäisiä käyttötarkoituksia oli maailman simulointi Jenkkiarmeijan tykistön ampuma-arvot Atomin halkeaminen 27
Simulointi 28
Tiedon jäsentämisen terminologiaa Kenttä on yksittäinen pala tietoa opiskelijanumero tai nimi Tietue on kokoelma kenttiä Yhdistetty opiskelijanumero, nimi ja ikä Tiedosto on kokoelma tietueita Listaus kurssin opiskelijoiden opiskelijanumeroista, nimistä ja i istä Tietokanta kokoelma kenttiä, joiden välillä on relaatioita 29
Tiedostotyypeistä Tiedostoja voidaan luokkiin monella tavalla Unixin file-työkalun filosofian mukaan on olemassa Tekstitiedostoja Binääritiedostoja Ajettavia ohjelmia (binääritiedostojen erikoistapaus) Ei käsitellä 30
TEKSTITIEDOSTOT 31
Teksti Luku- ja kirjoitustaito ovat aika vanhoja juttuja Syvälle yhteiskuntaan juurtunut vuorovaikutustapa Tietokoneiden tekstissä ensimmäinen ja laajimmalle levinnyt standardi on alunperin lennättimiä varten kehitetty American Standard for Code for Information Interchange (ASCII) 7 bittiä koska haluttiin säästää Englannin kirjoittamiseen tarvittavat aakkoset, erikoismerkkejä Paljon lennättimen ohjaamiseen erikoistuneita ns. Non-printable merkkejä 32
Ei-tulostuvat ja tulostuvat merkit 33
ASCIIn jälkeen Englannin kirjoittamiseen tarvittavat merkit eivät riitä kovin pitkälle à suuri määrä erilaisia merkistöjä Lännessä yleensä taaksepäin yhteensopivia ASCIIn kanssa Unicode merkistö tullut pysyäkseen 32 bittinen osoiteavaruus Eri tapoja koodata sama merkistö, UTF-8, UTF-16, UTF-32 34
Tekstitiedostoformaatit Mikäli teksitiedostossa on rakenne, voidaan tehdä ohjelma joka osaa lukea sitä Erittäin yksinkertainen esimerkki: Comma Separated Values 26, Jyry, 191 23, Teemu, 165 19, Matti, 180 35
Tekstitiedostoformaatit Tietynlaisen rakenteen odottaminen on rajoittavaa Voidaan määrittää rakenteen palaset ja sopia että jokainen palanen on merkattu Merkkauskieli <h1>tämä on otsikkoa</h1> <p>tämä on kappale</p> 36
Hyperteksti Teksti on luonteeltaan sekventiaalista Kirjat on tarkoitus lukea alusta loppuun Lisätään mahdollisuus linkkien tekemiseen <a href= #toinenosa >tästä eteenpäin</a>... <a name= toinenosa > <h2>toinen osa</h2> Miksi rajoittaa saman dokumentin (tai dokumenttikirjaston) sisälle linkkaamiseen? <a href= http://toinen.resurssi.com/jotain/ihan/muuta >jotain ihan muuta</a> 37
HTML:n puutteita Tägit kertovat ladontatietoa Taulukoita, otsikoita, kappalejakoja Tägejä äärellinen määrä Ei laajennusmahdollisuutta Ei yleinen ratkaisu Liberaalia sen suhteen, mitä hyväksytään Ei koneiden ymmärrettävissä 38
XML extensible Markup Language Vanhan SGML-standardin uudet vaatteet Kehittynyt irrallaan HTML:stä, ottanut oppia HTML:n virheistä XHTML on XML-speksin mukainen HTML Perusidea on sama <tag attribute= example > This is tagged text </tag> XML:ää pidetään välillä liiankin helppolukuisena Koneluettava, laajennettava 39
XML-dokumentin rakenne XML-dokumentin runko koostuu elementeistä (tag), joilla voi olla attribuutteja Elementtien välistä suhdetta kuvataan jollain tavalla XML schema Document Type Description <!ELEMENT kirjasto (hylly*)> <!ELEMENT hylly (kirja*)> <!ELEMENT kirja (nimi, kirjailija?, vuosi) > <!ELEMENT nimi (#PCDATA)> <!ELEMENT kirjailija (#PCDATA)> <!ELEMENT vuosi (#PCDATA)> 40
DTD ja sen mukainen dokumentti <!ELEMENT kirjasto (hylly*)> <!ELEMENT hylly (hyllynro, kirja*)> <!ELEMENT hyllynro (#PCDATA> <!ELEMENT kirja (nimi, kirjailija?, vuosi) > <!ELEMENT kirja (#PCDATA)> <!ELEMENT kirjailija (#PCDATA)> <!ELEMENT vuosi (#PCDATA)> DTD on sopimus dokumentin rakenteesta: ohjelma voidaan tehdä käsittelemään DTD:n mukaista dokumenttia. Kaikille itseään kunnioittaville ohjelmointialustoille on jo olemassa XML-parsereita valmiina. <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE kirjasto PUBLIC "KIRJASTO" "http://www.cse.tkk.fi/u/jsuvileh/ jotime/esim.dtd"> <?xml-stylesheet type="text/xsl" href="hyllykko.xsl"?> <kirjasto> <hylly> <hyllynro>1</hyllynro> <kirja> <nimi>hobitti</nimi> <kirjailija>j.r.r. Tolkien</kirjailija> <vuosi>1937</vuosi> </kirja> <kirja> <nimi>silmarillion</nimi> <kirjailija>j.r.r. Tolkien</kirjailija> <vuosi>1977</vuosi> </kirja> </hylly> <hylly> <hyllynro>2</hyllynro> <kirja> <nimi>1984</nimi> <kirjailija>george Orwell</kirjailija> <vuosi>1949</vuosi> </kirja> <kirja> <nimi>suomen laki</nimi> <vuosi>2009</vuosi> </kirja> </hylly> </kirjasto> 41
XSL ja XPath Mm. verkkoselaimet osaavat näyttää XMLdokumentteja Muista, että XHTML on XML-kieli Xpath on tapa viitata dokumentin osiin XSLT-kuvauskielellä voidaan kuvata eri tapoja kuvata sama kerran määritelty data Kuin CSS HTML:lle, paitsi äärettömästi voimakkaampi Demo http://www.cse.hut.fi/~jsuvileh/jotime/ kirjasto.xml Katso myös esim.dtd ja hyllykko.xsl 42
BINÄÄRITIEDOSTOT 43
Binääritiedostot Binääritiedostoja ei yleensä ole tarkoitettu ihmisten luettavaksi Tarvitaan heksaeditori tai jotain muuta ikävää lukemiseen Binääritiedostot tarjoavat usein kompaktimman tavan esittää tietoa vihreä vs (0,255,0) 44
Värimallit Värejä voidaan yhdistää pääväreistä Värimallit voivat olla joko Additiivisia (RGB), usein tietokonenäytöissä Subtraktiivisia (CMYK), paperipainatuksessa Koko väriavaruutta on käytännössä mahdotonta näyttää tietyllä laitteella Kuva: Mike Horvath/Wikipedia Kuva: Mirsav Todorac/Wikipedia 45
BMP -perusidea Koska R, G ja B kuvaavat koko kuvan, ilmaistaan jokainen näistä n bitillä (2, 4, 6 bittiä) per pikseli 0 on musta, 2 n -1 on maksimi ao. väriä Lisäksi tallennetaan hieman otsaketietoja Alkuun magic number kertomaan että kyseessä on BMP-kuva Kuvan koko Teknisyyksiä (helpottavat ohjelman tekoa) Kuva voi antaa väärän käsityksen. BMP:ssä pikselin värit tallennetaan yhdessä. Ei erillisinä kokonaisuuksina. 46
Lena Miss Marraskuu 1972 Käytetty siitä saakka esimerkkinä kuvankäsittelyssä Koska BMP-tiedostot tuppaavat olemaan kookkaita, käsittelemme vain Lenan vasenta silmää 47
oko tiedoston koko Korkeus/leveys BMP Tavua/pikseli Magic number Osoitin kuvan alkuun Ensimmäisenä alavasen pikseli 85 85 dc hex = 132 (G), 133 (B), 220 (R) Tästä eteenpäin riveittäin ylöspäin. 48
BMP -huomioita BMP ei tässä tapauksessa pakannut tietoa mitenkään Kuvassa on redundanssia, joka voidaan poistaa häviöttömästi Kuvassa on paljon ihmissilmälle tarpeetonta informaatiota, voidaan poistaa häviöllisesti Näistä myöhemmin 49
Yhteenvetoa Tieto siirretään analogisena siirtotietä pitkin Häiriöitä, siirtovirheitä ja muuta ikävää Tietokoneet äärellisiä, jänniä kapistuksia Mikäli kiinnostaa enemmän, T-106.1150 Tietokone ja käyttöjärjestelmä Yleissivistävä, rakentaa lukiopohjan päälle Pitäisi mennä kaikkiin opintoihin Tiedostot voidaan jakaa karkeasti teksti- ja binääritiedostoihin XML on human readable sisällönkuvauskieli BMP on erittäin yksinkertainen binääriformaatti kuvien tallentamiseen 50
VÄLIKOKEESEEN VALMISTAUTUMISEKSI (EI EHDITÄ LUENNOLLA) 51
Yleistä Välikokeessa vaaditaan luennoilla (muutkin kuin kalvoissa) käsitellyt asiat Harjoituksissa käsitellyt asiat Sisälukutaitoa (yllättävän vaikeaa) Kykyä soveltaa Kokeiden teko on kahden asian tasapainottamista Osaamisen mittaaminen Järkevä korjattavuus Pyrimme siihen, että välikoe on ymmärryksen, ei pelkän faktatiedon mittari 52
5 kysymystä Välikokeen rakenne 1. Sanaselitykset 2. Väittämät 3.-5. normaalit tehtävät 53
Sanaselitykset Sitä mitä voisi olettaa Pari virkettä Selityksessä pitää löytää olennainen Random-faktat aiheesta eivät ole määritelmiä Esimerkki ei ole määritelmä Jos selität asiaa ja puutaheinää sekaisin, voi tulla 0p Kahden termin tapauksessa olennaista selittää miten eroavat Joskus olemassa määritelmä Signalointi eli merkinanto Paketti- ja piirikytkentäinen verkko Asiakas-palvelin malli Vertaisverkko Protokollapino Palomuuri Yhteydellinen Kanavointi Reititys Luottamuksellisuus Eheys Saatavuus Web 2.0 Push (tietoliikenteessä) DHCP 54
Väittämät Soveltamista vaativat väittämät Pelkästä Totta/Ei totta vastauksesta 0p Pisteet tulevat perustelusta Vastaus ei välttämättä ole yksikäsitteinen WLAN ja Ethernet varaavat median lähetystä varten samalla tavalla IP-osoite on globaalisti uniikki UDP-protokollan ominaisuudet sopivat TCP:tä paremmin puheen tosiaikaiseen siirtämiseen Pelkkä WW riittäisi kaikkien Internetin palveluiden toteuttamiseen, muut järjestelmät ovat vain historiallisia kehitysvaiheita TKK:n webnews hyötyisi merkittävästi RSS:n lisäämisestä Jos saat verkossa olevalta taholta varmenteen, tiedät keneen olet yhteydessä Jokainen puhelinverkon puhelu vaatii puhelua koskevan tiedon tallentamista verkon käyttämiin puhelinkeskuksiin NAT-muutos ratkaisee riittämättömien IPosoitteiden ongelman eikä aiheuta mitään sivuvaikutuksia Tietynnumeroisen TCP- tai UDP-portin takana on aina oltava tarkalleen samantyyppinen ohjelmisto (esim. sähköposti- tai www-palvelin) 55
Normaalit tehtävät Tarkastusteknisestä syistä suosimme jaettuja tehtäviä Pistemäärästä voi päätellä jotain vastauksen toivotusta pituudesta Olennainen on tärkeää, jaarittelusta ja kiertelystä ei saa pisteitä Usean sivun asiaan liittymätön johdanto itse asiaan saattaa pahoittaa assarin mielen Selventäviä kuvia saa ja kannattaa piirtää, mutta jonkinnäköinen sanallinen selityskin tarvitaan 56
Yleistä Vastaukset pyritään korjaamaan mahdollisimman tasapuolisesti Käytännössä kuitenkin seuraavien asioiden vaikutusta mahdotonta eliminoida Erittäin epäselvä käsiala Hyppivä vastaus Karkeat kielioppivirheet, slangi Kirjoittakaa opiskelijanumero selvästi 57
Seuraavia protokollapinon kuvia voi käyttää kokonaisuuden hahmottamiseen tietoliikenneasioissa 58
TCP/IP-protokollapino Sovelluskerros Middleware: HTTP, SSL, XML... Siirtokerros: TCP, UDP,... Verkkokerros: IPv4, IPv6 Linkkikerros: Ethernet, MPSL, WLAN, GPRS... Asiakas/palvelinsovellukset ja monenväliset palveluarkkitehtuurit Tiedonsiirto päästä päähän, Internetin yli (end to end) Tiedonsiirto yhden linkin yli 59
Nimiavaruudet Sovelluskerros Middleware: HTTP, SSL, XML... Siirtokerros: TCP, UDP,... Verkkokerros: IPv4, IPv6 Linkkikerros: Ethernet, MPSL, WLAN, GPRS... Sähköpostiosoite, URL, DNS-nimi, jne. IP-osoite ja porttinumero IP-osoite MAC-osoite 60
Viestien muoto Sovelluskerros Middleware: HTTP, SSL, XML... Pyynnöt ja vastaukset Siirtokerros: TCP, UDP,... Yhteys Verkkokerros: IPv4, IPv6 Linkkikerros: Ethernet, MPSL, WLAN, GPRS... Paketit Kehykset 61
Toteutus ja rajapinnat (ei tarvitse täysin sisäistää) Sovelluskerros Middleware: HTTP, SSL, XML... Socket API Siirotokerros: TCP, UDP,... Verkkokerros: IPv4, IPv6 Laiteajurirajapinta Linkkikerros: Ethernet, MPSL, WLAN, GPRS... Tyypillinen toteutus: Prosesseina käyttäjätilassa Käyttöjärjestelmän ytimessä Verkkokortin firmware ja rauta 62
Tiimalasimalli Sovelluskerros Middleware: HTTP, SSL, XML... Siirtokerros: TCP, UDP,... IPv4, IPv6 Socket API Laiteajurirajapinta Linkkikerros: Ethernet, MPSL, WLAN, GPRS... 63