LUENTO 5 INTERNET TIEY4 TIETOTEKNIIKKATAIDOT SYKSY 2017 JUHANI LINNA ANTTI SAND 10.10.2017
LUENTO 5 10.10.2017 Tällä luennolla Taustaa harjoitukseen YH3a 1. Tiedon pakkaaminen 2. Internet 3. Selaimet ja tiedonhaku Kalvojen materiaali Antti Sand ja Juhani Linna
1. TIEDON PAKKAAMINEN Tieto tietokoneessa Tiedon pakkaaminen Pakkaustyökaluja
1. TIEDON PAKKAAMINEN TIETO TIETOKONEESSA Tietokone on viimekädessä laskin Tietokoneen käsittelemä tieto on täsmällistä ja rajallista, digitaalista Täsmällinen tieto voidaan kopioida ja siirtää (täsmälleen) samanlaisena Vastakohtana analoginen tieto, joka voi sisältää teoriassa äärettömästi sävyeroja Digitaalisuus on toteutettu tietokoneissa ns. Binäärijärjestelmällä Kaksikantalukujärjestelmä, voidaan laskea myös 16-kantalukujärjestelmällä (hexadesimaalijärjestelmä), koska kaksi tavua on 2*8=16 Kaikki tieto on viimekädessä bitteinä (0 tai 1) ja bittijonoina Käyttöjärjestelmä ja ohjelmat tulkitsevat bittijonoja käyttäjälle
1. TIEDON PAKKAAMINEN TIETO TIETOKONEESSA Bitti (b=bit) vastaa siis yhtä kaksitilaista tietoa (0 tai 1) Tavu (B=Byte) on kahdeksan bitin pituinen tieto (esim. 01000001) Arkikielessä bitti ja tavu usein sekoittuvat Sana (W=word) on 1-8 tavua (8-64 bittiä) Kuvaa minkä pituisia jonoja koneen suoritin käsittelee: Vrt. 32- ja 64 bittinen Windows Nykyään yleensä 64 bittiä Kilotavu (kt, kb) = noin tuhat tavua (1024 B, 2 10 ) Käytännössä? 1 kb on noin vajaa arkillinen tekstiä Megatavu (MB) noin miljoona tavua (1024*kB, 2 20 ) Gigatavu (GB) noin tuhat miljoonaa tavua (1024*MB, 2 30 ) Teratavu (2 40 ) esimerkiksi ulkoisessa kiintolevyssä Exa, peta, yotta, pilvipalveluissa
1. TIEDON PAKKAAMINEN MIKSI TAVU? Tietokoneet kehitettiin lähinnä englanninkielisillä alueilla Merkkijärjestelmä rajoittui siis latinalaisiin aakkosiin (ilman diakriittisiä tarkkeita) [A-Za-z] ja arabialaisiin numeroihin [0-9], sekä välimerkkeihin Todettiin, että 7 bittiä riittää jokaisen merkin yksilöimiseen (0-127, eli 128 erilaista bittijonoa) 95 kirjoitusmerkkiä ja 33 ohjausmerkkiä, kuten rivinvaihto, välilyönti, yms. Mutta 7 ei ole kahden potenssi, joten oli helpompaa tuhlata yksi bitti ja määrittää tavu kahdeksaksi bitiksi Näin vaihtoehtojen määrä kaksinkertaistui 256:een
1. TIEDON PAKKAAMINEN MIKSI TAVU? Nyt vaihtoehtoja oli siis 256, joista vain 128 tarvittiin käytössä oleviin englanninkielisillä alueilla esiintyviin merkkeihin ja ohjausmerkkeihin Muut merkistöalueet hyödynsivät ylijääneet vaihtoehdot diakriittisiin tarkkeisiin kukin tavallaan (aikana ennen Internetiä ei ollut juurikaan motivaatiota koordinoida standardia) Lisäksi osa vaihtoehdoista varattiin graafisille symboleille, kuten tuplareunukset, matemaattiset symbolit, yms.
1. TIEDON PAKKAAMINEN MIKSI TAVU? Hyödyntämällä näitä ns. box-drawing characters :a voitiin luoda graafisia elementtejä, jotka muodostivat pohjan nykyään tuntemillemme ikkunoille, valikoille ja dialogeille
1. TIEDON PAKKAAMINEN MIKSI TAVU? Muut merkistöalueet siis hyödynsivät ylijääneitä tavuja omiin diakriittisiin tarkkeisiinsa Mutta koska maailma ei ollut vielä yhdistynyt laajakäyttöisen internetin aikakauteen, nämä määrittelyt jäivät kielialueiden oman harkinnan varaan Ei nähty tarpeeksi isona riskinä sitä, että jossain kohtaa tietoa pitäisi pystyä siirtämään maailmanlaajuisesti Yksi kielialue varasi tavun 10110010 merkille Å ja toinen merkille β (esimerkiksi) Nyt jos vain bitit sisältävän.txt tiedoston avasi eri kielialueen koneella, sen sisältämät diakriittisiä tarkkeita sisältävät merkit saattoivat näkyä väärinä merkkeinä tai symboleina Piti siis valita myös käytetty merkistökoodaus Vielä vähän aikaa sitten tällaisia merkkejä tuli usein vastaan verkkosivuilla, mutta nykypäivänä harvemmin
1. TIEDON PAKKAAMINEN MIKSI TAVU?
1. TIEDON PAKKAAMINEN MIKSI TAVU? Ratkaisuksi edellä kuvattuun ongelmaan kehitettiin Unicode merkistökoodaus Tavoitteena oli yhtenäistää käytännöt siten, että sama tavu vastaisi aina samaa merkkiä tai symbolia kaikkialla maailmassa Nykyään suositellaan aina käyttämään Unicode UTF-8 merkistökoodausta tallentaessasi pelkkää tekstiä (.txt,.csv, ) tai tehdessäsi verkkosivuja Käytännössä UTF-8 ei ole täsmälleen 8 bittiä, koska se ei riittäisi nykyään kaikkien merkkien erotteluun, mutta tämä ei ole käyttäjän kannalta oleellista Lisäksi useimmat sovellukset ovat sen verran älykkäitä, että osaavat usein valita tai ainakin ehdottaa oikeaa merkistökoodausta automaattisesti Esimerkiksi uudemmat Chrome ja Firefox selainversiot eivät enää edes anna muuttaa merkistökoodausta, sillä ne luottavat automaattisen havaitsemisen olevan riittävällä tasolla
1. TIEDON PAKKAAMINEN TIEDON PAKKAAMINEN Miksi? Miten Tilan säästäminen tallennuksessa ja nopeuden lisääntyminen tiedon siirtelyssä, lisäksi näin saadaan yksi tiedosto monen sijaan Esim. tiivistämällä pakkausalgoritmin avulla bittijonot Pakkaus: Alkuperäinen tiedosto Pakattu tiedosto Purku: Pakattu tiedosto Pakkausohjelma Pakkausohjelma Alkuperäinen tiedosto
1. TIEDON PAKKAAMINEN PAKKAUSTYÖKALUISTA Automaattinen pakkaus Tietoa pakataan usein ilman, että käyttäjä voisi siihen vaikuttaa Esimerkiksi useissa mediatiedostotyypeissä, kuten JPEG, MPEG tai MP3 Valmiiksi pakatut tiedostotyypit eivät juurikaan uudelleen pakkaudu Matkapuhelinverkot, Internet-puhelut Pakkausohjelmat (YH3a) Manuaaliseen tiedostojen pakkaukseen kehitettyjä ohjelmia, joista monet ilmaisia Esimerkiksi WinRAR, WinZip, 7-Zip Tuottavat (ja purkavat) pakattuja tiedostoja, joiden tiedostopäätteenä tyypillisesti.zip Muita myös arj, rar, 7z, Mahdollistavat tiedostojen salasanasuojauksen
1. TIEDON PAKKAAMINEN PAKKAUSTYÖKALUISTA Jos jokainen merkki on yhden tavun mittainen Esim. A = 01000001, a = 01100001...merkkijono AAaa veisi 4 tavua (01000001010000010110000101100001) Mutta jos tekstissä tietyn merkin frekvenssi on suurempi kuin jonkin toisen, jokaiselle ei enää kannata varata 8 bittiä Sovitaan, että useimmin toistuva merkki kuvataankin pienemmällä bittimäärällä harvemmin toistuvalle pitää silloin varata enemmän bittejä (jotta jokainen käytetty merkki on yksilöitävissä) Merkkijonosta puutuville mahdollisille merkeille ei tarvitse varata yhtään bittiä Samalla kuitenkin yhteenlaskettu bittimäärä vähenee Lopullisesta koosta voidaan siten vähentää saavutettu säästö vähennettynä tiedolla siitä, miten korvaus tapahtui 0011 (A = 0, a = 1, 0 = 01000001, 1 = 01100001) Tässä esimerkissä ei välttämättä saavutettu pakkaushyötyä, mutta jos samaa kaavaa jatkaa pidemmälle merkkijonolle, jossa on selkeät frekvenssierot, hyöty kasvaa
1. TIEDON PAKKAAMINEN PAKKAUSTYÖKALUISTA Esimerkkejä Käyttöjärjestelmän pakkaustyökalu 7-zip Purkaminen Pakkaaminen Pakkaaminen salasanasuojatuksi tiedostoksi
2. INTERNET Lyhyt historia Lyhyt määrittely
2. INTERNET LYHYT HISTORIA Perusta USA:n puolustusvoimien ARPAnet-tietoverkossa 1960-luvulla Number of worldwide internet hosts in the domain name system (DNS) from 1993 to 2016 (in millions) Laajentui 1970-luvulla yliopistoihin 1980-luvulla yritykset; sähköposti 1988 Suomi (Funet) 1990-luvulla kaupallistaminen verkko operaattoreiden hoidettavaksi; www, graafiset selaimet ym. 2000-luvulla kv. verkkokauppa, some ja käyttäjien luoma sisältö, mobiili 2010-luvulla asioiden internet, langattomat laajakaistat
2. INTERNET LYHYT MÄÄRITELMÄ Maailmanlaajuinen tietoverkko, joka yhdistää paikalliset verkot toisiinsa Avoin kaikille, mutta tiedonsiirrossa ja esityksessä on käytettävä yhteisesti sovittuja tapoja Yksinkertaistaen koostuu palvelimista ja päätelaitteista sekä niiden välisestä yhteysteknologiasta palvelimet luovuttavat tietoa, jonka päätelaite välittää käyttäjälle Www eli hypertekstijärjestelmä on yksi yleinen Internetin palvelumuoto ns. web-sivut ovat wwwsivuja, jotka sijaitsevat palvelimilla ja jotka selain esittää käyttäjälle
2. INTERNET LYHYT MÄÄRITELMÄ Web-sivuja tarjoavan HTTP:n (HyperText Transfer Protocol) lisäksi Internet on myös FTP (File Transfer Protocol), SMTP (Simple Mail Transfer Protocol), DHCP, DNS, ESMTP, IMAP, IRC, LDAP, MGCP, NNTP, NTP, POP3, RPC, RPT, RPTS, SIP, SNMP, SOCKS, SSH, Telnet, TLS/SSL, XMPP
2. INTERNET HTTP HTTP on transaktioperustainen Yksi transaktio koostuu täsmälleen yhdestä pyynnöstä ja täsmälleen yhdestä vastauksesta, eivätkä transaktiot tiedä toisistaan Transaktiot ovat tilattomia, edellinen ei vaikuta seuraavaan joten useimmat verkkopalvelut luovat tilan tallentamalla evästeitä, joilla voidaan yksilöidä istunto Esimerkiksi: Haluan nähdä yliopiston etusivun Syötettyäni verkko-osoitteen, selain tekee pyynnön HTTP GET www.uta.fi Verkko-osoite tulkitaan IP-osoitteeksi DNS -palvelussa. IP osoite on verkossa olevan koneen tunniste. Kyseinen kone palauttaa sivun kuvaamiseen käytetyn merkkauksen ja mahdolliset kuvat yms. resurssit
2. INTERNET TILATTOMUUS Koska yksi pyyntö on itsenäinen, eikä tiedä edellisistä, periaatteessa emme voi toteuttaa sivustoja, joihin kirjaudutaan kerran sisään ja sen jälkeen voidaan navigoida sivuja kirjautuneena, koska seuraava pyyntö ei tiedä kirjautumisesta pyynnöt eivät muodosta tilaa Tila kuitenkin tarvitaan, jotta voitaisiin toteuttaa kirjautuminen ilman että jokaiseen pyyntöön tarvitsisi liittää mukaan käyttäjätunnus ja salasana Mm. tähän tarpeeseen auttavat evästeet
2. INTERNET EVÄSTEET Eväste on pieni tieto, jonka palvelin saa tallentaa käyttäjän koneelle selaimen varaamaan tallennustilaan se on siis selainkohtainen Eli jos olet kirjautuneena palveluun Chrome -selaimella, Firefox selain ei tiedä tästä Jokainen pyyntö palvelimelle vie mukanaan evästeen tiedon, joten palvelin voi tietää, oletko käynyt sivulla aiemmin ja voi yksilöidä sinun selaimelta tulevan pyynnön kaikkien muiden pyyntöjen joukosta Kirjautuminen voidaan siis merkitä käyttäjän koneelle istuntoevästeellä, eli pienellä sattumanvaraisella merkkijonolla, joka annetaan seuraavan pyynnön mukana palvelimelle Palvelin puolestaan katsoo, onko kyseisellä tunnisteella voimassaolevaa kirjautumista ja sen mukaan näyttää vain kirjautuneille tarkoitetun sisällön, tai ohjaa kirjautumissivulle (tai mitä tahansa sen on ohjeistettu tuossa tilanteessa tekemään)
2. INTERNET EVÄSTEET Eväste on siis hyödyllinen ja välttämätön Mutta se avaa myös mahdollisuuden kyseenalaisemmalle toiminnalle Koska palvelin tunnistaa käyttäjän selaimen, se voi pitää kirjaa käyttäjän sivulatauksista Katoit verkkokaupassa polkupyörää, sinulle kannattaa siis mainostaa polkupyöriä Näin kerätään tietoa esimerkiksi siitä, mitä käyttäjälle kannattaa mainostaa Tällainen tieto kannattaa koota isoksi varastoksi ja myydä edelleen mainostajille Näin toisiinsa liittymättömät verkkosivut tietävät käyttäjästä Tällaisen tiedon kerääminen on todella rahakas bisnes, joten se ei rajoitu vain verkkokaupoissa vierailuun. Datasta yritetään päätellä muitakin asioita: Ikä, sukupuoli ja elämäntilanne voidaan päätellä tarpeeksi isosta tietomäärästä ja kohdistaa sen mukaan raskaustestejä, deittipalveluita, työpaikkoja, Lisättynä matkapuhelimen keräämään paikkatietoon tiedetään myös käykö töissä, missä on töissä, minkälaisissa ravintoloissa käy, tupakoiko, urheileeko,
2. INTERNET YKSITYINEN SELAUSTILA Suosituimmat selaimet tarjoavat yksityisen selaustilan Private browsing, Incognito browsing Nämä eivät estä evästeitä, koska niitä tarvitaan palveluiden toiminnassa Mutta ne poistavat evästeet ja sivuhistorian kun selainikkuna suljetaan Hyödyllisiä silloin, kun Ei haluta antaa mainostajille mahdollisuutta seurantaan Ei haluta jättää koneelle jälkeä selauksesta (yhteiskäyttökoneet, esimerkiksi kirjastojen koneet, joihin ei kirjauduta erikseen) Eivät poista kirjanmerkkejä tai ladattuja tiedostoja
3. SELAIMET JA TIEDONHAKU Yleistä selaimista Firefox Tiedonhaku Pilvipalvelut
3. SELAIMET JA TIEDONHAKU YLEISTÄ SELAIMISTA Selaimia käytetään www-dokumenttien selailuun pöytäkoneella, läppärillä, tabletilla, älypuhelimella jne. Useimmiten maksuttomia Kuluttajalaitteissa lähes aina joku selain esiasennettuna, Windowsissa Internet Explorer tai MS Edge Eri selainten saatavuus eri käyttöjärjestelmille vaihtelee, mutta esim. Windows 7, 8 ja 10 saatavilla kaikki suosituimmat Keräävät kuitenkin kaikenmoista tietoa yksityisyyden ja käyttömukavuuden vaihtokauppa! Suosituimmat selaimet maailmassa 2017 ja (2016) (w3schools.com): Chrome 74 % (69 %): > miljardi käyttäjää Firefox 15 % (18,6 %) Internet Explorer (sis. Edge) 4,8 % (6,2 %) Safari 3,6 % (3.7 %) Eri selaimet tulkitsevat www-dokumentin (hieman) eri tavoin perustoiminnallisuudet kuitenkin hyvin samankaltaisia; valitse itse suosikkisi Pidä kuitenkin selaimesi päivitettynä hyväksymällä automaattiset päivitykset
3. SELAIMET JA TIEDONHAKU YLEISTÄ SELAIMISTA Chrome on siis kaikkein suosituin i.e. käytetyin selain Chrome ei ole ilmainen, vaikka siitä ei pyydetäkään maksua Jos et maksa rahalla, maksat tiedolla Google ei harrasta filantropiaa, kuten nähdään heidän aggressiivisesta verosuunnittelustaan Mutta myös useimmat matkapuhelimet ja käyttöjärjestelmät keräävät käyttäjästä tietoja ja useimmiten käyttäjä on tästä vain iloinen, sillä ne mahdollistavat myös paljon kohdennetummat palvelut käyttäjälle Puhelin muistuttaa, että on aika lähteä töihin, sillä usein käyttämälläsi reitillä on ruuhkaa Tunnistettuja tietoja: työpaikan sijainti, työajan alkamisaika, usein käytetty reitti,
3. SELAIMET JA TIEDONHAKU FIREFOX Voittoa tavoittelemattoman Mozilla-säätiön kehittämä, avoimen lähdekoodin selain, jota käytetään kurssin harjoituksissa Järjestö on voittoa tavoittelematon, i.e. sen ei tarvitse tehdä liiketoimintaa tietoja myymällä Tämän vuoksi kurssilla Firefox eikä Chrome Perusominaisuuksista suomeksi: https://support.mozilla.org/fi/products/firefox Opettele ainakin Kirjanmerkkien (bookmark) tehokas käyttö ja järjestäminen hallittaviksi kokonaisuuksiksi Asetusten muuttaminen, evästeiden ja sivuhistorian käyttäminen Lisäosien asennus (ja poistaminen)
3. SELAIMET JA TIEDONHAKU FIREFOX Firefoxiin on saatavilla useita lisäosia Useimmat maksuttomia Ilmankin pärjää, mutta voivat olla hyödyllisiä tai muuten vaan kivoja viimeaikoina tosin pätkineet päivitysten yhteydessä Useiden lisäosien käyttö saattaa toisaalta hidastaa selainta merkittävästi Lisäosia lisätään, poistetaan ja hallitaan valitsemalla Menukuvakkeesta lisäosat (Add-ons) Suosittuja lisäosia esimerkiksi Adblock Plus; blokkaa mainokset Multi Links; avaa useamman linkin yhtäaikaisesti välilehtiin Google Translator; kääntää websivuja
3. SELAIMET JA TIEDONHAKU FIREFOX Kirjanmerkit Ovat tallennettuja linkkejä sivustoille Tarjoavat painikkeen nopeaan sivustolle siirtymiseen (Riippuen palvelun rakenteesta) eivät tallenna tilaa, eli sitä, että on kirjautuneena sisään palveluun Ts. jos kirjanmerkki osoittaa resurssiin, joka näytetään vain kirjautuneille käyttäjille, palvelin ohjaa kirjautumissivulle, jos istunto ei ole voimassa Kirjanmerkeille on oma näkymänsä, mutta suosituimmissa selaimissa voidaan näyttää kirjanmerkkipalkki Tähän ei tosin mahdu useinkaan kovin montaa painiketta kerralla ruudulle, joten on hyödyllistä ryhmitellä ne kansioihin
3. SELAIMET JA TIEDONHAKU FIREFOX Ainakin Chrome, Safari ja Firefox tarjoavat pilvipalvelun kirjanmerkkien ja tallennettujen tunnusten siirtämiseen koneelta toiselle Voit siis kirjautua selaimeen ja se lataa pilvestä tietosi kyseiselle koneelle Kuten muutenkin tallennettujen tunnusten kanssa on hyvä tiedostaa, että tämä avaa ainakin teoreettisen mahdollisuuden tietomurrolle Lisäksi, kun salasanan kirjoittaa koneella, kone tietää kentän sisällön. Tässä kohtaa se voidaan kaapata koneelle asennettujen haittaohjelmien toimesta. Hyvä tiedostaa esimerkiksi nettikahviloissa tms paikoissa, joissa joku on saattanut asentaa koneelle haittaohjelmia
3. SELAIMET JA TIEDONHAKU FIREFOX Esimerkkejä Kirjanmerkit, kirjanmerkkipalkki, kirjanmerkkikansiot Evästeiden ja sivuhistorian hallinta Laajennusten selailu Firefox Sync
3. SELAIMET JA TIEDONHAKU TIEDONHAKU Tampereen yliopiston kirjasto opastaa Kurssilla tiedonhankintataidot Verkkosivuilla Naamatusten Hakukoneet Indeksoivat Internetiä kaiken aikaa, ja etsivät algoritmeilla indeksitietokannoista tuloksia hakujen perusteella Esimerkkejä hakukoneista Google suurin ja paras; ohjeita https://support.google.com/websearch/?hl=fi Verkkohaku, kuvahaku, kartat, videot Google Scholar (tieteelliset tietokannat) Muita esimerkkejä Bing, Yahoo ja Altavista Tieteelliset tietokannat Kokoavat yhteen tieteellisiä julkaisuja Haku Google Scholarin tai kirjaston Andor-työkalun avulla Pääsy usein rajoitettu; kirjautumalla sisään Andor-työkaluun pääset useisiin käsiksi myös yliopiston ulkopuolelta
3. SELAIMET JA TIEDONHAKU TIEDONHAKU Esimerkkejä Edistyneemmät Google-haut Kuvahaku ja tulosten suodattaminen Google Scholar
3. SELAIMET JA TIEDONHAKU PILVIPALVELUT Pilvipalvelut ovat yleistermi verkon yli käytettäville palveluille; viimeaikoina yleistyneet myös henkilökohtaisina kuluttajapalveluina Tieto tai ohjelmat eivät sijaitse käyttäjän koneella, vaan palvelimilla, ja käyttö tapahtuu esim. selaimen kautta Yleisiä kuluttajien pilvipalveluja ovat esimerkiksi Etuja Haittoja Google Drive dokumenttien luontiin, muokkaukseen, jakamiseen OneDrive ja Dropbox tallennustilaa verkkolevyltä Elisan ja Soneran viihdepalvelut Käyttömukavuus Skaalautuvuus Kustannushyöty Vähintään jonkinasteinen riippuvuus verkkoyhteydestä Tietoturvakysymykset
KIITOS Seuraavaksi kurssilla lähiopetusta Erityistuki harjoitukseen YH3a keskiviikkona klo 16:15 Ryhmäharjoitus torstaina klo 16:15 Mikroluokkatuki harjoitusten tekemiseen perjantaina 10:15-13:45 ja maanantaina poikkeavasti klo 12:15 15:45 Seuraava luento tiistaina klo 8:15 aiheena kuvankäsittely Seuraava dedis!