Internet ja tietoverkot. 2. Sovelluskerros. Oulun yliopisto Tietojenkäsittelytieteiden laitos Periodi /2015

Transkriptio

1 811338A 2. Oulun yliopisto Tietojenkäsittelytieteiden laitos

2 Sovelluskerroksen toiminta ja protokollat Luento pohjautuu kirjan James F. Kurose, Keith W. Ross, Computer Networking, A Top-Down Approach, 6th (International) ed., Pearson Education Limited, 2013, ISBN 10: , ISBN 13: toiseen lukuun (sivut ). 2

3 Aluksi sovellukset ovat tietoverkkojen raisons d être; ilman sovelluksia tietoverkkoja ei tarvita verkkosovelluksia ollut olemassa noin 45 vuoden ajan luvuilla tekstipohjainen sähköposti, etäkirjautuminen, tiedostonsiirto, uutisryhmät, tekstipohjainen chat 1990 luvulla web: surffaus, haku ja sähköinen kaupankäynti, pikaviestintä, multimediasovellukset 2000 luvulla ääni- ja videosovellukset (VoIP, Skype), omien videoiden jakelu (YouTube), elokuvat (Netflix), usean käyttäjän verkkopelit (Second Life, World of Warcraft), viime vuosina sosiaalinen media (Facebook, Twitter, WhatsApp) 3

4 Mitä käsitellään? (1) 1. Verkkosovellusten käsitteet ja periaatteet 2. Web ja HTTP 3. Tiedostonsiirto: FTP 4. Sähköposti 5. Internetin nimipalvelu: DNS 6. P2P sovellukset 4

5 Mitä käsitellään? (2) 1. Verkkosovellusten käsitteet ja periaatteet sovellusarkkitehtuurit asiakas-ja palvelinprosessit sovellusten tarvitsemat verkkopalvelut Internetin kuljetuspalvelut sovelluskerroksen protokollat 2. Web ja HTTP toiminta keskeytyvät ja jatkuvat yhteydet viestiformaatti keksit välimuistitoiminto ehdollinen GET 5

6 Mitä käsitellään? (3) 3. Tiedostonsiirto: FTP kontrolli- ja datayhteys FTP:n käskyt ja vastaukset 4. Sähköposti SMTP-protokolla vertailu kanssa sähköpostiviestin formaatit sähköpostin noutoprotokollat 5. Internetin nimipalvelu: DNS protokollan palvelut protokollan toiminta DNS-tietueet ja -viestit 6

7 Mitä käsitellään? (2) 6. P2P sovellukset tiedostonjakelu (asiakas-palvelin / P2P) BitTorrent hajautetut hash-taulut Skype 7

8 1. Verkkosovellusten käsitteet ja periaatteet verkkosovellus muodostuu ohjelmista, joita ajetaan eri päätelaittella ja jotka kommunikoivat keskenään yli verkon miten idea fiksusta sovelluksesta muutetaan toimivaksi sovellukseksi? sovellusten kommunikointi tapahtuu päätelaitteiden välillä sovelluskerroksessa; verkko ja sen protokollat tarjoavat kommunikointipalvelun esim. web: selainohjelma ja web palvelinohjelma kommunikoivat, P2P tiedostonjakelussa jokaisella koneella (identtinen) ohjelma sovellusohjelmat toimivat päätelaitteilla, eivät verkon keskellä; ytimen protokollapino ei aloita eikä hyväksy päätelaitteiden välisiä yhteyksiä 8

9 Kommunikointi sovelluskerroksessa 9

10 Sovellusarkkitehtuurit verkkosovelluksella aina sovellusarkkitehtuuri asiakas-palvelin arkkitehtuuri P2P arkkitehtuuri edellisten hybridi asiakas-palvelin arkkitehtuuri jatkuvasti toiminnassa oleva päätelaite, palvelin, vastaa lukuisten päätelaitteiden, asiakkaiden, pyyntöihin palvelimella toiminnassa palvelinohjelma, asiakkaalla asiakasohjelma, ohjelmat tavallisesti erilaisia asiakkaat eivät suoraan kommunikoi keskenään palvelimella kiinteä IP-osoite 10

11 Asiakas palvelin arkkitehtuuri joukko palvelimia voi muodostaa tehokkaan virtuaalipalvelimen esim. web, tiedostonsiirto, etäkirjautuminen, sähköposti asiakasohjelman ominaisuuksia yleinen sovellusohjelma, josta tulee asiakas, kun etäkommunikointia tarvitaan; suorittaa myös muuta toimintaa paikallisesti käyttäjän aktivoima, toimii yhden istunnon ajan ajetaan käyttäjän toimesta paikallisesti voi pyytää tarpeen mukaan useaa palvelua; ottaa yhteyttä yhteen (etä)palvelimeen kerrallaan ei vaadi toimiakseen spesiaalilaitteistoa tai sofistikoitua käyttöjärjestelmää 11

12 Asiakas palvelin arkkitehtuuri (2) palvelinohjelman ominaisuuksia on yhtä tarkoitusta varten rakennettu, erikoisoikeuksin varustettu ohjelma; tarjoaa yhden palvelun, mutta kykeee käsittelemään useaa asiakasta kerrallaan aktivoituu automaattisesti järjestelmän käynnistyessä; jatkaa toimintaansa usean istunnon ajan ajetaan (usein) yhteiskäytössä olevalla tietokoneella odottaa passiivisesti (etä)yhteydenottoa asiakasohjelmilta hyväksyy yhteydenoton (mielvaltaiselta) asiakkaalta, tarjoaa yhden palvelun vaatii usein vahvan laitteiston ja erikoiskäyttöjärjestelmän 12

13 Asiakas palvelin arkkitehtuuri (3) asiakas-palvelin sovellukset usein infrastruktuuriintensiivisiä hakukoneet, esim. Google Internet kaupankäynti, esim. Amazon ja e-bay web-pohjainen sähköposti, esim Yahoo Mail sosiaaliset verkostot, esim. MySpace, Facebook ja Twitter videojakelu, esim. YouTube 13

14 P2P arkkitehtuuri ei jatkuvasti toiminnassa olevaa palvelinta päätelaitteilla toimivat ohjelmat tavallisesti samanlaisia mitkä tahansa arkkitehtuuriin kuuluvat isäntäkoneet vertaislaitteet (peer) kommunikoivat keskenään vertaislaitteet eivät aina päällä, ei (välttämättä) kiinteitä IP-osoitteita skaalautuva: jopa miljoonia vertaislaiteita; kukin vertaislaite tuo oman kontirbuutionsa resursseihin voimakkaasti hajautettu: hallinta joskus vaikeaa esim. sovelluksista: sisällönjakelu (BitTorrent) ja lataus (Xunlei), Internet puhelut (Skype) ja IPTV (PPstream) 14

15 P2P sovellusten tulevaisuuden haasteita sovelluksen oltava ISP ystävällinen verkossa epäsymmetrinen kaistanleveyden käyttö (eri ylävirta- ja alavirtanopeudet) verkkoon vienti saattaa rasittaa (liikaa) ISP:n resursseja sovelluksen oltava turvallinen P2P sovellukset hajautettuja ja luonteeltaan avoimia sovelluksen oltava kannustava käyttäjää suostuttava antamaan vapaaehtoisesti kaistanleveyttään sekä tallennus ja laskentaresurssejaan sovelluksen käyttöön 15

16 hybridiarkkitehtuuri Hybridiarkkitehtuuri asiakas-palvelin ja P2P arkkitehtuurin yhdistelmä esim. Napster (MP3-sisällönjakelusovellus), keskusteluryhmät esim. hakemistorakenne keskitetty palvelimelle (asiakaspalvelin arkkitehtuuri) ja sisällönjakelu hajautettu vertaisosapuolille (P2P arkkitehtuuri) 16

17 Sovellusarkkitehtuureja 17

18 Prosessien kommunikointi sovellusten perustana tietokoneohjelmat prosessi: ohjelma, jota isäntäkoneella ajetaan prosessit kommunikoivat keskenään samassa isäntäkoneessa prosessit kommunikoivat käyttöjärjestelmän määrittämin säännöin eri isäntäkoneissa prosessit kommunikoivat käyttäen jotakin sovelluskerroksen protokollaa eri isäntäkoneissa olevat sovellukset kommunikoivat yli verkon viestejä vaihtamalla lähettävä prosessi luo ja lähettää viestejä, vastaanottava prosessi ottaa niitä vastaan ja mahdollisesti vastaa niihin 18

19 Prosessien kommunikointi (2) sovellusta käytetään usein käyttäjäagentin (user agent) avulla käyttäjäagentti on rajapintaohjelma, jossa sovelluksen käyttäjä on yläpuolella ja verkko alapuolella käyttäjäagentti implementoi käyttäjärajapintaa ja sovellustason protokollaa webissä selain sähköpostissa postinlukija (reaaliaikaisissa) audio-/videosovelluksissa media player 19

20 Asiakas- ja palvelinprosessit verkkosovelluksessa kaksi prosessia lähettää viestejä toisilleen yli verkon kommunikoinnin aloittaja on asiakas(prosessi); prosessi, joka odottaa yhteydenottoa ja vastaa siihen on palvelin(prosessi) webissä selain on asiakasprosessi ja webpalvelimella pyörivä ohjelma palvelinprosessi P2P sisällönjakelusovelluksessa tiedostoa pyytävä prosessi on asiakas ja pyyntöön vastaava palvelin 20

21 Liitokset prosessien viestit kulkevat liitoksen (socket) kautta kuljetuskerrokseen ja verkkoon liitos = socket = API (Application Program Interface) on se ohjelmistorajapinta, jonka välityksellä verkkosovellus saa kuljetuspalvelunsa, sijaitsee sovellus- ja kuljetuskeroksen välissä sovelluksen kehittäjä kontrolloi täysin soketin sovelluskerroksen puoleista osaa ei paljoakaan kontrolloi kuljetuskerrosta; kykenee kuitenkin (1) valitsemaan kuljetuskerroksen protokollan ja/tai (2) määrittämään muutamia kuljetuskerroksen parametrejä (esim. puskurin ja segmentin maksimikoko) 21

22 Sovellusprosessit, liitokset ja kuljetusprotokolla 22

23 Sovelluksen tarvitsemat palvelut Internetissä käytössä kaksi kuljetuskerroksen prorokollaa; niiden tarjoamien palvelujen perusteella valitaan toinen. Kuljetuskerroksen protokollan tarjoamat palvelut liittyvät luotettavaan tiedonsiirtoon, suoritustehoon (engl. throughput), ajoitukseen ja turvallisuuteen. Luotettava tiedonsiirto toiset sovellukset (esim. sähköposti, tiedostonsiirto, telnet, pikaviestintä) vaativat sataprosenttisesti luotettavan tiedonsiirron; tarvitaan takut datan toimittamisesta perille jotkut sovellukset (esim. ääni ja kuva, multimediasovellukset) sietävät jonkin verran datahävikkiä Suoritusteho (eli siirtomäärä) suoritusteho = se määrä bittejä (sekunnissa), jonka lähettävä prosessi kykenee toimittamaan vastaanottavalle prosessille 23

24 Sovelluksen tarvitsemat palvelut (2) suoritusteho heilahtelee; kaistanleveydellä voi olla useita jakajia muutamat sovellukset (esim. multimedia) vaativat minimikaistanleveyden toimiakseen moitteettomasti; ne ovat kaistanleveyden suhteen herkkiä toiset sovellukset pystyvät käyttämään hyväksi minkä tahansa niille annetun kaistanleveyden; ne ovat kaistanleveyden suhteen joustavia Ajoituspalvelut jotkut sovellukset (esim. Internetin puhelinpalvelut, pelit) toimiakseen moitteettomasti vaativat, että viive on vähäinen Turvallisuus kuljetuskerroksen protokolla voi tarjota sovellukselle turvallisuuspalveluja: luottamuksellisuus, eheys ja autentikointi 24

25 Muutamien sovellusten vaatimat kuljetuspalvelut 25

26 Internetin kuljetusprotokollien palvelut TCP:n (Transmission Control Protocol) peruspalvelut yhteyspohjainen: yhteyden perustaminen (kädenpuristus) vaaditaan asiakas- ja ja palvelinprosessin välille; tämän jälkeen kaksisuuntainen TCP-yhteys on perustettu; kun viestien vaihto on lopetettu, yhteys puretaan luotettava datansiirto lähettävän ja vastaanottavan prosessin välillä; TCP luovuttaa lähetetyn datan virheettömänä ja oikeassa järjestyksessä TCP:n muut palvelut monikanavointi: prosessien datan vastaanotto ja jakelu vuonohjaus: lähettäjä ei ylikuormita vastaanotttajaa ruuhkakontrolli: hillitään lähettäjää silloin, kun verkko on ylikuormitettu TCP ei takaa ajoituspalveluita eikä minimikaistanleveyttä 26

27 Internetin kuljetusprotokollien palvelut (2) UDP on kevytrakenteinen, minimipalvelut tarjoava kuljetusprotokolla UDP:n palvelut (epäluotettava) datansiirto lähettävän ja vastaanottavan prosessin välillä, tarkistussumman käyttö (ei ilmoitusta virheestä) ei yhteyden pystytystä (yhteydetön protokolla), ei liioin taata: luotettavuutta, vuonohjausta, ruuhkakontrollia, ajoituspalveluja eikä kaistanleveyttä monikanavointi: prosessien datan vastaanotto ja jakelu Kysymys: mihin UDP:tä tarvitaan Vastaus: reaaliaikaisiin, keveihin sovelluksiin, jotka eivät vaadi äärimmäisen luotettavaa tiedonsiirtoa 27

28 Muutamien sovellusten kuljetusprotokollat 28

29 Prosessien osoitteistaminen prosessilla, jotta se voisi ottaa vastaan viestejä, täytyy olla tunnistin; jokaisella isäntäkoneella on yksikäsitteinen 32-bittinen IP-osoite kysymys: riittääkö isäntäkoneen IP-osoite identifioimaan sillä toimivan prosessin? vastaus: taatusti ei riitä: samalla koneella voi olla käynnissä yhtä aikaa useita prosesseja prosessin liitos sisältää sekä IP-osoitteen että prosessin porttinumerot (esim. porttinumeroista: HTTP-palvelin 80, sähköpostipalvelin 25); TCP-protokollaa käyttävän prosessin liitos tunnistetaan neliköstä (lähteen IP-osoite, lähdeportti, kohdeportti, kohteen IP-osoite) 29

30 Sovelluskerroksen protokollat Verkkosovellukset ovat kommunikoivia hajautettuja prosesseja, jotka toimivat eri isäntäkoneilla vaihtavat viestejä implementoidakseen sovelluksen Sovelluskerroksen protokollat ovat pieni (mutta merkittävä) osa sovellusta käyttävät alempien kerrosten protokollien (TCP, UDP) tarjoamia kommunikointipalveluja application transport network data link physical application transport network data link physical application transport network data link physical 30

31 Sovelluskerroksen protokolla sanelee sen, miten prosessit lähettävät viestejä toisilleen; se määrää viestityypit (pyyntö- ja vastausviestit) viestityyppien syntaksin: mitä kenttiä on ja missä järjestyksessä kenttien semantiikan: mitä kenttiin sisältyvä tieto tarkoittaa säännöt milloin ja miten prosessit lähettävät viestejä ja vastaavat niihin Julkiset protokollat määritellään jossakin RFC:ssä ottavat huomioon yhteensopivuuden kokonaisvaltaisesti esim, HTTP, SMTP, FTP Patentoidut (yksityiset) protokollat useat P2P sovellukset (esim. KaZaA, BitTorrent) käyttävät yksityisiä protokollia 31

32 2 Web ja HTTP 1990-luvulle Internetiä käyttivät lähinnä tutkijat, opettajat ja opiskelijat Tim Berners-Lee kehitti World Wide Webin (WWW, web) vuonna 1994 Internet syrjäytti webin ansiosta muut (julkiset) tietoverkot kommunikoinnin kehityskaari: lennätin puhelin radio / televisio tietokone Internet web web toimii pyynnöstä; käyttäjä saa mitä haluaa milloin haluaa web on helppo ja halpa tapa jakaa tietoa: kenestä tahansa voi tulla julkaisija 32

33 HTTP - protokolla Hypertext Transfer Protocol (HTTP) on webin sovelluskerroksen protokolla ja muodostaa webin ytimen määritellään RFC-dokumenteissa 1945 ja 2616 on implementoitu asiakas- (eli selainohjelmaan) ja palvelinohjelmaan asiakas- ja palvelinohjelmat kommunikoivat vaihtamalla HTML viestejä web sivu koostuu tavallisesti HTML perustiedostosta ja objekteista objekti on tiedosto, esim. HTML tiedosto, JPEG tai GIF kuva, Java sovelma, ääni- tai videotallenne 33

34 HTTP protokolla (2) HTML perustiedostolla ja objekteilla on URL osoite (URL Uniform Resource Locator) URL osoite koostuu kahdesta osasta serverin nimi objektin polun nimi esim. selain (esim. Netscape Navigator, Microsoft Internet Explorer, Mozilla, Google Chrome) on webin käyttäjäagentti näyttää web sivut suorittaa navigoinnin webissä implementoi HTTP protokollan asiakaspuolen web servereitä: Apache, Microsoft Internet Information Server 34

35 HTTP - protokolla (3) versiot HTTP/1.0 (RFC 1945) ja HTTP/1.1 (RFC 2616) versiot keskenään yhteensopivia, kun puhutaan tarkoitetaan jälkimmäistä versiota määrittää HTTP-viestien muodon ja niiden välitystavan, sen miten asiakkaat pyytävät websivustoja ja kuinka palvelimet ne asiakkaille toimittavat toimii TCP:n päällä; asiakkaan ja palvelimen välille muodostetaan TCP-yhteys tilaton protokolla (ei säilytä asiakkaan eikä yhteyden tilatietoja) 35

36 pyyntö-vastaus -toiminta 36

37 HTTP - yhteydet keskeytyvä (nonpersistent) yksi objekti yhdessä TCP-yhteydessä HTTP/1.0 käyttää oletusyhteytenä selain voi käyttää rinnakkaisia TCP-yhteyksiä objektien noutamiseen jatkuva (persistent) useita objekteja yhdessä TCP-yhteydessä HTTP/1.1 käyttää oletusyhteytenä putkikuljetus (pipelining, oletusmoodi) tai ilman putkikuljetusta serveri (tavallisesti) sulkee yhteyden tietyn ajan jälkeen 37

38 HTML-tiedoston siirtämiseen kuluva aika 38

39 HTTP pyyntö kaksi viestityyppiä: pyyntö ja vastaus HTTP-pyyntöviesti: ASCII -formaatissa pyyntörivi (GET-, POST-, HEAD-käskyt) otsikkorivit GET /somedir/page.html HTTP/1.1 Host: Connection: close User-agent: Mozilla/4.0 Accept-language:fr rivinvaihto, ylimääräinen rivi: viesti loppuu 39

40 Pyyntöviestin formaatti 40

41 Pyyntöviestin käskyt HTTP/1.0 GET objektin haku POST objektin haku sanalla HEAD pyydetty objekti jätetään pois vastausviestistä HTTP/1.1 GET POST HEAD PUT objektin vienti serverille DELETE objektin tuhoaminen serveriltä 41

42 HTTP - vastaus status-rivi (protokollaversio, status-koodi, status-lause) otsikkorivit runko-osa (pyydetty HTML-tiedosto) HTTP/ OK Connection close Date: Thu, 07 Jul :00:15 GMT Server: Apache/1.3.0 (Unix) Last-Modified: Sun, 6 May :23:24 GMT Content-Length: 6821 Content-Type: text/html data data data data data... 42

43 Vastausviestin formaatti 43

44 HTTP vastauksen statuskoodit Muutamia esimerkkikoodeja 200 OK pyyntö onnistunut, objekti tässä viestissä 301 Moved Permanently pyydetty objekti siirretty, uusi osoite tässä viestissä (Location: -otsikko ilmoittaa uuden sijainnin) 400 Bad Request palvelin ei ymmärrä viestiä 404 Not Found pyydetty dokumentti ei ole tällä serverillä 505 HTTP Version Not Supported serveri ei tue pyynnön protokollaversiota 44

45 Evästeet: tilatietojen ylläpito (RFC 2965) Monet suuret web-sivustot käyttävät evästeitä (keksi, cookie); evästeteknologiassa neljä osaa 1) evästeotsikko HTTPvastauksessa 2) evästeotsikko HTTPpyynnössä 3) evästetiedosto käyttäjän koneelle, selain ylläpitää 4) evästetietokanta websivustolla, evästeen asettaja ylläpitää Esim. Helena käyttää Internetiä aina samalta tietokoneelta ja käy eräällä e-kaupan sivustolla ensimmäistä kertaa. Kun alkuperäinen HTTPpyyntö tulee sivustolle, se luo yksikäsitteisen tunnisteen ja sitä vastaavan alkion tietokantaansa. 45

46 Tilatietojen ylläpito evästeiden avulla 46

47 Evästeet Evästeiden avulla saadaan autorisointi ostokset kirjattua suosituksia yhteyden tilatietoja (web-sähköposti) Evästeet ja yksityisyys: keksien avulla sivustot saavat tietoja käyttäjien liikkeistä nimi ja sähköpostiosoite voi joutua sivustoille hakukoneet käyttävät uudelleenohjausta ja keksejä hankkiakseen tietoja mainostoimistot käyttävät keksitietoja 47

48 käyttö web sivujen objektien siirto HTML, GIF, JPEG tiedostot, Java sovelmat sähköisessä kaupankäynnissä XML tiedostot ilman selainta ja käyttäjää VoiceXML ja WML tiedostot WML = Wap Markup Language P2P sisällönjakelu multimediasovellusten sisällönjakelu virtaava ja tallennettu ääni ja kuva 48

49 Web välimuistipalvelin (proxy palvelin) vastaa HTTP pyyntöihin alkuperäisen palvelimen puolesta kopioi ja tallentaa aikaisemmin pyydettyjä objekteja muistitilaansa selain voidaan konfiguroida siten, että käyttäjän pyynnöt ohjataan aluksi web-välimuistipalvelimeen toimii sekä palvelimena että asiakkaana palvelimena käyttäjälle, asiakkaana alkuperäiselle webpalvelimelle tavallisesti ISP:n omistama ja asentama pienentää vastausaikaa, vähentää yhteydenottoja organisaatiosta Internetiin ja yleensä tiedonsiirtoliikennettä Internetissä 49

50 Asiakkaat pyytävät objekteja web välimuistin kautta 50

51 Intranetin ja Internetin välinen pullonkaula 51

52 Pullonkaulaesimerkki liikennetiheys = liikenteen määrä / välitysaste tässä liikenteen määrä on bittejä sekunnissa välitysaste on bittejä sekunnissa oletetaan, että paikallisverkon välitysaste 10 Mbps pyyntöjä tulee 15 pyyntöä / sek objektikoko (kyselyn kohde) 100 kb / objekti olet., että pyyntöviestit pieniä, eivätkä aiheuta liikennettä paikallisverkossa tai linkissä tällöin pyyntöihin vastaamisen aiheuttma liikenteen määrä paikallisverkossa on kbs = 1.5 Mbps pyyntöihin vastaamisen aiheuttama liikennetiheys paikallisverkossa on 1.5 Mbps / 10 Mbps =

53 Pullonkaulaesimerkki (2) liikennetiheys 0.15 aiheuttaa paikallisverkossa karkeasti 10 ms:n viiveen 100kb:n objektia kohden pyyntöihin vastaamisen aiheuttama liikennetiheys linkissä (jonka välitysaste on 1.5 Mbps) on 1.5 Mbps / 1.5 Mbps = 1, joka on liikaa; liikennetiheyden lähestyessä ykköstä, viiveen määrä kasvaa rajatta (eksponentiaalisesti) voidaan joko lisätä linkin välitysastetta (esim. määrään 10 Mbps) sijoittaa paikallisverkkoon proxy-palvelin valitaan jälkimmäinen vaihtoehto 53

54 Pullonkaulaesimerkki (3) välimuistin osumatarkkuus (tod. näk., että objekti on välimuistissa) on tavallisesti käytännössä (20% - 70% kysytyistä objekteista on välimuistissa) käytännön kokemus: jos liikennetiheys < 0.8 on 100 kb objektin aiheuttama viive ~ 10 ms oletetaan, että välimuistin osumatarkkuus on 0.4 ja että yhden 100 kb:n objektin haun aiheuttama viive Internetissä on ~ 2 s 1.5 Mbps linkissä viive on ~ 0.01 s 10 Mbps paikallisverkossa ~ 0.01 s keskimääräinen viive objektia kohden on ( ) = = 1.21 sekuntia 54

55 Ehdollinen GET proxy palvelimen objekti voi olla vanha ratkaisu ongelmaan: ehdollinen GET HTTP viesti on ehdollinen GET viesti mikäli se on pyyntöviesti, jonka metodikentässä on GET käsky sisältää If-Modified-Since: -otsikkorivin Esim. Proxy-palvelin web-palvelimelle: GET /karate.htm HTTP/1.1 Host: Web palvelin proxy-palvelimelle: HTTP/ OK Date: Mon, 6 Dec :40:31 Server: 55

56 Last-Modified: Content-Type: (data) Ehdollinen GET (2) Proxy-palvelin web-palvelimelle viikkoa myöhemmin: GET /karate.htm HTTP/1.1 Host: If-Modified-Since: Date: Mon, 6 Dec :40:31 Web palvelin proxy-palvelimelle: HTTP/ Not Modified Date: Server: 56

57 Totta vai tarua? Kahden päätelaitteen prosessit kommunikoivat verkon yli viestejä vaihtamalla. Asiakas palvelin arkkitehtuuri takaa tietoturvan. Soketti (eli liitin) on laiterajapinta, jonka kautta prosessi lähettää viestejä verkkoon ja vastaanottaa niitä sieltä. Reaaliaikaiset audio- ja/tai videosovellukset eivät kestä datahävikkiä. Uuden verkkosovelluksen kehittäminen Internettiin vaatii valitsemaan kuljetusprotokollaksi joko UDP:n tai TCP:n 57

58 Arkkitehtuureista Mitä eroa on tietoverkon arkkitehtuurilla ja sovellusarkkitehtuurilla? Vastaus. Tietoverkon arkkitehtuuri viittaa tietoverkon kerrosrakenteeseen (vrt. OSI/ISO referenssimalli ja Internet referenssimalli). Sovellusarkkitehtuuri on sovelluksen kehittäjän päätettävissä ja liittyy sovelluksen yleiseen rakenteeseen (vrt. asiakas-palvelin arkkitehtuuri ja P2P arkkitehtuuri) 58

59 3. Tiedostonsiirto: FTP siirtää tiedostoja yli verkon käyttää asiakas / palvelin -mallia asiakas: siirron aloittava osapuoli palvelin: kohde jonne tai jolta siirretään ftp: RFC 959 vuodelta1985, kehitys alkoi luvun lopulta ftp-asiakas ottaa yhteyden palvelimen porttiin 21 ftp-palvelin lähettää dataa asiakkaan porttiin 20 (tavallisesti) 59

60 FTP:n toiminta käyttäjäagentti 60

61 FTP: erillinen data- ja kontrolliyhteys FTP-asiakkaan kontrolliyhteys FTP-palvelimen porttiin 21; kuljetusprotokolla TCP asiakkaan valtuutuksentarkastus (autorisointi) käyttäjätunnus, salasana asiakas selaa etähakemistoa lähettäen käskyjä yli kontrolliyhteyden tiedostonsiirtoa varten FTP-palvelin avaa datayhteyden asiakkaan porttiin 20; kuljetusprotokolla TCP jokaisen tiedostonsiirron jälkeen serveri sulkee datayhteyden ja avaa tarvittaessa uuden kontrolliyhteys: out of band ( ulkona kaistalta ) FTP-palvelin ylläpitää tilatietoja kontrolliyhteydestä 61

62 Kontrolli- ja datayhteys FTP:ssä 62

63 FTP- käskyjä ja -vastauksia Esimerkkikäskyjä: lähetetään ASCII-tekstinä kontrolliyhteydessä USER username PASS password LIST palauttaa tiedostoluettelon RETR filename palauttaa tiedoston STOR filename tallentaa tiedoston palvelimelle Esimerkkejä statuskoodeista: status-koodi ja lause (kuten Username OK, password required 125 Data connection already open; transfer starting 425 Can t open data connection 452 Error writing file 63

64 4. Sähköposti Internetin alkuhistorian suosituin sovellus ominaisuudet kehittyvät jatkuvasti asynkroninen kommunikointimenetelmä: viestejä lähetetään ja luetaan silloin kuin itselle sopii nopea, huokea ja helppokäyttöinen (verrattuna tavanomaiseen postiin) postituslistat mahdollistavat samanaikaisen lähetyksen useille vastaanottajille liitetiedostot monipuolistavat käyttöä (hyperlinkit, HTML-formatoitu teksti, kuvat) alunperin tekstikeskeinen, nykyään myös asynkroninen ääni- ja videoviestintä 64

65 Sähköpostiosoite jokaisella sähköpostiaatikolla on yksikäsitteinen sähköpostiosoite, joka koostuu kahdesta osasta; ensimmäinen osa identifioi sähköpostilaatikon ja toinen tietokoneen, jolla sähköpostilaatikko sijaitsee. Lähettäjän sähköpostiohjelma käyttää toista osaa määrittääkseen päämäärän; vastaanottajan sähköpostiohjelma käyttää ensimmäistä osaa määrittääkseen postilaatikon, johon viesti tulee OY geneerinen: 65

66 Sähköpostin kolme pääkomponenttia käyttäjäagentit (user agents ) sähköpostipalvelimet sähköpostiprotokolla SMTP (Simple Mail Transfer Protocol) Käyttäjäagentti (eli postinlukija) kokoaa, editoi, lukee, vastaa ja tallentaa sähköpostiviestejä esim. Eudora, Outlook, Netscape Messenger (GUI), mail, elm, pine (tekstipohjaisia) toimittaa lähettäjän laatiman viestin tämän sähköpostipalvelimelle toimittaa viestin vastaanottajan palvelimelta tämän luettavaksi 66

67 Internetin sähköpostijärjestelmä 67

68 Sähköpostipalvelimet sisältävät käyttäjien postilaatikot autentikoivat käyttäjän postilaatikko hoitaa ja ylläpitää käyttäjän tulevan postin lähtevä posti asetetaan jonoon SMTP-protokolla hoitaa viestien välityksen sähköpostipalvelimien kesken asiakas: lähettävä palvelin palvelin: vastaanottava sähköpostipalvelin jokainen sähköpostipalvelin sisältää sekä asiakas- että palvelinohjelman 68

69 Simple Mail Transfer Protocol SMTP: RFC 821 (1982) ja RFC 2821 (2001) käyttää TCP:tä luotettavaan viestivälitykseen asiakkaalta palvelimen porttiin 25 suora välitys lähettävältä vastaanottavalle palvelimelle kolme välitysvaihetta kädenpuristus (tervehdys) viestin välitys yhteyden sulkeminen komento/vastaus -vuorovaikutus komennot: ASCII-teksti vastaus: status-koodi ja lause viestit 7-bittisellä ASCII-koodilla 69

70 Kuvitelma: Alice lähettää viestin Bobille 1. Alice käyttää Eudoraa ja lähettää viestin Bobin sähköpostiosoitteeseen bob.someschool.edu. 2. Eudora lähettää Alicen viestin palvelimelle; viesti asetettaan jonoon. 3. SMTP:n asiakassovellus (Alicen sähköpostipalvelimella) avaa TCP-yhteyden Bobin sähköpostipalvelimeen. 4. SMTP:n asiakasovellus lähettää Alicen viestin yli TCPyhteyden. 5. SMTP:n palvelinsovellus (Bobin sähköpostipalvelilla) ottaa viestin vastaan; viesti sijoitetaan Bobin postilaatikkoon. 6. Bob käyttää pine-ohjelmaa lukeakseen Alicen viestin. 70

71 Alice lähettää sähköpostiviestin Bobille 71

72 Esimerkki SMTP-vuoropuhelusta S: 220 hamburger.edu C: HELO crepes.fr S: 250 Hello crepes.fr, pleased to meet you C: MAIL FROM: S: 250 Sender ok C: RCPT TO: S: 250 Recipient ok C: DATA S: 354 Enter mail, end with "." on a line by itself C: Do you like ketchup? C: How about pickles? C:. S: 250 Message accepted for delivery C: QUIT S: 221 hamburger.edu closing connection 72

73 Sähköpostiviestin formaatti Sähköpostiviesti on ASCII tekstiä koostuu kahdesta osasta, välissä tyhjä rivi otsikko runko Runko voi sisältää mielivaltaista tekstiä, otsikko on standardimuotoa. Jokainen otsikkorivi alkaa avainsanalla, jota seuraa kaksoispiste ja selite. Avainsana kertoo sähköpostiohjelmalle, miten rivi tulee tulkita. 73

74 Sähköpostiviestin formaatti (2) Sähköposti käyttää formaattia ja teknologiaa, joka on kopioitu perinteisestä toimistomuistiosta. Otsikko sisätää informaatiota viestistä, ja runko-osa sisältää viestin tekstin. Otsikon rivit spesifioivat lähettäjän, vastaanottajan, päivämäärän, viestin aiheen ja listan henkilöistä, joiden viesti kuuluu saada. 74

75 Sähköpostiviestin formaatti (3) SMTP: protokolla sähköpostiviestien vaihtamiseen RFC 822: tekstin formaatti: otsikon rivit, mm. To: From: Subject: runko viesti ASCII-merkeillä otsikko runko tyhjä rivi 75

76 Avainsanoja From: lähettäjän osoite To: vastaanottajan osoite CC: hiilikopioiden (carbon copy) osoitteet Date: lähettämisen päivämäärä Subject: viestin aihe Reply-To: osoite, johon vastaus tulisi lähettää X Charset: käytetty merkistö (tavallisesti ASCII) X Mailer: lähetykseen käytetty ohjelma X Sender: lähettäjän osoitteen duplikaatti X Face: lähettäjän kasvojen koodattu kuva 76

77 MIME: multimedialaajennukset Multipurpose Internet Mail Extensions RFC 2045, RFC 2056 viestin otsikon lisärivit määrittävät MIMEsisältötyypit MIME-versio datan koodausmetodi multimedia-data tyyppi /alityyppi, parametrien asetus koodattu data From: To: Subject: Picture of yummy crepe. MIME-Version: 1.0 Content-Transfer-Encoding: base64 Content-Type: image/jpeg base64 encoded data base64 encoded data 77

78 MIME-tyyppejä Seitsemän perustyyppiä, seur. muutama Teksti: esim. alityypeistä: plain, html Kuva: esim. alityypeistä: jpeg, gif Audio: esim. alityypeistä: basic, 32kadpcm Video: esim. alityypeistä: mpeg, quicktime Sovellus: muuta dataa, jota täytyy prosessoida ennekuin sitä voi katsoa; esim. alityypeistä: msword, octetstream Multipart: viestissä useita erityyppisiä objekteja 78

79 Sähköpostin noutoprotokollat SMTP: jakelu / säilytys vastaanottajan serverillä sähköpostin noutoprotokolla: haku serveriltä isäntäkoneelle POP3: Post Office Protocol [RFC 1939] autorisointi (käyttäjäagentti palvelin) postin lataaminen lataa-ja-tuhoa moodi, lataa-ja-säilytä moodi sähköpostikansiot vain omalla koneella IMAP: Internet Mail Access Protocol [RFC 1730, RFC 2060] enemmän piirteitä, monimutkaisempi palvelimelle tallennettujen viestien käsittely ja kansiointi HTTP: Hotmail, Yahoo! Mail, jne (TOL:lla v , omaa palvelinta ei enää ole) 79

80 Sähköpostiprotokollat 80

81 Prioriteetti sähköpostissa Mitä prioriteettimerkintä sähköpostissa saa aikaan: ilmoittaa vastaanottajalle sen, kuinka tärkeänä lähettäjä pitää viestiä Mitä prioriteettimerkintä sähköpostissa ei saa aikaan: prioriteettimerkintä ei nopeuta (tai hidasta) viestin välittämistä ei aiheuta sitä, että korkean prioriteetin viestit sijoitettaisiin sellaisiin täysiin postilaatikoihin, joihin muuten ei enää mahdu viestejä ei tuhoa, siirrä tai kirjoita yli vanhoja tai matalan prioriteetin viestejä, jotta korkean prioriteetin omaava viesti voitaisiin välittää tai sijoittaa postilaatikkoon 81

82 ja SMTP:n vertailu HTTP siirtää objekteja webpalvelimelta asiakkaalle HTTP (versio 1.1) käyttää jatkuvaa yhteyttä HTTP on pull-tyypin protokolla ( vetoprotokolla ) ei tarkasti rajattuja formaattivaatimuksia HTTP kapseloi jokaisen objektin omaksi HTTPviestikseen SMTP siirtää viestejä sähköpostipalvelimelta toiselle SMTP käyttää jatkuvaa yhteyttä SMTP on push-tyypin protokolla ( työntöprotokolla ) SMTP:ssä kaikki viestit 7 bitin ASCII-formaatissa SMTP sijoittaa kaikki viestin liitetiedostot yhteen viestiin 82

83 5. Internetin nimipalvelu: DNS Ihmisillä monia tunnistimia sosiaaliturvatunnus, nimi, passin numero Internet-isäntäkoneet, reitittimet IP-osoite, nimi esim. tols17.oulu.fi Kysymys: miten IP-osoite ja nimi kuvataan toisilleen? Vastaus: DNS-nimijärjestelmällä (Domain Name System), jossa on hajautettu tietokanta, joka on toteutettu useiden nimipalvelimien hierarkisena rakenteeena sovelluskerroksen protokolla isäntäkoneet, reitittimet ja nimipalvelimet kommunikoivat selvittääkseen IP-osoitteen ja nimen välisen yhteyden Internetin ydintoiminto, käyttää UDP:tä, portti nro 53 kompleksinen verkon reunalla 83

84 DNS Internetin nimipalvelu Muut sovelluskerroksen protokollat käyttävät DNS:ää kääntämään käyttäjille tarkoitetut isäntäkoneiden nimet IP-osoitteiksi; isäntäkoneilla DNS asiakasohjelma. DNS:n toimintoja isäntäkoneiden tunnistus; yhdellä kanonisella isäntäkoneen nimellä voi olla useita alias-nimiä sähköpostipalvelimien tunnistus; sähköpostiosoitteen tulee olla helppo muistaa, usealla palvelimella voi olla saman nimi kuorman jakaminen; DNS suorittaa kuorman jakamista identtisten palvelimien kesken DNS on spesifioitu dokumenteissa RFC 1043 ja

85 DNS protokollan toiminta DNS nimipalvelimet usein Unix palvelimia, joilla usein toimii BIND ohjelmisto (Berkley Internet Name Domain) DNS järjestelmä on hajautettu. Miksei keskitettyä DNSpalvelua? jos yksi paikka pettää, kaikki romahtaa liikenne olisi ruuhkaista (satoja miljoonia päätelaitteita) etäisyys tietokantaan liian pitkä monesta paikasta ylläpito vaikeaa; yhdelläkään serverillä ei voi olla kaikkien nimien IP-numeroita Keskitetty järjestelmä ei ole skaalautuva! 85

86 DNS nimipalvelinjärjestelmä Hajautettu, hierarkinen tietokanta. Juurinimipalvelimet (Root DNS servers) Internetissä 13 juurinimipalvelinta (nimiöity A, B,..., M) suurin osa sijaitsee Pohjois-Amerikassa kukin juurinimipalvelin joukko kloonattuja palvelimia (syy: toimivuus ja turvallisuus) TLD nimipalvelimet (Top-Level Domain servers) vastuussa ylätason nimipalvelurakenteesta, kuten com, org, net, edu, uk, fr, fi,... Network Solutions vastaa com-domainista, Educause puolestaan edu-domainista 86

87 DNS nimipalvelinjärjestelmä (2) Keskusnimipalvelimet (Authoritative DNS servers) organisaation keskusnimipalvelin ylläpitää tiedostoja, joiden avulla organisaation Internet-palvelimien nimet kuvataan IPosoitteiksi jokainen organisaatio, jolla on omia Internet-palvelimia, täytyy olla keskusnimipalvelin organisaatio voi joko itse ylläpitää keskusnimipalvelintaan tai maksaa ylläpidosta jollekin palvelunhankkijalle On vielä neljäs tyyppi nimipalvelimia, ns. paikallinen nimipalvelin. 87

88 DNS nimipalvelinjärjestelmä (3) Paikalliset nimipalvelimet (Local DNS servers) eivät varsinaisesti kuulu em. hierarkiaan jokaisella ISP:llä (yhtiöllä) on oma paikallinen (oletus)nimipalvelin; se on lähellä isäntäkonetta samalla isäntäkoneella voi olla useitakin paikallisia nimipalvelimia isäntäkoneen DNS-kysely menee ensin paikalliseen nimipalvelimeen, joka ohjaa kyselyn tarvittaessa em. hierarkiaan 88

89 Pala DNS palvelimien hierarkiasta juuri juurinimipalvelin com org edu fi TLD-palvelin yahoo.com amazon.com pbs.org poly.edu oulu.fi keskusnimipalvelin 89

90 Maailman 13 juurinimipalvelinta (2012) (nimi,organisaatio,paikka) 90

91 Maailman 13 juurinimipalvelinta (2013) Hostname IP Addresses Manager a.root-servers.net , 2001:503:ba3e::2:30 VeriSign, Inc. b.root-servers.net University of Southern California (ISI) c.root-servers.net Cogent Communications d.root-servers.net , 2001:500:2d::d University of Maryland e.root-servers.net NASA (Ames Research Center) f.root-servers.net , 2001:500:2f::f Internet Systems Consortium, Inc. g.root-servers.net US Department of Defence (NIC) h.root-servers.net , 2001:500:1::803f:235 US Army (Research Lab) i.root-servers.net , 2001:7fe::53 Netnod j.root-servers.net , 2001:503:c27::2:30 VeriSign, Inc. k.root-servers.net , 2001:7fd::1 RIPE NCC l.root-servers.net , 2001:500:3::42 ICANN m.root-servers.net , 2001:dc3::35 WIDE Project 91

92 DNS juurinimipalvelimen rooli paikallinen nimipalvelin ottaa yhteyttä juurinimipalvelimeen, kun ei kykene ratkaisemaan nimen ja IP-osoitteen yhteyttä juurinimipalvelin ottaa yhteyttä keskusnimipalvelimeen, jos nimi /IP-osoite kuvaus ei ole tiedossa hankkii kuvauksen välittää kuvauksen paikalliselle nimipalvelimelle juurinimipalvelimia kaikkiaan 13 koko maailmassa 92

93 Yksinkertainen DNS - esimerkki Isäntäkone surf.eurecom.fr haluaa IP-osoitteen nimelle gaia.cs.umass.edu. Se 1. ottaa yhteyttä paikalliseen DNS-palvelimeensa, joka on dns.eurecom.fr ; 2. palvelin dns.eurecom.fr ottaa yhteyttä juuripalvelimeeen, jos se on tarpeellista ; 3. juuripalvelin ottaa yhteyttä keskusnimipalvelimeen, joka on dns.umass.edu, jos se on tarpeellista. Juurinimipalvelin ei välttämätttä tunne keskusnimipalvelinta, mutta saattaa tuntea palvelimen, johon ottaa yhteyttä keskusnimipalvelimen löytämiseksi. 93

94 Yksinkertainen DNS esimerkki (2) 94

95 Kaksi tiedustelutyyppiä rekursiivinen kysely palvelin A lähettää kyselyn palvelimelle B palvelin B lähettää A:n kyselyn edelleen omissa nimissään vastaus toimitetaan palvelimelle B, joka välitää sen edelleen A:lle rasittaa liikennettä iteratiivinen kysely palvelin A lähettää kyselyn palvelimelle B B vastaa antamalla sell. palvelimen nimen, johon kannatta ottaa yhteyttä en tunne tätä nimeä, mutta kysy tältä serveriltä 95

96 Rekursiivinen kysely TLD DNS server 96

97 Iteratiivinen kysely Root DNS server 2 3 Local DNS server dns.poly.edu TLD DNS server Authorative DNS server dns.cs.umass.edu Requesting host cis.poly.edu gaia.cs.umass.edu 97

98 Rekursiivisen ja iteratiivisen kyselyn yhdistäminen 98

99 DNS - lyhenteitä aero ilmailuteollisuus (air transport industry) arpa infrastruktuurialue (infra structure domain) biz liikeyritykset (businesses) com kaupalliset yritykset (commercial organization) coop yhteistyöjärjestöt (cooperative associations) edu koulutuslaitos (eucational institution) gov Yhdysvaltain hallinto (United States Government) info informaatio (information) int kansainväliset sopimusyhtiöt (international treaty organizations) 99

100 DNS lyhenteitä (2) mil Yhdysvaltain asevoimat (United States Military) museum museot (museums) name yksityiset henkilöt (individuals) net suuret verkko(tuki)keskukset (major network support centers) org epäkaupalliset organisaatiot (non-commercial organizations) pro valtuutetut ammattilaiset (credentialed professionals) country code maan koodi (country) 100

101 DNS:n välimuistitoiminto kun (mikä tahansa) nimipalvelin oppii tuntemaan nimi /IP-osoite kuvauksen, se tallentaa kuvauksen välimuistiin tieto häviää jonkin ajan kuluttua ellei sitä käytetä IETF suunnittelee koko ajan päivitys- ja tiedotustoimintoja RFC

102 DNS:n tietueet ja viestit DNS palvelimet implementoidessaan DNS:n hajautettua hierarkista tietokantaa tallentavat resurssitietueita (resource record, lyh. rr tai rt) resurssitietue voi sisältää esim. kuvauksen isäntäkonenimi IP-osoite jokainen DNS vastausviesti sisältää yhden tai useamman resurssitietueen resurssitietue on järjestetty nelikkö (nimi,arvo,tyyppi,elinaika) missä elinaika määrittää milloin resurssitietue tuhotaan; parametrien nimi ja arvo merkitys riippuu parametrista tyyppi seuraavasti 102

103 DNS:n tietueet Jos tyyppi = A, on nimi isäntäkonenimi ja arvo = isäntäkoneen IP osoite. Siten esim. (relayl.bar.foo.com, ,a,t 0 ) on tyypin A tietue Jos tyyppi = NS, on nimi domain alue (esim. foo.com) ja arvo on sen keskuspalvelimen isäntäkonenimi, jolla on keinot saada haltuunsa nimi domain-alueen isäntäkoneiden IP-osoitteet. Tätä tietuetyyppiä käytetään, kun kyselyjä ohjataan edelleen kyselyjonossa. Esim. (foo.com,dns.foo.com,ns,t 0 ) on tyypin NS tietue Jos tyyppi = CNAME, on arvo kanoninen isäntäkonenimi nimi aliasnimelle. Esim. (foo.com,relayl.bar.foo.com,cname,t 0 ) on tyypin CNAME tietue 103

104 DNS:n tietueet (2) Jos tyyppi = MX, on arvo sen postipalvelimen kanoninen nimi, jonka aliasnimi on nimi. Siten esim. (foo.com,mail.bar.foo.com,mx,t 0 )on tyypin MX tietue. Tietuetyyppi mahdollistaa yksinkertaiset sähköpostipalvelinten nimet. Organisaatiosa voi jopa olla kahdella palvelimella (postipalvelin ja jokin muu palvelin) sama aliasnimi. Pyydettäessä postipalvelimen kanonista nimeä tiedustellaan MX tyypin tietuetta, jos taas halutaan toisen palvelimen kanoninen nimi, viitataan CNAME tietueeseen 104

105 DNS - viestit DNS viestejä kahta tyyppiä: pyyntöviesti ja vastausviesti sekä pyyntö- että vastausviestillä on sama formaatti: tunniste liput kysymysten lkm vastaustietuiden lkm keskustietueiden lkm lisätietuiden lkm kysymykset vastaukset keskustietueet lisätietueet 12 tavua 105

106 DNS viestit (2) viestin 12 ensimmäistä tavua muodostavat otsikko osan otsikon ensimmäinen kenttä on 16-bittinen tunniste; se identifioi kyselyn ja kopioidaan vastausviestiin lippukenttä käsittää useita lippuarvoja 1-bittinen kysymys/vastaus lippu ilmoittaa onko viesti kysymys (0) vai vastaus (1) 1-bittinen keskuslippu asetetaan ykköseksi, jos serveri on tiedustellun nimen keskuspalvelin 1-bittinen rekursiota halutaan lippu asetetaan pyyntöviestissä ykköseksi, jos asiakas haluaa, että suoritetaan rekursiivinen kysely 1-bittinen rekursiota tuetaan lippu asetetaan vastausviestissä ykköseksi mikäli palvelin tukee rekursiivista kyselyä otsikossa on neljä lukumääräkenttää; ne kertovat kussakin datakentässä olevien tietueiden lukumäärän 106

107 DNS viestit (3) kysymykset osa koostuu (yhdestä tai useammasta) nimikentästä, joka sisältää kysytyn nimen tyyppikentästä, joka kertoo mitä tyyppiä nimeä koskeva kysymys on vastaukset osa sisältää kysyttyä nimeä koskevat resurssitietueet keskustietueet osa sisältää keskusnimipalvelimien lähettämät tietueet lisätietueet osa sisältää muita tarpeellisia tietueita; esim. vastaus MX kyselyyn sisältää postipalvelimen kanonisen nimen; lisätietue osa voi sisältää A-tyypin tietueen palvelimen IP-osoitteesta 107

108 6. P2P sovellukset P2P sovellusten osuus Internetin liikenteestä suurempi kuin webin; kaksi tärkeää sovellusta tiedostonjakelu (MP3 tiedostoja, ohjelmistoja, dokumentteja, elokuvia) hajautettu tietokanta esimerkkeinä: BitTorrent ja hajautettu hash taulu P2P sovelluksessa jokainen osapuoli on sekä kuluttaja että jakelija tiedostot siirtyvät suoraan vertaisosapuolelta toiselle ilman välissä olevia palvelimia käytetään hyväksi usein tuhansien vertaisosapuolten resursseja: kaistanleveyttä, muistitilaa, keskusyksiköitä 108

109 Yleistä P2P sovellukset nojaavat asiakas-palvelin paradigmaan siinä mielessä, että pyytäjä on asiakas, pyyntöön vastaaja palvelin data siirtyy palvelinosapuolelta asiakkaalle tiedostonsiirtoprotokollan avulla; kaikkien osapuolten on kyettävä ajamaan sekä protokollan asiakas- että sen palvelinohjelmaa siirtoprotokolla tavalllisesti HTTP palvelinohjelmaa suorittava osapuoli on väliaikainen web-palvelin palvelin, koska suorittaa sisällönjakelua väliaikainen, koska on vain hetkellisesti kytkettynä Internetiin ja ei välttämättä omista edes kiinteää IP-osoitetta 109

110 P2P tiedostonsiirto mallinnetaan nyt tiedostonjakelua (sisällönjakelua) verkon yli kiinteälle joukolle osapuolia sekä asiakas-palvelin arkkitehtuuria että P2P arkkitehtuuria käyttäen olet., että palvelin ja N osapuolta on yhdistettynä Internetiin kukin omalla linkillään; olk. palvelimen linkin välitysaste ylävirtaan u s bps ja ja osapuolen i linkin välitysaste ylävirtaan u i bps ja alavirtaan d i bps i =1,2,..., N jakelussa oleva tiedosto, kooltaan F bittiä, on alkutilanteessa kokonaisuudessaan palvelimella tiedoston jakeluaika on se aika, joka tarvitaan tiedoston kopioimiseen palvelimelta jokaiselle osapuolelle 110

111 d 2 d u u u 3 d 3 u s u 4 palvelin Internet d 4 u 5 d N u N d 5 d 6 u 6

112 Tiedostonjakeluongelma: esimerkki oletuksia Internetin ydin erittäin nopea serverillä ja osapuolilla ei pyöri muita sovelluksia asiakas-palvelin arkkitehtuurin jakeluaika, merk D CS palvelimen toimitettava tiedosto jokaiselle N osapuolelle; yhteensä N F bittiä; välitysaste ylävirtaan u S, joten jakeluaika ainakin N F / u S merk. d min := min{ d 1, d 2,..., d N }; heikoimman lataajan latausaika F / d min, joten jakeluaika ainakin F / d min saadaan D CS max{(n F) / u S, F / d min } edell. alaraja kuvaa hyvin Internet todellisuutta, joten valitaan D CS = max{(n F) / u S, F / d min } kun N on suuri, on D CS = (N F) / u S 112

113 P2P arkkitehtuurin jakeluaika, merk D P2P tiedoston jakelemiseksi osapuolille serverin lähetettävä jokainen tiedoston bitti linkkinsä yli; ylävirtavälitysaste u S jakeluaika ainakin F / u S jokaisen bitin kuljettava alavirtaan heikoimman linkin yli jakeluaika ainakin F / d min koko järjestelmän (palvelin ja N osapuolta) ylävirtalatausaste on u S + u 1 + u u N jakeluaika ainakin (N F)/ (u S + u 1 + u u N ) saadaan D P2P max{f / u S, F / d min, (N F)/(u S +u 1 +u u N )} 113

114 P2P arkkitehtuurin jakeluaika (2) jos jokainen osapuoli saadessaan yhden bitin, toimittaa sen välittömästi eteenpäin, yo alaraja kuvaa hyvin P2P jakeluaikaa valitaan D P2P = max{f / u S, F / d min, (N F)/(u S +u 1 +u u N )} Esim. Olkoon u i = u, i =1,2,..., N ; u S = 10 u ; F / u = 1 h ; d min u S 114

115 M i n i m i j a k e l u a i k a 3,5 Jakeluaika CS ja P2P arkkitehtuureille (vrt. edell. esim.) 3 2,5 2 1,5 1 0,5 0 Asiakas palvelin P2P N 115

116 BitTorrent on Bram Cohenin kehittämä P2P-tiedostonjakeluprotokolla. Se jätttää (toisin kuin Kazaa, Gnutella ja Napster) tiedostonhaun käyttäjän tehtäväksi ja keskittyy pelkästään sisällönjakeluun. BitTorrent tunnistaa sisällön URL:n perusteella integroituu saumattomasti webiin lataa ja jakaa yhtä aikaa Monien muiden P2P-protokollien ongelma:vapaamatkustus Syy vapaamatkustukseen: kannusteiden puute BitTorrent kannustaa viemään sisältöjä verkkoon ja rajoittaa vapaamatkustusta samalla mitalla periaatetta soveltamalla (tit-for-tat) 116

117 BitTorrent-verkon osat jäljittäjä (tracker): keskuspalvelin, joka koordinoi vertaisosapuolten toimintaa (staattinen) torrent-metatiedosto ( tulvatiedosto ): sijaitsee tavallisella web-palvelimella; sisältää jäljittäjän URL-osoitteen ja tiedostonosien tiivistearvot vertaisosapuolet (peer): imuroijat (downloader, leech) ja siirtäjät (uploader, seed) vertaisosapuolet, jotka osallistuvat tiedoston jakeluun, muodostavat torrentin; jäseniä voi olla alle kymmenen tai tuhansia 117

118 BitTorrent-verkon toiminta.torrent tiedosto websivu linkki.torrent -tiedostoon jäljittäjä.torrent pyyntöviesti osapuolilista vertaisosapuoli vertaisosapuoli A osia osia C siirtäjä imuroija osia vertaisosapuoli B imuroija 118

119 Jäljittäjä pitää huolta yhteyksistä ei ole tietoinen tiedostojen sisällöistä kykenee tukemaan suurta määrää vertaisosapuolia rajoitetulla kaistanleveydellä ottaa vastaan aika ajoin vertaisosapuolten statuspäivitykset ja yhteystilailmoitukset lähettää asiakkaalle listan vertaisosapuolista, jotka säilyttävät kysytyn tiedoston osia 119

120 Vertaisosapuolet liittyessään torrentiin vertaisosapuoli rekisteröityy jäljittäjään aika ajoin tiedottaa tälle statuksestaan ei omista datalohkoja; ajan mittaan niitä kertyy vertaisosapuolet lataavat ja jakavat ulos samankokoisia (usein 256 kilotavua) tiedostolohkoja ( chunk ) toinen toiseltaan siirtäjällä on koko kysytty tiedosto; ne tarjoavat tiedostoa ladattavaksi 120

121 Vertaisosapuolet (2) imuroijalla on osa tai ei mitään tiedostosta; saatuaan jäljittäjältä listan sopivista vertaisosapuolista se lataa tiedoston osia siirtäjiltä ja muilta imuroijilta jo ladatessaan imuroija voi alkaa luovuttaa tiedoston osia edelleen kun imuroijalla on tiedosto kokonaisuudessaan se saa siirtäjän statuksen 121

122 BitTorrentin toiminnasta kun uusi vertaisosapuoli, Liisa, liittyy torrentiin, jäljittäjä valitsee (satunnaisesti) joukon osapuolia (esim. 50kpl) ja lähettää näden osoitteet Liisalle Liisa muodostaa rinnakkaiset TCP-yhteyden saamiinsa IP-osoitteisiin, torrent-naapureihinsa ajan mittaan Liisan naapurien joukko luultavasti muuttuu; osa naapureista poistuu torrentista ja uusia voi liittyä mukaan aika ajoin Liisa pyytää naapureiltaan listaa näiden säilyttämistä datalohkoista 122

123 BitTorrentin toiminnasta (2) listan perusteella Liisa pyytää naapureiltaan tiedostolohkoja, joita hänellä itsellään ei ole tietyllä ajanhetkellä Liisa tietää mitä datalohkoja (1) hänellä itsellään on hallussaan; (2) naapureilla on hallussaan; ja (3) häneltä on pyydetty tämän tiedon nojalla Liisan täytyy päättää mitä datalohkoja hän pyytää seuraavana keneltä hän niitä pyytää kenen pyyntöihin hän vastaa myöntävästi Liisa soveltaa harvinaisin ensin politiikkaa pyytämällä ensin datalohkoa, josta naapureilla on vähiten kopioita 123

124 BitTorrentin toiminnasta (3) seuraus: harvinaisimmat lohkot joutuvat 1. jakeluun ja datalohkojen kopioiden lukumäärät tasottuvat Liisa arvioi koko ajan kunkin naapurin lähettämää bittimäärää ja suosii omassa jakelussaan neljää hänelle eniten dataa lähettävää osapuolta Liisa suorittaa arvioinnin kerran 10 sek:ssa ja sen perusteella päivittää 4:n etuoikeutetun naapurin listaa kerran 30 sek:ssa Liisa valitsee satunnaisesti jonkun naapureistaan, Pekan, ja aloittaa datanvaihdon tämän kanssa 124

125 BitTorrentin toiminnasta (4) seuraus 1: jos datanvaihto on tyydyttävä, Pekasta voi tulla yksi Liisan neljästä etuoikeutetusta naapurista (ja / tai Liisasta Pekan etuoikeutettu naapuri) seuraus 2: osapuolet, jotka suostuvat luovuttamaan dataa yhtä paljon, löytävät toisensa seuraus 3: torrentin uudet jäsenet kykenevät saamaan datalohkoja Liisa jakaa dataa vain em. viidelle (4 etuoikeutettua ja 1. satunnainen) naapurille 125

126 Tehtävä 1 Tarkastellaan (peite)verkkoa G, jossa on n solmua. Kukin solmu a on yhteydessä johonkin määrään muita solmuja. Tätä naapureiden lukumäärää kutsutaan solmun asteeksi ja merkitään d G (a). Mikä on yläraja a) solmun a asteelle? b) verkon G kaikkien solmujen asteiden summalle (kutsutaan G:n kokonaisasteeksi)? 126

127 Tehtävä 2 Pekka käyttää BitTorrent-sovellusta ja liittyy torrentin osapuoleksi. Pekka on itsekäs iilimato ( leech, vapaamatkustaja), joka ei halua siirtää tiedostolohkoja muille osapuolille. Pekka väittää, että hänelle on mahdollista a) saada koko se tiedosto, jota torrent jakaa imuroitua itselleen. Onko tämä mahdollista? b) tehdä vapaamatkustuksensa tehokkaammaksi käyttämällä laitoksensa tietokonelabrassa useampaa tietokonetta, joilla on eri IP-osoitteet. Onko tämä mahdollista? Jos on, niin miten tämä tapahtuu? 127

128 Hajautetut hash-taulukot Distributed Hash Tables (DHT) usean P2P-sovelluksen kriittinen komponentti: hakemisto, joka tukee haku- ja päivitystoimintoja kun (hakemisto)tietokanta on hajautettu, vertaisosapuolet voivat suorittaa keskenään sisältöjen tallentamista ja fiksua kyselynohjausta tarkastellaan tietokantaa, joka on hajautettu suurelle määrälle vertaisosapuolia vertaisosapuolet tukevat yksinkertaista luettelointia (indeksointia) ja kyselyä 128

129 Hajautetut hash-taulukot (2) tieto koostuu (avain, arvo) pareista [esim. (sosiaaliturvatunnus, nimi) tai (sisällön nimi, IPosoite)] osapuolet voivat tehdä kyselyjä tietokantaan avaimen perusteella; mikäli vastaava (avain, arvo)-pari (tai pareja) löytyy, tietokanta palauttaa sen (ne) kysyjälle osapuolet voivat myös lisätä (avain,arvo)-pareja tietokantaan asiakas-palvelin arkkitehtuurissa tietokannan rakentaminen suoraviivaista: kaikki (avain, arvo)-parit ovat palvelimella (esim. Napster) 129

130 Hajautetut hash-taulukot (3) ongelma haastavampi, kun (avain, arvo) pareista koostuva tietokanta hajautetaan suurelle määrälle osapuolia ja keskitettyä hallintaa ei ole kukin vertaisosapuoli saa pienen osajoukon (avain, arvo) pareista naiivi ratkaisu jaetaan (avain, arvo) parit satunnaisesti osapuolille jokainen osapuoli ylläpitää listaa muiden osapuolten IPosoitteista kysyvä osapuoli lähettää tiedustelun kaikille muille ja osuman saaneet osapuolet vastaavat naiivi ratkaisu ei ole skaalautuva (edellä 2. ja 3. kohta) 130

131 Hajautetut hash-taulukot (4) oletetaan nyt että jokaisella vertaisosapuolella on yksikäsitteinen tunniste, jokaa on kok.luku joukossa {0,1,...,2 n -1}, missä on n on posit. kok.luku kukin avain on muutettu avainluvuiksi eli kokonaisluvuksi joukossa {0,1,...,2 n -1} hash-funktiota käyttäen (tällöin on tietyti toivottavaa, että kahden eri avaimen avainluvut poikkeavat toisitaan; tämä ei kuitenkaan ole 100 %:sti varmaa) kutsutaan uutta tietokantaa hajautetuksi hashtaulukoksi (Distributed Hash Table, DHT) kysymys 1: miten (avainluku, arvo)-parit sijoitetaan hajautettuun hash-taulukkoon (eli jaetaan vertaiosapuolille)? 131

132 Hajautetut hash-taulukot (5) vastaus: kukin (avainluku, arvo)-pari sijoitetaan sille osapuolelle, jonka tunniste on (annetun kriteerin mukaan) lähinnä availukua esim kriteeristä: olkoon avainluku d jos löytyy osapuoli, jonka tunniste on d annetaan (avainluku,arvo) pari osapuolelle d jos ei löydy osapuolta, jonka tunniste on d, määritetään osapuoli, jonka tunniste m on luvun d välitön seuraaja tunnistejoukossa ja annetaan (avainluku,arvo) pari m :lle em. menettelyllä tällöin erotus m-d 0 on pienimmillään kysymys 2: miten vertaisosapuoli, Liisa, vie (avainluku, arvo)-parin tietokantaan? 132

133 Hajautetut hash-taulukot (6) vastaus: Liisa tietysti määrittää osapuolen, jonka tunniste on lähinnä avaimen lukuarvoa kysymys 3: miten osapuolen määrittäminen tapahtuu, kun kaikilla osapuolilla ei ole täydellistä luetteloa muista osapuolista? vastaus: kiertävä (eli sirkulaarinen) DHT 133

134 Kiertävä DHT (Circular DHT) vertaisosapuolet järjestetään ympyrään tunnisteet nousevassa suuruusjärjestyksessä kukin osapuoli pitää kirjaa vain välittömästä edeltäjästään ja välittömästä seuraajastaan (modulo 2 n ) välitön edeltäjä = 1. edeltäjä; välitön seuraaja = 1. seuraaja oletetaan nyt, että n on 4 ja että osapuolia on kahdeksan, tunnisteet: 1,3,4,5,8,10,12,15 esim. osapuoli 5 tuntee vain osapuolen 4 ja osapuolen 8 tunnisteen ja IP-osoitteen kyseessä on ns. peiteverkko, abstrakti, looginen (virtuaali)verkko, joka sijaitsee fyysisen verkon päällä 134

135 Kiertävä DHT: esimerkki 1 kuka on vastuussaavai mesta 11? a. b

136 Kiertävä DHT: esimerkin a-kohta osapuoli 3 haluaa nyt tietää, kuka on vastuussa avainluvusta 11; se lähettää kyselyn pitkin kiertävää DHT:tä myötäpäivään jokainen solmu, koska tuntee edeltäjänsä ja seuraajansa tunnisteen, tietää, onko itse vastuussa avainluvusta 11 mikäli solmu ei ole vastuussa avainluvuvusta 11, se lähettää kyselyn edelleen; muussa tapauksessa solmu (siis 12), vastaa solmulle 3 myöntävästi osapuolia N kpl keskimäärin N/2 viestiä/kysely 136

137 Kiertävä DHT: esimerkin b-kohta kiertävä DHT -rakennetta voidaan kehittää sallimalla siinä oikoteitä tällöin jokainen osapuoli pitää kirjaa, paitsi 1. edeltäjästä ja 1. seuraajasta, myös niistä osapuolista, joihin sillä on yhteys pitkin oikotietä esimerkin b-kohdassa kullakin solmulla (osapuolella) on kaksi oikotieyhteyttä (yksi tuleva ja yksi lähtevä), joiden tunnisteista ja IP-osoitteista solmu pitää kirjaa kuinka monta oikotieyhteyttä pitäisi olla? vastaus: N:n solmun järj:ssä O(log N) kpl; tällöin viestejä yhtä kyselyä kohden on keskim.o(log N) kpl 137

138 Peer Churn Osapuolimyllerrys P2P-järjestelmissä vertaisosapuoli voi lähteä ja saapua peiteverkkoon varoituksetta miten virtuaaliverkon päivitys tapahtuu? tarkastellaan kiertävää DHT-ratkaisua; vaadimme nyt, että kukin osapuoli pitää kirjaa sekä 1. että 2. seuraajastaan (tietyn osapuolen 2. seuraaja = tämän osapuolen 1. seuraajan välitön seuraaja) oletetaan että kalvon 145 a-kohdassa osapuoli 5 lähtee yhtäkkiä verkosta solmu 5:n 1. edeltäjä (osap 4) ja 2. edeltäjä (osap 3) tietävät, että 5 on häipynyt: se ei enää vastaa pingviesteihin 138

139 Peer Churn Osapuolimyllerrys (2) osapuoli 4 päivittää tietonsa korvaamalla 1. seuraajansa (osap 5) tämän 1. seuraajalla (osap 8) pyytämällä 1. seuraajaltaan (osap 8) tämän 1. seuraajan tunnistetta ja IP-osoitetta; ja korvaamalla tällä tiedolla aikaisemman 2. seuraajansa tiedot osapuoli 3 päivittää tietonsa pyytämällä 1. seuraajaltaan (osap 4) tämän 1. seuraajan tunnistetta ja IP-osoitetta; ja korvaamalla saamallaan tiedolla aikaisemman 2. seuraajansa (osap 5) tiedot 139

140 Tehtävä 3 Kalvon 145 a-kohdan verkossa uusi osapuoli (tunniste on 13), haluaa liittyä virtuaaliverkkoon. Oletetaan, että 13 tuntee osapuolen 4 IP-osoitteen. Miten liittyminen tapahtuu? 140

141 Tehtävä 3: ratkaisu 1. Osapuoli 13 lähettää 4:lle viestin: mikä on 13 edeltäjä ja seuraaja? 2. Lähtien solmusta 4, viesti kulkee läpi DHT:n; tavoittaessaan solmun 12, tämä tajuaa, että on solmun 13 välitön edeltäjä ja, että solmu 15 on 13:n välitön seuraaja 3. Osapuoli 12 lähettää edeltäjä- ja seuraajatiedon 13:lle, joka liittyy verkkoon ja päivittää omat edeltäjäja seuraajatietonsa. 4. Solmu 13 lähettää 12:lle tiedon, että on tämän välitön seuraajaa ja 15:lle tiedon, että tämän välitön edeltäjä. Nämä päivittävät omat tietonsa. 141

142 Skype suosittu P2P sovellus: 7 8 miljoonaa yhtäaikaista käyttäjää puhelinpalvelu: PC PC, PC mobile, mobile PC videokonferenssi: PC PC sama perustaja kuin FastTrack, ja KaZaa sovelluksilla: ebay osti järjestelmän v. 2005, hinta dollaria P2P arkkitehtuuria sovelletaan ulkopuolellla sisällönjakelun ja tiedostojen välityksen luonnollinen P2P sovellus; kaksi käyttäjää kommunikoi reaaliajassa 142

143 Skype (2) käyttää P2P tekniikoita myös käyttäjän paikallistamiseen sekä NAT:n ohittamiseen patentoitu protokolla; paketit (ääni ja kontrolli) salataan; yleinen toiminta tiedossa solmut muodostavat hierarkisen peiteverkon; kukin solmu joko supersolmu tai tavallinen solmu sisältää hakemiston, joka kuvaa Skype:n käyttäjänimet (sen hetkisiksi) IP osoitteiksi ja porttinumeroiksi; hakemisto toimitetaan supersolmuille Liisa haluaa kommunikoida Pekan kanssa; Liisan Skype asiakasohjelma etsii hakemistosta Pekan tämänhetkisen IP - osoitteen 143

144 Skype (3) Skype välitys: P2P tekniikka, jolla puheluja järjestetään kotiverkoissa olevien isäntien välillä kotiverkot usein NAT reitittimen (palomuurin) takana NAT estää kotiverkon ulkopuolellla olevaa isäntäkonetta ottamasta suoraa yhteyttä kotiverkon koneeseen jos molemmilla Skype osapuolilla on NAT reititin, syntyy ongelma; kuinka puhelu järjestetään ratkaisu: supersolmujen käyttö Liisa kytkeytyy supersolmuun ja vaihtaa kontrolliviestejä tämän kanssa; Pekka toimii samoin Liisa haluaa yhteyden Pekkaan ja ilmoittaa tästä supersolmulleen Liisan supersolmu ilmoittaa asiasta Pekan supersolmulle, Pekan supersolmu Pekalle 144

145 Skype (4) ratkaisu: supersolmujen käyttö (jatkuu...) jos Pekka hyväksyy puhelun, supersolmut valitsevat kolmannen solmun välittäjäsolmun, joka toimii välittäjänä Liisaln ja Pekan puhelussa supersolmut ohjaavat Liisan ja Pekan ottamaan yhteyden välittäjäsolmuun Liisan sovellus lähettää äänipaketteja välittäjäsolmulle (Liisan perustama Liisa välittäjäsolmu yhetys), joka toimittaa ne Pekalle (Pekan perustama välittäjäsolmu Pekka yhteys) välittäjäsolmujen käyttö kuvastaa P2P sovellusten hienostunutta suunnittelua, jossa osapuolet suorittavat järjestelmän ydintehtäviä (hakemistopalvelu ja välitys) samalla, kun hyödyntävät loppukäyttäjän palveluja 145

146 Lopuksi Skype on räjähdysmäisesti kasvanut, erittäin suosittu P2P sovellus: miljoonia käytäjiä aikaisemmin supersovelluksia: sisällönjakelu, web, pikaviestintä em. osoittaa Internetin suunnitteluarkkitehtuurin järkevyyden; tarjotut kuljetuspalvelut (TCP, UDP), sokettirajapinta, osoitteistus ja nimipalvelu sallivat erityyppisten sovellusten kehittämisen itsenäisesti alempien kerroksien toiintaan puuttumatta 146

147 7 bittinen ASCII koodi heksadesimaalitaulukkona 147