Sisältö: sovellusarkkitehtuurit Sovellukset (osa 2) CSE-C2400 Tietokoneverkot Sanna Suoranta Asiakas palvelin-arkkitehtuuri Loppukäyttäjän palvelut kuten sähköposti ja www (viime viikolla) Verkkoinfrastruktuurin palvelut kuten nimipalvelu (DNS) Vertaisverkot (P2P) Asiakas-palvelin vs. vertaisverkot BitTorrent Hajautetut tiivistetaulut (DHT) Kirjan luvut 2.5, 2.,2.6, 2.8 Tietokoneverkot 205 Sisältö adaptoitu seuraavista lähteistä: J.F. Kurose and K.W. Ross: Computer Networking: A Top-Down Approach 6th ed. -kirjan lisämateriaali, T. Lindholm, S. Tarkoma: Johdatus tietotekniikkaan-kurssin Sovelluskerros-luennon materiaali, Matti Siekkisen Sovellukset (osa 2) luento 204. Lyhenteitä ja terminologiaa DNS = Domain Name System (nimipalvelu) TLD = top-level domain (ylemmän tason toiminimialue) ISP = Internet service provider ((verkko)palveluntarjoaja) P2P = peer-to-peer (vertaisverkko) DHT = Distributed Hash Table (Hajautettu tiivistetaulu) VoIP = Voice over IP (Internet-puhelu) Churn = vertaisverkossa päätelaitteiden poistuminen ja uusien saapuminen Chunk = BitTorrentissa tiedoston palanen BitTorrent = vertaisverkkoa käyttävä tiedostonjakelusovellus Tracker = BitTorrentin seurantapalvelin Torrent = joukko BitTorrentia ajavia päätelaitteita jotka jakavat samaa tiedostoa Overlay network = päätelaitteiden muodostama sovellustason looginen verkko (kuoriverkko) Topologia = verkon rakenne, miten laitteet ovat yhteydessä toisiinsa Internet-protokollapino Ohjelmistot (software) Facebook Web-selain Käyttöjärjestelmä (operating system, OS) Laiteajurit (drivers) Sähköposti Loppukäyttäjän sovellukset Sovelluskerros Kuljetuskerros Verkkokerros Linkkikerros Fyysinen kerros Verkon käyttöön tarvittavat palvelut verkko eli tietoliikenne -palvelu Verkon arkkitehtuuri (palataan tähän reitityksen yhteydessä) Asiakas palvelin-arkkitehtuuri sähköposti TCP IP WiFi selain 2,4 GHz taajuus sähköpostipalvelin 25 TCP IP Ethernet Cat-5-kaapeli Webpalvelin 80
Miten tunnistetaan kone ja palvelu, jolle viesti oli tarkoitettu? Sovelluskerroksen tunnisteet ovat nimiä Kuljetuskerroksen tehtävä on erottaa yhteyden päätepisteiden sisällä (isäntäkoneessa) mille sovelluskerroksen ohjelmalle verkosta saapuva viesti on tarkoitettu Kuljetuskerroksen tunnisteina käytetään porttinumeroita (port number) Internetin palveluille on määritelty tietyt numerot (0-495) Asiakasohjelmat käyttävät myös porttinumeroita, mutta ne allokoidaan dynaamisesti (4952-65535) Verkkokerroksen tehtävä on kuljettaa viesti perille laitteelle, jolle se on tarkoitettu Verkkokerroksen tunnisteina käytetään osoitteita (address), esim. 30.233.224.96 (IPv4-osoite) Sovelluskerros Kuljetuskerros Verkkokerros Linkkikerros Fyysinen kerros Nimipalvelu (domain name system, DNS) Ihmiset pystyvät muistamaan paljon helpommin nimiä kuin numerosarjoja tietokoneiden nimet (hostname) noppa.aalto.fi kone saattaisi nimen perusteella sijaita Suomessa Reitittimille nimet eivät merkitse mitään, sillä ne eivät oikeasti kerro sijaintia Verkkokerroksen tunnisteena käytetään IP-osoitetta Nimipalvelun (domain name system, DNS) tehtävä on yhdistää nimet ja IP-osoitteet toisiinsa Tarjoaa hajautetun ja hierarkisen tietokannan Toimii sovelluskerroksella Muut sovelluskerroksen palvelut käyttävät DNSää hyväkseen 5. Hajautettu ja hierarkinen tietokanta Se- DNS lain client 4.. 2.-3. paikallinen DNSpalvelin DNSpalvelin noppa.aalto.fi. Sovellus kysyy samassa koneessa toimivalta DNS:n asiakasohjelmalta (DNS client) nimeä vastaavan kohteen IPosoitetta. Se saattaa olla jopa tallennettuna itse koneelle, tai sitten 2. DNS-asiakas lähettää kyselyn paikallisen verkon DNS-palvelimelle 3. DNS-palvelin vastaa, jos tieto löytyy sen välimuistista (cache) 4. DNS-asiakas kertoo sovellukselle 5. Sovellus muodostaa sitten yhteyden haluttuun palveluun Jos tietoa ei löydy paikallisen DNS-palvelimen välimuistista Juurinimipalvelimet (root DNS servers) Ylätason palvelimet (top-level domain, TLD, servers) Autorisoidut aluepalvelimet (authoratative DNS servers) com org cnn.com fi fi fi aalto.fi Juuripalvelimia 3 (vuonna 204 oikeastaan n. 500, replikoituja) Ylätason palvelimet (TLD): edu, net, ja maakohtaiset us, uk Autorisoidut palvelimet: organisaatioiden omat (tai ISP:n) Näiden lisäksi paikallisia nimipalvelimia, jotka toimivat apuna Se- DNS lain client 0.. Juurinimipalvelin 3&4 2. 9. 5&6 paikallinen DNSpalvelin Ylätason nimipalvelin 7&8 autorisoitu DNSpalvelin noppa.aalto.fi Iteratiivinen nimenselvitysprosessi Jos paikallinen nimipalvelin ei tiedä vastausta, se selvittää iteratiivisesti 3. Paikallinen nimipalvelin kysyy juurinimipalvelimelta Juurinimipalvelimen IP-osoite nimipalvelimella on 4. Juurinimipalvelin kertoo ylätason nimipalvelimen IP-osoitteen 5. Paikallinen nimipalvelin kysyy ylätason palvelimelta 6. Ylätason palvelin kertoo autoratiivisen nimipalvelimen IPosoitteen 7. Paikallinen nimipalvelin kysyy autoratiiviselta nimipalvelimelta 8. Autorisoitu nimipalvelin kertoo pyydettyä nimeä vastaavan IP-osoitteen Olemassa myös rekursiivinen tapa (katso kotitehtävä ). 2
do what I mean /27/5 Paikallinen ja autorisoitu nimipalvelin Välimuistin merkitys ISP:llä (tai yrityksen verkossa) on paikallinen nimipalvelin (tai useampi) auttamaan oman verkon asiakkaita selvittämään nimeä vastaavan IP-osoitteen Voi olla samassa lähiverkossa tai sitten vähän kauempana Sen IP-osoite konfiguroidaan jokaiseen koneeseen esim. DHCP:n avulla (dynamic host configuration protocol) samalla kun kone saa itselleen IP-osoitteen ISP:n autorisoitu nimipalvelin vastaa muualta tuleviin kyselyihin Voi olla myös alinimipalvelimia huolehtimaan erikseen osasta nimiavaruutta Paikalliset palvelimet tallentavat nimi IP-osoite-pareja välimuistiinsa (cache) kyselyiden perusteella Sekä TLD- että autorisoitujen palvelinten ja ihan yksittäisten koneiden tietoja Vastaukset saadaan nopeammin, kun aina ei tarvitse kysyä juurinimipalvelimelta lähtien Välimuistin käyttö nopeuttaa kyselyprosessia Välimuistissa oleva tieto vanhenee määräajan (esim. pari päivää) kuluttua Miten sähköpostiohjelma tietää vastaanottajan palvelimen? Vastaanottajan sähköpostiosoitteessa on kaksi osaa: bob@aalto.fi Alkuosa kertoo vastaanottajan sähköpostilaatikon nimen Loppuosa kertoo vastaanottajan verkon nimen (domain name) Verkon nimen perusteella pitää selvittää vastaanottajan sähköpostipalvelimen verkkokerroksen IP-osoite Mutta eihän siinä ole postiserverin vaan verkon nimi?!?? Nimipalvelimeen tallennettavat tiedot Nimi osoite-parit tallennetaan resurssitietueiksi (resource records, RR), esim host -a komennolla saa selville: ;; ANSWER SECTION:! kosh.hut.fi.!5!in!a!30.233.228.2 Osoitetietueiden tyyppi on A (IPv4) tai AAAA (IPv6-osoitteille) Osoitteiden lisäksi nimipalveluun tallennetaan Alueen (domain) autoratiivisten nimipalvelinten nimet NS-tietueina, jos nimipalvelin itse ei ole autoratiivinen Alias koneen nimelle (canonical hostname) CNAME-tietueena Sähköpostipalvelimen alias MX-tietueena. Alias voi olla vaikka domainin nimi, esim. aalto.fi. DNS:n kyselyprotokollan viestit!!!!! 2 2 2 2 2 2 2 2 2 2 3 3! 0 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0 2 3 4 5 6 7 8 9 0! ID QR Opcode AA TC RD RA Z RCODE! Kysymysten lukumäärä!!!!! Vastausten lukumäärä!!!!! Autorisoitujen nimipalveluiden lukumäärä Lisätieto-RR:n lukumäärä!!!!! Kyselyt (nimi, jota kysytään, ja tyyppi eli esim A tai MX), vaihtuva määrä!!!!! Vastaukset RR-tietueina, sis. Nimi, arvo, tyyppi ja kauanko tieto voimassa (time to live, TTL)! Muut autorisoidut nimipalvelimet, vaihtuva määrä!!!!!!!!!! Lisätietoa, esim sähköpostipalvelimen nimi, vaihtuva määrä!!!!!!!! +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+! Otsikossa tunniste, lippuja ja tietoa viestin pituudesta, dataosassa itse kysymys tai vastaus siihen (ja lisätietoa) Käyttää kuljetuskerroksen protokollista epäluotettavaa UDP:tä DNS-palvelin odottaa kyselyitä portissa 53 Sekä kysely että vastaus käyttää samaa viestiformaattia Otsikon kentät ID, 6 bittinen yksilöllinen tunniste yhdistämään kyselyn ja sen vastauksen QR= bitti, 0=kysely, = vastaus Opcode=kyselyn tyyppi, esim tavallinen kysely, päivitys AA=, vastannut serveri oli autoratiivinen alueella TC=, vastausta on lyhennetty (ei mahdu udp-pakettiin) RD=, pyyntö käyttää rekursiivista hakua RA=, palvelin tukee rekursiivista hakua, Z=000, varattu, nollia Rcode=vastauksessa ilmenneiden virheiden koodit 3
Verkkotunnuksen hallinta Nimipalvelun tietoturva Verkkotunnuksen/nimen (domain name) pitää rekisteröidä Rekisteröinnistä huolehtii ICANNin määrittelemä taho, Suomessa Viestintävirasto vastaa.fi-päätteisistä nimistä Tarvitsee ensisijaisen ja toissijaisen autorisoidun DNSpalvelimen IP-osoitteineen (ei enää pakko olla omaa) Itse nimipalvelimen tietoja voi hallita käsin tai nimipalvelinohjelmiston avulla (esim bind) huolellisuus tärkeää! Nimipalvelimien tietoja voi kopioida toiselle nimipalvelimelle (zone transfer) Tällöin käytetään kuljetuskerroksen TCP-protokollaa Nimipalvelussa olennaista on tietojen saatavuus ja aitous Nimipalvelun haavoittuvuuksia Palvelunestohyökkäyksellä on yritetty tukkia esim juurinimipalvelimet Nimipalvelinten välimuistiin voi yrittää syöttää väärää tietoa (DNS poisoning) Nimipalvelinten ohjelmistoissa on ollut haavoittuvuuksia, joiden avulla tietoja on pystynyt muuttamaan Turvallinen DNS (DNSSEC) Tietueet allekirjoitetaan nimipalvelimen allekirjotusavaimella Ylemmän tason nimipalvelin kertoo kyselijälle alemman tason nimipalvelimen allekirjotuksen tarkastusavaimen Kysyttävää tähän mennessä? Vertaisverkot (P2P) Asiakas palvelin-arkkitehtuuri Nimipalvelu (DNS) Vertaisverkot (P2P) Asiakas-palvelin vs. vertaisverkot BitTorrent Hajautetut tiivistetaulut (DHT) Toisenlainen sovellusarkkitehtuuri kuin asiakas-palvelin Ei 24/7 palvelimia Päätelaitteet viestivät suoraan toistensa kanssa Sekä asiakas että palvelin Päätelaitteet (peer) eivät aina verkossa, IP osoitteet vaihtuvat Esimerkkejä sovelluksista: tiedostonjakelu (BitTorrent) median suoratoisto (KanKan) VoIP eli IP-puhelut (Skype) Tiedostonjakelu: asiakas-palvelin vs vertaisverkot Kauanko kestää jakaa tiedosto (F tavua) yhdeltä palvelimelta N:lle päätelaitteelle(pl)? Päätelaitteiden ylä- ja alakaistat ovat rajallisen levyiset u s : palvelimen lähetysnopeus tiedosto, koko F u s palvelin u N d N u d u 2 d 2 Internet-verkko (riittävästi kaistaa) d i : päätelaitteen i latausnopeus d i u i u i : päätelaitteen i lähetysnopeus Tiedoston jakoon kuluva aika: asiakas-palvelin palvelin: lähettää N kopiota tiedostosta peräkkäin: F u s yhteen lähetykseen kuluva aika: F/u s N lähet. kuluva aika: NF/u s PL (asiakas): jokainen vastaanottaa yhden kopion d min = hitaimman asiakkaan latausnopeus verkko kasvaa lineaarisesti d i u i hitaimman asiakkaan latausaika: F/d min N:n funktiona Asiakas palvelin-mallissa tiedoston F jakamiseen N:lle asiakkaalle kuluva aika D c-s > max{nf/u s,,f/d min } 4
Tiedoston jakoon kuluva aika: vertaisverkko palvelin: lähettää väh. yhden kopion yhden kopion lähetysaika: F/u s v PL: jokainen lataa yhden kopion hitaimman latausaika: F/d min F:n jakoon N asiakkaalle kuluva aika vertaisverkon avulla u s verkko v PL: yhteensä lataavat NF tavua max lähetysnopeus (rajoittaa max latausnopeutta) on u s + Σu i F D P2P > max{f/u s,,f/d min,,nf/(u s + Σu i )} d i u i kasvaa lineaarisesti N:n funktiona Asiakas-palvelin vs. vertaisverkko: vertailua asiakkaan lähetysnopeus = u, F/u = h, u s = 0u, d min u s vertaisverkko on itseskaalautuva (self scaling) mutta tämä samoin, koska jokainen asiakas lisää verkon kapasiteettia Sisältö Jatkoa sovelluksille: vertaisverkot (P2P) Asiakas-palvelin vs. vertaisverkot BitTorrent Hajautetut tiivistetaulut (DHT) Tiedostonjakelu vertaisverkoissa: BitTorrent tiedosto jaettu 256Kb palasiin (chunks) Päätelaitteet (PL, peers) torrentissa lähettävät ja vastaanottavat tiedostonpalasia tracker: pitää kirjaa torrentiin osallistuvista PL:sta Lissu liittyy saa listan muista PL:sta trackerilta ja alkaa vaihdella tiedostonpalasia muiden torrentin PL:n kanssa torrent: tietyn tiedoston palasia jakavien PL:n joukko Tiedostonjakelu vertaisverkoissa: BitTorrent torrentiin liittyvä päätelaite (PL): ei vielä tiedostonpalasia, kerryttää lataamalla muilta rekisteröityy trackeriin saadakseen PL-listan, muodostaa yhteyden osaan PL:sta ( naapurit ) PL:t lähettävät toisilleen palasia samalla kun lataavat niitä PL voi vaihtaa naapureita, joiden kanssa käy vaihtokauppaa palasista churn: PL:ita poistuu ja uusia liittyy kun koko tiedosto ladattu, PL voi joko poistua (itsekäs) tai jäädä torrentin osaksi auttamaan muita lataajia (altruistinen) BitTorrent: tiedostonpalasten treidaus tiedostonpalasten lataaminen: Eri päätelaitteilla eri tiedostonpalaset tietyllä ajanhetkellä Lissu pyytää aika ajoin jokaiselta naapuriltaan listan palasista, jotka heillä on rarest first: Lissu pyytää seuraavaksi naapurien kesken harvinaisimmat palaset palasten lähettäminen: tit-for-tat Rankkaa naapurit niiden lähetysnopeuden mukaan Lähetä palasia top-4 naapurille muut naapurit: ei latausta tai lähetystä (choked) top-4 rankkaus 0s välein Valitse 30s välein satunnainen naapuri ja ala lähettää palasia optimistic unchoke uusi naapuri voi päästä top-4:ään 5
BitTorrent: tit-for-tat () Lissu valkkaa satunnaisesti Penan ( optimistic unchoke ) (2) Lissu rankkautuu Penan top-4:een; Pena alkaa myös lähettää (3) Pena rankkautuu Lissun top-4:een Kysyttävää tähän mennessä? Asiakas palvelin-arkkitehtuuri Nimipalvelu (DNS) Vertaisverkot (P2P) Asiakas-palvelin vs. vertaisverkot BitTorrent Hajautetut tiivistetaulut (DHT) Mitä nopeammin lähettää, sitä parempien naapurien kanssa voi tehdä vaihtokauppaa ja ladata tiedoston nopeammin. Hajautetut tiivistetaulut (DHT) Tiivistetaulu Hajautetut tiivistetaulut Ympyrämalliset DHT:t ja kuoriverkot (overlay) Churn ja hajautetut tiivistetaulut Yksinkertainen tietokanta Esim. tietokanta, joka tallentaa (avain, arvo) pareja: avain: hlön nimi; arvo: sotu Avain Arvo John Washington 32-54-3570 Diana Louise Jones 76-55-379 Xiaoming Liu 385-4-0902 Rakesh Gopal 44-89-956 Linda Cohen 27-66-5609. Lisa Kobayashi 77-23-099 avain: elokuvan nimi; arvo: IP-osoite Tiivistetaulu (Hash table) Numeerinen avain helpottaa käsittelyä avain = tiiviste(alkup. avain) (tiiviste=hash) Alkuperäinen avain Avain Arvo John Washington 8962458 32-54-3570 Diana Louise Jones 7800356 76-55-379 Xiaoming Liu 56709 385-4-0902 Rakesh Gopal 236002 44-89-956 Linda Cohen 5430938 27-66-5609. Lisa Kobayashi 929024 77-23-099 Hajautettu tiivistetaulu Eli Distributed Hash Table (DHT) Hajautetaan (avain, arvo) parit miljooniin päätelaitteisiin Parit jaetaan tasan päätelaitteiden kesken Ensimmäiset kehitetty 200 Chord, CAN, Pastry, Tapestry: kaikki julkaistu samana vuonna Peruskäsitteen alkuperä vanhempi (hajautetut tietokannat) Valtava määrä tutkimusta sittemmin 6
Hajautettu tiivistetaulu: ominaisuudet Avain-arvo parien jakaminen Mikä tahansa päätelaitteista voi tehdä kyselyn tietokantaan avaimen avulla Tietokanta palauttaa vastaavan arvon Kyselyyn vastaaminen vaatii muutamien viestien lähetyksen PL:n kesken Jokainen päätelaite pitää muistissa vain pienen osan toisista päätelaitteista Churn: tietokanta ei saa mennä rikki Jokaisella päätelaitteelle (PL) annetaan ID Yleensä valitaan satunnaisesti yleisesti: avain-arvo pari annetaan sen päätelaitteen hoidettavaksi, jonka oma ID on lähinnä avainta useimmiten: lähin päätelaite on se, jonka ID tulee ensimmäisenä avaimen jälkeen esim. ID avaruus {0,,2,3,,63} 8 PL:a:,2,3,25,32,40,48,60 avain = 5 à PL 60 tallentaa avain = 60 à PL 60 tallentaa avain = 6 à PL tallentaa Hajautetun tiivistetaulun rakenne Hajautettu tiivistetaulu on kuoriverkko Rakenne/topologia määrittää sen miten kyselyt prosessoidaan Viestien reititys Ympyrässä päätelait tietää vain 60 heti seuraavan naapurin Chord noudattaa ympyrämallia Monia muita rakenteita on kehitetty 48 40 32 2 25 3 Kuoriverkko = overlay network Vain osajoukko fyysisen verkon päätelaitteista osallistuu Tieto siirtyy silti fyysisen verkon topologian mukaisesti Kuoriverkon topologiaa voidaan muokata helposti Fyysistä topologiaa ei Kyselyn prosessointi ympyrässä Tarvitaan keskimäärin O(N) viestiä prosessoimaan kysely kun DHT:n koko on N 60 48 arvo 40 32 2 Mitä arvoa avain 53 vastaa? 25 3 Optimointia: Oikotiet 60 48 arvo 2 25 Mitä arvoa avain 53 vastaa? 3 Tradeoff: reititystaulun koko vs. lähetysten määrä! 40 32 Seuraajan ja edeltäjän lisäksi pidetään muistissa oikoteitä (shortcuts) Kyselyn prosessointi lyhenee: 6à 3 viestiä O(log N) naapuria muistissa ja O(log N) viestiä per kysely on mahdollista oikoteiden avulla 7
Churnin hallinta PL:t muistavat kaksi 3 seuraavaa naapuria 5 PL:t tarkistavat naapurien elonmerkit à ping viestin 4 aika ajoin 2 Seuraava naapuri poistuu 5 à valitse sitä seuraava uudeksi seuraajaksi 0 8 esimerkki: PL 5 poistuu äkisti 5 2 Churnin hallinta 0 3 4 PL:t muistavat kaksi seuraavaa naapuria PL:t tarkistavat naapurien elonmerkit à ping viestin aika ajoin Seuraava naapuri poistuu à valitse sitä seuraava uudeksi seuraajaksi 8 esimerkki: PL 5 poistuu äkisti PL 4 huomaa PL 5:n poistuneen à PL 8 seuraajaksi PL 4 kysyy PL 8:lta kuka sen seuraaja on à PL 8:n seuraaja omaksi toiseksi seuraajaksi Haasteet ja sovellutukset Yhteenveto Sovellutuksia BitTorrent käyttää hajautettua tiivistetaulua (Kademlia) Tavallaan hajautettu trackeri: avain=torrent, arvo=iposoitteet Käytetään keskitettyjen trackerien lisäksi Cassandra NoSQL tietokanta Käyttäjiä mm. Facebook, Netflix, reddit, Twitter Amazonin Dynamo tietokanta DynamoDB korvasi Haasteita Epätäsmälliset kyselyt Range queries, esim. MUSE* Tiivistefunktiot rikkovat (tarkoituksella) alkuperäisten avainten järjestyksen Kuormantasaus Churn, heterogeeniset PL:t, epätasainen avainten suosio (kyselyt) Topologia: kuoriverkko vs. fyysinen verkko Viestien reititys maapallon laidalta toiselle ja takaisin Mobiililaitteet ja jatkuva ylläpitoliikenne à akunkesto Nimipalvelu (DNS) tekee Internetistä käytettävän ihmisille Linkkaa nimet IP-osoitteisiin Sovellusarkkitehtuureita on erilaisia Asiakas-palvelin Vertaisverkot Pilvipalvelut voitaisiin vielä erotella näistä Vertaisverkot Self scaling ominaisuus BitTorrentissa insentiivit jakaa rakennettu protokollaan Hajautettu tiivistetaulu (DHT) on avain-arvo tietokanta ja muodostaa kuoriverkon Internetin protokollapino Sovelluskerros (application) Kuljetuskerros (transport) Verkkokerros (network) Linkkikerros (link layer) Fyysinen kerros (physical) Ensi viikon luento Sovellukset (viesti, message) Päätepiste mille sovellukselle päätelaitteessa? (segmentti, segment) Päätelaite minne Internet-verkossa? (paketti, packet) Päätelaite mille laitteelle lähiverkossa? (kehys, frame) Lähteitä DNS www.root-servers.org ja www.iana.org/domains/root/db Internet Assigned Numbers Authority (IANA) www.iana.org Domain names concepts and facilities, RFC 034, 987 Domain names implementation and specification, RFC 035 Bitit piuhaan/ilmaan (fyysisenä signaalina) 8