Sovelluskerros. Chapter 2 Application Layer. Sovelluskerros. Joitain verkkosovelluksia. Sovelluskerros. Verkkosovelluksen luonnista

Transkriptio

1 Chapter 2 Application Layer A note on the use of these ppt slides: We re making these slides freely available to all (faculty, students, readers). They re in PowerPoint form so you can add, modify, and delete slides (including this one) and slide content to suit your needs. They obviously represent a lot of work on our part. In return for use, we only ask the following: If you use these slides (e.g., in a class) in substantially unaltered form, that you mention their source (after all, we d like people to use our book!) If you post any slides in substantially unaltered form on a www site, that you note that they are adapted from (or perhaps identical to) our slides, and note our copyright of this material. Thanks and enjoy! JFK/KWR Computer Networking: A Top Down Approach Featuring the Internet, 3 rd edition. Jim Kurose, Keith Ross Addison-Wesley, July Sovelluskerros Verkkosovellusten periaatteet WWW ja HTTP Sähköposti SMTP, POP3, IMAP P2P tiedostojen jako All material copyright J.F Kurose and K.W. Ross, All Rights Reserved Sovelluskerros 1 Sovelluskerros 2 Sovelluskerros Joitain verkkosovelluksia Tavoitteet: Käsitteet ja toteustusnäkökulmia verkkosovellusten protokolliin Kuljetuskerroksen palvelumallit Asiakas-palvelin ajattelumalli / suuntaus Vertaisverkko ajattelumalli / suuntaus Opiskellaan protokollia tutkimalla suosittuja sovelluskerroksen protokollia HTTP SMTP / POP3 / IMAP E- Web Instant messaging Remote login P2P file sharing Multi- network games Streaming stored video clips Internet telephone Real-time video conference Massive parallel computing Social networking applications Sovelluskerros 3 Sovelluskerros 4 Verkkosovelluksen luonnista Sovelluskerros Kirjoitetaan ohjelma joka toimii eri päätelaitteissa ja kommunikoi verkon yli. Esim. WWW: palvelimen ohjelmisto kommunikoi selaimen ohjelmiston kanssa Verkon runkolaitteisiin ei kirjoiteta softaa Verkon runkolaitteet eivät toimi sovelluskerroksella Tämä rakennelma mahdollistaa nopean sovellussuunnittelun application transport network data link physical application transport network data link physical application transport network data link physical Verkkosovellusten periaatteet WWW ja HTTP Sähköposti SMTP, POP3, IMAP P2P tiedostojen jako Sovelluskerros 5 Sovelluskerros 6 1

2 Sovellusarkkitehtuurit Asiakas-palvelin (Client-) Vertaisverkko (Peer-to-peer (P2P)) Asiakas-palvelin ja P2P arkkitehtuurien sekoitus Asiakas-palvelin arkkitehtuuri Palvelin: Aina päällä päätelaite Pysyvä IP osoite Palvelin farmeja skaalautuvuuteen Asiakkaat: Kommunikoivat palvelimen kanssa Voivat olla epäsäännöllisesti yhteydessä verkkoon Voi olla dynaaminen IP osoite Eivät kommunikoi suoraan toistensa kanssa Sovelluskerros 7 Sovelluskerros 8 Puhdas P2P arkkitehtuuri Ei aina päällä olevaa palvelinta Mielivaltaiset päätelaitteet kommunikoivat suoraan Vertaiskumppanit (peers) ovat epäsäännöllisesti yhteydessä ja niiden IP osoitteet muuttuvat Helposti skaalattavissa (lisätään tai poistetaan laitteita) Mutta hankala hallinnoida Sovelluskerros 9 Asiakas-palvelin ja P2P arkkitehtuurien hybridi Skype Voice-over-IP P2P sovellus Keskitetty palvelin: jotta löydetään keskustelukumppanin osoite Asiakas asiakas yhteys: suoraan asiakkaiden välinen, dataa ei siirretä palvelimen kautta Instant messaging Kahden käyttäjän välinen chatti toimii P2P arkkitehtuurilla Sijainnin ja online -tilan hallinta keskitetty: Käyttäjä rekisteröi IP osoitteensa keskuspalvelimelle kytkeytyessään verkkoon Keskuspalvelimelta kysytään ystävien IP osoitteet Sovelluskerros 10 Kommunikoivat prosessit Soketit (Sockets) Prosessi: päätelaitteessa toimiva ohjelma Samassa päätelaitteessa kaksi prosessia kommunikoivat käyttäen prosessien välistä kommunikointia (käyttöjärjestelmän määrittelemä). Eri päätelaitteissa sijaitsevat prosessit kommunikoivat vaihtaen viestejä Asiakasprosessi: prosessi joka aloittaa kommunikaation Palvelinprosessi: prosessi joka odottaa yhteydenottoa Huom: P2P arkkitehtuurin mukaisissa sovelluksissa on sekä asiakas- että palvelinprosessit Sovelluskerros 11 Prosessi lähettää ja vastaanottaa viestejä sokettinsa välityksellä soketti vastaa ovea Lähettävä prosessi työntää viestin ulos ovesta Lähettävä prosessi luottaa kuljetusinfrastruktuurin oven toisella puolella kuljettavan viestin perille vastaanottavan prosessin soketille Päätelaite tai palvelin prosessi soketti TCP with buffers, variables Sovelluskehittäjän kontrolloima Internet Käyttöjärjestelmän kontrolloima API: (1) valitaan kuljetusprotokolla; (2) mahdollista määritellä muutamia parametreja host or process socket TCP with buffers, variables Sovelluskerros 12 2

3 Prosessien osoitteet Jotta prosessi voi vastaanottaa viestejä, pitää sillä olla tunniste Päätelaitteella on uniikki 32-bittinen IP osoite Q: Riittääkö päätelaitteen IP osoite tunnistamaan siinä toimivan prosessin? A: Ei, samassa päätelaitteessa voi olla monta prosessia toiminnassa yhtäaikaisesti Tunniste sisältää sekä IP osoitteen että porttinumeron joiden avulla päätelaitteessa toimiva prosessi tunnistetaan Esimerkki porttinumeroita: HTTP palvelin: 80 Sähköpostipalvelin: 25 Tästä lisää myöhemmin Sovelluskerros 13 Sovelluskerroksen protokolla määrittelee Minkälaisia viestejä vaihdetaan esim. request ja response viestit Viestityyppien syntaksi: mitä kenttiä viesteissä on ja kuinka kentät määritellään Kenttien semantiikka, eli kenttien informaation merkitys Säännöt sille milloin ja miten prosessit lähettävät viestejä ja vastaavat viesteihin Julkisia protokollia: Määritellään RFC dokumenteissa Mahdollistaa yhteentoimivuuden Esim. HTTP RFC > RFC 2616 SMTP RFC 821 -> RFC 2821 XMMP RFC 6120, 6121, 6122 Esim. Google talk, Facebook chat Yksityisiä (eng. propiertary): Esim. Skype, MSN Sovelluskerros 14 Mitä kuljetuspalveluita sovellus tarvitsee? Tiedon häviäminen Esimerkiksi puheliikennettä siirtävät sovellukset sietävät jonkinverran häviöitä Monet sovellukset (esim. tiedostonsiirto, telnet) vaativat 100% luotettavan yhteyden Ajoitus Jotkin sovellukset (esim. Internet puhelut, interaktiiviset pelit) vaativat pienen viiveen toimiakseen järjellisesti Kaistanleveys Esimerkiksi multimediasovellukset vaativat tietyn minimikaistan ollaakseen tarpeeksi tehokkaita Elastiset sovellukset käyttävät kaiken saamansa kaistanleveyden Tietoturva Salaus, datan eheys, Sovelluskerros 15 Kuljetuspalvelun vaatimukset yleisimmille sovelluksille Application file transfer e- Web documents real-time audio/video stored audio/video interactive games instant messaging Data loss no loss no loss no loss loss-tolerant loss-tolerant loss-tolerant no loss Bandwidth elastic no elastic no elastic no audio: 5kbps-1Mbps yes, 100 s msec video:10kbps-5mbps same as above few kbps up elastic Time Sensitive yes, few secs yes, 100 s msec yes and no Sovelluskerros 16 Internetin kuljetusprotokollien palvelut Internet sovellukset: sovellus- ja kuljetusprotokollat TCP palvelu: yhteydellinen: alustus vaaditaan asiakas- ja palvelinprosessien välillä Luotettava kuljetus lähettävän ja vastaanottavan prosessin välillä vuonvalvonta: lähettäjä ei tukahduta vastaanottajaa ruuhkanhallinta: lähettäjä hidastaa lähetysnopeutta kun verkko ruuhkaantuu Ei tarjoa: ajoituksen ja minimi kaistanleveyden takeita UDP palvelu: Epäluotettava tiedonsiirto lähettävän ja vastaanottavan prosessin välillä Ei tarjoa: yhteyden muodostusta, luotettavuutta, vuonvalvontaa, ruuhkanhallintaa, ajoituksen tai kaistanleveyden takeita Q: Onko mitään hyötyä? Miksi UDP on olemassa? Application e- remote terminal access Web file transfer streaming multimedia Internet telephony Application layer protocol SMTP [RFC 2821] Telnet [RFC 854] HTTP [RFC 2616] FTP [RFC 959] HTTP (esim. Youtube) RTP [RFC 1889] SIP, RTP, proprietary (e.g. Skype) Underlying transport protocol TCP TCP TCP TCP TCP or UDP typically UDP (maybe TCP for handshaking) Sovelluskerros 17 Sovelluskerros 18 3

4 Sovelluskerros WWW ja HTTP Verkkosovellusten periaatteet WWW ja HTTP Sähköposti SMTP, POP3, IMAP P2P tiedostojen jako Ensin hieman ammattitermejä WWW sivu koostuu objekteista Objekti voi olla HTML tiedosto, JPEG kuva, Java appletti, äänitiedosto, WWW sivu sisältää perus HTML -tiedoston joka voi sisältää useita objekteja Jokaisella objektilla URL osoite Esimerkki URL: host name path name Sovelluskerros 19 Sovelluskerros 20 HTTP - yleiskuva HTTP yleiskuva (jatkuu) HTTP: hypertext transfer protocol WWW:n sovelluskerroksen protokolla asiakas/palvelin malli asiakas: selain joka pyytää, vastaanottaa ja esittää www objekteja palvelin: www -palvelin lähettää objekteja vastauksena pyyntöihin HTTP 1.0: RFC 1945 HTTP 1.1: RFC 2616 (2068) PC running Explorer Mac running Navigator Server running Apache Web Kuljetuskerroksella TCP: Asiakas aloittaa TCP yhteyden (luo soketin) palvelimeen, porttiin 80 Palvelin hyväksyy asiakkaan TCP yhteyden HTTP viestejä (sovelluskerroksen protokollan viestejä) vaihdetaan selaimen (HTTP asiakas) ja WWW palvelimen (HTTP palvelin) välillä TCP yhteys suljetaan HTTP on tilaton Palvelin ei säilytä mitään tietoja asiakkaan aiemmista pyynnöistä huom Tilatietoja ylläpitävät protokollat ovat kompleksisia Aikaisempi historia (tila) täytyy säilyttää Jos palvelin tai asiakas kaatuu, niiden näkemys tilasta voi olla epäjohdonmukainen, mikä vaatii ynteensovittamista Sovelluskerros 21 Sovelluskerros 22 HTTP yhteydet Nonpersistent HTTP Enimmillään yksi objekti lähetetään TCP yhteyden yli. HTTP/1.0 käyttää nonpersistent Persistent HTTP Monia objekteja voidaan lähettää yhden TCP yhteyden yli asiakkaan ja palvelimen välillä. HTTP/1.1 käyttää persistent yhteyksiä oletuksena Sovelluskerros 23 Nonpersistent HTTP (sisältää tekstiä, Oletetaan että käyttäjä kirjoittaa URL:n linkit kymmeneen jpeg kuvaan) time 1a. HTTP asiakas ottaa TCP yhteyden HTTP palvelimeen (prosessiin) osoitteeseen porttiin HTTP asiakas lähettää HTTP request -viestin (sisältäen URL:n) TCP yhteyden sokettiin. Viesti ilmaisee että asiakas haluaa objektin somedepartment/home.index 1b. HTTP palvelin odottaa TCP yhteyttä porttiin 80. hyväksyy yhteyden, ilmoittaa asiakkaalle 3. HTTP palvelin vastaanottaa pyyntöviestin, muodostaa vastausviestin, joka sisältää pyydetyn objektin, ja lähettää viestin sokettiinsa Sovelluskerros 24 4

5 Nonpersistent HTTP (cont.) Vasteajan mallinnus RTT = Round Trip Time time 5. HTTP asiakas vastaanottaa vastausviestin, joka sisältää html tiedoston ja esittää html tiedoston näytöllä. Jäsentäessään html tiedostoa, selain löytää 10 viittausta jpeg objekteihin. 6. Kohdat 1-5 toistetaan jokaiselle kymmenestä jpeg objektista 4. HTTP palvelin sulkee TCP yhteyden. RTT:n määritys: aika joka menee pienen paketin lähettämiseen palvelimelle ja sen paluuseen asiakkaalle. Vasteaika: yksi RTT TCP yhteyden avaamiseen yksi RTT HTTP request viestiin ja muutaman ensimmäisen tavun lähettämiseen HTTP response viestillä Tiedoston lähetykseen kuluva aika = 2RTT+transmit time initiate TCP connection RTT request file RTT file received time time time to transmit file Sovelluskerros 25 Sovelluskerros 26 Persistent HTTP HTTP request viesti Nonpersistent HTTP: vaatii 2 RTT per objekti Käytöjärjestelmän tulee jakaa resursseja jokaiselle TCP yhteydelle Mutta selain usein avaa rinnakkaisia TCP yhteyksiä hakiessaan linkitettyjä objekteja Persistent HTTP Palvelin jättää yhteyden auki lähetettyään vastauksen seuraavat HTTP viestit asiakkaan ja palvelimen välillä lähetetään saman yhteyden yli. Persistent without pipelining: Asiakas lähettää uuden pyynnön vasta sitten kun edellinen vastaus on vastaanotettu yksi RTT jokaiselle linkitetylle objektille Persistent with pipelining: oletuksena HTTP/1.1:ssä Asiakas lähettää pyynnön heti kun se huomaa linkitetyn objektin Vain yksi RTT kaikille linkitetyille objekteille Sovelluskerros 27 kaksi HTTP viestityyppiä: request, response HTTP request viesti: ASCII (human-readable format) request line (GET, POST, HEAD commands) Carriage return, line feed indicates end of message header lines GET /somedir/page.html HTTP/1.1 Host: User-: Mozilla/4.0 Connection: close Accept-language:fr (extra carriage return, line feed) Sovelluskerros 28 HTTP request viesti: yleinen formaatti Lomakkeen sisällön lataaminen Post metodi: WWW sivuilla on lomakkeita joihin voi syöttää tietoja Syötetyt tiedot ladataan palvelimelle HTTP request Entity body -kentässä URL metodi: Käyttää GET metodia Syötetyt tiedot ladataan HTTP request viestin URL kentässä: Sovelluskerros 29 Sovelluskerros 30 5

6 Metodityyypit HTTP response viesti HTTP/1.0 GET POST HEAD Pyytää palvelinta jättämään pyydetyn objektin pois vastauksesta HTTP/1.1 GET, POST, HEAD PUT Lataa tiedoston entity body kentässä osoitteeseen joka on määritelty URL kentässä DELETE Tuhoaa tiedoston joka on määritetty URL kentässä status line (protocol status code status phrase) data, e.g., requested HTML file header lines HTTP/ OK Connection close Date: Thu, 06 Aug :00:15 GMT Server: Apache/1.3.0 (Unix) Last-Modified: Mon, 22 Jun Content-Length: 6821 Content-Type: text/html data data data data data... Sovelluskerros 31 Sovelluskerros 32 HTTP response tilakoodit Ensimmäisellä rivillä palvelimen response viestissä asiakkaalle. Muutamia esimerkkikoodeja: 200 OK Pyyntö onnistui, pyydetty objekti on tässä viestissä 301 Moved Permanently Pyydetty objekti on siirretty, uusi sijainti ilmoitetaan tässä viestissä (Location:) 400 Bad Request Palvelin ei ymmärtänyt request viestiä 404 Not Found Pyydettyä documenttia ei löydy tältä palvelimelta 505 HTTP Version Not Supported Sovelluskerros 33 Trying out HTTP (client side) for yourself 1. Otetaan Telnet yhteys johonkin www palvelimeen: telnet s.jyu.fi Kirjoitetaan GET HTTP request: GET /~arjuvi/ HTTP/1.1 [Enter] Host: s.jyu.fi [Enter] [Enter] Avaa TCP yhteyden porttiin 80 (oletus HTTP palvelimen portti) osoitteessa s.jyu.fi Kaikki mitä kirjoitetaan lähetetään osoitteen s.jyu.fi porttiin 80 Tämän kirjoittamalla (kaksi Enter Painallusta lähettää komennot), lähetät Lyhyen mutta täydellisen GET request -viestin HTTP palvelimelle 3. Tarkastellaan HTTP palvelimen lähettämää vastetta Sovelluskerros 34 Trying out HTTP (client side) for yourself Käyttäjä-palvelin tila: evästeet Windows:n Telnet ei oletuksena kaiuta näppäimen painalluksia näyttöön: telnet [Enter] Welcome to Microsoft Telnet Client Escape Character is 'CTRL+ ' Microsoft Telnet> set localecho Local echo on Microsoft Telnet> open s.jyu.fi 80 Connecting To s.jyu.fi... GET /~arjuvi/ HTTP/1.1 [Enter] Host: s.jyu.fi [Enter] [Enter] Avaa ensin Telnet sovelluksen, sitten asetetaan Kaiutus, minkä jälkeen avataan TCP yhteys Porttiin 80 Tässä vaiheessa näyttää siltä että telnet jää jumiin, mutta yhteys on luotu ja jos alat kirjoittaa niin Windows:in Telnet tulostaa kirjoittamasi merkit ruudun yläreunaan tekstin Welcome to Microsoft Telnet Client päälle Monet www sivustot käyttävät evästeitä (cookies) Neljä komponenttia: 1) cookie otsikkorivi HTTP response viestissä 2) cookie otsikkorivi HTTP request viestissä 3) Evästetiedosto säilytetään käyttäjän koneella ja sitä hallinnoi käyttäjän Internet selain 4) Www sivuston tietokannassa säilytetään tietoja käyttäjän aiemmasta vierailusta sivustolle Esimerkki: Olet yhteydessä Internettiin aina samalta koneelta Vierailet jollakin verkkokauppa sivustolla ensimmäistä kertaa Kun esimmäinen HTTP requests viesti saapuu palvelimelle luodaan uniikki ID ja syötetään tiedot tietokantaan Sovelluskerros 35 Sovelluskerros 36 6

7 Evästeet: tilatietojen säilyttäminen Cookie file ebay: 8734 Cookie file amazon: 1678 ebay: 8734 one week later: Cookie file amazon: 1678 ebay: 8734 asiakas usual http request msg usual http response + Set-cookie: 1678 usual http request msg cookie: 1678 usual http response msg usual http request msg cookie: 1678 usual http response msg palvelin creates ID 1678 for cookiespecific action cookiespectific action Evästeet (jatkuu) Mitä evästeet mahdollistaa: käyttövaltuutus ostoskärryt suositteluja Käyttäjän istunnon tila (www pohjainen e-) huom Evästeet ja yksityisyys: Evästeiden avulla sivustot keräävät paljon tietoa käyttäjästä Annat nimesi ja sähköpostiosoitteesi sivustolle Sovelluskerros 37 Sovelluskerros 38 WWW välimuistit (proxy ) Lisää www välimuisteista Tavoite: täyttää asiakkaan pyynnöt ilman alkuperäisen palvelimen kuormitusta Käyttäjän asetus selaimeen: www yhteys välipalvelimen kautta Selain lähettää kaikki HTTP request viestit välipalvelimelle Objekti välimuistissa: välipalvelin palauttaa objektin Muutoin välipalvelin pyytää objektin alkuperäiseltä palvelimelta, ja toimittaa sen sitten asiakkaalle client client Proxy origin origin Välimuisti toimii sekä asiakkaana että palvelimena Tyypillisesti välimuistin asettaa Internetpalveluntarjoaja (yliopisto, yritys, ISP) Miksi www välimuisti? Pienentää vasteaikaa asiakkaan pyyntöihin. Vähentää liikennettä instituution access linkissä. Välimuistit mahdollistavat tiedon tehokkaamman jakamisen jos palvelimen yhteys/suorituskyky on heikko Sovelluskerros 39 Sovelluskerros 40 Välimuistiesimerkki Oletukset Keskimääräinen objektin koko = 100,000 bittiä Pyyntöjä alkuperäisille palvelimille keskimäärin 15 kpl sekunnissa Viive instituution reitittimeltä mihin tahansa alkuperäiselle palvelimelle ja takaisin on 2 sekunttia Seuraukset Lähiverkon käyttöaste = 15% Access linkin käyttöaste = 100% kokonaisviive = Internetin viive + access viive + LAN viive = 2 s + minuutteja + millisekuntteja institutional network public Internet 1.5 Mbps access link 10 Mbps LAN origin s Sovelluskerros 41 Välimuisti esimerkki (jatkuu) Mahdollinen ratkaisu Kasvatetaan access linkin kaistanleveys vaikka 10 Mbps:ssa Seuraukset Lähiverkon käyttöaste = 15% Access linkin käyttöaste = 15% kokonaisviive = Internetin viive + access viive + LAN viive = 2 s + millisekuntteja + millisekuntteja Usein kallis päivitys institutional network public Internet 10 Mbps access link 10 Mbps LAN origin s Sovelluskerros 42 7

8 Välimuisti esimerkki (jatkuu) Asennetaan välimuisti Oletetaan että 40% pyynnöistä löytyy välimuistista Seuraus 40% pyynnöistä palvellaan melkein samantien 60% pyynnöistä välitetään alkuperäisille palvelimille Access linkin käyttöaste pienenee 60 prosenttiin, ja näin olle viiveet ovat merkityksettömiä (esim. 10 ms) kokonaisviive = Internetin viive + access viive + LAN viive = 0.6*(2.01) sekunttia + millisekuntteja < 1.4 s institutional network public Internet 1.5 Mbps access link 10 Mbps LAN origin s institutional cache Ehdollinen (Conditional) GET Tavoite: ei lähetetä objektia jos välimuistin kopio on sama kuin uusin versio välimuisti: määrittelee kopion päivämäärän HTTP request viestissä If-modified-since: <date> palvelin: vastaus ei sisällä objektia jos välimuistin kopio on tuore: HTTP/ Not Modified cache HTTP request msg If-modified-since: <date> HTTP response HTTP/ Not Modified HTTP request msg If-modified-since: <date> HTTP response HTTP/ OK <data> object not modified object modified Sovelluskerros 43 Sovelluskerros 44 Sovelluskerros FTP: protokolla tiedostojen siirtoon Verkkosovellusten periaatteet WWW ja HTTP Sähköposti SMTP, POP3, IMAP P2P tiedostojen jako Sovelluskerros 45 at host FTP FTP client interface local file system file transfer FTP remote file system Siirretään tiedostoja verkon yli toiselle koneelle Asiakas/palvelin malli asiakas: se joka avaa yhteyden (kumpaan suuntaan tahansa) palvelin: remote host ftp: RFC 959 ftp palvelin: portti 21 Sovelluskerros 46 FTP: erilliset signalointi- ja datayhteydet FTP: erilliset signalointi- ja datayhteydet asiakas ottaa yhteyden FTP palvelimen porttiin 21, määrittäen TCP:n kuljetusprotokollaksi Asiakas selaa vastapuolen hakemistoja lähettämällä komentoja signalointiyhteydellä Kun palvelin vastaanottaa komennon tiedoston siirrosta, avaa palvelin TCP datayhteyden asiakkaaseen Kun tiedosto on siirretty palvelin sulkee yhteyden FTP client TCP control connection port 21 TCP data connection port 20 FTP Palvelin avaa uuden TCP datayhteyden toisen tiedoston siirtämiseen Signalointiyhteys: out of band palvelin säilyttää tilan : nykyisen hakemiston, aiemman autentikoinnin asiakas ottaa yhteyden FTP palvelimen porttiin 21 Aktiivimoodi: Palvelin ottaa datayhteyden asiakkaan porttiin 20 Palomuurit usein estävät Asiakas voi PORT komennolla antaa jonkin toisen porttinumeron palvelimelle Passiivimoodi: Asiakas pyytää palvelinta avaamaan portin johon asiakas avaa datayhteyden PASV komento ei aina toimi (palomuurit ja reitittimet syynä) EPSV uudempi versio (RFC 2428) FTP client TCP control connection port 21 TCP data connection port 20 FTP Nykyään asiakkaat käyttävät yleisesti passiivimoodia Myös selaimet osaavat kommunikoida FTP:llä Esim. ftp://ftp.jyu.fi Sovelluskerros 47 Sovelluskerros 48 8

9 FTP komentoja ja vasteita Esimerkki: komentoja Lähetetään ASCII tekstiä signalointikanavalla USER name PASS password LIST tiedotojen listaus nykyisessä hakemistossa RETR filename retrieves (gets) file STOR filename stores (puts) file onto remote host Esimerkki: vastauskoodeja Tilakoodi ja teksti (vastaavasti kuin Username OK, password required 125 data connection already open; transfer starting 425 Can t open data connection 452 Error writing file Sovelluskerros 49 FTP: kokeile itse Tarvitset kaksi asiakassovellusta joilla saat avattua TCP yhteyden haluamaasi porttiin Ota yhteys esim ftp.jyu.fi palvelimeen (portti 21) USER anonymous\r\n PASS anonymous\r\n EPSV\r\n Katso vastauksesta palvelimen uusi portti ja muodosta yhteys tähän toisella ohjelmalla LIST\r\n (ohjelmalla joka yhteydessä porttiin 21) Listaus tulee toiseen ohjelmaan datayhteyden kautta EPSV\r\n (ohjelmalla joka yhteydessä porttiin 21) Katso vastauksesta palvelimen uusi portti ja muodosta yhteys tähän toisella ohjelmalla RETR README\r\n (ohjelmalla joka yhteydessä porttiin 21) Palvelin lähettää tiedoston toiseen ohjelman uuden datayhdeyden kautta QUIT\r\n (ohjelmalla joka yhteydessä porttiin 21) Sovelluskerros 50 Sovelluskerros Verkkosovellusten periaatteet WWW ja HTTP Sähköposti SMTP, POP3, IMAP P2P tiedostojen jako Sovelluskerros 51 Sähköposti Kolme pääkomponenttia: käyttäjäit ( ) postipalvelimet simple transfer protocol: SMTP Käyttäjäti Ts. postin lukija Postiviestien kirjoittaminen, editointi ja lukeminen Esim. Pine, Eudora, Outlook, Netscape Messenger, www Lähtevät ja tulevat viestit säilytetään palvelimella SMTP SMTP SMTP outgoing message queue box Sovelluskerros 52 Sähköposti: postipalvelimet Postipalvelimet box - postilaatikko, sisältää käyttäjälle saapuneet viestit viestijono sisältää lähetettävät sähköpostiviestit SMTP protokolla postipalvelimien välillä; sähköpostiviestien välitykseen asiakas: lähettävä postipalvelin palvelin : vastaanottava postipalvelin SMTP SMTP SMTP Lähetettävät viestijono Käyttäjän postilaatikko Sovelluskerros 53 Sähköposti: SMTP [RFC 2821] Käyttää TCP:tä luotettavaan sähköpostien lähetykseen asiakkaalta palvelimelle porttiin 25 Suora tiedonsiirto: lähettävältä palvelimelta vastaanottavalle palvelimelle Tiedonsiirron kolme vaihetta Kättely (tervehdys) Viestien vaihto Yhteyden sulkeminen command/response interaction komennot: ASCII tekstiä vastaukset: tilaakoodi ja lause Viestien täytyy olla 7-bit ASCII muodossa Sovelluskerros 54 9

10 Skenaario: Alice lähettää viestin Bobille 1) Alice käyttää UA:ta viestin laatimiseen :lle 2) Alicen UA lähettää viestin omalle sähköposti - palvelimelle; viesti laitetaan viestijonoon 3) SMTP:n asiakas osapuoli avaa TCP yhteyden Bobin sähköpostipalvelimeen ) SMTP asiakas lähettää Alicen viestin TCP yhteyden yli 5) Bobin sähköpostipalvelin laittaa viestin Bobin postilaatikkoon (box) 6) Bob käyttää käyttäjäaganttiaan (UA) viestin lukemiseen 5 6 Esimerkki SMTP viestinvaihdosta S: 220 hamburger.edu C: HELO crepes.fr S: 250 Hello crepes.fr, pleased to meet you C: MAIL FROM: alice@crepes.fr S: 250 alice@crepes.fr... Sender ok C: RCPT TO: bob@hamburger.edu S: 250 bob@hamburger.edu... Recipient ok C: DATA S: 354 Enter, end with "." on a line by itself C: Do you like ketchup? C: How about pickles? C:. S: 250 Message accepted for delivery C: QUIT S: 221 hamburger.edu closing connection Sovelluskerros 55 Sovelluskerros 56 Kokeile itse SMTP protokollaa: telnet name 25 Katso että saat 220 vastauksen palvelimelta käytä HELO, MAIL FROM, RCPT TO, DATA, QUIT komentoja Näin voit lähettää sähköpostia ilman sähköpostiohjelmaa SMTP: lopuksi SMTP käyttää persistent yhteyksiä SMTP vaatii viestin (header & body) olevan 7-bit ASCII tekstiä SMTP palvelin käyttää CRLF.CRLF määritelläkseen viestin loppumisen Vertailua kanssa: HTTP: pull SMTP: push Molemmissa on ASCII command/response viestienvaihto, tilakoodit HTTP: jokainen objekti kapsuloidaan omaan vastausviestiin SMTP: monia objekteja lähetetään moniosaisissa viesteissä Sovelluskerros 57 Sovelluskerros 58 Mail -viestin formaatti (DATA -osio) Viestin formaatti: multimedia laajennukset SMTP: protokolla sähköpostiviestien vaihtoon RFC 822: standardi viestien tekstimuodolle: otsikkorivit, esim. To: From: Subject: eivät ole SMTP komentoja! body viesti, vain ASCII merkkejä Uusin version RFC 5322 header body Tyhjä rivi MIME: multimedia extension, RFC 2045, 2056, Viestin otsikon lisärivit kertovat MIME sisällön tyypin MIME version method used to encode data multimedia data type, subtype, parameter declaration encoded data From: alice@crepes.fr To: bob@hamburger.edu Subject: Picture of yummy crepe. MIME-Version: 1.0 Content-Transfer-Encoding: base64 Content-Type: image/jpeg base64 encoded data base64 encoded data Sovelluskerros 59 Sovelluskerros 60 10

11 Mail access protocols SMTP SMTP access protocol sender s receiver s SMTP: kuljetus/tallennus vastaanottajan palvelimelle Mail access protocol: haku palvelimelta POP: Post Office Protocol [RFC 1939] käyttövaltuutus (asiakas <--> palvelin) ja lataus IMAP: Internet Mail Access Protocol [RFC 1730] Enemmän ominaisuuksia (monimutkaisempi) Palvelimelle talletettujen viestien manipulointi HTTP: g, jne. Sovelluskerros 61 POP3 protokolla authorization phase Asiakkaan komennot: : käyttäjätunnus pass: salasana Palvelin vastaa +OK -ERR transaction phase, asiakas: list: listaa viestinumerot retr: hakee viesti numeron perusteella dele: poistaa viestin quit S: +OK POP3 ready C: bob S: +OK C: pass hungry S: +OK successfully logged on C: list S: S: S:. C: retr 1 S: <message 1 contents> S:. C: dele 1 C: retr 2 S: <message 1 contents> S:. C: dele 2 C: quit S: +OK POP3 signing off Sovelluskerros 62 POP3 protokolla telnet pop.palvelin.com 110 Nykyään vaatii monesti salatun yhteyden, joten hyvin harva palvelin vastaa 110 porttiin Käytä esim. Openssl sovellusta Openssl s_client connect pop.palvelin.com:995 Sitten käytetään samoja komentoja S: +OK POP3 ready C: bob S: +OK C: pass hungry S: +OK successfully logged on C: list S: S: S:. C: retr 1 S: <message 1 contents> S:. C: dele 1 C: retr 2 S: <message 1 contents> S:. C: dele 2 C: quit S: +OK POP3 signing off Sovelluskerros 63 POP3 (lisää) ja IMAP Lisää POP3 protokollasta Edellinen esimerkki käytti lataa ja tuhoa moodia Bob ei voi uudelleen lukea sähköpostia jos hän vaihtaa client -ohjelmaa Lataa ja säilytä : viestien kopioita useassa client - ohjelmassa POP3 on tilaton istuntojen välillä IMAP Säilyttää kaikki viestit yhdessä paikassa: palvelimella Käyttäjän on mahdollista organisoida viestejä kansioihin IMAP säilyttää käyttäjän tilan istuntojen välillä: Kansioiden nimet sekä viestien tunnuksen ja kansion nimen linkitys Sovelluskerros 64 Sovelluskerros DNS: Domain Name System Verkkosovellusten periaatteet WWW ja HTTP Sähköposti SMTP, POP3, IMAP P2P tiedostojen jako Ihmiset: monia tunnisteita: Henkilötunnus, nimi, Internet päätelaitteet, reitittimet: IP osoite (32 bittiä) käytetään datagrammien osoitteissa nimi, esim. - ihmisten käyttämä Q: IP osoitteen ja nimen yhdistäminen? Domain Name System: Hajautettu tietokanta toteutettu hierarkisesti moniin nimipalvelimiin Sovelluskerroksen protokolla päätelaitteet, reitittimet ja nimipalvelimet kommunikoivat nimien selvittämiseksi (osoite/nimi muunnos) huom: Internetin rungon toiminto, toteutettu sovelluskerroksen protokollana Kompleksisuus verkon reunalla Sovelluskerros 65 Sovelluskerros 66 11

12 DNS DNS palvelut Nimen muunnos IP osoitteeksi Useamman nimen käyttö Canonical ja alias nimet Mail aliasing Kuorman hajautus Monistettuja WWW palvelimia: joukko IP osoitteita yhdelle kanooniselle nimelle Miksi ei keskitetty DNS? single point of failure Liikenteen määrä Kaukainen keskitetty tietokanta ylläpito ei skaalaudu! Sovelluskerros 67 Hajautettu, hierarkinen tietokanta Root DNS Servers com DNS s org DNS s fi DNS s yahoo.com DNS s amazon.com DNS s wikipedia.org DNS s jyu.fi DNS s csc.fi DNS s Asiakas haluaa IP:n osoitteelle Asiakas kysyy juurinimipalvelimelta fi alueesta vastaavan nimipalvelimen IP osoitetta Asiakas kysyy fi -nimipavelimelta jyu.fi alueesta vastaavan nimipalvelimen IP osoitetta Asiakas kysyy jyu.fi -nimipavelimelta IP osoitteen joka vastaa nimeä Sovelluskerros 68 DNS: juurinimipalvelimet Paikallinen nimipalvelin kysyy juurinimipalvelimelta, jos ei itse tiedä juurinimipalvelin: Ottaa yhteyden nimestä vastaavaan nimipalvelimeen jos ei tiedä Saa nimeä vastaavan IP osoitteen Lähettää osoitteen paikalliselle nimipalvelimelle e NASA Mt View, CA f Internet Software C. Palo Alto, CA (and 17 other locations) b USC-ISI Marina del Rey, CA l ICANN Los Angeles, CA a Verisign, Dulles, VA c Cogent, Herndon, VA (also Los Angeles) d U Maryland College Park, MD k RIPE London (also Helsinki, Amsterdam, Frankfurt, etc) g US DoD Vienna, VA h ARL Aberdeen, MD i Autonomica, Stockholm (plus other locations) j Verisign, ( 11 locations) m WIDE Tokyo 13 root name s worldwide TLD ja autoritäärinen palvelin Toisen tason (Top-level domain - TLD) palvelimet: vastuussa com, org, net, edu, etc (Generic TLD) sekä kaikista ylimmän tason maakohtaisista verkkotunnuksista fi, se, uk, (Country Coded TLD) Network solutions ylläpitää palvelimia.com -päätteille Autoritääriset (viralliset) DNS palvelimet: organisaatioiden DNS palvelimet, tarjoavat virallisen nimen muunnoksen IP osoitteeksi organisaation sovelluspalvelimille (esim. smtp.jyu.fi ). Voivat olla organisaation tai palveluntarjoajan ylläpidettävänä Oltava vähintään kaksi Sovelluskerros 69 Sovelluskerros 70 Paikallinen nimipalvelin Ei suoraan kuulu hierarkiaan Jokaisella ISP:llä (alueellinen ISP, yritys, yliopisto) on yksi. Kutsutaan myös oletusnimipalvelimeksi (default name ) Voi olla sama kuin autoritäärinen DNS palvelin Resolver (vastaa osoitteen selvittämisestä) Kun päätelaite tekee DNS kyselyn, se lähetetään paikalliselle nimipalvelimelle Toimii kuin proxy, lähettää kyselyn eteenpäin hierarkian seuraavalle tasolle Sovelluskerros 71 Esimerkki Päätelaite osoitteessa cis.poly.edu haluaa IP osoitteen wwwosoitteelle: gaia.cs.umass.edu Iteratiivinen kysely: Palvelin johon otettiin yhteys vastaa antamalla toisen palvelimen nimen En tiedä mikä tämän IP osoite on, mutta tuo toinen tietää local DNS dns.poly.edu requesting host cis.poly.edu root DNS 3 TLD DNS authoritative DNS dns.cs.umass.edu gaia.cs.umass.edu Sovelluskerros 72 12

13 Rekursiivinen kysely root DNS DNS: välimuisti ja tietojen päivitys Rekursiivinen kysely: Nimenselvityksen tehtävä on palvelimella johon otettiin yhteys Kuormittava? local DNS dns.poly.edu TLD DNS Kun (mikä tahansa) nimipalvelin oppii nimen ja osoitteen vastaavuuden, se talletetaan välimuistiin Välimuistin tiedot tuhotaan (timeout) tietyn ajan jälkeen TLD palvelimien tiedot on tyypillisesti paikallisten nimipalvelimien välimuistissa Näin juurinimipalvelimiin ei usein oteta yhteyttä requesting host cis.poly.edu authoritative DNS dns.cs.umass.edu gaia.cs.umass.edu Sovelluskerros 73 Sovelluskerros 74 DNS: kokeile itse >nslookup Kokeile esim s.jyu.fi set type=mx jyu.fi student.jyu.fi DNS tietueet DNS: hajautettu tietokanta tallentaa tietoja (Resourse Records, RR) Type=A Type=NS RR muoto: (name, value, type, ttl) name is hostname value is IP address name is domain (e.g. foo.com) value is name of authoritative name for this domain Type=CNAME name is alias name for some canonical (the real) name (s.jyu.fi is really karahka.cc.jyu.fi) value is canonical name Type=MX value is name of associated with name Sovelluskerros 75 Sovelluskerros 76 DNS protokolla ja viestit DNS protokolla : query ja reply viestejä, molemmilla sama viestin muoto (message format ) Viestin otsikko identification: 16 bittinen numero jolla tunnistetaan vastaus kysymykseen (sama numero) flags: Kysymys vai vastaus Halutaan rekursio Rekursio mahdollinen Vastaus on autoritäärinen DNS protokolla ja viestit Kysymysten nimija tyyppikentät Vastaukset kysymyksiin Kenttiä autoritäärisille palvelimille Lisäinformaatiota jota voidaan käyttää Sovelluskerros 77 Sovelluskerros 78 13

14 Tietojen syöttäminen DNS:ään Esimerkki: perustetaan verkkoutopia domain Rekisteröidään nimi verkkoutopia.com rekisterinpitäjältä Esim. Network Solutions Jos osoite olisi verkkoutopia.fi -> Ficora Nykyään tarjolla myös Hosting ja Webhotelli palveluita, jotka rekisteröivät haluamasi domainin puolestasi ja tarjovat fyysisen alustan palvelimellesi Rekisterinpitäjälle tulee toimittaa kahden autoritäärisen nimipalvelimen nimet (primary ja secondary) ja IP osoitteet Rekisterinpitäjä laittaa kaksi tietuetta com TLD palvelimelle: (verkkoutopia.com, dns1.verkkoutopia.com, NS) (dns1.verkkoutopia.com, , A) (verkkoutopia.com, dns2.verkkoutopia.com, NS) (dns2.verkkoutopia.com, , A) Autoritääriseen palvelimeen laitetaan Tyypin A tietueen arvoksi ja Tyypin MX tietueen arvoksi verkkoutopia.com ( , A) (verkkoutopia.com, smtp.verkkoutopia.com, MX) (smtp.verkkoutopia.com, , A) Kuinka ihmiset saavat www sivustojesi IP osoitteen? Sovelluskerros 79 Sovelluskerros Verkkosovellusten periaatteet WWW ja HTTP Sähköposti SMTP, POP3, IMAP P2P tiedostojen jako Sovelluskerros 80 Puhdas P2P arkkitehtuuri ei aina päällä olevaa palvelinta Mielivaltaiset peer-peer päätelaitteet keskustelevat keskenään Peer:it ovat ajoittain yhteydessä ja vaihtavat IP osoitteita Tiedostojen jako: Server-Client vs P2P Question : Kuinka kauan kestää tiedoston jakaminen yhdeltä palvelimelta N:lle peer:ille? File, size F Server d N u N u 1 d 1 u 2 u s d2 Verkko (jossa reilusti kapasiteettia) u s : upload bandwidth u i : peer i upload bandwidth d i : peer i download bandwidth Sovelluskerros 81 Sovelluskerros 82 Tiedoston jakamiseen kuluva aika: client Palvelin lähettää peräkkäin N kopiota: Aika NF/u s Asiakas i käyttää F/d i lataamiseen F Server d N u N u u 2 1 d 1 u s Kasvaa lineaarisesti N:n funktiona (suurille N) d2 Verkko (jossa reilusti kapasiteettia) Aika joka kuluu F:n jakamiseen N:lle asiakkaalle = d cs = max { NF/u s, F/min(d i ) } i asiakas/palvelin mallilla Tiedoston jakamiseen kuluva aika: P2P Palvelimen täytyy lähettää yksi kopio: F/u s time Asiakas i käyttää F/d i lataamiseen NF bittiä täytyy ladata (yhteenäaskettuna) Server fastest possible upload rate: u s + Su i u u 2 1 d 1 u s d P2P = max { F/u s, F/min(d i ), NF/(u s + Su i ) } i Sovelluskerros 83 Sovelluskerros 84 F d N u N d2 Verkko (jossa reilusti kapasiteettia) 14

15 Minimum Distribution Time Server-client vs. P2P: example Client upload rate = u, F/u = 1 hour, u s = 10u, d min u s P2P Client-Server N Yhteenveto Siinä oli verkkosovelluksista! Sovellusarkkitehtuurit Asiakas-palvelin P2P hybridi Sovelluksen vaatimukset palvelulle: luotettavuus, kaistanleveys, viive Internetin kuljetuspalvelut yhteydellinen, luotettava: TCP Epäluotettava, datagrammeja: UDP Protokolla jotka opimme: HTTP SMTP, POP, IMAP Sovelluskerros 85 Sovelluskerros 86 Yhteenveto tärkeintä: opittiin protokollista tyypillinen request/reply viestien vaihto: Asiakas pyytää tietoa tai palvelua Palvelin vastaa tilakoodilla ja lähettämällä dataa Viestien formaatit: otsikot: kenttiä jotka antavat informaatiota datasta data: informaatio jota kommunikoidaan Kontrolli vs. data viestit in-band, out-of-band Keskitetty vs. hajautettu tilaton vs. tilallinen luotettava vs. epäluotettava viestien välitys Kompleksisuus verkon reunoilla Sovelluskerros 87 15