Ohjelmistojen rakentaminen

Transkriptio

1 Ohjelmistojen rakentaminen Koodikirjastot Tehtävänanto Antti Juustila Versio 1.1 lauantai 22. huhtikuuta 2017 Tässä tehtävänannossa olevat ohjeet olettavat että työskentelet *nix -ympäristössä ja modulissa käytettävät työkalut sekä boost ja jsoncpp -kirjastot on asennettu annettujen ohjeiden mukaisesti ja toimivat. Annetut CMake ja makefile:t on testattu toimivaksi Ubuntussa sekä Mac OS X:ssä. Suosittelen kurssin Windows -käyttäjille työskentelyä VirtualBox:ssa Ubuntua käyttäen. Nämä saat ilmaiseksi ja niiden asentaminen on helppoa. Annettu koodi tulee jaettavaksi Moodleen ellei aloitusseminaarissa toisin kerrota. Tehtävän saa tehdä yksin tai parityönä. Loppuseminaarissa viimeistellään töitä, laaditaan kokemusraportti ja käydään läpi aikaansaatuja toteutuksia. EasyCryptoLib Tutustukaa annettuun koodiin. Koodi sisältää kaksi komponenttia: EasyCryptoLib -kirjasto Client Kirjasto tukee tekstin salaamista (encrypt) ja salatun tekstin purkamista (decrypt) selväkieliseksi. Ohjelma (client) joka käyttää kirjastoa tekstin salaamiseen. Sivu 1 / 7

2 Kirjasto koostuu useasta lähdekooditiedostosta: CMakeLists.txt CMake -työkalun kanssa käytettävä makefile, joka mahdollistaa (lähes) ympäristö- ja kääntäjäriippumattoman käännöksen. Käytä tätä kääntämiseen! makefile.bak Käännöstiedosto jolla kirjaston voi kääntää antamalla komennon make -f makefile.bak. Huom: makefile on muokattava omaan kehitysympäristöön sopivaksi ennen kääntämistä. Tämän makefilen käyttäminen kääntämiseen on toissijainen vaihtoehto, käytä ensisijassa CMakeLists.txt -tiedostoa CMake -työkalun kanssa. Huomaa että CMake generoi oman Makefile -nimisen tiedoston jota käytetään myös make -komennon kanssa. Tätä generoitua makefile -tiedostoa ei ole tarkoitus muokata käsin! EasyCryptoLib.hpp EasyCryptoLibBad.hpp EasyCryptoLib.cpp EasyCryptoLibBad.cpp EasyCryptoLibPriv.hpp EasyCryptoPrivMatrix.hpp ja.cpp EasyCryptoPrivReverse.hpp ja.cpp EasyCryptoExceptions.hpp ECMasterHeader.hpp Kirjaston ohjelmointirajapinta. Kirjastoa hyödyntävä ohjelmaa kehitettäessä tarvitaan tämä otsikkotiedosto ja käännetty dynaaminen kirjasto (.so,.dll tai.dylib, riippuen kehitysympäristöstä). Esimerkki huonosta rajapintatoteutuksesta. Tämän rajapinnan huonot puolet demonstroidaan aloitusseminaarissa. Demoa lukuunottamatta tällä rajapinnalla ei kurssilla ole muuta käyttöä. Hyvän ohjelmointirajapinnan (EasyCryptoLib.hpp) toteutus. Tätä tiedostoa ei anneta kirjastoa käyttävän ohjelmien ohjelmoijille. Kuten edellinen, mutta huonon kirjastorajapinnan EasyCryptoLibBad.hpp toteutus. Demoa lukuunottamatta tällä rajapinnalla ei kurssilla ole muuta käyttöä. Yksittäisen salaus- ja purkumetodin toteutuksen rajapinta. Ei osa kirjaston julkista rajapintaa. Yksittäiset salaus/purkumetodit toteuttavat tämän rajapinnan. Matriisisalausmenetelmän toteutus joka toteuttaa EasyCryptoLibPriv -rajapinnan. Nämä tiedostot eivät ole osa kirjaston julkista rajapintaa. Käänteissalausmenetelmän toteutus joka toteuttaa EasyCryptoLibPriv -rajapinnan. Nämä tiedostot eivät ole osa kirjaston julkista rajapintaa. Otsikkotiedosto joka esittelee kirjaston virhetilanteissa käyttämät poikkeukset. Tätä ei tulla käyttämään muuten kuin esittelemään huonon kirjastorajapinnan ominaisuuksia. Otsikkotiedosto jossa esitellään yleisesti ohjelmassa käytettäviä määrityksiä. Tällä hetkellä tärkein tarkoitus tällä tiedostolla on esitellä eri kääntäjiä käytettäessä tarvittavia rajapintojen exporttauksessa käytettäviä määreitä. Tämän kuten muidenkin tiedostojen tarkoitus esitellään aloitusseminaarin demossa. CMakeLists.txt -tiedoston ja CMake -työkalun kanssa kääntäminen pitäisi tapahtua automaagisesti sekä macos:ssä että Linuxissa. Mitään muokkauksia tiedostoon ei tarvitse tehdä. CMake -työkalun käyttö demonstroidaan aloitusseminaarissa. Jos haluat kokeilla kääntämistä myös makefile.bak tiedostolla, muokkaa makefile.bak sopimaan omaan kehitysympäristöösi: install: -osiossa, katso että hakemistot johon kirjaston julkinen rajapinta eli otsikkotiedostot ja dynaaminen kirjasto asennetaan on oikea. Otsikkotiedostojen hakemisto on yleensä joko /usr/include tai /usr/local/include Dynaamisen kirjaston hakemisto on /usr/lib tai /usr/local/lib Sivu 2 / 7

3 Käännä EasyCryptoLib -kirjasto CMakeLists.txt:n sisältämässä hakemistossa antamalla komennot cmake. make sudo make install Ensimmäinen komento luo ympäristökohtaiset käännöstiedostot ohjelman kääntämiseksi. Katso että tämä onnistui ilman virheitä. Huomaa piste komennon perässä. Seuraava komento suorittaa itse kääntämisen, virheitä ei pitäisi tulla tässäkään vaiheessa. Seuraavaksi, kirjasto asennetaan muiden sovellusten käytettäväksi kopiomalla kirjaston julkiset otsikkotiedostot järjestelmäkohtaiseen otsikkotiedostohakemistoon ja käännetty binääri, kirjasto vastaavaan lib hakemistoon. Komento make install pitää yleensä antaa sudo:n kautta eli järjestelmävalvojan oikeuksin: sudo make install. Mac OS X:ssä /usr/lib ja /usr/include -hakemistoihin ei voi asentaa tietoturvasyistä, joten tiedostot asennetaan hakemistoihin /usr/local/lib ja /usr/local/include. Pohdi seuraavia kysymyksiä, tutkien koodia ja käännöstiedostoja: mistä tietää että koodin kääntämisen jälkeen syntyy dynaaminen kirjasto? miten kirjaston julkinen rajapinta muodostuu? mikä on osa kirjaston julkista rajapintaa ja mikä ei? mitkä asiat vaikuttavat julkisen rajapinnan suunnitteluun ja toteuttamiseen? CryptoClientConsole Seuraavaksi voit kääntää ja kokeilla konsolipohjaista ohjelmaa CryptoClientConsole -hakemistossa joka hyödyntää edellä käännettyä EasyCryptoLib -kirjastoa. Huomaa, että kirjastoa käyttävä ohjelma ei näe mitään muuta kuin kirjaston kolme julkista otsikkotiedostoa ja itse dynaamisen kirjaston,.so -tiedoston (macos:ssä.dylib, Windowsissa.dll ja.lib). Kirjaston sisäinen toteutus (muut lähdekooditiedostot) jää siis tälle asiakasohjelmalle täysin tuntemattomaksi, joka tietysti on tarkoituskin. Katso ohjelman main.cpp -tiedostoa (ainoa ohjelmakooditiedosto): #include <EasyCryptoLib.hpp> #include <EasyCryptoLibBad.hpp> Asiakasohjelma näkee siis vain nämä kaksi otsikkotiedostoa ja includeaa ne väkästen välissä: <> eli järjestelmän jaettujen otsikkotiedostojen hakemistoista, ei hapsujen välissä (kehittäjän omista projektien hakemistoista). Tämä hakemisto on käännöstiedostojen perusteella /usr/local/ include Tutustu ohjelman makefile:en. Huomaa, että ohjelma ei sisällä salauskirjaston cpp-tiedostoja eikä muita otsikkotiedostoja. Ainoastaan main.cpp tiedosto mainitaan. Kirjasto näkyy ohjelmalle siis vain julkisen otsikkotiedoston ja binäärisen dynaamisen kirjaston kautta. Käyttäessä CMake:a, kirjastojen tulisi löytyä automaagisesti oikeista sijainneista. Jos käytät makefile.bak -tiedostoa, joudut käsin muuttamaan makefilen omaan ympäristöösi sopivaksi: Varmista että linkität ohjelman oikeaan EasyCryptoLib -dynaamiseen kirjastoon oikeassa polussa, muokkaamalla LIBS -polkua. Sivu 3 / 7

4 Käännä client -ohjelma komennoilla cmake. make Suorita ohjelma ja testaa sen toiminnallisuutta. Nyt olet kääntänyt dynaamisen kirjaston ja hyödyntänyt sen ohjelmointirajapintaa, API:a, sen otsikkotiedoston kautta. Olet myös oppinut miten kirjasto julkistetaan antamalla sen julkinen ohjelmointirajapinta (otsikkotiedosto) ja itse dynaaminen kirjasto muiden ohjelmien käyttöön. Kirjaston toteutuksen yksityiskohdat jäävät kirjaston kehittäjän haltuun, koska kirjaston kehittäjä voi jakaa muille kehittäjille vain julkiset otsikkotiedostot ja käännetyn kirjaston (.so /.dylib /.dll ja.lib). Toki kirjaston kehittäjän on tarjottava käännetty kirjasto eri ympäristöihin (Linux, macos, Windows, jne), sillä yhdessä ympäristössä käännetty kirjasto ei (välttämättä) toimi toisessa. Muitakin yhteensopivuuskysymyksiä voi toki nousta esille lue lisää asiasta esimerkiksi seuraavista lähteistä: Kirjaston kehittäjän - oli kirjasto toteutettu millä kielellä tahansa - on oltava erittäin hyvin selvillä mitkä koodiin tehdyt muutokset voivat rikkoa yhteensopivuuden! Yhteensopivuuden rikkomista on vältettävä viimeiseen saakka, sillä sen ainoa korjauskeino on se että jokainen client joka käyttää kirjastoa, vähintäänkin käännetään uudestaan uutta kirjaston rajapintaa vasten. Jotkut muutokset edellyttävät clientin koodinkin muokkaamista. Aloitusseminaarin demonstraation kautta olet myös ymmärtänyt julkisen rajapinnan toteutuksen tärkeyden kirjaston muutosten hallinnan näkökulmasta. Pohdi aloitusseminaarin alustuksen, demon ja tutustumasi lukupaketin (Martin Reddy: API Design for C++) perustella miten hyvä ja huono kirjastorajapinta eroavat toisistaan. Tarkastele myös rajapintojen virheenhallintaa ja pohdi niiden eroja. HUOM: Tästä eteenpäin, harjoitustyössä ei tarvitse, kannata tai saa käyttää EasyCryptoLibBad -rajapintaa. Voit siis poistaa kyseisen luokan.hpp ja.cpp -tiedostot kirjastosta (poistamalla viittaus siihen CMakeLists.txt -tiedostosta) ja makefile.bak:sta jos sitä haluat käyttää. Jos haluat vielä käyttää konsolisovellusta esimerkiksi testaamiseen, kommentoi sen lähdekoodista kohdat jotka käyttävät EasyCryptoLibBad -rajapintaa. Harjoitustyö Modulin harjoitustyössä jatkamme dynaamisten kirjastojen lisäksi muunlaisten ohjelmointirajapintojen parissa. Suunnittelet ja toteutat rajapinnan jolla EasyCryptoLib -kirjastoa voidaan käyttää verkon yli. Samalla tutustut uusiin muihin kirjastoihin: boost -kirjasto, jota käytetään mm. verkkotoiminnallisuuden toteuttamiseksi; jsoncpp -kirjasto, jota käytetään JSON -pohjaisen viestirajapinnan toteuttamiseksi salausserverin (EasyCryptoServer) ja client ohjelman (EasyCryptoClient) välille. boost -kirjastoa käytetään sekä otsikkotiedostojen kautta, mutta boost:n system -kirjasto (libboost_system.so/.dylib) on myös käännettävä. Sen sijaan jsoncpp -kirjastoa käytetään suoraan Sivu 4 / 7

5 lähdekoodista, lisäämällä se projektiimme. Näin näet myös eri tapoja hyödyntää ulkopuolisia kirjastoja omassa projektissasi. Huomaa että EasyCryptoLib- kirjastoa käytetään nimenomaan kirjastona, vaikka se onkin omaa tuotantoa älä siis lisää sen lähdekooditiedostoja client- ja server -sovelluksiin vaan käännä kirjasto ja käytä sitä sellaisena, eli vain julkisten otsikkotiedostojen ja.so /.dylib jaetun kirjaston kautta! Saat osan EasyCryptoServer ja EasyCryptoClient -sovellusten lähdekoodista valmiina. Toteutat ohjelmiin ne osat joilla: client ja server kommunikoivat toistensa kanssa lähettämällä JSON -muotoisia datagrammeja UDP-protokollan päällä hyödyntäen boost -kirjaston asio -modulia; suunnittelet JSON -viestit joilla client ja server viestivät toistensa kanssa; toteutat JSON -viestirakenteiden mukaisten viestien laatimisen ja purkamisen sekä clientin että serverin päässä, hyödyntäen jsoncpp -kirjastoa. Lopullinen ohjelman rakenne tulee näyttämään oheisen UML:n käyttöönottokaavion esittämältä. Vasemmalla client -ohjelma, joka hyödyntää boost:ia verkkotoiminnallisuuden toteuttamiseen ja jsoncpp:tä viestirakenteiden luomiseen ja purkamiseen. Oikealla server, joka vastaavasti hyödyntää boost:ia ja jsoncpp:tä, ja lisäksi EasyCryptoLib -kirjastoa. Tutustu ohjelmien lähdekooditiedostoihin sekä makefile:ihin. Pohdi miten eri kirjastojen (EasyCryptoLib, boost, jsoncpp) käyttäminen näkyy clientissa ja serverissä; niiden lähdekooditiedostoissa ja makefile:issä. Huomaa, että et saa lisätä mitään EasyCryptoLib -kirjaston lähdekooditiedostoja serverin makefile:en tai sisällyttää muuten lähdekoodia toteutukseen. Voit käyttää serverin toteutuksessa vain kirjaston julkista rajapintaa, eli niitä otsikkotiedostoja jotka löytyvät kirjaston kääntämisen jälkeen /usr/local/include/easycrypto -hakemistosta, sekä kirjastoa joka löytyy käännettynä /usr/ local/lib -hakemistosta (tai mahdollisesti /user/lib). Tehtävänanto Sivu 5 / 7

6 1. Suunnittele tarvittavat JSON -viestit (protokolla) sekä viestien rakenteet joilla mahdollistat client -ohjelman rakentamisen joka pystyy hyödyntämään salauskirjastoa. Ota huomioon se, että clienti pitää pystyä yhdistämään UDP-protokollalla lähettämänsä salauspyyntö serverille, serverin myöhemmin lähettämään vastaukseen. Miten tämä tapahtuu? Varsinkin huomioitaessa se että client voi lähettää peräkkäin useita salauspyyntöjä ennen kuin serveri ehtii vastata niihin. Salaaminen ja sen purkaminen on siis asynkronista toimintaa. (tarkkaan ottaen esimerkkitoteutus ei ole asynkroninen, mutta se onkin vasta proof-of-concept versio; keskeneräinen eikä valmis tuote). Ota huomioon myös se, että client-toteutus ei tiedä minkälainen serveri vastaa palvelupyyntöihin ja mitä salausmenetelmiä serveri mahdollisesti tukee. Clientin on saatava tämä jotenkin selville ja hyödynnettävä tätä tietoa. Hyödynnä JSON -validaattoreita kun suunnittelet viestien rakennetta. Esim Suunnittele protokolla ja viestirakenne sellaiseksi, että se ottaa huomioon tulevaisuuden muutostarpeet: 1. On oltava mahdollista lisätä kirjastoon uusia salausmenetelmiä 2. On oltava mahdollista muuttaa olemassaolevia salausmentelmiä (esim. virheenkorjaus, parantaminen) 3. On oltava mahdollista asentaa palvelin niin että se tukee vain tiettyjä salausmenetelmiä, ei kaikkia mahdollisia joita joku palvelin saattaa tukea. 4. Ota huomioon että jos serveri kehittyy tukemaan uusia ominaisuuksia, vanhojen clientien on edelleen toimittava uuden serverin kanssa. API ei siis saa rikkoutua; taaksepäin yhteensopivuus on säilytettävä. 5. Ota huomioon että client voi olla kehitetty testaten sitä uudempaa serveriversiota vasten, joka tukee uusia ominaisuuksia, mutta käyttäjä voi käyttää clientia vanhan serverin kanssa. Client ei saa silti kaatua eikä käyttäytyä omituisesti. 6. Sekä client että server voivat testata toistensa käyttämän API:n version ja sopeuttaa toimintaansa version suhteen (tai estää clientin / serverin käyttö jos versionumeroissa on liian suuri ero). 3. Toteuta annetun koodin pohjalta sekä client että server hyödyntäen jsoncpp ja boost -kirjastoja sekä EasyCryptoLib -kirjastoa 4. Testaa client ja server -toteutuksia siten että salauskirjaston hyödyntäminen verkon yli on mahdollista. 5. Toteuta kirjastoon ja serveriin tuki uudelle salausmenetelmälle ja sitä hyödyntävä uusi client-ohjelma (tai uusi versio siitä) siten, että vanha client -ohjelma toimii edelleen uudenkin serverin kanssa. Testaa myös että uusi client -ohjelma toimii myös vanhan serverin kanssa. Tässä siis käytännössä testaat, onko suunnittelmasi JSON -pohjainen API (protokolla ja viestirakenne) hyvä yhteensopivuusmielessä, eli osasitko suunnitella APIn tulevaisuuden muutostarpeita ajatellen. 6. Vaihtoehtoinen tehtävä: Toteuta salauskirjasto siten että se toimii plugin -arkkitehtuurin mukaisesti, hyödyntäen Boost 1.61:ssä julkaistua boost.dll -arkkitehtuuria. Tutoriaali: Toteuta kukin salausmenetelmä (reverse, matrix, ) omana plugin -dll:nään. Kirjasto lataa plugin -dll:t muistiin tietystä asennushakemistosta (esim /usr/local/lib/ easycrypt)ja käyttää niitä salaamiseen. Testaa uutta toteutusta kopioimalla ja poistamalla plugin.dll (.so,.dylib) -tiedostoja asennushakemistosta Mielellään toteutettuna siten että plugin -muutokset tulevat voimaan ilman että serveriä pitää käynnistää uudelleen. Kuudes tehtävä on vaihtoehtoinen. Jos toteutat ja testaat tehtävän mallikkaasti muiden tehtävien lisäksi, modulista tulee kiitettävä arvosana 5. Muitakin lisäominaisuuksia on lupa toteuttaa ja ne voivat parantaa arvosanaa, kunhan lisäominaisuudet liittyvät modulin teemaan (ohjelmakirjastot ja API -suunnittelu) sekä sekä pakolliset että lisäominaisuudet on toteutettu riittävän hyvin. Sivu 6 / 7

7 Valmiina annettava koodi on saatavilla opettajan osoittamassa paikassa. Tutustu annettuun koodiin ja kääntämisessä tarvittaviin CMake -tiedostoihin ja makefile:ihin. Vaikka ohjelmat mahdollisesti kääntyvät ilman muutoksia, ne eivät ainakaan tee mitään järkevää. Toteuta koodin kommenteissa osoitettuihin paikkoihin tarpeelliset osiot jotta saat luotua tehtävänannossa vaaditut asiat. Testaa client- ja server -ohjelmia. Voit suorittaa testit yhdellä koneella käynnistämällä serverin omassa terminaali-ikkunassa ja clientin toisessa, serverin IP-osoitteen ollessa localhost eli ja portin Toki testaaminen useammalla koneella oikeasti verkon yli on aina jännempää. Moodle -ympäristön keskusteluosio on käytössä toteutukseen liittyen ongelmien ratkaisuun ja muihin kysymyksiin. Palauta toimivat kirjasto, client sekä server -komponentit BitBucketin työtilaasi kuten kurssilla on ohjeistettu, deadlineen mennessä. Huolehdi että käyttämäsi CMakeLists.txt (ja jos käytät makefile.bak -tiedostoja, nekin) tulevat myös repositoryyn, lähdekooditiedostojen lisäksi Huolehdi että binääritiedostot eivät tule repositoryyn. Testaa että repositorystä haettu ohjelma kääntyy neitseellisessä ympäristössä (eli että repository sisältää kaiken mitä pitääkin, muttei mitään muuta) Huolehdi siitä että päivität tarvittaessa kirjaston API:n dokumentaationkin. Erityisesti mainitse jos käytät jotain muuta kuin uusinta versiota boost ja jsoncpp -kirjastoista tai olet käyttänyt muita erikseen asennettavia komponentteja (ja anna näiden asennusohjeet). Happy coding! Sivu 7 / 7