Pienen pankin matka DevOpsiin

Transkriptio

1 Pienen pankin matka DevOpsiin Henri Heinonen & Joakim Sandström

2 Hei, hauska tutustua! Tänään äänessä ovat Joakim Sandström Solution Architect Aktiassa vuodesta Henri Heinonen Team Leader - Application Platforms Aktiassa vuodesta Yhteisiä projekteja Verkkopankkiprojekti Peruspankkiprojekti DevOps-kulttuurin jalkauttaminen 2

3 3

4 4

5 Tietojärjestelmien sota Verkkopankki

6 Verkkopankkiprojektin toteutuksesta Uuden ja jännän äärellä Suurin Aktiassa tehty projekti siihen mennessä Java-devaajia ensimmäistä kertaa omille palkkalistoille Palveluarkkitehtuuri laajasti käyttöön Myös sisäisten sovellusten kehittämistä Ei yhteistä tekemisen kulttuuria - tekemisen siiloutuminen Yksi Aktia, monta IT:tä 6

7 Verkkopankin ympäristöstä Rautaa, hikeä ja kyyneliä Fyysisiä palvelimia kahdessa konesalissa + verkon aktiivilaitteet Ympäristön rakentaminen hidasta ja työlästä Sovellus ja sen vaatimat konfiguraatiot elävät omaa erillistä elämäänsä Asennusohjeet kehittyvät epäonnistuneiden käyttöönottojen ohjaamana Virheiden korjaaminen vaatii useamman ihmisen yhteistä ponnistusta Tuotantoympäristöön pääsy kiven alla Manuaaliset deploymentit ja toimenpiteet aina riskialttiita Osaavimmat kaverit eivät ole aina saatavilla 7

8 Palvelinten lukumäärä Vielä varsin maltillinen määrä palvelimia Integraatio Systeemitesti Tuotanto Linux Solaris Windows Yhteensä 24 + kuormanjakokonfiguraatiot 18 kpl 8

9 Tietoturva-auditoinnit Juuri kun luulit kaiken olevan valmiina... Tietoturvatestaajat käyvät läpi järjestelmät, koodit ja konfiguraatiot Löydöksiä tulee, käsin korjaaminen hidasta Asioiden manuaalinen katselmointi syö tuhottomasti aikaa Otamme suuntaviivoja PCI-DSS stä mutta se ei ole auditointivaatimus 9

10 Horisontissa siintää uusi tapa toimia Asioita on voitava tehdä järkevämmin Versionhallinta, tikettienhallinta ja build-prosessit perustetaan Järjetön määrä manuaalista konfigurointia ja meilien vaihtoa Deploymentit tehdään käsin usean henkilön toimesta Eteneminen hidasta, virhealtista ja stressaavaa Asenna usein ja pieniä paloja!= true 1 0

11 Nopean kasvamisen ongelmat Tekemisen kulttuuri ei ehdi kasvaa mukana Kaikilla kiire hoitaa omat tiketit alta pois Kokonaisuutta ei ehditä arvioimaan Tekninen velka kasvaa huomaamatta Edes selkeitä toistuvia tehtäviä ei aina ehditä automatisoimaan 1 1

12 Miksi pankit eivät voisi toimia ketterämmin? Pinttyneitä käsityksiä ja sudenkuoppia Kankeat prosessit Ulkoistussopimukset Jäykkä organisaatio Vaikeat rajapinnat Ulkoistettu kehitys Tietoturva 1 2

13 1 3

14 Korporaation vastaisku Peruspankki

15 Uusi suurempi taakka kannettavaksi Tekninen velka erääntyy maksettavaksi Aktia uudistaa peruspankkijärjestelmän ensimmäisenä Suomessa Verkkopankkiprojektista hyviä oppeja ja arkkitehtuuria Mutta ei juuri mitään konkreettista uudelleenkäytettävää Palvelinten, varusohjelmistojen ja konfiguraatioiden määrä räjähtää käsiin Liiketoiminnalla halu saada uusia tuotteita nopeammin markkinoille Aktia Bank chooses T24 to improve customer service and increase competitiveness

16 Eikä siinä vielä kaikki Projektin scope on lukittu, mutta Verkkopankki uusiksi Sisäisiä sovelluksia uusiksi Lisää omia koodaajia ja kansainvälinen joukko konsultteja Ultramaraton vaatii uhrinsa! Fyysisiltä vammoilta ei vältytä. Kaizen-ajattelu - Miten voidaan tehdä paremmin? 16

17 Palvelinten lukumäärä Ei enää niin pientä puuhastelua Integraatio Systeemitesti Tuotanto Linux Solaris Windows Yhteensä 88 + kuormanjakokonfiguraatiot ~40 kpl 17

18 Peruspankin ympäristöstä Rautaa, hikeä ja selkeitä tavoitteita Pääasiassa virtuaalipalvelimia Perusinfran rakentaminen hidasta ja todella monen ihmisen työ Rautamuurien lisäksi pavelinkohtaiset host-muurit Manuaalisessa ylläpitämisessä ei mitään järkeä Lokienhallinnan konfiguraatiot levitettävä kaikille palvelimille Manuaalisessa ylläpitämisessä ei mitään järkeä 1 8

19 IT-sankari kasvaa taakan mukana Voima on meissä vahvana Hostaajasta riippumattomat prosessit ja ratkaisut Päätös hyödyntää voimakkaasti virtualisointia Ajatus uudesta tavasta toimia siintää mielessä Puheissa automatisointi on uusi musta! Toistettavuus = luotettavuus 19

20 2 0

21 Nörtin paluu Jatkuva kehittyminen

22 Mitä on DevOps? Yleisesti DevOps pohjana on kulttuuri, yhdessä tekeminen ja prosessien tehostamista ja automatisointia Onnnistuneen DevOpsin takana on prosessia tukevat ketterät työkalut eikä niin yksittäisen henkilön tai tiimin nimike Jos meillä on vanha tehoton tapa toimia ja me automatisoidaan se, saadaan automatisoitua tehottomuutta - Jyrki Kasvi 22

23 Mitä on DevOps - Kommunikointi? Liittyvät käsitteet ja Aktian toteutus Daily s HipChat JIRA Kollaboraatio Kommunikointi Muutoshallinta Dokumentointi Confluence 23

24 Mitä on DevOps - Työkalut? Liittyvät käsitteet ja Aktian toteutus Release Automation Powershell GPO Jenkins Tavoite on ettei tehdä mitään asennuksia tai konfigurointia käsin riippumatta käyttöjärjestelmästä tai komponentista Test Automation Ansible Puppet Satellite Jenkins Git - Toistettavuus Git 24

25 Mitä on DevOps - Organisaatio? Liittyvät käsitteet ja Aktian toteutus 25

26 DevOps perustaminen Baby steps.. Helpompi jos on uusi projekti Valitse pari tiimiä jotka jo ennestään tekevät hyvää työtä yhdessä Jakakaa työt, devaaja voi tehdä opsin töitä Ops voi opettaa paljon Devaajalle Käsitelkää infrastruktuuria kuin se olisi koodia Samat työkalut eivät välttämättä toimi kaikille arkkitehtuureille Jos ostat työkalun hanki myös (dedikoituja) resursseja (ylläpito, eteenpäin kouluttaminen) 26

27 DevOps pyörittäminen Älä unohda jatkuvaa parantamista Jakakaa success stories organisaation sisällä Pitäkää retrospektejä Vieraile muissa IT-yrityksissä Osallistu ulkopuolisiin kokoontumisiiin 27

28 Miten DevOps tehdään turvallisesti Uusien mahdollisuuksien mukana tulee uusia uhkia Työkalujen pääsynhallinta Työkalujen pitäminen ajan tasalla Muutosten seuranta ja 4- eyes Testauksen automatisointi Prosessien manuaalistepit 28

29 Esimerkki konfiguraationhallinnasta Host-palomuuri 29

30 Feature branch ja pull request 4-eyes 30

31 Ilmoitukset muutoksista Collaboraatiotyökalut hyötykäyttöön 31

32 Hälytysten integrointi Splunk + Jira 32

33 DevOps ja jatkuvuus Disaster Recovery ja laatu Vikatilanteista toipumisen pitäisi onnistua ilman nitroja Käyttis, sovelluspalvelin, konfiguraatiot ja sovellus automaattisesti Jatkossa myös infran aktiivilaitteiden konfiguraatiot (LB, muurit) Laatu Aina tasaista, ei riipu tekijän mielialasta ja verensokerista Toistettavuus Yllätyksiä ei pitäisi tulla (ei konfigurointeja prosessin ohi) DR-testaamisen pitäisi olla arkipäiväistä Varmistus (backup) on valmis vasta kun palautus (restore) on testattu onnistuneesti 33

34 Tietoturvan normaaliprosessi Osana päivittäistä elämää Automatisoidut jatkuvat tietoturvaskannaukset Kyberturvallisuuskumppanin kehittämä työkalu Skannaa kaikki verkkosegmentit sisältä päin Testaa myös ulkoverkkoon näkyvät palvelut Tarkempi PEN-testaus ja manuaalinen läpikäynti Isompien projektien yhteydessä Mikäli infrassa tai sovelluksissa suuria muutoksia Läpikäy käyttikset, varusohjelmistot, palomuuriavaukset yms. Linux-palvelinten automaattinen järjestelmänhallinta Käy palvelimia läpi säännöllisesti Raportoi löydökset Ehdottaa tarvittaessa korjaukset 34

35 Tietoturvan normaaliprosessi Reaaliaikainen tilannekuva Scanners DevTools Monit. Splunk Apps Network OS 35

36 DevOps ja tietoturvapoikkeamat Järjestelmien ajan tasalla pitäminen ja reagointi Monitorointi ja tilannekuvan päivitys Läpinäkyvyys korjausten etenemiselle Patchien hallinta ja julkaisu Reaktiiviset toimenpiteet 36

37 DevOps ja tietoturvapoikkeamat Erot vanhan ja uuden tavan välillä Vanha tapa Uusi tapa Koordinointi Raskas Kevyt Laajuuden selvitys Manuaalinen Automatisoitu Korjauksen status PP selvittää Ajan tasalla Korjaavat toimet Manuaalinen, sovittava Prosessi olemassa Kustannukset Suuret Pienet 37

38 DevOps ja tietoturvapoikkeamat Tilannekuvan muuttaminen Uusi poikkeama ei todennäköisesti vielä missään seurannassa Data voi jo olla olemassa > näkymien muutos Tilannekuvan muuttaminen tapahtuman mukaisesti Monitorointiskriptien levittäminen Uusi dashboard / hälytys lokienhallintajärjestelmästä 38

39 DevOps on yhdistelmä työkaluja, yhteistyötä ja halua kehittää tekemisen tapaa 39

40 Kysymyksiä, olkaa hyvä! Q&A 40

41