Ei-toiminnallinen testaus Kelassa

Transkriptio

1 Ei-toiminnallinen testaus Kelassa TTY: TIE Ohjelmistojen testaus Kaisa Tirkkonen Kehittämispäällikkö, Kela, Testausyksikkö Suorituskyky- ja tietoturvatestausryhmä

2 Esityksen sisältö Kuka olen? CV Kaisa Tirkkonen Kelan toiminta ja asioinnin volyymi Kela työnantajana Kelan teknologiauudistus Arkki ja uudistuksen vaikutukset testaukseen Testauksen erityispiirteitä Kelassa Testaus Kelan Testausyksikössä Toiminnallinen testaus Systeemitestaus Ei-toiminnallinen testaus Suorituskykytestaus: CASE kela.fi Tietoturvatestaus Käytettävyystestaus 2 Usability testing

3 Kuka olen? CV Kaisa Tirkkonen KTM, Jyväskylän yliopisto tietojärjestelmätiede v IT-alalla vuodesta 1998: Nokia Networks Oy Tieto Finland Oy Capgemini Finland Oy Kansaneläkelaitos Työskennellyt pääasiassa testauksen ja laadunvarmistuksen parissa vuodesta 2007 Toiminnallista testausta Suorituskykytestausta ja sovellusvalvontaa Testaussertifikaatti (ISEB/ISTQB) 2008 Kelaan v suorituskykytestauksen asiantuntijaksi, syksystä 2014 lähtien Kehittämispäällikkönä vastaten eitoiminnallisesta testauksesta Innokas kestävyysurheilun harrastaja ja kolmen koululaisen äiti 3

4 Kelan toiminta Kela hoitaa Suomessa asuvien perusturvaa. Kelassa ratkaistaan vuosittain n. 16 miljoonaa tukihakemusta. Kelan asiakkaita ovat kaikki Suomessa asuvat sekä ulkomailla asuvat Suomen sosiaaliturvan piiriin kuuluvat henkilöt Kelan hoitamaan sosiaaliturvaan kuuluvat mm. lapsiperheiden tuet, opintotuki, työttömän perusturva ja vähimmäiseläkkeet. Kela vastaa myös Kansallisen Terveysarkiston (KanTa) palvelujen tuottamisesta, esim. Sähköinen resepti 4

5 Verkkoasioinnin volyymi Kelassa Vuoden 2014 aikana 24,4 miljoonaa käyntiä verkkosivuilla, kirjautumisia 15,1 miljoonaa Verkkoasiointi ja sähköinen tunnistautuminen ollut käytössä Kelassa v lähtien Verkkoasiointi lisääntyy jatkuvasti, yli puolet (52% v. 2014) hakemuksista lähetetään verkkopalvelun kautta 5 Hakemuksiin tarvittavista liitteistä 36% lähetettiin sähköisesti v Käynnit kela.fi sivuilla ovat kasvaneet 75% vuoteen 2010 verrattuna

6 Kela työnantajana Kelassa on n työntekijää, joista valtaosa työskentelee asiakaspalvelussa ja etuuksien ratkaisussa Avoimet työpaikat: Kela on myös merkittävä ITtyönantaja Kelaan hakee töihin vuosittain yli henkilöä ja tyypillisesti työsuhteet ovat pitkiä Kelassa työskentelee lähes 600 IT-ammattilaista, jotka hoitavat Kelan tehtävien vaatimia laajoja tietojärjestelmiä 6

7 Tietojärjestelmien uudistushanke Arkki 2012 Kelan historian suurin teknologiauudistus: luvuilta peräisin olevat keskuskonepohjaiset järjestelmät uudistetaan palvelin- ja Java EE-pohjaisiksi Arkki-hankkeen tehtävänä on uudistaa kaikki Kelan 40 etuusjärjestelmää, 90 tukijärjestelmää ja sähköiset asiointipalvelut. Kelan etuusjärjestelmiä ovat esimerkiksi opintotuki-, työttömyystuki- ja asumistukijärjestelmä. Järjestelmien avulla ratkaistaan asiakkaiden etuushakemukset ja maksetaan etuudet. Arkki-hankkeen osana mm. sähköinen liitteiden lähetys otettiin käyttöön Kelan verkkopalveluissa v lopulla. 7

8 Testauksen erityispiirteitä Kelassa 7,5 miljoonaa CICS-tapahtumaa päivässä WAS Java CICS Mainframe DB2 PL1 Paljon järjestelmiä ja isot volyymit Arkki-hanke 40 etuusjärjestelmää 90 tukijärjestelmää Muut järjestelmät Lainsäädäntö Kompleksi suus ja liittymät Paljon käyttäjiä Sisäiset käyttäjät Kansalaiset Ulkoiset sidosryhmät Liittymät järjestelmien ja datan välillä - etuusprosessi 8 Testiympäristöt Testidatan hallinta Data-Intensiivisyys

9 Kelan Testausyksikkö Pitkät perinteet systeemitestauksessa / toiminnallisessa testauksessa ja etuusosaamisessa Ei-toiminnallinen testaus uudempaa: Suorituskykytestausta järjestelmällisesti v lähtien Tietoturvatestausta 2014 lähtien Käytettävyystestausta 2016 lähtien Testausryhmässä n. 66 henkilöä tällä hetkellä, joista suurin osa Helsingissä, Jyväskylässä 7 Suurimpina testauskohteina Arkkihankkeessa uudistettavat etuusjärjestelmät Testattavana myös paljon muita Kelan järjestelmiä: Kansalaisten sähköiset asiointipalvelut Kelan Intranet Projektinhallintavälineet ym. sisäiset työkalut Apteekkien Kela-korttikysely ym. ja muut Kanta-palvelut esim. Sähköinen resepti Omakanta 9

10 Arkki-hankkeen vaikutuksia Kelan testaustoimintaan Ohjelmistokehitys pitkään stabiilia keskuskoneympäristössä Uusien arkkitehtuuriratkaisujen myötä nähtiin kasvavaa tarvetta myös ei-toiminnallisen testauksen kehittämiselle Suorituskykytestauksen kehittäminen käynnistyi v Sähköinen liitteiden lähetys Kelaan Sähköinen Kela-korttikysely apteekeille sivustouudistus sivustouudistus Tietoturvatestauksen pilotointi ja tuotteistus 2014 Käytettävyystestauksen käynnistäminen

11 Suorituskykytestauksen kehittäminen Lähtötilanne: Kelassa ei oltu aiemmin tehty suorituskykytestausta järjestelmällisesti, joten alkuvaihetta säestivät neuvottelut käytännön menettelyistä Määrittelyä Neuvottelua Info-tilaisuuksia Testausta 11

12 Ei-toiminnallisen testauksen nykytilanne 1/2 Tilauksesta palveluna teemme suorituskyky-, tietoturva- ja käytettävyystestausta tilauksesta palveluna kaikille Kelan ja Kanta-puolen projekteille / järjestelmille 3 suorituskykytestaajaa, 2 tietoturvatestaajaa, 5 hengen käytettävyystestaustiimi Oma dedikoitu virtuaalipalvelinympäristö suorituskykytestaukselle Ilmoituskäytännöt testausten ajankohdista ja niiden mahdollisista vaikutuksista Suorituskykytestaus ja kattavampi tietoturvatestaus pääsääntöisesti virkaajan ulkopuolella 12

13 Ei-toiminnallisen testauksen nykytilanne 2/2 13 Tietoturvatestaus Tietoturvatestauksessa kartoitetaan järjestelmän vikoja, haavoittuvuuksia tai muita ongelmia, jotka voivat aiheuttaa tietoturva/tietosuojariskin Tekninen tietoturvatarkastus (manuaalinen & automaattinen) Uhka-analyysi Auditointi Käytettävyystestaus Käytettävyystestauksen avulla pyritään löytämään ne järjestelmän kohdat, jotka vaativat vielä uudelleensuunnittelua, jotta se toimisi hyvin käyttötarkoitukseensa Käytettävyystestaus todellisilla käyttäjillä Käytettävyyden asiantuntija-arvioinnit

14 14 Suorituskykytestaus CASE kela.fi -sivustouudistus

15 15 Suorituskykytestausympäristö

16 Suorituskykytestaus järjestelmien kuntotestausta Mitä on suorituskykytestaus ja mikä on sen tarkoitus? Suorituskykytestauksessa testataan järjestelmän kykyä suoriutua tehtävistään vaatimusten mukaisesti kuorman alla Keskeistä on sekä loppukäyttäjän kokema suorituskyky että riittävä kapasiteetti 16

17 Mitä on (hyvä) suorituskyky? Kykyä suoriutua tietyistä tehtävistä vaatimusten mukaisesti tietyllä kuormalla Käyttäjän kokemus järjestelmän suorituskyvystä 17

18 Miten huono suorituskyky näkyy käyttäjille? Järjestelmä on hidas, käyttäjä joutuu odottamaan Järjestelmä ei vastaa ollenkaan (ei ole saatavilla) Järjestelmästä ja sen tarkoituksesta riippuu mitkä ovat seuraukset Käyttäjien tyytymättömyys järjestelmään 18

19 Miksi pitäisi tehdä suorituskykytestausta? Täydentämään toiminnallista testausta Suorituskykytestaus antaa tietoa järjestelmän toiminnasta suuremman käyttäjäkuorman alla Suorituskykytestauksella todennetaan, toimiiko järjestelmä suunnitellusti kuorman alla ja onko kapasiteetti riittävä Uuden monitasoisen järjestelmäarkkitehtuurin suorituskyky on arvoitus, ellei sitä testata Keskeistä erityisesti kun järjestelmillä on paljon käyttäjiä Kun halutaan varmistaa, että käyttöönotto (ja tuotanto) sujuu suunnitellusti 19

20 Kelassa käytetyt suorituskykytestauksen tyypit Kuormitustestaus Kuormitetaan palvelua tuotannonkaltaisella kuormalla, jotta selvitetään vastaako se nykyisellään sille asetettuja suorituskykyvaatimuksia. Rasitustestaus Palvelua kuormitetaan mahdollisuuksien mukaan äärirajoille asti, kunnes palvelu ei enää vastaa. Tavoitteena on selvittää maksimikuorma, jolla palvelu on vielä käyttökelpoinen. Lisäksi saadaan tietoa pullonkauloista. Stabiiliustestaus Stabiiliustestauksessa palvelua kuormitetaan sovitulla kuormalla pidemmän aikaa. Tavoitteena on havaita hitaasti ilmaantuvat ongelmat ja todeta järjestelmän vakaa toiminta pidemmällä ajalla. Vikasietoisuustestaus Vikasietoisuustestauksessa ajetaan järjestelmään kuormaa ja aiheutetaan suunnitellusti tilanne, jossa jokin tai jotkin järjestelmän resursseista on poissa pelistä, ja seurataan miten järjestelmä selviytyy tilanteesta. 20

21 Suorituskyvyn mittareita Vasteaika (Response Time), ms Saatavuus (Availability), % Välityskyky (Throughput), TPS Resurssien käyttöaste (Resource Utilization), CPU, Memory util., etc. 21

22 Mitä suorituskykytestauksessa tehdään? Järjestelmään ajetaan tuotantokäyttöä simuloivaa käyttäjäkuormaa ja tutkitaan miten järjestelmä vastaa ja käyttäytyy Tuloksia verrataan asetettuihin tavoitteisiin ja tehdään tarvittavia muutoksia mikäli tulokset eivät ole tavoitteen mukaisia Tyypillisesti useita testikierroksia 22

23 Suorituskykytestauksen perusprosessi 7. Tehdään suositukset ja muutostoimen piteet 1. Asetetaan vaatimukset 2. Testien suunnittelu CASE-esimerkkinä Kela.fi uudistuksen suorituskykytestaus 6. Analysoidaan tulokset (vs. vaatimukset) 3. Testien luonti testausvälineellä 5. Mitataan vasteaikoja ja muita mittareita 4. Testien ajaminen 23

24 1. Asetetaan vaatimukset Kela.fi Vasteajan tulisi olla keskimäärin maksimissaan 1 sekunti/sivulataus. Vasteaikatavoitteella tarkoitetaan Kelan osuutta. Järjestelmän pitää pystyä käsittelemään 15 pyyntöä sekunnissa (ns. arkiruuhkahuippu) 24

25 2. Testien suunnittelu Kela.fi Testauksen tavoite Aikataulu Suorituskykytestauksen tavoitteena oli selvittää Kela.fi sivuston maksimikuorma ja löytää pullonkaulat Järjestelmän arkkitehtuuri ja rakenne Käyttötapaukset ja skenaariot Missä ympäristössä testataan Riippuvuudet muihin projekteihin tai järjestelmiin Käyttäjämäärät Suorituskykyvaatimukset 25

26 3. Testien luonti testausvälineellä 1. Nauhoitus 2. Annotaatiot 3. Kustomointi 4. Toiminnan testaus 26

27 4. Testien ajaminen useita testikierroksia Luodaan kuormaa testausvälineellä 27

28 28 5. Mitataan vasteaikoja ja muita mittareita Kela.fi

29 6. Analysoidaan tulokset (vs. vaatimukset) Vaatimukset Vasteajan tulisi olla keskimäärin maksimissaan 1 sekunti. Vasteaikatavoitteella tarkoitetaan Kelan osuutta. Järjestelmän pitää pystyä käsittelemään 15 pyyntöä sekunnissa, vastaa n käyttäjää (ns. arkiruuhkahuippu) Tulosten yhteenveto Sivulatausmäärällä 34 / s, vasteajat ok. Vasteaika n. 1s (keskiarvo), 90% vasteajoista alle 3s Laskennallinen käyttäjämäärä / h Nykyisillä käyttäjämäärillä sivuston resurssit ja konfiguraatio on riittävällä tasolla 29

30 7. Löydettyjä pullonkauloja ja tehtyjä muutoksia Kela.fi Ensimmäisissä kuormitustesteissä havaittiin useita ongelmia, jotka aiheuttivat palvelun kaatumisen. Testien perusteella tehtiin muutoksia ympäristöön ja optimointeja toteutukseen: Lisättiin sovelluspalvelimille toiset cpucoret Lisättiin palvelimille ytimiä 2 -> 4 Muistin määrää nostettiin 1->2G Lisäksi apacheen ja tomcattiin tehtiin pieniä muutoksia 1. Maksimikuormatestin pullonkaulaksi löytyi tietokannan process-parametri Testin perusteella lähdettiin selvittämään, millä logiikalla sovellus allokoi tietokantaan sessioita ja pystytäänkö sessioiden allokoimiseen vaikuttamaan sovellustasolla. Kehitystiimin tekemiä optimointeja suorituskykytestien perusteella: Css:n optimointi Etusivun porttien kuvien cachetus Apachelle Meganavin renderöinnissä ongelma Otsikot latautuvat n. 2 sekunnin viiveellä Sivun renderöinti hidasta Cachetuksen viilaus http-requestien karsinta: JavaScriptien yhdistäminen / css-taustakuvia spriteen / Footerin someikonit 30

31 Yhteenvetona: Ei-toiminnallinen testaus Kelassa Täydentää toiminnallista testausta Selvittää järjestelmän laadullisia ominaisuuksia: Suorituskyky Tietoturva Käytettävyys On erityisen tärkeää silloin kun järjestelmillä on paljon käyttäjiä ja/tai toteutusteknologiat ja arkkitehtuuri vaihtuvat 31

32 Kiitos! Kysymyksiä? Kaisa Tirkkonen, Kehittämispäällikkö Kela, Kehittämispalvelut/Testausyksikkö Suorituskyky- ja tietoturva LinkedIn:linkedin.com/in/kaisatirkkonen/ Twitter: twitter.com/kaisatirkkonen 32