Staattinen testaus Dynaaminen testaus I Luento 3 Antti-Pekka Tuovinen

Transkriptio

1 Staattinen testaus Dynaaminen testaus I Luento 3 Antti-Pekka Tuovinen 25 March

2 Oppimistavoitteet Staattinen testaus Katselmoinnit Ohjelmakoodin ja spesifikaatioiden staattinen analyysi Dynaaminen testaus I Testitapausten suunnittelun lähtökohdat Black-box ja White-box (tai Glass-box ) Black-Box -testien suunnittelumenetelmiä Ekivalenssiluokat Raja-arvo analyysi 25 March

3 Staattinen testaus 25 March

4 Staattinen testaus Testauksen kohdetta ei suoriteta, vaan sitä tutkitaan ihmismielen ja analyysityökalujen avulla Mitä tahansa kehitysprojektin tuotosta voidaan tutkia manuaalisesti Tavoitteena on nostaa tutkittujen artefaktien (dokumentit, koodi) laatua ja poistaa vikoja mahdollisimman aikaisessa vaiheessa Ongelmien ennaltaehkäisy 25 March

5 Katselmoinnit 25 March

6 Katselmoinnit Käytetään ihmisten analyyttisiä kykyjä mutkikkaiden asioiden arviointiin ja tarkastamiseen Asiantuntijat tutkivat huolellisesti katselmoitavan artefaktin (dokumentti, koodi, suunnitelma tms.) ja yrittävät ymmärtää sen ja löytää siitä ongelmia Löydösten läpikäynti ja johtopäätösten tekeminen on ryhmätyötä, jossa monet eri näkökulmat yhdistyvät 25 March

7 Katselmoinnit Katselmointi (review) on yleistermi ihmisten tekemälle kaikenlaisten artefaktien arvioinnille Sopimukset, vaatimusmäärittelyt, ohjelmakoodi, testaussuunnitelmat, manuaalit jne Tarkastus (inspection) on erityinen muodollinen katselmointi, jolla on omat sääntönsä Katselmoijat ovat yleensä saman työyhteisön jäseniä, joten katselmoinneista käytetään usein engl. termiä peer review (= vertaisarviointi) 25 March

8 Katselmoinnin hyödyt Vikojen vähentäminen, kuten testauksessa yleensä Aikainen vikojen löytyminen vähentää tarvetta analysointiin ja korjauksiin myöhemmin projektissa Kehitysaika lyhenee Koska ohjelmistossa on vähemmän vikoja, dynaamista testausta tarvitsee tehdä vähemmän (uudelleentestaus, regressiotestaus) Kustannukset laskevat koko elinkaaren ajalla Mahdollisuus löytää vikoja, jotka eivät paljastu muilla (dynaamisilla) testaustavoilla Tekninen velka, huono ylläpidettävyys, riskialtis koodi 25 March

9 Katselmoinnin hyödyt Vähemmän käytön aikaisia häiriöitä Organisaatio oppii Tekijät oppivat parantamaan työskentelyään Tieto tulevasta katselmoinnista saa tekijän tuottamaan selkeän dokumentin ja huomaamaan itsekin puutteita Katselmointiin osallistuva ryhmä muodostaa yhteisen näkemyksen dokumentin kuvaamasta asiasta ja tuntee yhteistä vastuuta siitä Kustannukset 10-15% projektin kuluista, säästö 14-25% (katselmoinnit mukaan laskien) 25 March

10 Katselmoinnin kulku Prosessikaavio ja yleiskuvaus IEEE Standard for Software Reviews standardin mukaan (kurssikirjan teksti perustuu samaan) Monivaiheinen ja suhteellisen raskas menetelmä Vaatii aikaa ja resursseja 25 March

11 Katselmointien ongelmia Asiantuntijoiden saatavuus Katselmointeihin ei varata tarpeeksi aikaa tai tulee muuten kiire, jolloin katselmoinnin teho kärsii Väärien katselmoijien valinta Ei ehdi, ei osaa, ei kiinnosta Dokumentaation puutteet Johdon puuttuva tuki Resurssointi, tulosten hyödyntäminen 25 March

12 Katselmointityyppejä Katselmoinnit jaetaan raskautensa mukaan seuraaviin ryhmiin Tarkastukset (inspection) Tekninen katselmointi (technical review) Läpikäynnit (walkthrough) Epämuodollinen katselmointi (informal review) 25 March

13 Tarkastus Kaikkein muodollisin katselmointi Yksityiskohtaiset säännöt ja tarkistuslistat Huolellisesti valitut osallistujat, jotka voivat tarkastella asiaa eri näkökulmista Keskittyy etukäteen päätettyihin asioihin tarkastuksen kohteessa Perusteellinen valmistautuminen ennen katselmointikokousta 25 March

14 Tekninen katselmointi Pääasioina tarkastuksen kohteen Verifiointi spesifikaation suhteen Soveltuvuuden arviointi käyttötarkoitukseensa Standardien mukaisuuden arviointi Katselmoijien valintaperusteena tekninen pätevyys Myös projektin ulkopuolelta on hyvä olla joku asiantuntija mukana Suurin työ tehdään valmistautumisvaiheessa, katselmointikokouksessa kirjataan löydökset Tekijä itse ei osallistu katselmointikokoukseen 25 March

15 Läpikäynti Epämuodollinen katselmointi, jossa tekijä esittelee katselmoinnin kohteen ryhmän arvioitavaksi tavoitteena Poikkeavuuksien löytäminen (anomaliat) Laadun parantaminen Vaihtoehtoisten ratkaisujen löytäminen Standardien ja spesifikaatioiden mukaisuuden arviointi Tärkeimpien käyttötapausten simulointi Tekijä toimii moderaattorina Sopii pienille tiimeille, ei vaadi valmistautumista eikä jälkitöitä 25 March

16 Epämuodollinen katselmointi Katselmoinnin kevytversio Usein katselmoinnin kohteen tekijä itse kutsuu osallistujat ja pyytää heiltä kommentit tiettyyn ajankohtaan mennessä Katselmointikokousta ei välttämättä järjestetä, vaan kukin osallistuja toimittaa havaintonsa tiedoksi tekijälle Nettityökaluja esimerkiksi koodin katselmointiin Yleinen katselmoinnin muoto, jossa on matala osallistumiskynnys Pariohjelmointi, kaveritestaus 25 March

17 Huomioita Katselmointia on monenlaista ja eri tyyppien väliset rajat ovat häilyvät Samoja termejä käytetään eri tarkoituksissa Katselmointikäytännöt räätälöidään organisaation tarpeiden ja katselmoinnin kohteen mukaan Virtuaalikatselmoinnit ja on-line kokoukset helpottavat hajautettujen organisaatioiden toimintaa Kun kehittäjät tutkivat myös toistensa työn tuloksia, vikoja yleensä huomataan enemmän Pariohjelmointi on tavallaan jatkuvaa parikatselmointia 25 March

18 Staattinen analyysi 25 March

19 Staattinen analyysi Kuten katselmoinneissa, tarkoituksena on löytää vikoja tai vioille alttiita kohtia tarkasteltavasta artefaktista ajamatta/kokeilematta sitä Kohteena on lähdekoodi, malli, määrittely jne. Analysointiin käytetään automaattisia työkaluja eli algoritmisia menetelmiä käsin tehtävän analyysin sijaan Analysoitavuus edellyttää, että kohde on koodattu jollain formaalilla kielellä, jota voi automaattisesti käsitellä (Java, XML, UML ) Analyysityökaluja voidaan käyttää myös mittausten tekemiseen kohteesta laadun arvioimiseksi Mittausten tulokset vaativat aina tulkintaa Esimerkki kaupallisesta analysointituotteesta: 25 March

20 Staattinen analyysi Staattinen analyysi ei voi löytää kaikkia vikoja Teoreettinen mahdottomuus (yleisessä tapauksessa) Staattisella analyysillä voidaan kuitenkin löytää seuraavanlaisia potentiaalisesti ongelmallisia rakenteita Syntaksivirheet Poikkeamat koodauskäytännöistä ja standardeista Kontrollivuon poikkeavuudet Datavuon poikkeavuudet Eräät tietoturvan/suorituskyvyn/ylläpidettävyyden kannalta vaaralliset/haitalliset koodirakenteet 25 March

21 Kääntäjä analyysityökaluna Kääntäjä löytää ohjelmasta syntaksivirheet ja muut ohjelmointikielen kieliopin mukaan virheelliset ilmaisut Näiden lisäksi kääntäjä tekee muitakin tarkistuksia ja tuottaa paljon informaatiota Tyyppitarkistukset kielestä riippuen (staattinen tyypitys, tyyppien päättely) Määrittelemättömät ja alustamattomat muuttujat Saavuttamaton koodi jne 25 March

22 Datavuoanalyysi Analysoidaan datan käyttöä eri suorituspoluilla ohjelmayksikön läpi Voidaan havaita erikoisia datan käyttötilanteita (anomaly), jotka voivat johtaa virheelliseen suoritukseen tai sitten ei Tarkastellaan esimerkiksi muuttujien käyttöä ohjelmassa Undefined (u) muuttujan arvo määrittelemätön Defined (d) muuttujalle annetaan arvo (sijoitus) Referenced (r) muuttujan arvoa käytetään 25 March

23 Datavuoanalyysi Anomaliat UR arvoltaan määrittelemättömän (u) muuttujan arvoa käytetään (r) jollain suorituspolulla DU muuttujalle annetaan arvo (d), jota ei käytetä kertaakaan ennen sen muuttumista määrittelemättömäksi (u) DD muuttujalle annetaan uusi arvo (d) ilman, että sen edellistä arvoa on välillä käytetty 25 March

24 Datavuoanalyysi Kurssikirjan esimerkki luvussa Datavuoanalyysin löytämät anomaliat eivät välttämättä johda ohjelman virheelliseen käyttäytymiseen, mutta löydökset kannattaa joka tapauksessa tutkia 25 March

25 Kontrollivuoanalyysi Ohjelman kontrollivuoverkosta voi helposti nähdä riskialttiita rakenteita Hypyt pois silmukan keskeltä Monimutkaiset, sisäkkäiset valintarakenteet Monta erilaista tapaa poistua rakenteesta (return) A B C D E 5 G F 25 March

26 Kompleksisuusmetriikat McCabe cyclomatic number v(g) = e n +2 e = verkon kaarien lukumäärä n = verkon solmujen lukumäärä A B C D E F 5 G 25 March

27 Kompleksisuusmetriikat McCabe:n luku voi osoittaa kohtia ohjelmasta, joiden testaukseen kannattaa kiinnittää enemmän huomiota Yleisestä trendistä poikkeavat tapaukset tutkittava Puuttumiskynnys (raja-arvo) haettava kokemuksen kautta (10, 15, 20,?) Muunkinlaisia metriikoita on kehitetty ja niiden tilastollista yhteyttä löydettyihin vikoihin on analysoitu Kts. Ohjelmistoprosessit ja ohjelmistojen laatu -kurssi Kompleksisuusmetriikat eivät ole absoluuttista laadun mittareita! 25 March

28 Dynaaminen testaus 25 March

29 Dynaaminen testaaminen Ohjelman tai ohjelman osan (test object) suorittamista Tunnetuissa olosuhteissa Tietyillä syötteillä Todeten, vastaako saatu tulos odotettua tulosta 25 March

30 Testien suunnittelu Tuloksellinen ohjelman tai sen osan testaus vaatii järjestelmällistä ja vaiheittaista työtapaa Kiinnitä testin tavoitteet ja reunaehdot Määrittele yksittäiset testitapaukset Päätä, miten testi suoritetaan (automatisointi, testipeti) Muodollisuuden ja dokumentaation määrä sekä automaation aste riippuvat Sovellusalueesta, prosessikäytännöistä, aikarajoitteista, osaamisesta ja teknologisesta valmiudesta jne. 25 March

31 Testin tavoitteet ja reunaehdot Mitä pitää testata ja miten? Testausstrategia Vaatimusten täyttymisen osoittaminen Esiehdot ja olosuhteet Esim. testidatan saatavuus Jäljitettävyys Mitä vaatimuksia testit koskevat? 25 March

32 Testitapausten määrittely Syötteiden (test input) määrittely Esi- ja jälkiehdot ennen ja jälkeen testitapauksen suorituksen Odotetun tuloksen/käyttäytymisen määrääminen 25 March

33 Testitapausten suunnittelutekniikat Suunnittelutekniikat jaetaan kahteen peruskategoriaan Black-box eli musta laatikko -tekniikat White-box eli lasilaatikko tekniikat (joskus myös Glass-box) 25 March

34 Black-box Testitapausten suunnittelu perustuu testin kohteen spesifikaatioon Toiminnot, käyttäytyminen Testin kohteen rakennetta ja implementaatiota ei oteta huomioon Testin kohteesta nähdään vain sen ulkoinen käyttäytyminen ja sen tuottamat tulokset annetuilla syötteillä, ei sen sisäistä tilaa (Point of Observation) Kohteen käyttäytymistä voidaan kontrolloida vain syötteillä (Point of Control) 25 March

35 White-box Testin kohteen sisäisen toteutuksen huomioon ottava tekniikka Kontrolli- ja datavuot Kohteen sisäistä tilaa havainnoidaan ja sitä voidaan manipuloida testin suorituksen aikana Tavoitteena testin kohteen rakenteen kattava testaus 25 March

36 Black box vs. White box [4] Andreas Spillner, Tilo Linz, Hans Schaefer: Software testing foundations - a study guide for the certified tester exam : foundation level, ISTQB compliant, 4th Edition. Santa Barbara, CA : Rocky Nook, Inc., March

37 Black box vs. White box Black box -tekniikat sopivat kaikkien testaustasojen testien suunnitteluun White box -tekniikat sopivat paremmin komponentti- ja integraatiotestien suunnitteluun 25 March

38 Black box -tekniikat Ekvivalenssiluokkiin jako Raja-arvo analyysi 25 March

39 Ekvivalenssiluokkiin jaon lähtökohdat Testin suunnittelun perusteena on testin kohteen toiminnallinen määrittely Syötteet, tulosteet, ulkoisesti havaittava käyttäytyminen Kurssin alussa nähtiin, että pienenkin funktion täydellinen testaaminen sen kaikilla mahdollisilla syötteillä on mahdotonta Testien suunnittelijan on valittava järkevä joukko syötteitä testitapauksiinsa Määrä ja (oletettu) kyky löytää vikoja 25 March

40 Ekvivalenssiluokkiin jaon perusidea Jokaisen syötteenä olevan erillisen parametrin tai syöte-elementin koko arvoalue jaetaan ekvivalenssiluokkiin Jaon perusteena on oletus, että testin kohde käsittelee kaikki samaan ekvivalenssiluokkaan kuuluvat arvot samalla tavoin - esimerkiksi Tuottaa tulosarvon käyttäen samaa laskentakaavaa Antaa virheilmoituksen väärästä syötteestä 25 March

41 Ekvivalenssiluokkiin jaon perusidea Testattaviksi syötearvoiksi riittää siis valita vain yksi edustaja kustakin ekvivalenssiluokasta Testin suorittaminen jollain toisella saman ekvivalenssiluokan arvolla ei aiheuta oleellisesti erilaista testikohteen reaktiota tai käyttäytymistä Myös epävalidit eli väärät syötteet täytyy jakaa ekvivalenssiluokkiin! 25 March

42 Ekvivalenssiluokkiin jako Esimerkki kurssikirja, luku March

43 Ekvivalenssiluokkien määrittely 1. Vaihe syötteiden ekvivalenssiluokiin jako Määritetään jokaisen syöte-elementin (parametrin, syötekentän) mahdollisten arvojen alue (input domain) Arvoalue jaetaan alustavasti kahteen ekvivalenssiluokkaan Oikeat syötteet, jotka testin kohde käsittelee spesifikaationsa mukaan Väärät syötteet 25 March

44 Ekvivalenssiluokkien määrittely 2. Vaihe ekvivalenssiluokkien tarkentaminen Tutkitaan testin kohteen spesifikaatiota tarkemmin, ja jokaista eri tavalla käsiteltävää syötearvojoukkoa kohden määritellään uusi ekvivalenssiluokka Kun jako ei enää tarkennu, valitaan kustakin ekvivalenssiluokasta yksi arvo luokan edustajaksi eli testitapauksissa käytettäväksi konkreettiseksi syötearvoksi myös luokan raja-arvot on syytä testata Testitapausten laatu eli kyky löytää virheitä riippuu siitä, miten hyvin eri ekvivalenssiluokat on tunnistettu ja miten luokkien edustajat on valittu 25 March

45 Ekvivalenssiluokkien määrittely Esimerkki kurssikirjasta s (luku 5.1.1) 25 March

46 Joukkojen ja diskreettien arvoalueiden ekvivalenssiluokat Ekvivalenssiluokat primitiivisille tietotyypeille löytyvät yleensä melko helposti (esim. luvuille) Syötteenä voi olla myös rakenteisia olioita ja dataa tai joukkojen alkioita Ekvivalenssiluokat pitää tällöin määritellä tapauskohtaisesti järkevällä tavalla Syöteolioiden niitten ominaisuuksien (property, attribute) perusteella, jotka vaikuttavat olion käsittelyyn testin kohteessa Esim. matkustajan alennusryhmän vaikutus matkan hinnan laskentaan 25 March

47 Testitapausten määrittely Testin kohteella on yleensä useita syötteitä (parametreja), joista jokaisella on vähintään kaksi ekvivalenssiluokkaa (validit ja väärät syötteet) ja jokaisella luokalla yksi tai useampi edustaja Konkreettisissa testitapauksissa jokaiselle eri syöteparametrille pitää antaa jokin arvo Täytyy siis valita, mitkä erillisten syötteiden ekvivalenssiluokkien edustajat yhdistetään testitapausten syötteiksi 25 March

48 Syötekombinaatioiden valinnan perussäännöt Kaikki valideja syötteitä edustavien ekvivalenssiluokkien edustajien kombinaatiot on testattava Positiiviset eli validit testitapaukset 25 March

49 Syötekombinaatioiden valinnan perussäännöt Jokainen ei-validi eli vääriä syötteitä edustava ekvivalenssiluokka on myös testattava, mutta niiden edustajia ei saa yhdistää toisten ei-validien luokkien edustajien kanssa Valitaan siis jokin positiivinen testitapaus, johon vaihdetaan täsmälleen yksi väärä syöte, jolloin saadaan negatiivinen eli ei-validi testitapaus Jos vääriä syötteitä on useita, voi olla vaikea todentaa, minkä syötteen käsittely aiheuttaa havaitun virheilmoituksen tai poikkeuksen Jokin poikkeuskäsittely voi myös jäädä testaamatta! 25 March

50 Kombinaatioiden määrän hallinta Jos syöteparametreja on useita ja valideja ekvivalenssiluokkia on monta, kombinaatioiden määrä kasvaa nopeasti Määrää voidaan rajoittaa seuraavilla heuristiikoilla Järjestetään ja priorisoidaan kombinaatiot k.o. tapausten oletetun esiintymistiheyden mukaan (tyypilliset tapaukset testataan) Suositaan ekvivalenssiluokkien raja-arvoja sisältäviä kombinaatioita Tarkastellaan parametreja pareittain ja valitaan niiden ekvivalenssiluokkien edustajien kaikki pariyhdistelmät sisältävät kombinaatiot Jokaisen ekvivalenssiluokan jokainen edustaja on vähintään yhdessä testitapauksessa mukana 25 March

51 Testauksen lopetusehto Ekvivalenssiluokkien avulla voidaan määritellä testauksen lopetusehto EL-kattavuus = (testattujen EL:ien lukumäärä / EL:ien kokonaismäärä) * 100 % 25 March

52 Ekvivalenssitekniikan arviointia Ekvivalenssiluokkien määrittely on kriittinen tekijä testitapausten tehon kannalta Puutteellinen analyysi voi jättää luokkia löytymättä Johtaa vaatimuksissa esiintyvien ehtojen ja rajoitusten kattavaan testaukseen Minimoi turhia testitapauksia (kustakin ekvivalenssiluokasta poimitaan vain muutama edustaja) Voidaan soveltaa kaikilla testaustasoilla Ei ota huomioon riippuvuuksia ja vuorovaikutuksia eri syöteparametrien välillä Voidaan käsitellä tulosteiden ekv.-luokkien kautta 25 March

53 Raja-arvo analyysi Ekvivalenssiluokkia täydentävä tekniikka Lähtökohtana havainnot, joiden mukaan vikoja esiintyy usein ekvivalenssiluokkien rajoilta peräisin olevilla syötearvoilla Rajoja ei ole ehkä määritelty selvästi Ohjelmoija on ymmärtänyt väärin, missä luokkien rajat kulkevat Loogisten lausekkeiden koodausvirheet Ei voida käyttää parametreille, joiden e-luokilla ei ole reuna-alkioita (joukot) 25 March

54 Raja-arvo analyysi Jos e-luokalla on tunnistettava raja (reuna-alkio), testataan 1) Raja-arvolla 2) Raja-arvoa lähimpänä olevalla samaan e-luokkaan kuuluvalla arvolla 3) Raja-arvoa lähimpänä olevalla e-luokan ulkopuolisella arvolla Jos varsinaista raja-arvoa ei ole olemassa, testataan 2) ja 3) Liukulukuarvoille täytyy määritellä tarkkuus (pienin arvon muutos), jolla raja-arvotestaus tehdään 25 March

55 Vinkkejä raja-arvo analyysiin Syötteen pituus on rajoitettu 1 ja 100 alkion välille; testataan 1, 100, 0 ja 101 alkion mittaisilla syötteillä Jos testin kohteen tuottamalla tuloksella (output) on tietty arvoalue rajoineen, kannattaa yrittää löytää syötteet, jotka tuottavat raja-arvot sekä niiden lähimmät arvot Järjestettyjen kokoelmien ensimmäiset ja viimeiset alkiot ovat kiinnostavia Tyhjät kokoelmat ja taulukot ovat hyviä syötteitä Samoin täydet kokoelmat ja taulukot 25 March

56 Vinkkejä raja-arvo analyysiin Hyvin suuret syötteenä annettavat tietorakenteet ja datamäärät testaavat kohteen käsittelykapasiteetin rajoja Hyvin lähellä toisiaan olevat arvot sekä toisistaan hyvin kaukana olevat arvot testaavat numeeristen funktioiden erottelukykyä 25 March

57 Testauksen lopetusehto RA-kattavuus = (testattujen RA:jen lukumäärä / RA:jen kokonaismäärä) * 100 % 25 March

58 Raja-arvo analyysin arviointia Hyvin tehokas menetelmä yhdessä ekvivalenssiluokkien kanssa käytettynä Vikojen löytymisen todennäköisyys on suurin rajatapausten käsittelyssä Raja-arvot ja niiden lähimmät arvot riittävät teoriassa e-luokkien edustajiksi Tekniikka vaikuttaa yksinkertaiselta, mutta syötearvojen määrittely ei ole aina helppoa rajatapausten käsittelyn liipaisemiseksi testikohteessa 25 March