Testauksen suunnittelu. Faculty of Science 30 April

Transkriptio

1 Testauksen suunnittelu 30 April

2 Testauksen suunnittelu Testaus on (usein tärkein tai jopa ainoa) osa laadunvarmistusta (quality assurance) Testauksella saadaan analyyttistä, konkreettista dataa ohjelmiston laadusta ja laadun kehittymisestä projektin aikana Testaussuunnitelma on osa laatusuunnitelmaa (QA plan) 30 April

3 Testauksen suunnittelu Suunnitteluun sisältyy seuraavia toimia Testaussuunnitelman tekeminen Testien priorisointi Testin aloitus- ja lopetusehtojen määrittely Miljoonan taalan kysymys: milloin on testattu tarpeeksi? 30 April

4 Testaussuunnitelma IEEE standardi antaa mallin testisuunnitelman sisällölle Kurssikirjassa liite A Standardi ISO/IEC/IEEE korvaa tämän Testauksen yleissuunnittelu Testausstandardeja on kritisoitu paljon kaavamaisuudesta ja yleisestä raskaudesta Ne ovat toisaalta suosituksia, eivät pakollisia käyttää 30 April

5 Testien priorisointi Kävi projektin aikataulun ja rahoituksen kanssa miten kävi, testit on priorisoitava niin, että tärkeimmät testit tulevat aina suoritetuksi Priorisointiperusteita Toimintojen odotettu käyttötiheys ja virheiden todennäköisyys käytön aikana Vikariski = vian vakavuus x todennäköisyys Vikojen näkyvyys käyttäjälle 30 April

6 Testien priorisointi Priorisointiperusteita (jatkuu) Laatuvaatimusten painotukset ja tärkeys asiakkaalle Toiminnon/ominaisuuden arvo käyttäjälle ja/tai liiketoiminnalle Implementaation kannalta kriittiset komponentit ja toiminnot Ohjelman osien kompleksisuus Ohjelman osat, joihin liittyy suuri projektiriski Epäselvät vaatimukset, alihankkijan kyky toimittaa, kehitysorganisaation kyvyt, uusien teknologioiden käyttö, käytettävien ulkoisten ohjelmistokomponenttien ja ohjelmistokehysten laatu jne. jne April

7 Testien priorisointi Priorisointia on oltava valmis muuttamaan projektin kuluessa Vioilla on tapana kasaantua Paljon vikoja sisältäneiden testikohteiden testitapausten prioriteettia on syytä nostaa 30 April

8 Testien aloitus- ja lopetusehdot Tiettyjen edellytysten on yleensä oltava voimassa, ennen kuin testausta voidaan aloittaa Testausympäristö on olemassa ja valmiina käyttöön Testaustyökalut ovat käyttövalmiina testausympäristössä Testin kohde on asennettu ja valmiina Testin tarvitsema data on saatavilla Ehdot pitää kirjata testisuunnitelmaan 30 April

9 Testien aloitus- ja lopetusehdot Testauksen lopetusehtojen eksplisiittinen määrittely auttaa torjumaan seuraavia riskejä Ilman selkeitä kriteereitä testauksen lopettamisesta päätetään epäjohdonmukaisin ja satunnaisin perustein Vältetään liika testaaminen, joka johtuu siitä, ettei tiedetä, mitä testauksella tavoitellaan 30 April

10 Yleisiä lopetuskriteereitä Testikattavuus Kuinka monta testitapausta on suoritettu onnistuneesti, kuinka monta vaatimusta on testattu, mikä koodikattavuus on saavutettu Tuotteen laatu Löydettyjen vikojen määrä, vikojen kriittisyys, vikojen löytymistahti, luotettavuus jne. Jäännösriski Suorittamattomien testien määrä, korjaamattomat viat, epätäydellinen kattavuus Taloudelliset rajoitteet Kulut, projektiriski, toimitusaikataulu, markkinatilanteen muutokset 30 April

11 Kustannukset, Testausstrategia, Testausaktivteetit 30 April

12 Testauksen kustannukset Testaus voi viedä suuren osan ohjelmistoprojektin budjetista (jopa ~50%) Jotta testauksen käytetyt resurssit ja aika osataan asettaa oikealle tasolle, on ymmärrettävä mitä kustannuksia testauksessa löytymättä jääneet viat voivat aiheuttaa 30 April

13 Vikojen aiheuttamat kustannukset Suorat kustannukset Asiakkaan liiketoimintaprosessille välittömästi aiheutuvat kulut ja tappiot virhetoiminnoista (taloudelliset tappiot ja suoranaiset vahingot laitteille ja henkilöstölle); menetetty liikevaihto Uusien, korjattujen ohjelmistoversioiden asennuksesta, käyttöönotosta ja uudelleenkoulutuksesta aiheutuvat menot 30 April

14 Vikojen aiheuttamat kustannukset Epäsuorat kustannukset (asiakkaan näkökulmasta) Ohjelmiston toimittajalle aiheutuvat suorat kulut (sopimussakot, hinnan alennukset, käyttäjätuen kysynnän kasvu) Vahingot liiketoiminnalle; asiakkaiden ja maineen menetys, oikeudelliset kulut ja seuraamukset Vikojen korjaamisen kustannukset Toimittajan tekemän lisätyön hinta (vikojen jäljitys ja korjaus, testaus, uusien versioiden jakelu ja asennus) Resurssien (usein parhaiden) sitoutuminen korjaustyöhön uuden kehittämisen sijaan 30 April

15 Testauksen kulut Moni tekijä vaikuttaa testauksen hintaan Kehitysprosessin kypsyys (organisaation vakaus, tekemisen ennustettavuus) Ohjelmiston laatu ja testattavuus Testausinfrastruktuuri Henkilöstön osaaminen Laatuvaatimukset Testausstrategia Testauspäällikkö ei juuri voi vaikuttaa kuin testausstrategiaan ja jossain määrin infrastruktuuriin ja henkilövalintoihin 30 April

16 Testauksen työmäärän ja kustannusten arviointi Kustannuksia voi yleisesti arvioida kahdella tavalla Jakamalla koko testaustyö erillisiin tehtäviin ja pyytämällä tehtävien vastuuhenkilöitä ja/tai asiantuntijoita arvioimaan työmäärää ja muita kustannuksia Käyttämällä aiemmista projekteista kertynyttä dataa työmääristä ja kuluista arvioinnin pohjana Jälkimmäinen tapa tuottaa yleensä parempia arvioita, koska testauksen vaatima työmäärä yleensä aliarvioidaan! 30 April

17 Testausstrategia ja kustannukset Testausstrategian tavoitteena on Optimoida testauksen kustannukset suhteessa löytymättömien virheiden aiheuttamiin kustannuksiin Minimoida riskit Käytännössä laskelmien tekeminen voi olla vaikeaa puuttuvan kokemusperäisen datan takia Strategiapäätökset tehdään usein pikemminkin intuition kuin rationaalisen tiedon varassa 30 April

18 Testausstrategia Ennaltaehkäisevä vs. reaktiivinen Ennaltaehkäisevässä lähestymistavassa testaajat ovat mukana projektin alusta alkaen, jolloin testauksen suunnittelussa voidaan antaa riittävästi painoa aikaisessa vaiheissa tehtäville katselmoinneille ja analyyseille Reaktiivisessa toimintatavassa testauksen suunnittelu tulee mukaan vasta ohjelman toteutuksen ollessa jo pitkällä; tässä tapauksessa tutkiva testaus voi olla paras ja ainoa toimiva strategia Ennaltaehkäisevä toiminta on kuitenkin kustannustehokkainta koko ohjelmiston elinkaarta ajatellen 30 April

19 Testausstrategia Analyyttinen vs. heuristinen menetelmä Analyyttinen testauksen suunnittelu yrittää kvantifoida kustannukset ja kulut sekä niiden väliset riippuvuudet ja tuottaa optimoidun strategian laskelmien avulla Heuristinen suunnittelu nojaa asiantuntijoiden kokemukseen ja peukalosääntöihin Käytännössä ollaan jossain näiden ääripäiden välillä ja mukana on muitakin elementtejä Malliperustainen testaus, tilastolliset mallit, riskianalyysit, standardit, uudelleenkäyttö, tarkistuslistat, asiantuntijoiden takapuolituntuma 30 April

20 Testausaktiviteetit, Vikaraporttien käsittely Kurssikirja luvut Kuuluu koealueeseen 30 April

21 Testauspäällikön rooli ketterässä kehityksessä 30 April

22 Ketterä kehitys ja testaus Ei kurssikirjassa Video: Agile Test Management by Fran O Hara April

23 Ketterä kehitys ja testaus Siirtymä ketterään reaktiivisessa moodissa ole proaktiivinen Kaksi roolia Linjaesimies rekrytointi, sopivuus ketteriin kehitystiimeihin, valmennus Testauksen johtaminen projekteissa Testaus tapahtuu projekteissa, ei erillisessä siilossa Testausstrategian muodostamisessa pitäisi pyrkiä ennaltaehkäisevään strategiaan Automatisointistrategia, automaation rooli (mitkä tasot) 30 April

24 Ketterä kehitys ja testaus Älä ole liian määräävä testausprosessin määrittelyssä projektille; tarjoa neuvoja ja tukea ja ohjeita ja katso että tehdään järkeviä valintoja Definition of done määrittely avainasemassa riskit, testaus Testaajat ovat mukana projekteissa alusta alkaen, mikä korostaa testauksen merkitystä ja testaajien roolia Laatuvaatimusten testauksen haasteet miten saadaan mukaan näitten testaus heti alusta alkaen eikä vasta projektin lopussa Profilointi ym April

25 Ketterä kehitys ja testaus Esteiden poistaminen testauksen tieltä Testaajat voivat opettaa kehittäjiä laatimaan parempia testejä 30 April

26 Testaustyökalut 30 April

27 Työkalut ja testaus Työkalujen käytön tavoitteet Käsin tehtävän, samanlaisena mekaanisesti toistuvan ja/tai aikaa vievän työn automatisointi (ihmiset ovat huonoja automaatteja) Sellaisten testien tekeminen, joita on vaikeaa tai mahdotonta tehdä manuaalisesti (rasitus- ja suorituskykytestit) Inhimillisten virheiden riskin vähentäminen esimerkiksi suurten testi- ja tulosdatamäärien käsittelyssä 30 April

28 Työkalutyyppejä Testien suorituksen automatisointi, testidatan generointi, testitapausten generointi, testausprosessin hallinta, testin kohteen monitorointi, monikäyttötyökalut, jne. Yleiskäyttöisiä ja hyvin erikoistuneita Kaupallisia ja avoimia Esimerkiksi OSS työkaluja löytyy osoitteesta Muita April

29 Testauksen hallintatyökalut Testitapausten määrittely, luokittelu, priorisointi ja muu hallinta Testien suorituksen tilan seuranta Mahdollisesti linkitys vaatimushallintaan Vikaraporttien luonti- ja seurantatyökalut ovat välttämättömiä (incident management, bug tracking) Hallintatyökalujen integrointi muihin Testiraporttien ja dokumenttien generointi 30 April

30 Testauksen hallintatyökalut Testia Tarantula demo R7w April

31 Testien määrittelytyökalut Testitapauksen määrittelyyn kuuluvat esi- ja jälkiehdot, syöte ja odotettu tulos Testitapausten ja datan generointityökalut helpottavat testien laatijan työtä tuottamalla testisyötteitä tai kokonaisia testitapauksia automaattisesti 30 April

32 Testitapausten generoinnin peruste Tietokantarakenteen määrittely (data base schema) Tuotetaan skeeman mukainen testitietokanta Testikohteen koodi (white box) Testioraakkeli tarvitaan Pelkkä koodi (toteutus) on huono lähtökohta testaukselle 30 April

33 Testitapausten generoinnin peruste Testikohteen rajapinta (black box) Automaattinen ekvivalenssiluokkiin jako ja raja-arvo analyysi rajapinnan määrittelyn perusteella (API, GUI) Negatiivisten testitapausten automaattinen generointi (myös heuristiset säännöt) Testioraakkeli tarvitaan Testikohteen (formaali) spesifikaatio Model based testing Testisyötteiden ja tulosten generointi UML mallin avulla Malli toimii oraakkelina 30 April

34 Esimerkki AgitarOne: Junit yksikkötestien automaattinen generointi Yhdistää black-box ja white-box menetelmiä Kaupallinen työkalu Menetelmän yksityiskohdat ja analyysialgoritmit liikesalaisuuksia, mutta tutkimustietoa aihepiiristä löytyy 30 April

35 Staattisen testauksen työkalut Katselmoinnit Spesifikaatioiden ja mallien staattinen analyysi Model checking UML-mallin täydellisyys ja ristiriidattomuus Koodin staattinen analyysi Datavuoanomaliat, turvallisuusongelmat ja kymmeniä muita, katso. esimerkiksi April

36 Dynaamisen testauksen työkalut Testien suorittamisen automatisointi Testitapaukset syötteineen ja odotettuine tuloksineen koodataan testiskripteiksi tai ohjelmiksi (JUnit - testitapausluokat) Työkalu ajaa testit automaattisesti ja kirjaa tulokset (JUnit laajennokset NetBeans ja Eclipse - ympäristöissä) Debuggerit Kehittäjän työkaluja pääasiassa, mutta voivat olla tarpeellisia tiettyjen virhetilanteiden luomiseksi 30 April

37 Dynaamisen testauksen työkalut Testikehikot ja ajurit (test framework, test harness) Testiympäristön automaattinen generoiminen testikohteen analysoinnin perusteella Tuki ajurien kirjoittamista varten Riippuvuuksien analysointi ja tynkien (stubs) tai jäljittelijöiden (mock object) automaattinen (osittainen) generointi Google Test C++ testing framework April

38 Dynaamisen testauksen työkalut Simulaattorit, emulaattorit Testausrobotit (capture and replay) Käyttöliittymätapahtumien nauhoitus ja toisto testitapausten määrittelyn avuksi Selenium on suosittu työkalu selaimessa toimivien sovellusten testitapausten muodostamiseen ja suorittamiseen April

39 Dynaamisen testauksen työkalut Datalähtöinen testaus (data driven testing) Periaatteessa sama testitapaus suoritetaan monta kertaa peräkkäin vain syötteiden vaihtuessa Syötedata ja odotettu tulos talletetaan tiedostoon, tietokantaan tai taulukkon, josta testiskripti lukee datarivit ja ajaa testitapauksen Komento- tai avainsanatestaus (command/keyword driven testing) Testitapaukset ja -skenaariot koostuvat abstrakteista toiminnoista ( enter login credentials ) ja niiden syötteistä Testiä suoritettaessa abstrakti toiminto korvataan konkreettisella testikohteen toiminteella/dialogilla 30 April

40 Dynaamisen testauksen työkalut Vertailijat (comparator) Suurien tietomassojen vertailuun (testin tuottama tulosdata vs. oraakkelin tuottama data) Dynaamiset analysaattorit testikohteen suorituksen aikana Muistin käyttö jne. Kattavuusanalyysi testitapausten suorituksesta Lause- ja haarautumakattavuus jne. Työkaluissa paljon eroja Esimerkiksi EclEmma coverage plugin for Eclipse 30 April

41 Suorituskyvyn testaus ja monitorointi Kuormitustestaus, vasteajat Datan ja tapahtumien generointi Määrä, frekvenssi Monitorointi Testin aikaisen käyttäytymisen mittaaminen ja mittausdatan kerääminen Profilointi Vaatii erikoistuneita ja joskus kalliita välineitä Turvauhkien testaus April