Ohjelmiston testaus ja laatu Testaus yleistä
Määritelmä Testaus on systemaattinen lähestymistapa ohjelmistoissa esiintyvien virheiden löytämiseksi ohjelmaa suorittamalla. Testattaessa pyritään luomaan kattavia testitapausjoukkoja ja löytämään menetelmiä, joilla ohjelmissa esiintyvät virheet saadaan selvitettyä taloudellisesti ja ohjelman toiminta mahdollisimman luotettavaksi. Ohjelmien testauksen kokonaisuuden hallintaan on tehty erilaisia apuvälineitä: testaustyökaluja ja testausprosessin hallintaohjelmistoja. Testauksen tarkoituksena periaatteessa on osoittaa, että ohjelma toimii tai toisin päin, että ohjelma ei toimi, kuten sen pitäisi. Testausta suoritettaessa on hyväksyttävä se tosiasia, että kaikkia ohjelmistossa esiintyviä virheitä ei kyetä saamaan esiin, johtuen ohjelmistojen laajuudesta ja suorituspolkujen moninaisuudesta. Ohjelman toiminta voidaan todistaa oikeelliseksi vain äärimmäisen triviaaleissa tapauksissa. Kysymyksiä Toimiiko ohjelma väärin suhteessa määrittelyynsä? Toimiiko ohjelma eri ympäristöissä? Tekeekö ohjelma sitä, mitä sen pitäisi? Tekeekö ohjelma sitä mitä sen ei pitäisi tehdä?
Käsitteitä - 1 virhe Havaittu eroavaisuus ohjelmiston toiminnassa ja sille tuotetuissa määrityksissä. Virheet voidaan jakaa kääntäjän kannalta katsoen käännöksenaikaisiin (syntaksinen virhe), ajon-aikaisiin (semanttinen virhe) ja loogisiin virheisiin. Testauksen vaihemallin mukaan virheet voidaan jakaa virheelliseen vaatimusten määrittelyyn, suunnitteluvirheisiin ja ohjelmointivirheisiin verifiointi Tarkoittaa ohjelman oikeellisuuden ja oikean toiminnan todentamista. validointi Tarkoittaa varmennusta, että toteutettava järjestelmä vastaa loppukäyttäjän tarpeita. virheidenpoisto l. debuggaus Prosessi, jonka tarkoituksena on löytää ja poistaa virheiden syitä ja aiheuttajia ohjelmakoodista. staattinen testaus Ohjelmiston testausta ilman, että ohjelmakoodia suoritetaan. Koodin analysointi voidaan suorittaa joko käsin tai automaattisesti staattisen analyysin työkalulla. Menettelyllä pyritään löytämään tutkittavasta ohjelmakoodista loogisia-, suunnittelu- ja koodausvirheitä. Ohjelmakoodin tarkastelu manuaalisesti tapahtuu koodin tarkastuksessa (inspection), katselmuksessa (review) ja läpikäyntitilaisuuksissa (walkthrough) tai ohjelmoijan itse suorittamissa pöytätestauksissa (desk checking)
Käsitteitä - 2 esimerkkejä staattisesta testauksesta funktiokutsussa parametrien tyypit parametrien käyttö (esim. parametrien väärä lukumäärä) funktion paluuarvon tyyppi samannimiset muuttujat/muuttujan uudelleen määrittely onko ohjelmakoodia, jota ei suoriteta koskaan käytetäänkö esiteltyä muuttujaa onko muuttujaa esitelty ennen käyttöä käytetäänkö esiteltyä funktiota muuttujaan sijoitettavan arvon tyyppi osoittimien ja indeksien käyttö (esim. viittaukset määriteltyjen rajojen ulkopuolelle) dynaaminen testaus Komponentin tai ohjelmiston testausta itse ohjelman tai sen osan suorituksen aikana ja perusteella Apuvälineinä olevat dynaamiset virheenjäljitysohjelmat, kuten debuggerit testattavuus Ohjelmiston testattavuudella mitataan ohjelmiston kykyä paljastaa omat virheensä ohjelmakoodissa, komponenteissa tai vaatimuksissa
Testausvaiheet ja tehtävät Testi tapausten tuottaminen testausvaiheiden tehtävät testitapaukset Testi tapausten ajo virheet / virheen oireet Virheen paikantaminen Virheen korjaus Korjausten testaus testaus virheen poistaminen debuggaus
Testauksen käytännön olettamuksia täydellinen testaus vaatii kaikkien ohjelmarivien ja kaikkien eri toimintojen kombinaatioiden testaamisen vie aikaa ja on kallista mahdotonta testaus on vaihtokauppaa luotettavuus vs. kustannukset & aikataulu testauksessa silmä näkee, mitä se haluaa miten tehdään ja kuka tekee luotettavaa testausta ohjelman tekijä ei saisi olla ainoa testaaja systeemin tehnyt ryhmä ei saisi olla ainoa testaajaryhmä testistä saatavat tulokset tulee tutkia tarkkaan, jotta ei jää huomaamatta virheitä testitapauksissa tulee olla kelvollisia ja kelvottomia syötteitä ei riitä, että ohjelma tekee sitä, mitä sen pitääkin tehdä. Se ei saa tehdä sitä, mitä sen ei pitäisikään tehdä testaukselle varattava aikaa, jotta dokumentointi ja korjaus onnistuu
Katselmointi Vaatimus-, määrittely- ja suunnitteludokumenttien teon jälkeen katselmukset Katselmuskäytäntö kuvataan projektisuunnitelmassa tai projektitasoisessa testaussuunnitelmassa (mitä, kuka, milloin ja miten?) Testauksen kannalta oleellisia ovat määrittely- ja suunnitteludokumenttien sekä testaussuunnitelman ja testitapausten katselmoinnit katselmuspalaveri puheenjohtaja ja sihteeri pysytään asiassa tarkastuslistojen käyttö lisää tehokkuutta päätökset kirjataan ylös (hyväksyminen, ehdollinen hyväksyminen (havaitut virheet korjattava), uusintakatselmus Kestää enintään 2 tuntia
Onnistunut testaus vaatii Testausmenetelmien ja välineiden asiantuntemuksen Selkeät tavoitteet Testaussuunnitteluun panostamisen Tarvittavien henkilöresurssien olemassa olon Testausprojektin tuloksien seurannan ja toteuttamisen Testausprojektin hyvän vaiheistuksen ja välietapit Sovittujen pelisääntöjen tiedottamisen Suunnitellun ja toimivan muutos- ja virhehallinnan
Harjoitus Laadi testitapaukset ohjelmalle, jossa päätteeltä kysytään kolme lukua (= kolmion sivujen mitat). Ohjelma tulostaa onko kolmio NRO Testitapaus Mitä testataan Odotettu tulos Todellinen tulos tasasivuinen tasakylkinen eri sivuinen syöttötiedot epäkelvot