Tik-76.115 Tietojenkäsittelyopin ohjelmatyö Tietotekniikan osasto Teknillinen korkeakoulu TESTIRAPORTTI LiKe Liiketoiminnan kehityksen tukiprojekti Versio: 1.1 Tila: hyväksytty Päivämäärä: 13.2.2001 Tekijä: Niko Tolvanen Kommentit: Hyväksyi: Maaret Pyhäjärvi, Katariina Ylinen
VERSIOHISTORIA Versio Päivämäärä Muutokset Muuttaja 0.1 4.12.2000 Alustava versio Niko Tolvanen 1.0 6.2.2001 Täydennetty versio Niko Tolvanen 1.1 13.2.2001 Asiakaskatselmoinnin korjaukset tehty Niko Tolvanen
1. JOHDANTO 1 2. YHTEENVETO 1 3. EROT SUUNNITELTUUN TESTAUKSEEN 1 4. TESTAUKSEN KATTAVUUS 2 5. TULOSTEN YHTEENVETO 2 6. ARVIOINTI 4 7. TEHTÄVIEN YHTEENVETO 4 7.1 STAATTINEN TESTAUS 4 7.2 DYNAAMINEN TESTAUS 5
1. JOHDANTO Tämä dokumentti on LiKe-järjestelmän testiraportti, joka kattaa testauksen tapahtumat ja tulokset Toteutus 3 vaiheessa. Kokonaistestauksesta projektin aikana laaditaan testiraportti Luovutus-vaiheessa; tämä raportti kattaa vain Toteutus 3 -vaiheen aikana tehdyn testauksen. 2. YHTEENVETO Toteutus 3 vaiheen aikana jatkettiin Toteutus 2 vaiheessa aloitettua järjestelmän toiminnallisuuden toteuttamista. Toteutus tehtiin sunny day skenaariolle, virheenkäsittelyn toteutus tehdään Toteutus 4 vaiheen ensimmäisen kahden viikon aikana, jolloin järjestelmä viimeistellään testausta varten. Järjestelmän käyttöliittymän ja tietokantaosan toteutus oli aloitettu jo aiempien vaiheiden aikana, ja Toteutus 3 vaiheen aikana tätä työtä jatkettiin siten, että suurin osa varsinaisesta toteutustyöstä kohdistui tähän vaiheeseen. Koodikatselmoinnin ja moduulitestaus integroituivat kiinteäksi osaksi toteutusta projektiryhmän ohjelmoijien työskennellessä tiiminä vierekkäisillä koneilla. Testaus laadittuja testitapauksia vasten suoritettiin järjestelmän versiolle 3.01 WinNT 4.0 Workstation -ympäristössä Internet Explorer 5.5 ja Netscape Navigator 4.7 selaimille. Toteutuksen ollessa huomattavan keskeneräinen virheiden raportointi Buranaan ei ollut ajankohtaista, joten korjaamattomat virheet syötettiin Buranaan vasta vaiheen lopussa. Toteuttamattomista osista syötettiin kokonaisuutena yksi virheraportti per toiminnallisuus. 3. EROT SUUNNITELTUUN TESTAUKSEEN Vaiheessa suoritettiin suunniteltu testaus vaiheen lopuksi. Järjestelmän kaikki toiminnallisuudet eivät olleet vielä toteutettuja, ja toteuttamattomien toiminnallisuuksien testaaminen jätettiin. Testitapauksista, joita ei toteuttamattomien toiminnallisuuksien vuoksi voitu suorittaa, raportoitiin Buranaan. 1
Testi suoritettiin vain kahdella käyttöjärjestelmä-selain-kombinaatiolla. Muiden kombinaatioiden toimivuutta testataan vasta järjestelmän saavuttaessa riittävän kypsyysasteen Windows NT 4.0 Workstationilla sekä Internet Explorer 5.5 että Netscape 4.7 selaimilla. Kattavuuden määrittäminen työkaluilla ei onnistunut halutussa määrin tässä vaiheessa. Testitapausten automatisointi aloitettiin, mutta käyttöliittymässä tapahtuvien muutosten suuren määrän vuoksi automatisoinnin ei todettu tuovan haluttua etua. Uuteen työkaluun tutustumista voidaan silti pitää hyvänä asiana jälleen saimme muistutuksen siitä, että testauksen automatisoinnista on iloa lähinnä pitkäaikaisessa tuotekehitysprosessissa tuotteen saavutettua riittävän kypsyystason. 4. TESTAUKSEN KATTAVUUS Testaus kattoi suunnitellusti sunny day -skenaariot järjestelmän toiminnasta. Toiminnallisuuksista osan toteutus on keskeneräinen, eikä niitä näin ollen voinut testata kokonaisuutena. Määritellyt 20 testitapausta käytiin läpi sekä IE:ssä että Netscape Navigatorissa. Moduulitestauksen koodikattavuutta ei määritetty työkalua kokeiltiin yksittäisiin Beaneihin testiapuohjelman avulla, mutta työkaluongelmien ja järjestelmän myöhäisen testaukseen valmistumisen vuoksi kokonaisuutta ei ehditty integroida ja instrumentoida PureCoveragella. Mittaustulokset olisivat saavutettavissa Rational TestFactoryn avulla, joka integroi moduulitestauksen työkalun datan järjestelmän toiminnallisuuksien läpikäyntiin. Dynaamisen testauksen lisäksi kaikki koodi katselmoitiin ja katselmoinnissa havaitut virheet korjattiin. 5. TULOSTEN YHTEENVETO Testitapaukset suoritettiin sunny day skenaariolle, ja havaitut virheet raportoitiin Buranalla. 20 testitapauksesta 8 toimi, 12 ei toiminut. Virheitä raportoitiin 21 kappaletta. Näistä 9 oli vakavuudeltaan normaaleja ja 12 vakavia. Testitapauksen, niiden tulokset ja 2
kirjatut virheraportit on esitetty taulukossa 1. Testitapausten kuvaukset on esitetty omassa dokumentissaan. Taulukko 1. Testitapaukset, niiden tulokset ja kirjatut virheet T3-vaiheessa. Testitapaus Tulos (pass/fail) Virheraportit 1.1 Fail 1144, 1145, 1155 2.1 Pass 2.2 Pass 1156, 1160, 1164, 1161 2.3 Fail 1146 2.4 Fail 1147 2.5 Pass 2.6 Fail 1148, 1163 2.7 Fail 1149 2.8 Fail 1150 2.9 Fail 1151 2.10 Pass 3.1 Pass 1157, 1158, 1152 3.2 Fail 1152 3.3 Pass 3.4 Pass 1162 3.5 Fail 1153 3.6 Pass 3
4.1 Fail 1154 4.2 Fail 1154, 1159 24.3 Fail 1154 6. ARVIOINTI Järjestelmä on edelleen keskeneräinen. Toiminnoista osa on vielä toteuttamatta ja lisäksi ulkonäöllistä hiontaa on paljon. Järjestelmän versio on valmis siirtymään seuraavaan toteutusvaiheeseen, jossa loput toiminnallisuudet toteutetaan ja järjestelmän ulkoasua eri selaimissa parannetaan. 7. TEHTÄVIEN YHTEENVETO Toteutus 3 -vaiheessa suoritettiin testausta seuraavasti: 7.1 STAATTINEN TESTAUS Ohjelmiston toteutettujen osien koodi katselmoitiin verraten sitä määrittelyyn. Katselmoinnissa havaittiin sekä virheitä koodissa että virheitä alkuperäisessä suunnitelmassa. Virheestä riippuen koodia ja teknistä määrittelyä korjattiin tarpeellisin osin. Koodin toteutuksen ja katselmoinnin toteuttivat järjestelmäarkkitehti Kimmo Kujalan johdolla Eero Jyske ja Antti Sillanpää. Katselmointi hoidettiin renkaana siten, että Antti katselmoi Kimmon koodin, Kimmo Eeron koodin ja Eero Antin koodin. Löydettyjen virheiden määrä oli vähäinen, mistä lähinnä voi päätellä että katselmointiin käytetty aika ei ollut riittävä. Katselmointi tapahtui toteutuksen ohessa. Koodinkatselmointi vaatii laajamittaista kokemusta katselmoijilta ja rajoittui lähinnä logiikkavirheiden paljastumiseen. 4
7.2 DYNAAMINEN TESTAUS Testaus suoritettiin laatuvastaava Niko Tolvasen johdolla, suorittajina hänen lisäkseen Maaret Pyhäjärvi ja Minna Reino. Minna vertasi käyttöliittymää laatimaansa käyttöohjeeseen, Niko suoritti testitapaukset IE 5.5:llä ja Maaret NS 4.7:llä. Testaukseen käytettiin noin yksi työpäivä per testaaja. 5