Testausraportti. Dokumentti: Testausraportti_FD.doc Päiväys: Projekti: AgileElephant

Transkriptio

1 AgilElephant FD Tekijä: Petri Kalsi Omistaja: ElectricSeven Aihe: Sivu 1 / 8

2 Dokumentti Historia Muutoshistoria Revision Numero Revision Päiväys Yhteenveto muutoksista Revision tekijä Ensimmäinen versio Petri Kalsi Vertaistestaus ja viimeisimmät tiedot Bugzillasta Petri Kalsi Hyväksyjät Tämä dokumentti vaatii seuraavien henkilöiden hyväksymiset Nimi Juha Kaarlas Tehtävä Projektipäällikkö Jakelu Tämä dokumentti jaetaan seuraaville henkilöille Nimi Projektiryhmä Tehtävä Aihe: Sivu 2 / 8

3 Sisällysluettelo 1. Muutokset suunnitelmiin Tulosten yhteenveto Tavoitteiden saavuttaminen Löydetyt viat Tuotteen laatu Vikaluettelo...7 Aihe: Sivu 3 / 8

4 1. Muutokset suunnitelmiin Asiakas suoritti hyväksymistestauksen mallikkaasti suunniteltuna ajankohtana, ja tuloksista oli hyötyä. Raporttien perusteella saatiin korjattua useita virheitä. FD-vaiheessa ei suoritettu varsinaista testitapauspohjaista funktionaalista testausta. Testitapausten suorittaminen korvattiin asiakkaan pyynnöstä sillä, että AgilElephant otettiin FD-vaiheen alussa käyttöön korvaamaan Trapoli oman projektimme tuntiseurannan ja työnjaon työkaluna. Järjestelmän toiminta ja hyöty omassa projektissamme ylitti odotukset, joskin joitakin käytettävyysongelmia järjestelmästä vielä löytyy. Toteutettujen toimintojen laatu oli edelleen kohtalaisen hyvä. Niistä löydettiin jonkin verran vikoja, mutta ne eivät olleet vakavia. Järjestelmästä on toistaiseksi löydetty vain seitsemän major- ja kaksi criticalluokan bugia, ja nekin korjattiin todella nopeasti. Bugit eivät ole häirinneet testausta ja testausajasta bugien raportoimiseen kului vain häviävän pieni osa. FD-vaiheessa katselmointikäytäntöä saatiin parannettua, ja muutamia virheitä tehdyistä muutoksista löytyikin katselmoinnin avulla. Aihe: Sivu 4 / 8

5 2. Tulosten yhteenveto Testauksessa havaitut viat olivat pääosin pieniä ja merkittävät viat korjattiin lähes välittömästi. 2.1 Tavoitteiden saavuttaminen Testaussuunnitelmassa kirjatut tavoitteet yksittäiselle iteraatiolle olivat: 1. Iteraation päättyessä tuotteeseen ei jää lainkaan löydettyjä mutta korjaamattomia tai tarkastamattomia vakavuusluokkien blocking ja critical vikoja 2. Iteraation aikana tuotteesta löydetään korkeintaan kolme vakavuusluokkien blocking ja critical vikaa 3. Järjestelmän ytimen muodostaville luokille ja tärkeimmän iteraatiossa toteutetun toiminnallisuuden toteuttaville luokille saadaan tehtyä yksikkötestit 4. Iteraation päättyessä kaikki toteutetut yksikkötestit menevät läpi virheettömästi 5. Iteraatiossa toteutetun toiminnallisuuden kattavat testitapaukset saadaan suunniteltua 6. Vähintään 75 % suunnitelluista testitapauksista saadaan suoritettua Tavoitteiden saavuttamisesta voidaan todeta seuraavaa: 1. Saavutettiin: molemmat kaksi critical-luokan vikaa saatiin korjattua. 2. Saavutettiin: critical-luokan vikoja löytyi vain kaksi iteraation aikana. 3. Ei saavutettu kokonaan: yksikkötestejä ei ehditty toteuttaa suunnitellussa laajuudessa, vain osalle EJB-apista. 4. Saavutettiin: Ne yksikkötestit jotka ehdittiin toteuttaa, menevät läpi. 5. Saavutettiin: Testitapaukset korvattiin tuotteen laajalla testikäytöllä ja vertaistestauksella. 6. Saavutettiin: Testitapaukset korvattiin tuotteen laajalla testikäytöllä ja vertaistestauksella. 2.2 Löydetyt viat Bugzillan tilasto klo 11:00 oli seuraava: New Resolved Yht. Enhancement Trivial Minor Normal Major Critical Blocker Yht Uusia vikoja löytyi testauskäytön, hyväksymistestauksen ja vertaistestauksen aikana 25, joista osa oli enemmänkin puuttuvaa toiminnallisuutta kuin varsinaisia vikoja. Molemmat kaksi vakavaa vikaa saatiin korjattua. Järjestelmään jäi kaksi tunnettua vikaa; Tuotetta releasesta poistettaessa itemit jäävät release Aihe: Sivu 5 / 8

6 backlogiin ja Jos iteraatioiden välissä on taukoa se ei näy portfolion graafissa. Kaikkiaan virheistä on korjattu 95 %. Lisäksi Bugzillaan kirjattiin kuusi raporttia, jotka merkittiin virheellisiksi (ne eivät ole mukana edellä esitetyssä). Sama luokiteltuna komponenttien (eli järjestelmän arkkitehtuurikerrosten) mukaan: Komponentti lkm Documentation 1 Hibernate classes 1 Logic beans 10 Shared code 1 System configuration 2 Web frontend 28 Yhteensä 43 Eniten vikoja löytyi myös FD-vaiheessa www-käyttöliittymästä. Vikojen suuri määrä www-kerroksessa selittyy osittain sillä, että järjestelmää testattiin pääasiassa www-käyttöliittymän kautta, ja testaajien oli luontevinta merkitä viat www-käyttöliittymän alle Bugzillassa. Logic beanien vioista suurin osa saatiin korjattua, avoimeksi jäi vain yksi vika. Luotamme edelleen matalan tason implementaation laatuun. 2.3 Tuotteen laatu FD-vaiheen aikana järjestelmää käytettiin oman projektimme työnjaon organisointiin ja tuntiseurantaan onnistuneesti. Tämän perusteella voimme siis todeta, että tuote soveltuu käyttötarkoitukseensa. Hyväksymistestauksen tulosten perusteella tuotteen laatu on edelleenkin varsin hyvä. Vikoja löytyi kohtalaisen vähän ja vakavimmat viat saatiin korjattua. Vertaistestauksessa saadun palautteen perusteella Bugzillaan kirjattiin neljä uutta vikaa, joista yksi oli vakava. Kaikki neljä saatiin korjattua. Vertaisryhmän testaukseen oltiin tyytyväisiä, ja saadut tulokset ylittivät odotuksemme. Lainauksia raportista: Overall the system is quite capable once you get familiar with the concepts and terminology of SEMS. If one does not know how SEMS works understanding the system is nearly impossible, however after 1hour of familiarization the system can be used sufficiently. We found some bugs discussed in the other test charter, but nothing to make the product unusable for its purpose. Actually the system seems quite ok, though some improvements on usability should be done if the system ever will continue to real use. Jatkokehityksen kannalta käytettävyyden parantaminen on luultavasti yksi tärkeimmistä tavoitteista. Aihe: Sivu 6 / 8

7 3. Vikaluettelo Tässä vielä listaus kaikista Bugzillaan kirjatuista raporteista ( klo 15), joita ei ole merkitty virheellisiksi: Id Vakavuus Tila Kuvaus 1 min Korjattu Illegal issueid passed to viewissue.jsp displays a page w... 2 nor Korjattu newissue.jsp does not show large values for estimated eff... 3 maj Korjattu Kahden backlog item -instanssin siirtäminen samaan backl... 4 nor Korjattu Modify iteration shows wrong iteration leader 5 nor Korjattu Release modifying shows wrong release leader 6 nor Korjattu Type of release doesn't get changed when modifying release 7 min Korjattu Statusmuutokset product backlogissa aiheuttavat pelottavan 8 nor Korjattu Instance itemin yhden iteraation tuntien nollaaminen muut... 9 min Korjattu HTML-tagien lisääminen esim. kommentteihin tai descript nor Korjattu effort-muokkaussivulla saman itemin tiedot toistuvat 11 maj Korjattu Horizon type and release type are mixed when modifying re min Korjattu Kaksi tuotetta samalla keyllä tuottaa JDBC errorin 13 tri Ei korjata Tuotteen avainta muokatessa avain ei päivity olemassa ol maj Korjattu Tuotteen poistaminen sotkee releasen ja iteraation backlogit 15 nor Avoin Tuotetta releasesta poistettaessa itemit jäävät releas tri Korjattu Releasen/iteraation luonnissa väärä virheilmoitus (tai nor Korjattu Releasen/iteraation päivämäärät voi tuhota 18 tri Korjattu Releasen/iteraation virheilmoitukset puutteellisia 19 nor Korjattu Päivämäärissä SQL-yhteensopivuusongelma 22 nor Korjattu Graafinen portfolio on järkyttävän leveä 24 cri Korjattu Product-backlogiin ei voi lisätä itemiä 25 enh Korjattu Itemin completeness 100% jos Original estimate ja Remaini nor Korjattu Ääkköset eivät toimi effortti historia listassa 27 nor Ei korjata Siirrot backlogien välillä eivät kirjaudu historiaan 28 nor Korjattu Valittaessa assigneeta tai leaderia listataan aina kaikki min Korjattu Portfolion luonnin dokumentaatiossa virhe 30 nor Korjattu Kun uusi portfolio on luotu 'Modify portfolio' ja 'remove nor Korjattu Portfolion päivämäärien muokkaaminen ja jättäminen nor Korjattu Jos määritellään sekä relatiivinen, että absoluutt min Korjattu "Export query datas" linkki voisi olla "Actioneiden" alla. 35 maj Ei korjata Konfigurointi puutteellista 36 min Ei korjata Search does not work. Aihe: Sivu 7 / 8

8 37 min Korjattu Väärää terminologiaa / kirjoitusvirhe Iteraatio-sivulla 39 min Myöhemmin Harhaanjohtava linkki "Iteration Effort Editing" sivulla 40 nor Ei korjata Historiatiedoissa ei näy kaikkia backlogien välisiä si maj Korjattu Iteraatiosivulla "Efforts by person" lasketaan väärin 42 maj Myöhemmin Iteraation tehtävien muokkaus kömpelöä 43 cri Korjattu Release backlogiin siirretyt itemit katoavat 44 enh Avoin Jos iteraatioiden välissä on taukoa, se ei näy portfoliosivulla 45 enh Ei korjata Import toiminnossa voisi olla myös file-dialogi 46 nor Myöhemmin Iteraation muokkauksen päivämäärien tarkistus puuttee min Myöhemmin Effort entryn luominen iteraation ulkopuolelle, vaikuttaa maj Korjattu Overflown käsittely esim estimaattiarvojen kentissä Aihe: Sivu 8 / 8