T Testiraportti - järjestelmätestaus

Transkriptio

1 T Testiraportti - järjestelmätestaus 18. huhtikuuta 2002 Confuse 1

2 Tila Versio: 1.0 Tila: Päivitetty Jakelu: Julkinen Luotu: Jani Myyry Muutettu viimeksi: Jani Myyry Versiohistoria Versio Pvm Tekijä Kuvaus Myyry Jani Dokumenttipohja Myyry Jani Tulokset järjestelmätestauksesta. 2

3 Sisältö 1 Johdanto Tarkoitus ja kattavuus Viitteet Yleiskatsaus dokumenttiin Testien kattavuus Laajuus Testausympäristö Muutokset testaussuunnitelmaan Komponentit testauksessa GUI Configurator Engine Installer Kokonaisjärjestelmä ja ulkopuoliset komponentit Testien tulokset 5 5 Virheet 5 6 Arviointi 5 3

4 1 Johdanto 1.1 Tarkoitus ja kattavuus Tämä dokumentti on kurssin T Tietojenkäsittelyopin ohjelmatyö-kurssia suorittavan ryhmän Confuse testiraportti. Ryhmän tarkoituksena on kehittää konfigurointiympäristö mobiilipäätelaitteille, hyödyntäen projektissa Compaq ipaq PDA-laitetta. Konfigurointiympäristön tarkemmat yksityiskohdat löytyvät vaatimusmäärittelystä ja toiminnallisesta määrittelystä. Testauksen aikataulut ja käytettävät metodit löytyvät testaussuunnitelmasta ja projektinhallinnan osalta myös projektisuunnitelmasta. Tähän dokumenttiin on kirjattu testaussuunnitelmassa esitettyjen testitapausten tulokset ja ongelmat, jotka testauksen aikana tulivat vastaan. Lisäksi raportissa pyritään yksilöimään käytetyt versiot testatuista ohjelmista ja testiympäristö, joka testin aikana oli käytettävissä. 1.2 Viitteet Viitteet ovat listattuina dokumentin lopussa. 1.3 Yleiskatsaus dokumenttiin Dokumentin ensimmäinen kappale antaa yleiskuvan käsiteltävästä aiheesta ja määrittelee termit joita dokumentissa käytetään. 2. kappale määrittelee testien kattavuuden ja testattavien ominaisuuksien laajuuden. Lisäksi määritellään yleinen testausympäristö ja ohjelmistojen versiot. 3. kappale käsittelee komponentteja yksityiskohtaisemmin, testejä ja testaukseen vaikuttavia näkökohtia, versioita, jotka ovat olennaisia kyseisten komponenttien kohdalla. 4. kappale sisältää testien tulokset ja niissä ilmenneet virheet. 5. kappale sisältää testien aikana ilmenneet virheet. 6. kappaleessa arvioimme testien tuloksia ja niiden vaikutuksia ohjelmiston toimivuuteen ja projektin etenemiseen. 2 Testien kattavuus 2.1 Laajuus Järjestelmätestausvaihe käsitti testitapauksia, jotka testasivat koko järjestelmän toimintaa. Mapperin testaus oli suoritettu jo aiemminssa integraatio- ja moduulitestausvaiheissa, joten sitä ei tässä vaiheessa testattu, koska käyttöliittymä ei suoranaisesti sitä käyttänyt. Järjestelmätestaukseen kuuluvia komponentteja olivat käyttöliittymä GUI, Installer ja Configurator Engine. Näitä kaikkia käytettiin läpinäkyvästi GUI:n kautta, kuitenkin niin, että jokaisessa testitapauksessa kaikki komponentit olivat osaltaan mukana. Järjestelmä vaati kaikkien komponenttien toimivan oikein, ennen kuin testitapaus oli mahdollista läpäistä. Järjestelmätestauksessa verifioitiin normaalien vaatimusmäärittelyn mukaisten operaatioden toimiminen, pakettien asennus ja poistaminen, konfiguraation detektointi ipaq:sta, konfiguraation tarkistaminen Configurator Engine:ltä, sekä riippuvuuksien aiheuttamat automaattiset lisäykset pakettilistaukseen. Lisäksi testattiin konfiguraation tallennus- ja lataus-toimintoja. 2.2 Testausympäristö Testausympäristönä käytettiin testaussuunnitelmassa eriteltyä testausympäristöä, serverinä oli confuse.soberit.hut.fi (RedHat 7.1) ja sovelluksesta päivän tilanne. Testikäyttäjänä oli erillinen tunnus demo, joka kuului ryhmään confuse oikeuksin muokata allpackages.xml (GUI:n syöte) ja packages.rl-tiedostoja (Configurator Enginen syöte). Configurator Engine oli Tommi Syrjäsen toimittaman ipkg-konfiguraatiomallin mukainen, linkattuna lajittelukirjastoon, joka tuki ipkg-pakettien erityisominaisuuksia. GUI:n testaukseen käytettiin testaussuunnitelman mukaisia www-selaimia lisättynä tekstipohjaisella selaimella Lynx:llä. Testausympäristö oli riittävän kattava, koska halutun Linux-ympäristön lisäksi GUI toimii myös kehitysympäristössä Windowsissa. ipaq:ssa oli Familiar Linux 0.5 pre, joka on ollut käytössä projektin alusta lähtien. 4

5 2.3 Muutokset testaussuunnitelmaan Testaussuunnitelmaan lisättiin testitapauksia järjestelmätestausta varten. Integraatiotestaustapauksia olivat TC-G- 13, TC-G-14, TC-G-15 ja TC-G-16. Moduuli- ja integraatiotestitapaukset poistettiin epärelevantteina. 3 Komponentit testauksessa 3.1 GUI GUI oli päivän versio, jota käytettiin testien suorittamiseen. 3.2 Configurator Engine Configurator Engine oli päivän versio, jota käytettiin konfiguraatioiden tarkistamiseen. 3.3 Installer Installer oli päivän versio, jota käytettiin kommunikointiin ipaq:iin ja pakettien asentamiseen. 3.4 Kokonaisjärjestelmä ja ulkopuoliset komponentit Configurator Engine oli varustettu testaussuunnitelman mukaisilla smodels- ja lparse-versioilla sekä Tommi Syrjäsen konfiguraatio-mallilla. Configurator Engine on vertailufunktion osalta korjattu versio, koska edellinen oli viallinen. Lisäksi suoraa pakettilistauksen generointia Familiar-distribuution metadatoista ei voida käyttää, koska distribuutio on riippuvuuksien osalta rikki sisältäen mm. vaatimuksia kirjastoihin, joita ei ole olemassa. 4 Testien tulokset Seuraavassa taulukossa löytyvät testien tulokset, itse testitapaukset löytyvät testaussuunnitelmasta. Virheprioriteetit ovat myös tarkemmin selitettyinä testaussuunnitelmassa (F = Fatal, B = Broken, E = Feature), taulukossa lyhenteellä VP. Testitapaus Päiväys Testaaja Tulos Virheet VP TC-G Petri Kujala OK TC-G Petri Kujala OK TC-G Petri Kujala OK TC-G Petri Kujala OK 5 Virheet Testauksen aikana ei löydetty raportoitavia virheitä. 6 Arviointi Järjestelmätestaus onnistui hyvin, koska raportoitavia bugeja ei löytynyt. Tämä osattiin jo ennustaa, sillä integraatiotestauksessa oli löydetty muutamia virheitä, jotka korjattiin ja järjestelmätestitapaukset olivat pitkälti kombinaatioita integraatiotestitapauksista. Vastaavanlaisia ongelmia opponointitestauksen kanssa ei koettu, koska ryhmämme osasi välttää käyttämästä konfiguraatioita, jotka eivät toimineet johtuen Familiar Linuxin riippuvuudesta tiettyjen järjestelmäpakettien suhteen. Testauskriteeriemme mukaan järjestelmätestaus on nyt suoritettu hyväksytysti ja V-mallin testausmenetelmämme mukaan myös projektin kokonaistestaus on osaltamme ohi. 5