T Testiraportti - integraatiotestaus

Transkriptio

1 T Testiraportti - integraatiotestaus 22. maaliskuuta 2002 Confuse 1

2 Tila Versio: 1.0 Tila: Päivitetty Jakelu: Julkinen Luotu: Jani Myyry Muutettu viimeksi: Jani Myyry Versiohistoria Versio Pvm Tekijä Kuvaus Myyry Jani Dokumenttipohja Myyry Jani Lisätty tulokset testituloksista ja kirjoitettu arviointi Myyry Jani Loput arvioinnit ja julkaisu. 2

3 Sisältö 1 Johdanto Tarkoitus ja kattavuus Viitteet Yleiskatsaus dokumenttiin Testien kattavuus Laajuus Testausympäristö Muutokset testaussuunnitelmaan Komponenttien välinen testaus Mapper - GUI Mapper - Configurator Engine GUI - Configurator Engine GUI - Installer Kokonaisjärjestelmä ja ulkopuoliset komponentit Testien tulokset 5 5 Virheet GUI - Configurator Enginen virheet TC-G TC-G TC-G TC-G TC-G GUI - Installer virheet TC-G TC-G TC-G Arviointi 7 3

4 1 Johdanto 1.1 Tarkoitus ja kattavuus Tämä dokumentti on kurssin T Tietojenkäsittelyopin ohjelmatyö-kurssia suorittavan ryhmän Confuse testiraportti. Ryhmän tarkoituksena on kehittää konfigurointiympäristö mobiilipäätelaitteille, hyödyntäen projektissa Compaq ipaq PDA-laitetta. Konfigurointiympäristön tarkemmat yksityiskohdat löytyvät vaatimusmäärittelystä ja toiminnallisesta määrittelystä. Testauksen aikataulut ja käytettävät metodit löytyvät testaussuunnitelmasta ja projektinhallinnan osalta myös projektisuunnitelmasta. Tähän dokumenttiin on kirjattu testaussuunnitelmassa esitettyjen testitapausten tulokset ja ongelmat, jotka testauksen aikana tulivat vastaan. Lisäksi raportissa pyritään yksilöimään käytetyt versiot testatuista ohjelmista ja testiympäristö, joka testin aikana oli käytettävissä. 1.2 Viitteet Viitteet ovat listattuina dokumentin lopussa. 1.3 Yleiskatsaus dokumenttiin Dokumentin ensimmäinen kappale antaa yleiskuvan käsiteltävästä aiheesta ja määrittelee termit joita dokumentissa käytetään. 2. kappale määrittelee testien kattavuuden ja testattavien ominaisuuksien laajuuden. Lisäksi määritellään yleinen testausympäristö ja ohjelmistojen versiot. 3. kappale käsittelee komponentteja yksityiskohtaisemmin, testejä ja testaukseen vaikuttavia näkökohtia, versioita, jotka ovat olennaisia kyseisten komponenttien kohdalla. 4. kappale sisältää testien tulokset ja niissä ilmenneet virheet. 5. kappale sisältää testien aikana ilmenneet virheet. 6. kappaleessa arvioimme testien tuloksia ja niiden vaikutuksia ohjelmiston toimivuuteen ja projektin etenemiseen. 2 Testien kattavuus 2.1 Laajuus Tämän vaiheen testit laajentuvat integraatiotesteukseen, jota tämä testiraportti käsittelee. Integraatiotestauksessa mukaan tulivat komponenttien välinen interaktio, johon erityisesti keskitytään. Moduulivaiheesta on osa tärkeimmistä testeistä mukana, varsinkin tapaukset, jotka käsittelevät komponenttien tärkeimpiä toimintoja. Intergaatiotestaus jaettiin neljään osaan, eri moduulien välille muodostettuihin pareihin. Näitä olivat Mapper ja GUI, Mapper ja Configurator Engine, GUI ja Configurator Engine sekä GUI ja Installer. Näistä tärkeimpiä olivat GUI:n ja Installerin, sekä GUI:n ja Configurator Enginen testaus, koska kyseiset komponentit ovat reaaliaikaisesti ja jatkuvasti järjestelmässä käytössä. GUI:n ja Installerin suhteen testattiin vaatimusmäärittelyn mukaisia vaatimuksia, mm. pakettien lisäyksen ja poiston sekä konfiguraation tiedustelun osalta. GUI:n ja Configurator Enginen osalta testattiin oikeiksi todettujen konfiguraatioiden toimimista ja ristiriitaisten hylkäämistä. Virhetilanteiden varalta testattiin mahdollisia ongelmia, joita voi tulla vastaan. Mapperin osalta on kyseessä erikseen ajettava komponentti, jonka toiminta riippuu syötteen laadusta, joka todettiin kehnoksi. Siksi integraatiotestausvoimavaroja ei käytetty liiemmin Mapperin suuntaan, koska moduulitestaus oli riittävän kattavasti testannut myös integraatiotestaukseen kuuluvia vaatimuksia. 2.2 Testausympäristö Testausympäristönä käytettiin testaussuunnitelmassa eriteltyä testausympäristöä, serverinä oli confuse.soberit.hut.fi (RedHat 7.1) ja sovelluksesta päivän tilanne. Testikäyttäjänä oli erillinen tunnus demo, joka kuului ryhmään confuse oikeuksin muokata allpackages.xml (GUI:n syöte) ja packages.rl-tiedostoja (Configurator Enginen syöte). Configurator Engine oli Tommi Syrjäsen toimittaman ipkg-konfiguraatiomallin mukainen, linkattuna lajittelukirjastoon, joka tuki ipkg-pakettien erityisominaisuuksia. 4

5 GUI:n testaukseen käytettiin testaussuunnitelman mukaisia www-selaimia lisättynä tekstipohjaisella selaimella Lynx:llä. Testausympäristö oli riittävän kattava, koska halutun Linux-ympäristön lisäksi GUI toimii myös kehitysympäristössä Windowsissa. ipaq:ssa oli Familiar Linux 0.5 pre, joka on ollut käytössä projektin alusta lähtien. 2.3 Muutokset testaussuunnitelmaan Testaussuunnitelmaan lisättiin testitapauksia integraatiotestausta varten. Integraatiotestaustapauksia ovat TC-M-07 (Mapper ja GUI), TC-M-08 (Mapper ja Configurator engine), TC-G-06 TC-G-07 TC-G-08 TC-G-09 (GUI ja Configurator Engine), TC-G-10 TC-G-11 TC-G-12 (GUI ja Installer). Osa moduulitesteistä poistettiin integraatiotestauksesta epärelevantteina. 3 Komponenttien välinen testaus 3.1 Mapper - GUI Mapper ja Configurator Engine olivat päivän versioita, joille ajettiin moduulitestaus-scriptit ja tehtiin integraatiotestaus testitapauksen perusteella. 3.2 Mapper - Configurator Engine Mapper ja GUI olivat päivän versioita, joille ajettiin integraatiotestitapaus ja moduulitestitapaukset. 3.3 GUI - Configurator Engine GUI ja Configurator Engine olivat päivän versioita, joille ajettiin integraatiotestitapaukset ja moduulitestit. 3.4 GUI - Installer GUI ja Installer olivat päivän versioita, joille ajettiin integraatiotestitapaukset ja moduulitestit. 3.5 Kokonaisjärjestelmä ja ulkopuoliset komponentit Configurator Engine oli varustettu testaussuunnitelman mukaisilla smodels- ja lparse-versioilla sekä Tommi Syrjäsen konfiguraatio-mallilla. Configurator Engine on vertailufunktion osalta korjattu versio, koska edellinen oli viallinen. Lisäksi suoraa pakettilistauksen generointia Familiar-distribuution metadatoista ei voida käyttää, koska distribuutio on riippuvuuksien osalta rikki sisltäen mm. vaatimuksia kirjastoihin, joita ei ole olemassa. 4 Testien tulokset Seuraavassa taulukossa löytyvät testien tulokset, itse testitapaukset löytyvät testaussuunnitelmasta. Virheprioriteetit ovat myös tarkemmin selitettyinä testaussuunnitelmassa (F = Fatal, B = Broken, E = Feature), taulukossa lyhenteellä VP. 5

6 Testitapaus Päiväys Testaaja Tulos Virheet VP TC-M Jani Myyry OK TC-M Jani Myyry OK TC-M Jani Myyry OK TC-M Jani Myyry OK TC-M Jani Myyry OK TC-M Jani Myyry OK TC-M Ari Haapaniemi OK TC-M Jani Myyry OK TC-G Antti Haapakoski OK TC-G Antti Haapakoski Hylätty libstdc++ paketin lisäys ei toimi B TC-G Antti Haapakoski Hylätty libstdc++ paketin poisto ei toimi B TC-G Antti Haapakoski Hylätty hyväksyi / :t, XML-formaatti väärä TC-G Antti Haapakoski OK hyväksyi / :t tiedostonimessä F TC-G Antti Haapakoski OK TC-G Antti Haapakoski OK TC-G Antti Haapakoski OK TC-G Antti Haapakoski Hylätty gui kaatuu/ei huomaa virhettä B TC-G Jani Myyry Hylätty gui kaatuu, ei huomaa virhettä B TC-G Jani Myyry Hylätty gui kaatuu, ei huomaa virhettä B TC-G Jani Myyry Hylätty gui kaatuu, ei huomaa virhettä B 5 Virheet Testauksen aikana huomatuista virheistä on kirjattu lyhyet kommentit ja mahdolliset korjaukset ongelman ratkaisemiseksi. 5.1 GUI - Configurator Enginen virheet TC-G-02 Paketti libstdc glibc2.2 ei tule konfiguraatioon vaikka painaa Add -nappia. Toimenpiteet: erikoismerkit on escape:ttava html:n linkeissä. Raportoitu Buranaan: PR TC-G-03 Paketti libstdc glibc2.2 ei lähde konfiguraatiosta. Toimenpiteet: erikoismerkit on escape:ttava html:n linkeissä. Buranassa PR TC-G-04 Tiedostonimeen hyväksyttiin hakemiston erotinmerkkejä (kauttaviivoja). Toimenpiteet: Tarkista tiedostonimi ennen hyväksymistä: ei kauttaviivoja. Raportoitu Buranaan PR2076. XML-tiedostolla oli väärä formaatti (katso toiminnallisesta määrittelystä tarkka desired-configuration.xml:n formaatti). Toimenpiteet: Kirjoita uudestaan konfiguraation tallennus-metodi. Raportoitu Buranaan PR TC-G-05 Tiedostonimeen hyväksyttiin hakemiston erotinmerkkejä (kauttaviivoja). Toimenpiteet: Tarkista tiedostonimi ennen hyväksymistä: ei kauttaviivoja. Buranassa PR TC-G-09 Jos conf_engine.pl -skriptiä ei ole, tulee exception. Jos lparsea ei ole, väittää GUI samaa kuin edellisellä onnistuneella configuration enginen ajolla (esim että konfiguraatio on validi). Jos valid_configuration.xml:ää ei ole lainkaan, tulee vain ruutu jossa lukee Checking done eikä mitään muuta (ei mitään nappeja). Toimenpiteet: Viilataan conf_engine.pl:n ja GUI:n yhteistyötä, lähinnä paluuarvoja. Raportoitu Buranaan PR

7 5.2 GUI - Installer virheet TC-G-10 Jos installer.pl-scriptiä ei ole, tulee exception. Raportoitu Buranaan PR TC-G-11 Jos installer.pl-scriptiä ei ole, tulee exception. Buranassa PR TC-G-12 Jos installer.pl-scriptiä ei ole, tulee exception. Buranassa PR Arviointi Järjestelmän kokonaistoiminnallisuus osoittautui edelleen tärkeimmiltä ominaisuuksiltaan hyväksi, pieniä bugeja, joita ei edellisissä testeissä huomattu tuli vastaan ja niitä, jotka olivat integraatiotestauskohtaisia. Osa bugeista oli väärien syötteiden tarkistusten pettämisiä, mutta mukana oli myös toimintaa haittaavia bugeja. Integraatiotesteissä löydettiin bugeja, jotka estävät testien läpäisyn, joten integraatiotestaus tullaan suorittamaan uudelleen bugien korjauksen jälkeen. 7