T-76.115 Testiraportti - integraatiotestaus 22. maaliskuuta 2002 Confuse 1
Tila Versio: 1.0 Tila: Päivitetty Jakelu: Julkinen Luotu: 19.03.2002 Jani Myyry Muutettu viimeksi: 22.03.2002 Jani Myyry Versiohistoria Versio Pvm Tekijä Kuvaus 0.1 19.03.2002 Myyry Jani Dokumenttipohja. 0.1 21.03.2002 Myyry Jani Lisätty tulokset testituloksista ja kirjoitettu arviointi. 0.1 22.03.2002 Myyry Jani Loput arvioinnit ja julkaisu. 2
Sisältö 1 Johdanto 4 1.1 Tarkoitus ja kattavuus.......................................... 4 1.2 Viitteet.................................................. 4 1.3 Yleiskatsaus dokumenttiin....................................... 4 2 Testien kattavuus 4 2.1 Laajuus................................................. 4 2.2 Testausympäristö............................................ 4 2.3 Muutokset testaussuunnitelmaan.................................... 5 3 Komponenttien välinen testaus 5 3.1 Mapper - GUI.............................................. 5 3.2 Mapper - Configurator Engine..................................... 5 3.3 GUI - Configurator Engine....................................... 5 3.4 GUI - Installer.............................................. 5 3.5 Kokonaisjärjestelmä ja ulkopuoliset komponentit........................... 5 4 Testien tulokset 5 5 Virheet 6 5.1 GUI - Configurator Enginen virheet.................................. 6 5.1.1 TC-G-02............................................ 6 5.1.2 TC-G-03............................................ 6 5.1.3 TC-G-04............................................ 6 5.1.4 TC-G-05............................................ 6 5.1.5 TC-G-09............................................ 6 5.2 GUI - Installer virheet.......................................... 7 5.2.1 TC-G-10............................................ 7 5.2.2 TC-G-11............................................ 7 5.2.3 TC-G-12............................................ 7 6 Arviointi 7 3
1 Johdanto 1.1 Tarkoitus ja kattavuus Tämä dokumentti on kurssin T-76.115 Tietojenkäsittelyopin ohjelmatyö-kurssia suorittavan ryhmän Confuse testiraportti. Ryhmän tarkoituksena on kehittää konfigurointiympäristö mobiilipäätelaitteille, hyödyntäen projektissa Compaq ipaq PDA-laitetta. Konfigurointiympäristön tarkemmat yksityiskohdat löytyvät vaatimusmäärittelystä ja toiminnallisesta määrittelystä. Testauksen aikataulut ja käytettävät metodit löytyvät testaussuunnitelmasta ja projektinhallinnan osalta myös projektisuunnitelmasta. Tähän dokumenttiin on kirjattu testaussuunnitelmassa esitettyjen testitapausten tulokset ja ongelmat, jotka testauksen aikana tulivat vastaan. Lisäksi raportissa pyritään yksilöimään käytetyt versiot testatuista ohjelmista ja testiympäristö, joka testin aikana oli käytettävissä. 1.2 Viitteet Viitteet ovat listattuina dokumentin lopussa. 1.3 Yleiskatsaus dokumenttiin Dokumentin ensimmäinen kappale antaa yleiskuvan käsiteltävästä aiheesta ja määrittelee termit joita dokumentissa käytetään. 2. kappale määrittelee testien kattavuuden ja testattavien ominaisuuksien laajuuden. Lisäksi määritellään yleinen testausympäristö ja ohjelmistojen versiot. 3. kappale käsittelee komponentteja yksityiskohtaisemmin, testejä ja testaukseen vaikuttavia näkökohtia, versioita, jotka ovat olennaisia kyseisten komponenttien kohdalla. 4. kappale sisältää testien tulokset ja niissä ilmenneet virheet. 5. kappale sisältää testien aikana ilmenneet virheet. 6. kappaleessa arvioimme testien tuloksia ja niiden vaikutuksia ohjelmiston toimivuuteen ja projektin etenemiseen. 2 Testien kattavuus 2.1 Laajuus Tämän vaiheen testit laajentuvat integraatiotesteukseen, jota tämä testiraportti käsittelee. Integraatiotestauksessa mukaan tulivat komponenttien välinen interaktio, johon erityisesti keskitytään. Moduulivaiheesta on osa tärkeimmistä testeistä mukana, varsinkin tapaukset, jotka käsittelevät komponenttien tärkeimpiä toimintoja. Intergaatiotestaus jaettiin neljään osaan, eri moduulien välille muodostettuihin pareihin. Näitä olivat Mapper ja GUI, Mapper ja Configurator Engine, GUI ja Configurator Engine sekä GUI ja Installer. Näistä tärkeimpiä olivat GUI:n ja Installerin, sekä GUI:n ja Configurator Enginen testaus, koska kyseiset komponentit ovat reaaliaikaisesti ja jatkuvasti järjestelmässä käytössä. GUI:n ja Installerin suhteen testattiin vaatimusmäärittelyn mukaisia vaatimuksia, mm. pakettien lisäyksen ja poiston sekä konfiguraation tiedustelun osalta. GUI:n ja Configurator Enginen osalta testattiin oikeiksi todettujen konfiguraatioiden toimimista ja ristiriitaisten hylkäämistä. Virhetilanteiden varalta testattiin mahdollisia ongelmia, joita voi tulla vastaan. Mapperin osalta on kyseessä erikseen ajettava komponentti, jonka toiminta riippuu syötteen laadusta, joka todettiin kehnoksi. Siksi integraatiotestausvoimavaroja ei käytetty liiemmin Mapperin suuntaan, koska moduulitestaus oli riittävän kattavasti testannut myös integraatiotestaukseen kuuluvia vaatimuksia. 2.2 Testausympäristö Testausympäristönä käytettiin testaussuunnitelmassa eriteltyä testausympäristöä, serverinä oli confuse.soberit.hut.fi (RedHat 7.1) ja sovelluksesta päivän 2002-02-11 tilanne. Testikäyttäjänä oli erillinen tunnus demo, joka kuului ryhmään confuse oikeuksin muokata allpackages.xml (GUI:n syöte) ja packages.rl-tiedostoja (Configurator Enginen syöte). Configurator Engine oli Tommi Syrjäsen toimittaman ipkg-konfiguraatiomallin mukainen, linkattuna lajittelukirjastoon, joka tuki ipkg-pakettien erityisominaisuuksia. 4
GUI:n testaukseen käytettiin testaussuunnitelman mukaisia www-selaimia lisättynä tekstipohjaisella selaimella Lynx:llä. Testausympäristö oli riittävän kattava, koska halutun Linux-ympäristön lisäksi GUI toimii myös kehitysympäristössä Windowsissa. ipaq:ssa oli Familiar Linux 0.5 pre, joka on ollut käytössä projektin alusta lähtien. 2.3 Muutokset testaussuunnitelmaan Testaussuunnitelmaan lisättiin testitapauksia integraatiotestausta varten. Integraatiotestaustapauksia ovat TC-M-07 (Mapper ja GUI), TC-M-08 (Mapper ja Configurator engine), TC-G-06 TC-G-07 TC-G-08 TC-G-09 (GUI ja Configurator Engine), TC-G-10 TC-G-11 TC-G-12 (GUI ja Installer). Osa moduulitesteistä poistettiin integraatiotestauksesta epärelevantteina. 3 Komponenttien välinen testaus 3.1 Mapper - GUI Mapper ja Configurator Engine olivat päivän 2002-03-20 versioita, joille ajettiin moduulitestaus-scriptit ja tehtiin integraatiotestaus testitapauksen perusteella. 3.2 Mapper - Configurator Engine Mapper ja GUI olivat päivän 2002-03-20 versioita, joille ajettiin integraatiotestitapaus ja moduulitestitapaukset. 3.3 GUI - Configurator Engine GUI ja Configurator Engine olivat päivän 2002-03-18 versioita, joille ajettiin integraatiotestitapaukset ja moduulitestit. 3.4 GUI - Installer GUI ja Installer olivat päivän 2002-03-21 versioita, joille ajettiin integraatiotestitapaukset ja moduulitestit. 3.5 Kokonaisjärjestelmä ja ulkopuoliset komponentit Configurator Engine oli varustettu testaussuunnitelman mukaisilla smodels- ja lparse-versioilla sekä Tommi Syrjäsen konfiguraatio-mallilla. Configurator Engine on vertailufunktion osalta korjattu versio, koska edellinen oli viallinen. Lisäksi suoraa pakettilistauksen generointia Familiar-distribuution metadatoista ei voida käyttää, koska distribuutio on riippuvuuksien osalta rikki sisltäen mm. vaatimuksia kirjastoihin, joita ei ole olemassa. 4 Testien tulokset Seuraavassa taulukossa löytyvät testien tulokset, itse testitapaukset löytyvät testaussuunnitelmasta. Virheprioriteetit ovat myös tarkemmin selitettyinä testaussuunnitelmassa (F = Fatal, B = Broken, E = Feature), taulukossa lyhenteellä VP. 5
Testitapaus Päiväys Testaaja Tulos Virheet VP TC-M-01 2002-03-21 Jani Myyry OK TC-M-02 2002-03-21 Jani Myyry OK TC-M-03 2002-03-21 Jani Myyry OK TC-M-04 2002-03-21 Jani Myyry OK TC-M-05 2002-03-21 Jani Myyry OK TC-M-06 2002-03-21 Jani Myyry OK TC-M-07 2002-03-20 Ari Haapaniemi OK TC-M-08 2002-03-21 Jani Myyry OK TC-G-01 2002-03-18 Antti Haapakoski OK TC-G-02 2002-03-18 Antti Haapakoski Hylätty libstdc++ paketin lisäys ei toimi B TC-G-03 2002-03-18 Antti Haapakoski Hylätty libstdc++ paketin poisto ei toimi B TC-G-04 2002-03-18 Antti Haapakoski Hylätty hyväksyi / :t, XML-formaatti väärä TC-G-05 2002-03-18 Antti Haapakoski OK hyväksyi / :t tiedostonimessä F TC-G-06 2002-03-18 Antti Haapakoski OK TC-G-07 2002-03-18 Antti Haapakoski OK TC-G-08 2002-03-18 Antti Haapakoski OK TC-G-09 2002-03-18 Antti Haapakoski Hylätty gui kaatuu/ei huomaa virhettä B TC-G-10 2002-03-21 Jani Myyry Hylätty gui kaatuu, ei huomaa virhettä B TC-G-11 2002-03-21 Jani Myyry Hylätty gui kaatuu, ei huomaa virhettä B TC-G-12 2002-03-21 Jani Myyry Hylätty gui kaatuu, ei huomaa virhettä B 5 Virheet Testauksen aikana huomatuista virheistä on kirjattu lyhyet kommentit ja mahdolliset korjaukset ongelman ratkaisemiseksi. 5.1 GUI - Configurator Enginen virheet 5.1.1 TC-G-02 Paketti libstdc++2.10-glibc2.2 ei tule konfiguraatioon vaikka painaa Add -nappia. Toimenpiteet: erikoismerkit on escape:ttava html:n linkeissä. Raportoitu Buranaan: PR2074. 5.1.2 TC-G-03 Paketti libstdc++2.10-glibc2.2 ei lähde konfiguraatiosta. Toimenpiteet: erikoismerkit on escape:ttava html:n linkeissä. Buranassa PR2074. 5.1.3 TC-G-04 Tiedostonimeen hyväksyttiin hakemiston erotinmerkkejä (kauttaviivoja). Toimenpiteet: Tarkista tiedostonimi ennen hyväksymistä: ei kauttaviivoja. Raportoitu Buranaan PR2076. XML-tiedostolla oli väärä formaatti (katso toiminnallisesta määrittelystä tarkka desired-configuration.xml:n formaatti). Toimenpiteet: Kirjoita uudestaan konfiguraation tallennus-metodi. Raportoitu Buranaan PR1979. 5.1.4 TC-G-05 Tiedostonimeen hyväksyttiin hakemiston erotinmerkkejä (kauttaviivoja). Toimenpiteet: Tarkista tiedostonimi ennen hyväksymistä: ei kauttaviivoja. Buranassa PR2076. 5.1.5 TC-G-09 Jos conf_engine.pl -skriptiä ei ole, tulee exception. Jos lparsea ei ole, väittää GUI samaa kuin edellisellä onnistuneella configuration enginen ajolla (esim että konfiguraatio on validi). Jos valid_configuration.xml:ää ei ole lainkaan, tulee vain ruutu jossa lukee Checking done eikä mitään muuta (ei mitään nappeja). Toimenpiteet: Viilataan conf_engine.pl:n ja GUI:n yhteistyötä, lähinnä paluuarvoja. Raportoitu Buranaan PR2082. 6
5.2 GUI - Installer virheet 5.2.1 TC-G-10 Jos installer.pl-scriptiä ei ole, tulee exception. Raportoitu Buranaan PR2150. 5.2.2 TC-G-11 Jos installer.pl-scriptiä ei ole, tulee exception. Buranassa PR2150. 5.2.3 TC-G-12 Jos installer.pl-scriptiä ei ole, tulee exception. Buranassa PR2150. 6 Arviointi Järjestelmän kokonaistoiminnallisuus osoittautui edelleen tärkeimmiltä ominaisuuksiltaan hyväksi, pieniä bugeja, joita ei edellisissä testeissä huomattu tuli vastaan ja niitä, jotka olivat integraatiotestauskohtaisia. Osa bugeista oli väärien syötteiden tarkistusten pettämisiä, mutta mukana oli myös toimintaa haittaavia bugeja. Integraatiotesteissä löydettiin bugeja, jotka estävät testien läpäisyn, joten integraatiotestaus tullaan suorittamaan uudelleen bugien korjauksen jälkeen. 7