T-76.115 Testiraportti - integraatiotestaus 16. huhtikuuta 2002 Confuse 1
Tila Versio: 1.1 Tila: Päivitetty Jakelu: Julkinen Luotu: 19.03.2002 Jani Myyry Muutettu viimeksi: 16.04.2002 Jani Myyry Versiohistoria Versio Pvm Tekijä Kuvaus 0.1 19.03.2002 Myyry Jani Dokumenttipohja. 0.2 21.03.2002 Myyry Jani Lisätty tulokset testituloksista ja kirjoitettu arviointi. 1.0 22.03.2002 Myyry Jani Loput arvioinnit ja julkaisu. 1.1 16.04.2002 Myyry Jani Toinen iteraatio ja arvioinnit. 2
Sisältö 1 Johdanto 4 1.1 Tarkoitus ja kattavuus.......................................... 4 1.2 Viitteet.................................................. 4 1.3 Yleiskatsaus dokumenttiin....................................... 4 2 Testien kattavuus 4 2.1 Laajuus................................................. 4 2.2 Testausympäristö............................................ 4 2.3 Muutokset testaussuunnitelmaan.................................... 5 3 Komponenttien välinen testaus 5 3.1 Mapper - GUI.............................................. 5 3.2 Mapper - Configurator Engine..................................... 5 3.3 GUI - Configurator Engine....................................... 5 3.4 GUI - Installer.............................................. 5 3.5 Kokonaisjärjestelmä ja ulkopuoliset komponentit........................... 5 4 Testien tulokset 5 5 Virheet 6 5.1 GUI - Configurator Enginen virheet.................................. 6 5.1.1 TC-G-02............................................ 6 5.1.2 TC-G-03............................................ 6 5.1.3 TC-G-04............................................ 6 5.1.4 TC-G-05............................................ 6 5.1.5 TC-G-09............................................ 6 5.2 GUI - Installer virheet.......................................... 6 5.2.1 TC-G-10............................................ 6 5.2.2 TC-G-11............................................ 7 5.2.3 TC-G-12............................................ 7 6 Arviointi 7 3
1 Johdanto 1.1 Tarkoitus ja kattavuus Tämä dokumentti on kurssin T-76.115 Tietojenkäsittelyopin ohjelmatyö-kurssia suorittavan ryhmän Confuse testiraportti. Ryhmän tarkoituksena on kehittää konfigurointiympäristö mobiilipäätelaitteille, hyödyntäen projektissa Compaq ipaq PDA-laitetta. Konfigurointiympäristön tarkemmat yksityiskohdat löytyvät vaatimusmäärittelystä ja toiminnallisesta määrittelystä. Testauksen aikataulut ja käytettävät metodit löytyvät testaussuunnitelmasta ja projektinhallinnan osalta myös projektisuunnitelmasta. Tähän dokumenttiin on kirjattu testaussuunnitelmassa esitettyjen testitapausten tulokset ja ongelmat, jotka testauksen aikana tulivat vastaan. Lisäksi raportissa pyritään yksilöimään käytetyt versiot testatuista ohjelmista ja testiympäristö, joka testin aikana oli käytettävissä. 1.2 Viitteet Viitteet ovat listattuina dokumentin lopussa. 1.3 Yleiskatsaus dokumenttiin Dokumentin ensimmäinen kappale antaa yleiskuvan käsiteltävästä aiheesta ja määrittelee termit joita dokumentissa käytetään. 2. kappale määrittelee testien kattavuuden ja testattavien ominaisuuksien laajuuden. Lisäksi määritellään yleinen testausympäristö ja ohjelmistojen versiot. 3. kappale käsittelee komponentteja yksityiskohtaisemmin, testejä ja testaukseen vaikuttavia näkökohtia, versioita, jotka ovat olennaisia kyseisten komponenttien kohdalla. 4. kappale sisältää testien tulokset ja niissä ilmenneet virheet. 5. kappale sisältää testien aikana ilmenneet virheet. 6. kappaleessa arvioimme testien tuloksia ja niiden vaikutuksia ohjelmiston toimivuuteen ja projektin etenemiseen. 2 Testien kattavuus 2.1 Laajuus Tämän vaiheen testit laajentuvat integraatiotesteukseen, jota tämä testiraportti käsittelee. Integraatiotestauksessa mukaan tulivat komponenttien välinen interaktio, johon erityisesti keskitytään. Moduulivaiheesta on osa tärkeimmistä testeistä mukana, varsinkin tapaukset, jotka käsittelevät komponenttien tärkeimpiä toimintoja. Intergaatiotestaus jaettiin neljään osaan, eri moduulien välille muodostettuihin pareihin. Näitä olivat Mapper ja GUI, Mapper ja Configurator Engine, GUI ja Configurator Engine sekä GUI ja Installer. Näistä tärkeimpiä olivat GUI:n ja Installerin, sekä GUI:n ja Configurator Enginen testaus, koska kyseiset komponentit ovat reaaliaikaisesti ja jatkuvasti järjestelmässä käytössä. GUI:n ja Installerin suhteen testattiin vaatimusmäärittelyn mukaisia vaatimuksia, mm. pakettien lisäyksen ja poiston sekä konfiguraation tiedustelun osalta. GUI:n ja Configurator Enginen osalta testattiin oikeiksi todettujen konfiguraatioiden toimimista ja ristiriitaisten hylkäämistä. Virhetilanteiden varalta testattiin mahdollisia ongelmia, joita voi tulla vastaan. Mapperin osalta on kyseessä erikseen ajettava komponentti, jonka toiminta riippuu syötteen laadusta, joka todettiin kehnoksi. Siksi integraatiotestausvoimavaroja ei käytetty liiemmin Mapperin suuntaan, koska moduulitestaus oli riittävän kattavasti testannut myös integraatiotestaukseen kuuluvia vaatimuksia. 2.2 Testausympäristö Testausympäristönä käytettiin testaussuunnitelmassa eriteltyä testausympäristöä, serverinä oli confuse.soberit.hut.fi (RedHat 7.1) ja sovelluksesta päivän 2002-04-15 tilanne. Testikäyttäjänä oli erillinen tunnus demo, joka kuului ryhmään confuse oikeuksin muokata allpackages.xml (GUI:n syöte) ja packages.rl-tiedostoja (Configurator Enginen syöte). Configurator Engine oli Tommi Syrjäsen toimittaman ipkg-konfiguraatiomallin mukainen, linkattuna lajittelukirjastoon, joka tuki ipkg-pakettien erityisominaisuuksia. 4
GUI:n testaukseen käytettiin testaussuunnitelman mukaisia www-selaimia lisättynä tekstipohjaisella selaimella Lynx:llä. Testausympäristö oli riittävän kattava, koska halutun Linux-ympäristön lisäksi GUI toimii myös kehitysympäristössä Windowsissa. ipaq:ssa oli Familiar Linux 0.5 pre, joka on ollut käytössä projektin alusta lähtien. 2.3 Muutokset testaussuunnitelmaan Testaussuunnitelmaan lisättiin testitapauksia integraatiotestausta varten. Integraatiotestaustapauksia ovat TC-M-07 (Mapper ja GUI), TC-M-08 (Mapper ja Configurator engine), TC-G-06 TC-G-07 TC-G-08 TC-G-09 (GUI ja Configurator Engine), TC-G-10 TC-G-11 TC-G-12 (GUI ja Installer). Osa moduulitesteistä poistettiin integraatiotestauksesta epärelevantteina. 3 Komponenttien välinen testaus 3.1 Mapper - GUI Mapper ja Configurator Engine olivat päivän 2002-04-15 versioita, joille ajettiin moduulitestaus-scriptit ja tehtiin integraatiotestaus testitapauksen perusteella. 3.2 Mapper - Configurator Engine Mapper ja GUI olivat päivän 2002-04-15 versioita, joille ajettiin integraatiotestitapaus ja moduulitestitapaukset. 3.3 GUI - Configurator Engine GUI ja Configurator Engine olivat päivän 2002-04-15 versioita, joille ajettiin integraatiotestitapaukset ja moduulitestit. 3.4 GUI - Installer GUI ja Installer olivat päivän 2002-04-15 versioita, joille ajettiin integraatiotestitapaukset ja moduulitestit. 3.5 Kokonaisjärjestelmä ja ulkopuoliset komponentit Configurator Engine oli varustettu testaussuunnitelman mukaisilla smodels- ja lparse-versioilla sekä Tommi Syrjäsen konfiguraatio-mallilla. Configurator Engine on vertailufunktion osalta korjattu versio, koska edellinen oli viallinen. Lisäksi suoraa pakettilistauksen generointia Familiar-distribuution metadatoista ei voida käyttää, koska distribuutio on riippuvuuksien osalta rikki sisltäen mm. vaatimuksia kirjastoihin, joita ei ole olemassa. 4 Testien tulokset Seuraavassa taulukossa löytyvät testien tulokset, itse testitapaukset löytyvät testaussuunnitelmasta. Virheprioriteetit ovat myös tarkemmin selitettyinä testaussuunnitelmassa (F = Fatal, B = Broken, E = Feature), taulukossa lyhenteellä VP. 5
Testitapaus Päiväys Testaaja Tulos Virheet VP TC-M-01 2002-04-15 Jussi Vainionpää OK TC-M-02 2002-04-15 Jussi Vainionpää OK TC-M-03 2002-04-15 Jussi Vainionpää OK TC-M-04 2002-04-15 Jussi Vainionpää OK TC-M-05 2002-04-15 Jussi Vainionpää OK TC-M-06 2002-04-15 Jussi Vainionpää OK TC-M-07 2002-04-15 Jussi Vainionpää OK TC-M-08 2002-04-15 Jussi Vainionpää OK TC-G-01 2002-04-15 Jussi Vainionpää OK TC-G-02 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2074. TC-G-03 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2074. TC-G-04 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2076. XML-formaatti E väärä. TC-G-05 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2076. TC-G-06 2002-04-15 Jussi Vainionpää OK TC-G-07 2002-04-15 Jussi Vainionpää OK TC-G-08 2002-04-15 Jussi Vainionpää OK TC-G-09 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2082. TC-G-10 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2150. TC-G-11 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2150. TC-G-12 2002-04-15 Jussi Vainionpää OK Korjattu Burana PR2150. 5 Virheet Testauksen aikana huomatuista virheistä on kirjattu lyhyet kommentit ja mahdolliset korjaukset ongelman ratkaisemiseksi. 5.1 GUI - Configurator Enginen virheet 5.1.1 TC-G-02 Korjattu Burana case PR2074. 5.1.2 TC-G-03 Korjattu Burana case PR2074. 5.1.3 TC-G-04 Korjattu Burana case PR2076. XML-tiedostolla oli väärä formaatti (katso toiminnallisesta määrittelystä tarkka desired-configuration.xml:n formaatti). Toimii kuitenkin tästä huolimatta. Buranassa PR1979. 5.1.4 TC-G-05 Korjattu Burana case PR2076. 5.1.5 TC-G-09 Korjattu Burana case PR2082. 5.2 GUI - Installer virheet 5.2.1 TC-G-10 Korjattu Burana case PR2150. 6
5.2.2 TC-G-11 Korjattu Burana case PR2150. 5.2.3 TC-G-12 Korjattu Burana case PR2150. 6 Arviointi Integraatiotestauksen toinen kierros osoitti, että edellisellä kerralla löydetyt bugit oli pääsääntöisesti korjattu, eikä uusia ollut ilmennyt. Korjatuista bugeista valtaosa oli virhetilanteiden käsittelyn korjauksia, joten aiemmin vähemmälle jääneisiin kohtiin keskitettiin huomiota. Korjauksista pyrittiin tekemään mahdollisimman kattavia, niin että epämääräisetkin virhetilanteet hallittaisiin ja niitä ei päästettäisi komponenttien ulkopuolelle. Esimerkkeinä ovat perl-moduulien eval-funktiot ja GUI:n Exception-käsittelijät. Testauskriteeriemme mukaan integraatiotestaus on nyt hyväksytysti suoritettu, koska mitään läpäisyä estävää ei ilmennyt. 7