TKK/DISKO/Tik-76.115 WCLIQUE Projektiryhmä Clique http://www.hut.fi/~jekahkon/wclique/testplan.pdf WCLIQUE Ohjelmistoprojekti WCLIQUE_TP Projektiryhmä Clique: Janne Dufva, 75008T, email: janne.dufva@nokia.com Juha Kähkönen, 75014C, e-mail: juha.erkki.kahkonen@nokia.com Raine Kärkkäinen, 75016E, e-mail: raine.karkkainen@hut.fi Juha Lehtonen, 75019J, e-mail: juha.a.lehtonen Ossi Ouri, 75022M, e-mail: ossi.ouri@nokia.com Sari Salin, 75026S, e-mail: sari.salin@nokia.com Tapani Tarri 52652D, e-mail: tapani.tarri@nokia.com Juha Kähkönen Sari Salin Janne Dufva WCLIQUE_TP 0.4-1
WCLIQUE 1(14) WCLIQUE TESTAUSSUUNNITELMA Sisällysluettelo VERSIOHISTORIA... 3 1. TESTISUUNNITELMAN IDENTIFIOINTI... 3 2. JOHDANTO... 4 2.1 Tavoitteet... 4 2.2 Taustaa... 4 2.3 Kattavuus... 4 2.4 Viitteet... 4 3. TESTATTAVA TUOTE... 5 3.1 Ohjelmamoduulit... 5 4. TESTATTAVAT OMINAISUUDET... 5 5. TESTAUKSEN ULKOPUOLELLE JÄTETTÄVÄT OMINAISUUDET... 6 5.1 Algoritmin oikeellisuus... 6 6. TESTAUSVAIHEET... 6 6.1 Moduulitestaus... 6 6.2 Integrointitestaus... 6 6.3 Systeemitestaus... 6 6.4 Regressiotestaus... 6 6.5 Hyväksymistestaus... 7 7. LÄPÄISY- ja HYLKÄÄMISKRITEERIT... 7 8. KESKEYTTÄMISKRITEERIT JA VAATIMUKSET TESTAUKSEN JATKAMISELLE... 7 8.1 Testauksen keskeyttämiskriteerit... 7 8.2 Ehdot testauksen jatkamiselle... 7 9. TESTIDOKUMENTOINTI... 7 9.1 Testidokumentit... 7 9.2 Testidata... 7 10. Testaustehtävät... 8 10.1 Yleistä moduulitestauksesta... 8 10.2 Muut testaukset... 8 10.3 Järjestelymoduulien testaaminen, painottamaton graafi... 8 10.3.1Dimacs Ascii... 8 10.3.2Dimacs binaari... 8 10.4 Järjestelymoduulien testaaminen, painotettu graafi... 8 10.4.1Dimacs Ascii... 8 10.5 Maksimiklikin koon laskeminen painottamattomasta graafista... 8 10.5.1Dimacs Ascii... 8 10.5.2Dimacs binaari... 8 10.6 Maksimiklikin koon laskeminen painotetusta graafista... 9 10.6.1Dimacs Ascii... 9 10.7 Maksimiklikin solmujen etsiminen painottamattomasta graafista... 9 10.7.1Dimacs Ascii... 9 10.7.2Dimacs binaari... 9 10.8 Maksimiklikin solmujen etsiminen painotetusta graafista... 9 10.8.1Dimacs Ascii... 9 10.9 Kaikkien maksimiklikkien laskeminen painottamattomasta graafista... 9 10.9.1Dimacs Ascii... 9 10.9.2Dimacs binaari... 9 10.10 Kaikkien maksimiklikkien laskeminen painotetusta graafista... 9 10.10.1 Dimacs Ascii... 9 10.11 Yhden kokoa S olevan klikin laskeminen painottamattomasta graafista... 9
WCLIQUE 2(14) 10.11.1 Dimacs Ascii... 9 10.11.2 Dimacs binaari... 10 10.12 Yhden kokoa S olevan klikin laskeminen painotetusta graafista... 10 10.12.1 Dimacs Ascii... 10 10.13 Kaikkien kokoa S olevien klikkien laskeminen painottamattomasta graafista... 10 10.13.1 Dimacs Ascii... 10 10.13.2 Dimacs binaari... 10 10.14 Kaikkien kokoa S olevien klikkien laskeminen painotetusta graafista... 10 10.14.1 Dimacs Ascii... 10 10.15 Kaikkien vähintään kokoa S olevien klikkien laskeminen painottamattomasta graafista... 10 10.15.1 Dimacs Ascii... 10 10.15.2 Dimacs binaari... 10 10.16 Kaikkien vähintään kokoa S olevien klikkien laskeminen painotetusta graafista... 11 10.16.1 Dimacs Ascii... 11 10.17 Help-toiminto... 11 10.17.1 -h... 11 10.17.2 --help... 11 10.18 Info-toiminto... 11 10.18.1 -i... 11 10.18.2 --info... 11 10.19 Algoritmin tehokkuus... 11 11. YMPÄRISTÖVAATIMUKSET... 11 11.1 Laitteistovaatimukset... 11 11.2 Ohjelmistovaatimukset... 12 11.3 Työkalut... 12 11.4 Julkaisut... 12 12. TESTAUSVASTUUT... 12 12.1 Moduulitestaus... 12 12.2 Integrointitestaus... 12 12.3 Systeemitestaus... 12 12.4 Hyväksymistestaus... 12 13. HENKILÖSTÖ JA KOULUTUS... 12 13.1 Henkilöstö... 12 13.2 Koulutus... 13 14. AIKATAULU... 13 15. RISKIT JA ENNALTA-ARVAAMATTOMUUDET... 13 Liite
WCLIQUE 3(14) VERSIOHISTORIA Versio pvm Laatija Kuvaus Version 0.1-1 05.11.2000 Juha Kähkönen Ensimmäinen luonnos Version 0.2-1 05.11.2000 Juha Kähkönen Tehty useita korjauksia katselmoinnin pohjalta. Version 0.2-3 30.11.2000 Sari Salin, Raine Kärkkäinen, Juha Kähkönen Lisätty kappaleeseen 3 ohjelmamoduuleita ja kappaleeseen 4 testattavia ominaisuuksia. Version 0.3-1 08.02.2001 Juha Kähkönen Lisätty testaustehtävät kolmannen vaiheen tietämyksen mukaan. Dokumentti hyväksytty tähän vaiheeseen riittävänä. Dokumenttia päivitetään edelleen projektin jokaisen vaiheen aikana. Juha Kähkönen Testaustehtävät neljännen vaiheen tietämyksen mukaan. Testitapauksien määrittelyjä jäi vielä luovutusvaiheeseen. 1. TESTISUUNNITELMAN IDENTIFIOINTI WCLIQUE_TP 0.4-1
WCLIQUE 4(14) 2. JOHDANTO 2.1 Tavoitteet tukee seuraavia asioita Testauksen lähtökohtien ja taustojen määrittely. Testaustehtävien ja aikataulun määrittely. Testausvastuiden määrittely. Työkalujen, menetelmien, osaamisen ja muiden testaamiseen liittyvien asioiden määrittely. Testauksen valmistelu ja suorittaminen. an päivitetään testaustehtävät projektin edetessä. 2.2 Taustaa Asiakas on kehittänyt joukon algoritmeja, joilla voi laskea mm suurimman joukon solmuja eli klikin (clique) annetusta graafista. Algoritmit etsivät painottamattomia ja painotettuja klikkejä. Wclique on C-kielinen ohjelmisto, joka toteuttaa edellä mainittujen algoritmien mukaan solmujen joukkojen hakuja. 2.3 Kattavuus n tarkoitus on varmistaa, että Vaatimusmäärittelyn ja Toiminnallisen määrittelyn määrittelemät ohjelmiston ominnaisuudet tulevat testatuiksi ja että voidaan varmistaa algoritmin toteutuksen toimivuus ja virheettömyys määritellyssä ympäristössä. 2.4 Viitteet pohjautuu seuraaviin dokumentteihin WCLIQUE Projektisuunnitelma [WCLIQUE_PP] WCLIQUE Vaatimusmäärittely [WCLIQUE_RS] WCLIQUE Toiminnallinen määrittely [WCLIQUE_FS] WCLIQUE Tekninen määrittely [WCLIQUE_TS] IEEE Standard for Software Test Documentation [IEEE Std 829-1998]
WCLIQUE 5(14) 3. TESTATTAVA TUOTE 3.1 Ohjelmamoduulit Testattava tuote on Wclique-ohjelmisto. Dokumentissa [WCLIQUE_TS] määritellään testattavat moduulit. Wclique koostuu kahdesta päämoduulista: mainmodule.c ja wclique.c, joista jälkimmäinen sisältää varsinaiset graafin käsittely -toiminnot. 4. TESTATTAVAT OMINAISUUDET Tässä kappaleessa luetellaan testattavat asiat tarkkuudella, joka numerointeineen on dokumentista [WCLIQUE_FS]. [] Painottamattoman graafin järjestäminen Ohjelma järjestää annetun graafin väritysmenetelmällä. [] Painotetun graafin järjestäminen Ohjelma järjestää annetun graafin väritysmenetelmällä. [4.2.1] Painottamattoman maksimiklikin koko Ohjelma palauttaa annetun graafin maksimiklikin koon. [4.2.2] Painottamattomien maksimiklikkien lukumäärä Ohjelma palauttaa annetun graafin maksimiklikkien lukumäärän. [4.2.3] Painottamattomien annetun kokoisten klikkien lukumäärä Ohjelma etsii painottamattomasta graafista parametrina annetun kokoisten klikkien lukumäärän. [4.2.4] Painottamattomien vähintään annetun kokoisten klikkien lukumäärä Ohjelma etsii painottamattomasta graafista vähintään annetun kokoisten klikkien lukumäärän. [4.2.5] Painotetun maksimiklikin koko Ohjelma palauttaa annetun graafin maksimiklikin koon. [4.2.6] Painotettujen maksimiklikkien lukumäärä Ohjelma palauttaa annetun graafin maksimiklikkien lukumäärän.
WCLIQUE 6(14) [4.2.7] Painotettujen annetun kokoisten klikkien lukumäärä Ohjelma etsii painotetusta graafista parametrina annetun kokoisten klikkien lukumäärän. [4.2.8] Painotettujen vähintään annetun kokoisten klikkien lukumäärä Ohjelma etsii painotetusta graafista vähintään annetun kokoisten klikkien lukumäärän. [4.2.9] Ohjelman käyttö funktiokutsulla Ohjelman kutsuminen toisesta ohjelmasta funktiokutsun avulla. [4.2.10] Ohjelman käyttö komentoriviltä Ohjelman käyttö komentoriviltä. [6.1] Suorituskyky Suorituskyvyn on oltava vähintään olemassaolevan prototyypin tasoinen. 5. TESTAUKSEN ULKOPUOLELLE JÄTETTÄVÄT OMINAISUUDET 5.1 Algoritmin oikeellisuus Algoritmin oikeellisuutta ei testata muutoin kuin vertaamalla tuloksia saatavilla oleviin referenssituloksiin. 6. TESTAUSVAIHEET 6.1 Moduulitestaus 6.2 Integrointitestaus 6.3 Systeemitestaus Kukin ohjelmistosuunnittelija on vastuussa oman koodinsa moduulien testaamisesta. Kattavuus tarkistetaan printtausten avulla. Koodikatselmointeja järjestetään. Moduulitestattujen moduulien rajapintojen toimivuuden testaus. Testaus suoritetaan inkrementaalisesti, toiminnallisesti yhteensopivia moduuleja yhdistellen, kuitenkin siten että kaikki moduulit eivät ole kerralla mukana. Mustalaatikkotestaus suoritetaan laajennetusti harmaalaatikkotestauksena. Tämä tarkoittaa, että koodi otetaan huomioon ekvivalenttiluokkia määriteltäessä. 6.4 Regressiotestaus Systeemitestauksessa kaikki moduulit ovat mukana testattavassa kokoonpanossa. Suoritetaan tarvittaessa jokaisen testausvaiheen jälkeen.
WCLIQUE 7(14) 6.5 Hyväksymistestaus Hyväksymistestaus suoritetaan yhdessä asiakkaan kanssa, asiakkaan tarjoamalla laitteistolla TKK:lla. 7. LÄPÄISY- JA HYLKÄÄMISKRITEERIT Ohjelmiston tulee läpäistä suoritettavat testitapaukset ennalta määriteltyjen odotettujen tulosten mukaisesti. 8. KESKEYTTÄMISKRITEERIT JA VAATIMUKSET TESTAUKSEN JATKAMISELLE 8.1 Testauksen keskeyttämiskriteerit Testaus keskeytetään, jos järjestelmä ei läpäise 50% suoritetuista testitapauksista. Jos järjestelmässä esiintyy sen toiminnan kannalta kriittisissä osissa vikoja, keskitetään resurssit näiden vikojen selvittämiseksi ja testaus keskeytetään toistaiseksi. Järjestelytoiminnoissa (w_arrange, uw_arrange) esiintyvät viat estävät integrointitestauksen jatkumisen. Jos osoittautuu testauksen alkuvaiheessa, että ohjelmisto ei täytä lainkaan sille asetettuja laatuvaatimuksia, testaus keskeytetään toistaiseksi. 8.2 Ehdot testauksen jatkamiselle Testaus voi jatkua, kun sen keskeyttäneet ongelmat on saatu ratkaistua. 9. TESTIDOKUMENTOINTI 9.1 Testidokumentit Testausdokumentointi tarkentuu iteratiivisesti vaihe kerrallaan yhdessä vaiheen muiden dokumenttien kanssa. Vikaraportit tehdään Buranaan. Muut dokumentit luetellaan alla. [WCLIQUE_TP] [WCLIQUE_TR], tämä dokumentti Testausraportti 9.2 Testidata Testisyöte tiedostot Testitiedostot, joiden sisältämät klikit tunnetaan. Algoritmin luonteeseen kuuluu, että graafin koolla ei ole testaamisen kannalta oleellista merkitystä. Moduulitestauksessa testitiedostona käytetään Wcliqueprojektin Testaus-hakemistoon sijoitettuja input()n.txt ja input(n).b -tiedostoja.
WCLIQUE 8(14) 10. TESTAUSTEHTÄVÄT 10.1 Yleistä moduulitestauksesta Oheisissa testikuvauksissa on oletettu, että ko. moduuli on käännetty objektiksi nimeltä wclique. Testeissä käytetään määritellyn mukaista komentoriviformaattia. Binaaritiedosto on aina painottamaton, Ascii-tiedoston painotus/painottamattomuus selviää tiedoston sisällöstä. Hakemistossa, jossa testi suoritetaan on wclique objektitiedoston lisäksi Dimacs Ascii muotoiset testigraafi(t) input(n).txt syötetiedostossa ja Dimacs binaari muotoiset testigraafit input(n).b syötetisdostoissa. Ks. Liite. Jos tulostus vastaa sitä, mikä ko. tapauksessa on odotettu tulos, testi läpäistään. Muussa tapauksessa testitulos on hylätty. 10.2 Muut testaukset Integrointitestauksessa hyödynnetään harmaalaatikkomenetelmää. Systeemi- ja hyväksymistestaukset mustalaatikkomenetelmällä. Testauksissa käytetään tunnettuja graafeja sisältäviä syötetiedostoja ja vertailukohteena olemassaolevaa prototyyppiohjelmaa. 10.3 Järjestelymoduulien testaaminen, painottamaton graafi 10.3.1 Dimacs Ascii 10.3.2 Dimacs binaari 10.4 Järjestelymoduulien testaaminen, painotettu graafi 10.4.1 Dimacs Ascii 10.5 Maksimiklikin koon laskeminen painottamattomasta graafista 10.5.1 Dimacs Ascii wclique --size=max input.txt 10.5.2 Dimacs binaari wclique --size=max --format=binary input.b
WCLIQUE 9(14) 10.6 Maksimiklikin koon laskeminen painotetusta graafista 10.6.1 Dimacs Ascii wclique --size=max input3.txt 11 10.7 Maksimiklikin solmujen etsiminen painottamattomasta graafista 10.7.1 Dimacs Ascii wclique --size==max input.txt 10.7.2 Dimacs binaari wclique --size==max --format=binary input.b 10.8 Maksimiklikin solmujen etsiminen painotetusta graafista 10.8.1 Dimacs Ascii wclique --size=max input3.txt 3 5 6 10.9 Kaikkien maksimiklikkien laskeminen painottamattomasta graafista 10.9.1 Dimacs Ascii wclique --size=max --type=all input.txt 10.9.2 Dimacs binaari wclique --size=max --type=all input.b 10.10 Kaikkien maksimiklikkien laskeminen painotetusta graafista 10.10.1 Dimacs Ascii wclique --size=max --type=all input3.txt 3 5 6 1 2 3 5 10.11 Yhden kokoa S olevan klikin laskeminen painottamattomasta graafista 10.11.1 Dimacs Ascii wclique --size=4 input.txt
WCLIQUE 10(14) 10.11.2 Dimacs binaari wclique --size=4 input.b 10.12 Yhden kokoa S olevan klikin laskeminen painotetusta graafista 10.12.1 Dimacs Ascii wclique --size=10 input3.txt 5 6 tai 3 6 tai 2 7 tai 1 2 3 tai 1 3 4 tai 1 2 5 10.13 Kaikkien kokoa S olevien klikkien laskeminen painottamattomasta graafista 10.13.1 Dimacs Ascii wclique --size=10 --type=all input.txt 10.13.2 Dimacs binaari wclique --size=10 --type=all input.b 10.14 Kaikkien kokoa S olevien klikkien laskeminen painotetusta graafista 10.14.1 Dimacs Ascii wclique --size=10 --type=all input3.txt 5 6 3 6 2 7 1 2 3 1 3 4 1 2 5 10.15 Kaikkien vähintään kokoa S olevien klikkien laskeminen painottamattomasta graafista 10.15.1 Dimacs Ascii wclique --size=+10 --type=all input.txt 10.15.2 Dimacs binaari wclique --size=+10 --type=all input3.b
WCLIQUE 11(14) 10.16 Kaikkien vähintään kokoa S olevien klikkien laskeminen painotetusta graafista 10.16.1 Dimacs Ascii 10.17 Help-toiminto 10.17.1 -h 10.17.2 --help wclique --size=+10 --type=all input3.txt 2 7 3 6 5 6 1 2 3 1 2 5 1 3 4 3 5 6 1 2 3 5 wclique -h Tulostaa dokumentissa [WCLIQUE_TS] määritellyn mukaisen help-tekstin. help-tekstin. wclique --help Tulostaa dokumentissa [WCLIQUE_TS] määritellyn mukaisen 10.18 Info-toiminto 10.18.1 -i 10.18.2 --info wclique -i wclique --info 10.19 Algoritmin tehokkuus Testijärjestelyt: 11. YMPÄRISTÖVAATIMUKSET 11.1 Laitteistovaatimukset Ohjelmisto ei aseta erityisiä vaatimuksia laitteistolle.
WCLIQUE 12(14) 11.2 Ohjelmistovaatimukset 11.3 Työkalut 11.4 Julkaisut Ohjelmisto testataan sen tulevissa toimintaympäristöissä: Unix- ja Linux - käyttöjärjestelmissä. Kaupallisia testityökaluja ei testauksen missään vaiheessa käytetä. Tarvittavat testityökalut tehdään itse. Seuraavat dokumentit ovat tarpeen testattaessa WCLIQUE-ohjelmistoa [WCLIQUE_RS] Vaatimusmäärittely [WCLIQUE_FS] Toiminnallinen määrittely [WCLIQUE_TS] Tekninen määrittely [WCLIQUE_TP], tämä dokumentti 12. TESTAUSVASTUUT 12.1 Moduulitestaus 12.2 Integrointitestaus 12.3 Systeemitestaus Juha Kähkönen, Raine Kärkkäinen, Juha Lehtonen ja Ossi Ouri: Kukin ohjelmistosuunnittelija on vastuussa oman koodinsa moduulien testaamisesta. 12.4 Hyväksymistestaus Päävastuu Juha Kähkönen. Päävastuu Juha Kähkönen. Asiakasvastaava Janne Dufva ja algoritmivastaava Raine Kärkkäinen ovat Clique-ryhmän osalta vastuussa hyväksymistestausjärjestelyistä. Asiakas on professori Patric Östergård. Tarkempi vastuujako määritellään hyväksymistestausvaiheessa. 13. HENKILÖSTÖ JA KOULUTUS 13.1 Henkilöstö Ryhmän kokoonpano, vastuut ja varavastuut on kerrottu projektisuunnitelmassa [WCLIQUE_PP]. Päävastuu testauksiin liittyvista asioista: Juha Kähkönen.
WCLIQUE 13(14) 13.2 Koulutus 14. AIKATAULU Asiakaskontakteista ja hyväksymistestaukseen liittyvistä järjestelyistä asioista vastaa Janne Dufva. Algoritmiin liittyvistä asioista (esim. tulkinnalliset epäselvyydet algoritmin toteutuksen testauksessa) ja yhteyksistä ohjaajaan vastaa Raine Kärkkäinen. Ohjelmistoryhmän jäsenet vastaavat moduuliensa testauksesta: Juha Kähkönen, Raine Kärkkäinen, Juha Lehtonen ja Ossi Ouri. Ryhmän jäsenet suorittavat Tik-76.115:n lisäksi parhaillaan muitakin TKK:n kursseja, joista on hyötyä projektille. Tik-76.601 Ohjelmistotuotannon perusteet Tik-76.613 SW Testing and Validation Muuta koulutusta ei järjestetä. Tarkempi aikataulutus on projektisuunnitelman clique.mpp tiedostossa. Tähän aikataulu on esitetty vain karkealla tasolla, mutta täsmentyy vaiheiden edetessä. Vaihe Tehtävä Valmis Toteutus1 Testaussuunitelmaluonnos 07.11.2000 Toteutus2 tarkentuu 12.12.2000 Toteutus3 Testitapausmäärittelyt n hyväksyminen Testausraportointi: moduulitestaus 13.02.2001 Toteutus4 Testausraportointi 20.03.2001 Projektin päätös Lopputestausraportointi: systeemitestaus ja hyväksymistestaus 24.04.2001 15. RISKIT JA ENNALTA-ARVAAMATTOMUUDET Wclique-projektissa testaukseen liittyvät samat riskit ja järjestelyt kuin muuhunkin projektityöskentelyyn. Projektisuunnitelmassa asia on otettu huomioon kappaleessa 12. Riskienhallinta ja erityisesti 12.6 Varahenkilökäytäntö.
WCLIQUE 14(14) LIITE 1 Testigraafi Dimacs Ascii formaatissa (input3.txt) c The following lines are all comments c number of vertices : 7 c nonisolated vertices: 0 c number of edges : 11 c This is the last comment line p clq 7 11 e 1 2 e 1 3 e 1 4 e 1 5 e 2 3 e 2 5 e 2 7 e 3 4 e 3 5 e 3 6 e 5 6 n 1 7 n 2 2 n 3 1 n 4 2 n 5 1 n 6 9 n 7 8