T Testaussuunnitelma

Transkriptio

1 T Testaussuunnitelma Confuse 1

2 Tila Versio: 4.0 Tila: Katselmoitu Jakelu: Julkinen Luotu: Antti Haapakoski Muutettu viimeksi: Jani Myyry Versiohistoria Versio Pvm Tekijä Kuvaus Haapakoski Antti Dokumenttipohja Jani Myyry Ensimmäinen versio Jani Myyry Lisätty testattava kohde, menetelmät, testiympäristö Jani Myyry Lisätty riskienhallinta, vastuut, kriteerit Jani Myyry Korjattu katselmoinnin pohjalta virheitä, lisätty testi- ja virheprioriteetit Jani Myyry Sisäisesti katselmoitu versio Jani Myyry Lisätty pohjat testitapauksia varten Antti Haapakoski Mapperille lisätty testcaseja kappaleeseen Jani Myyry Mapperille lisää testcaseja kappaleeseen Jani Myyry Lisätty Arin käyttöliittymän testitapaukset kappaleeseen Jussi Vainionpää Lisäsin installerin testitapaukset kappaleeseen Jani Myyry Korjattu katselmoinnin pohjalta aikatauluja yms Jani Myyry Sisäisesti katselmoitu versio Jani Myyry Korjattu pieniä typoja Jussi Vainionpää Päivitetty installerin testcaset vastaamaan uusia rajapintoja Antti Haapakoski Mapperille lisätty testcaset TC-M-07 ja TC-M-08 kappaleeseen Jani Myyry Päivitetty integraatiotestauksen yksityiskohtia Jani Myyry Lisätty testcaset TC-G-06 -> TC-G-12 ja priorisoitu testitapauksia Jani Myyry Korjattu katselmointien pohjalta virheitä Jani Myyry Julkaisu Jani Myyry Päivitetty järjestelmätestitapaukset Jani Myyry Päivitetty yksityiskohtia ja julkaistu. 2

3 Sisältö 1 Johdanto Tarkoitus ja kattavuus Määritelmät, termit ja lyhenteet Viitteet Yleiskatsaus dokumenttiin Testattava järjestelmä Testauksen kohde Testattavat ominaisuudet Ominaisuudet joita ei testata Testausprosessi Menetelmät testaukseen Moduulitestaus Integrointitestaus Järjestelmätestaus Hyväksymystestaus Vaadittava tulosaineisto Aikataulu ja työmäärät Testitapaukset Mapper GUI - käyttöliittymä Installer - paketin asennusohjelma Prioriteetit testaukselle Kriteerit testaukselle Järjestelmätestauksen hyväksymiskriteerit Järjestelmätestauksen hylkäämiskriteerit Järjestelmätestauksen päättämiskriteerit Testauksen aloittamiskriteerit Testauksen keskeyttämiskriteerit Testauksen jatkamiskriteerit Testausympäristö ja henkilöstö Testausympäristö Vaatimukset testausympäristölle Laitteisto Ohjelmistot Turvallisuus Työkalut Henkilöstö Henkilöstön tarve Testihenkilöstö Koulutus Vastuualueet Integrointitestausryhmä Järjestelmätestausryhmä Hyväksymistestausryhmä Riskienhallinta 30 8 Liitteet ja viittaukset 30 3

4 1 Johdanto 1.1 Tarkoitus ja kattavuus Tämä dokumentti on kurssin T Tietojenkäsittelyopin ohjelmatyö-kurssia suorittavan ryhmän Confuse testaussuunnitelma. Ryhmän tarkoituksena on kehittää konfigurointiympäristö mobiilipäätelaitteille, hyödyntäen projektissa Compaq ipaq PDA-laitetta. Konfigurointiympäristön tarkemmat yksityiskohdat löytyvät vaatimusmäärittelystä ja toiminnallisesta määrittelystä. Tämän dokumentin tarkoituksena on esitellä yleiset periaatteet testaukselle, käyttäen hyödyksi USDP-prosessin tapaa iteratiivisesti laajentaa testattavaa kokonaisuutta. Koska konfigurointiympäristö on jo valmiiksi luonteeltaan modulaarinen, toteutetaan testaus osissa aloittaen yksittäisistä osista laajeten konfiguraattorikokonaisuuteen. Integrointi- ja järjestelmätestaus suoritetaan T3-vaiheessa hyödyntäen T2-vaiheen lopussa toteutettua moduulitestausta. 1.2 Määritelmät, termit ja lyhenteet BLUETOOTH Bootloader Burana CCCC CF-card configuration configurator deb Debian GNU/Linux Delphi method Ethernet Ethernet frame Familiar Linux firewall Flash Gb GB GPRS HUT IP ipaq A Technology that implements small range radio link between computers, celluler phones, PDAs etc. Teknologia joka toteuttaa radioyhteyden tietokoneiden, matkapuhelimien, taskutietokoneiden yms. välille lyhyillä matkoilla. Program that boots computer. Tietokoneen käynnistävä ohjelma. Bug Report And Nag Application. Bugiraportointi ja versionhallintajärjestelmä. C and C++ Code Counter, A free software tool for measurement of source code related metrics by Tim Littlefair. Ilmainen koodirivien laskentaohjelma. Compact Flash Card, Memory card for handhelds, mp3 players and digital cameras. Muistikortti kämmentietokoneille, mp3 soittimille ja digitaalikameroille A set of components or packages forming a system. In this context a list of packages to be installed in the PDA. Systeemin muodostava joukko komponentteja tai paketteja. Tässä yhteydessä lista paketeista, jotka asennetaan PDA:han. A program that helps the user to make a valid configuration and possibly use that configuration. Ohjelma, joka helpottaa kelvollisen konfiguraation luomisessa. extension for Debian Linux packages. Debian Linuxin pakettien tarkenne. Free UNIX like operating system. Vapaa UNIX-tyyppinen käyttöjärjestelmä. A method for combining several estimations. Menetelmä useiden arvioiden yhdistämiseksi. Typical method of implementation for local LANs. Tyypillinen paikallisverkon toteutustapa. Packet that is directed trough ethernet network. This packet can carry for example IP packets. Ethernet-verkossa kuljetettava paketti. Tämä paketti voi kuljettaa esim. IP paketteja. Linux distribution for handheld computers using StrongArm 110 Processor. Kämmentietokoneelle tarkoitettu Linux-jakelu. Limits accessibility between local and public network. Rajoittaa liikennettä paikallisen ja julkisen verkon välillä. Non-volatile Random Access Memory. Haihtumaton luku ja kirjoitusoperaatiot salliva muisti. Gigabit. Gigabitti Gigatavu. Gigatavu General Packet Radio System. A new nonvoice value added service that allows information to be sent and received across a mobile telephone network. Uusi palvelu datan siirtoon matkapuhelinverkossa. See TKK. Internet Protocol. A connectionless network level protocol layer of the TCP/IP. Yhteydetön TCP/IP:n verkkokerros. A handheld pen operated computer by Compaq. Compaqin tekemä kynäohjattu taskutietokone. 4

5 ipkg Itsy Package Management System. A lightweight configuration system for Familiar Linux. Kevyt konfiguraationhallintasysteemi Familiar Linuxille. ISO 8601 International Standard for numeric representations of date and time. Kansainvälinen standardi päiväyksen esittämiseen numeerisessa muodossa. Java Object-oriented programming language. Olio-ohjelmointikieli. JSP JavaServer Pages, technology for creating WWW-pages. Teknologia www-sivujen rakentamiseen. LAN Local Area Network, infrastructure of physical connections between computers. Allows data transfers. Tiedonsiirron mahdollistava infrastruktuuri tietokoneiden välillä. lparse Front end for smodels. Esiprosessori smodelssiin. Mb Megabit. Megabitti. MB Megabyte. Megatavu. NFS Network File System, Filesystem that allows the use of remote harddisks. Tiedostojärjestelmä joka sallii kovalevyjen etäkäytön. package One component of a configuration. Package can be for example a file containing some program or library. Konfiguraation osa, joka voi sisältää esim. ohjelman tai kirjaston. PC Personal Computer, a desktop computer with x86 compatible processor. Tavallinen x86- yhteensopiva pöytäkone. PC-Card See PCMCIA. PCMCIA Personal Computer Memory Card International Association, An accessory bus used in laptops and handhelds. Salkku- ja kämmenmikrojen yleinen oheislaiteliitäntä. PDA Personal Digital Assistant, A mobile, handheld computer with software like calendar, contacts, calculator and more. Kannettava tietokone, jossa on ohjelmia kuten kalenteri, yhteystiedot, laskin yms. Perl Powerful high-level interpretable programming language. Korkeantason tulkattava ohjelmointikieli. porting Modifying the code to work in some other environment. Porttaaminen, koodin muokkaaminen toisessa ympäristössä toimivaksi. PPP Point to Point Protocol, Protocol for serial lines. Protokolla sarjayhteyksille. Processor An integrated chip that makes arithmetic and memory operations. Integroitu piiri, joka suorittaa aritmeettisia- ja muistioperaatioita. RAM Random Access Memory, usually volatile. Luku- ja kirjoitusoperaatiot salliva muisti, ei pysyvä. Redhat Linux Free UNIX like operating system. Vapaa UNIX-tyyppinen käyttöjärjestelmä. RL Rule based Language. A language for representing configuration knowledge. Kieli konfiguraatiotiedon esittämiseen. ROM Read Only Memory. Vain luettavissa oleva muisti. RPM Extension for RedHat Linux packages. RedHat Linuxin pakettien tarkenne. SoberIT Software Business and Engineering Institute (in HUT). Ohjelmistoliiketoiminnan ja - tuotannon instituutti (TKK:lla). SSH Secure Shell, Secure replacement for Telnet. Turvallinen Telnetin korvike. SCP Secure CoPy, Secure replacement for FTP. Turvallinen FTPn korvike. SSHD Secure Shell Daemon, SSH Server. SSH-palvelin. SSL Secure Sockets Layer, security protocol that provides communications privacy over the Internet. Protokolla, joka turvaa datan luottamuksellisuuden siirrettäessä Internetin yli. smodels An implementation of the stable model semantics for logic programs. Logiikkaohjelmatulkki joka etsii syötteelle vakaan mallin. TCP/IP Transmission Control Protocol, a connection-oriented internet protocol. Yhteydellinen internetprotokolla. Tirana Work raporting system. Tuntiraportointijärjestelmä. TKK Helsinki University of Technology, Teknillinen Korkeakoulu. UMTS Universal Mobile Telecommunications System, Third-generation (3G) mobile communications system. Kolmannen sukupolven matkapuhelinjärjestelmä. USB Universal Serial Bus, Serial interface that is used in computers and accessories. Sarjaväylä jota käytetään tietokoneissa ja oheislaitteissa. 5

6 USDP UML ViCa WinCE Wireless Ethernet WLAN WWW XML xmodem X environment Unified Software Development Process, Generic context for a software project. Ohjelmistoprosessin yleinen viitekehys. Unified Modeling Language, a standard for visualization and specification of a software system. Standardi ohjelmiston visualisointiin ja määrittelyyn. Visualization Client Application. Visualisointi ohjelma. Windows CE, Microsoft s operating system for handhelds. Microsoftin käyttöjärjestelmä käsimikroille b Wireless Ethernet, See WLAN. Wireless Local Area Network. Computer network that uses radio waves to transmit data. Langaton verkko tietokoneiden välillä. World Wide Web. Maailmanlaajuinen tietoliikenneverkko. Extensible Markup Language. A markup language for documents containing structured information. Kieli rakenteisten dokumenttien kirjoittamiseen. A file transfer protocol for serial connections. Tiedostonsiirtoprotokolla sarjayhteyksille. Graphical window system for UNIX. Graafinen ikkunajärjestelmä UNIXille. 1.3 Viitteet Viitteet ovat listattuina dokumentin lopussa. 1.4 Yleiskatsaus dokumenttiin Dokumentin ensimmäinen kappale antaa yleiskuvan käsiteltävästä aiheesta ja määrittelee termit joita dokumentissa käytetään. 2. kappale määrittelee testattavan kohteen, ominaisuudet sekä rajaa pois ominaisuudet, joita ei testata. 3. kappale määrittelee menetelmät, joita käytetään testauksessa. Lisäksi määritellään rakenne testiraporteille sekä aikataulutus koko testausprosessille. 4. kappale sisältää testitapaukset. 5. kappale määrittelee hyväksymis- ja hylkäämiskriteerit testeille, sekä kriteerit testien keskeyttämiseen, jatkamiseen ja hylkäämiseen. 6. kappale määrittelee testausympäristön sekä henkilöstöön liittyviä vastuu- ja koulutuskysymyksiä. 7. kappale sisältä riskianalyysin liittyen testausprosessiin. Lopussa ovat viittaukset ja mahdolliset liitteet. 2 Testattava järjestelmä 2.1 Testauksen kohde Testauksen kohteena on asennuspakettien konfigurointijärjestelmä Familiar Linux:lle käyttäen hyödyksi projektin ulkopuolella Debian GNU/Linux-ympäristöön kehitettyä logiikkakonetta tarkistamaan valitun konfiguraation laillisuus. Paketteina käytetään valmiita ipkg-paketteja, jotka tulevat Familiar Linux-jakelun mukana. Järjestelmässä on useita itsenäisiä osia, jotka kommunikoivat toistensa kanssa rajapintojen kautta. Pääasiallisin rajapinta on komentorivi, johtuen muunmuuassa logiikkakoneen asettamista rajoituksista. Tiedon ja käyttäjän valitsemien pakettien tilatietojen tallentamiseen käytetään XML-tiedostoja. Lisätietoja löytyy toiminnallisesta määrittelystä. 2.2 Testattavat ominaisuudet Testauksen tarkoituksena on varmistaa, että testattava järjestelmä pystyy jollain käyttäjän valinnalla löytämään laillisen konfiguraation ja asentamaan valitut paketit ipaq:iin. Vaatimusmäärittelyssä on ryhmitelty vaatimukset tärkeysluokkiin, jotka määrittelevät järjestyksen testattaville ominaisuuksille. Toisaalta modulaarinen rakenne ja käytettävät menetelmät ohjaavat testausta prosessin aikana. Testitapahtumat moduulitestaukseen rakennetaan vaiheessa T2. Moduleita, joita tämä koskee ovat Mapper, joka rakentaa pakettilistaukset, GUI, jolla käyttäjä valitsee haluamansa paketit ja Installer, joka huolehtii pakettien asennuksesta ipaq:iin. 6

7 Moduulitestauksen jälkeen komponenttien yhteistoimintaa testataan integrointi- ja järjestelmätestauksessa vaiheessa T3 yhdessä ulkopuolisen komponentin: logiikkakoneen kanssa. 2.3 Ominaisuudet joita ei testata Testejä ei suoriteta ulkopuolisille komponenteille muuten kuin toteamalla yksinkertaisella syötteellä että ne toimivat kyseisellä syötteellä. Mahdolliset ulkopuolisten komponenttien aiheuttamat virheet eivät kuulu ryhmän vastuulle, riittää että on olemassa jokin syöte, jolla järjestelmän toiminnallisuus voidaan todeta. Käyttöliittymän käytettävyyttä ei testata, koska vaatimusmäärittelyn mukaan riittää että pakettien valitseminen onnistuu. Mitään ryhmittelyä tai muuta käyttöä mahdollisesti helpottavaa ei vaadita, mutta jos sellainen implementoidaan, voidaan käytettävyyteen ajan salliessa käyttää voimavaroja. 3 Testausprosessi 3.1 Menetelmät testaukseen Testaus aloitetaan moduulien testauksesta, jatkaen USDP-prosessin mukaisesti iteratiivisesti kohti järjestelmätestausta, joka suoritetaan T3-vaiheessa. Testausmenetelmänä on V-malli, jossa onnistuneiden moduulitestien jälkeen siirrytään ensin integrointitestaukseen. Integrointitestausvaiheessa testataan moduulien yhteistoimintaa ajamalla syötteitä usean moduulin läpi ja toteamalla palautteesta testien onnistuminen tai epäonnistuminen. Viimeiseksi toteutetaan järjestelmätestaus, jolla pyritään varmistamaan konfigurointiympäristön toimiminen oikeilla käyttäjillä ja tuotantoympäristössä. Vaatimusten määrittely Hyväksymistestaus Vaatimusten analyysi Järjestelmätestaus Arkkitehtuurin suunnittelu Integrointitestaus Moduulien suunnittelu Moduulitestaus Koodaaminen Kuva 1: V-malli ohjelmistojen testausta varten Konfigurointiympäristön arkkitehtuurin vuoksi moduulien pääasiallisina testeinä käytetään black-box-tyyppisiä syöte-vastineajoja. Moduuleille syötetään sekä rakenteellisesti oikeita syötteitä että myös vääriä, joilla voidaan varmistaa moduulien käyttäytyminen virhetilanteissa. Integrointitestausvaiheessa moduulien ajoja yhdistetään ja pyritään valmiilla syötteillä asentamaan paketteja ipaq:iin. Koska moduulivaiheen testit eivät kata kaikkea toiminnallisuutta, luodaan laajentavia testitapauksia kattamaan integraatiotestauksen vaatimukset. Järjestelmätestausvaiheessa myös GUI:ta käyttäen suoritetaan ajoja tunnetusti toimivilla että myös oikeiden käyttäjien vapaavalintaisesti tekemillä valinnoilla. Järjestelmätestaus suoritetaan ympäristöllä, joka on kaikilta komponenteiltaan valmis. Hyväksymistestaus suoritetaan ennen luovutusta. 3.2 Moduulitestaus Moduulitestaus suoritetaan ohjelmointiprosessin aikana, ohjelmoijan ja määritetyn testaajan voimin. Määritetyn testaajan osuus keskittyy moduulin ohjelmoimisen loppupuolelle, kun järkeviä black-box-testejä voidaan suorittaa. 7

8 Moduulit ovat testeissä itsenäisiä komponentteja, eikä testausta muiden muiden moduulien kanssa suoriteta tässä vaiheessa. Testit suoritetaan heti ohjelmoimisen jälkeen ja testit täytyy olla suoritettuina ennen moduulin integroimista järjestelmään. Moduulitestaus suoritetaan pääasiassa syöte-vastineajoilla, käyttäen hyödyksi määriteltyjä testitapauksia, joita hyödynnetään myös myöhemmissä testausvaiheissa. Syötteinä käytetään sekä tunnetusti hyväksyttäviä syötteitä, että syötteitä, joiden pitää tuottaa virheilmoitus. Moduulitestauksen tarkoituksena on testata koko moduulin toimintaa ja kaikki moduulin toiminnot pyritään kattamaan jollain testillä vähintään kerran. Kaikista ohjelmoinnin aikaisista testeistä ei tuoteta testiraporttia, mutta ennen siirtymistä integrointivaiheeseen tulee tärkeimmistä testitapauksista raportti olla tehty. 3.3 Integrointitestaus Integrointitestaus suoritetaan, kun integroitavien komponenttien moduulitestaus on hyväksytysti suoritettu. Integrointitestaus voidaan aloittaa myös vaiheittain, testaamalla komponetteja, jotka ovat valmiita, ennen kuin kaikki valmistuvat. Testit suoritetaan syöte-vastine-ajoilla, yhdistämällä moduulitestauksessa luotuja ajoja sekä luomalla vartavasten komponenttien kommunikointiin tehtyjä testitapauksia. Testit suoritetaan samalla tavoin, kuin moduulivaiheessa, eli testien suunnittelija ei tee testausta kattavuuden ja virhetilanteiden ongelmien havaitsemisen takia. 3.4 Järjestelmätestaus Järjestelmätestaus suoritetaan onnistuneiden integrointitestausten jälkeen. Järjestelmätestaus suoritetaan T3-vaiheessa, käyttäen hyödyksi edellisten vaiheiden testitapauksia, laajentaen niitä mahdollisuuksien mukaan koskemaan myös järjestelmän ulkopuolisia komponentteja (Configurator Engine). 3.5 Hyväksymystestaus Hyväksymistestaus suoritetaan T3-vaiheen lopulla tai LU-vaiheen alussa ryhmän edustajan toimesta yhdessä asiakkaan kanssa. 3.6 Vaadittava tulosaineisto Testaus suoritetaan pääasiassa erilaisilla syötteillä moduleille ja tutkimalla syötteen aiheuttamaa palautetta. Testauksessa raportoidaan syötteet, saadun palautteen erot oikeaksi määriteltyyn palautteeseen. Testien vaiheet (komennot) kirjataan testiraporttiin niin kuin ne moduleille syötetään. Samoja testejä ajetaan tietyin väliajoin (muutosten jälkeen/eri testivaiheissa), varmistaen että modulin toiminnallisuus säilyy oikeana ohjelmointiprosessin aikana. Testit pyritään automatisoimaan, jotta testin suorittaminen olisi mahdollisimman helppoa. Moduuli-testeistä kirjataan tulokset ylös erilliseen testitapaus-tiedostoon, testiraporttiin siirretään yhteenvedot tuloksista. Yksityiskohdat on tarkemmin määritelty testiraportissa: aika Testin ajankohta ISO 8601-merkinnällä [1]. testitapauksen tunniste Testitapauksen tunniste, eriteltyinä kappaleessa 4. modulien nimet Mihin komponentteihin testaus liittyy. modulien versiot Jos modulista on tehty release, niin sen versio, muuten esim. CVS-revisio. testaaja Kuka testaa. ympäristö 8

9 Kuvaus ympäristöstä ja työkaluista. kuvaus syöte Kuvaus juuri tehtävästä testistä. Tiedostot (tiedot) syötteestä. palaute Modulin palaute kokonaisena. kommentit Kommentit testien suorittajilta. virheet Kommentit virheistä, onko tehty virheraportti Buranaan. liitteet Mahdolliset liitteet ajojen tuloksista. Testeissä vastaan tulleet virheet kirjataan bugien raportointijärjestelmä Buranaan. Testiraportti on LATEX2e-muodossa. 3.7 Aikataulu ja työmäärät Testauksen aikataulu projektin kuluessa on määritelty projektisuunnitelmassa. Taulukossa 1 on vaiheittain eriteltynä testaukseen allokoidut tunnit mukaanlukien testaussuunnitelma. Henkilö T1 T2 T3 LU Testivastaava Myyry Jani Haapaniemi Ari Haapakoski Antti Kujala Petri Martsola Mikko Vainionpää Jussi Yhteensä Taulukko 1: Allokoidut tunnit testaukselle, sisältää testaussuunnitelman 4 Testitapaukset Testauksessa käytetään seuraavia määriteltyjä testejä, joiden lopputulokset ovat erillisessä testiraportissa. Seuraavassa komponettikohtaisesti eriteltyinä testitapaukset, joita käytetään testauksessa. Komponenttien yksityiskohdat löytyvät toiminnallisesta ja teknisestä määrittelystä. ten merkintätapa on seuraava: TC-M-01, jossa TC on tunniste testitapaukselle, seuraava lyhenne on komponentti (M = Mapper, G = GUI, I = Installer) ja viimeinen järjestysnumero testitapaukselle. Tunnistetta käytetään kaikissa testaukseen liittyvissä dokumenteissa yksilöimään tapaukset. Vaatimukset liittyen testitapauksiin löytyvät eriteltyinä vaatimusmäärittelystä. 9

10 4.1 Mapper Seuraavat testitapaukset ovat Mapper-komponenttia varten. TC-M-01 UR-04 Must, UR-08 Must Mapper Moduuli, Integraatio Usean paketin metadata lisätään kerralla järjestelmään (syötetään Mapperin stdin:iin) ja tarkistetaan skriptillä tulivatko kaikkien pakettien nimet allpackages.xml:ään ja packages.rl:ään. allpackages.xml ja packages.rl eivät sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) Kaikkien Packages-tiedostossa olevien pakettien nimet löytyvät myös allpackages.xml:stä ja packages.rl:stä. TC-M-02 UR-04 Must, UR-08 Must Mapper Moduuli, Integraatio Usean paketin metadata lisätään kerralla järjestelmään (syötetään mapperin stdin:iin) ja tarkistetaan skriptillä tulivatko kaikkien pakettien tiedostonimet oikein allpackages.xml:ään. allpackages.xml (ja packages.rl) eivät sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) Kaikkien Packages-tiedostossa olevien pakettien tiedostonimet löytyvät polkuineen myös allpackages.xml:stä. TC-M-03 UR-04 Must, UR-08 Must Mapper Moduuli, Integraatio Usean paketin metadata lisätään kerralla järjestelmään (syötetään mapperin stdin:iin) ja tarkistetaan skriptillä tulivatko kaikki pakettien väliset Depends-riippuvuudet packages.rl:ään. packages.rl (ja allpackages.xml) eivät sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) Kaikkien Packages-tiedostossa olevat Depends: - riippuvuudet löytyvät myös packages.rl:stä. 10

11 TC-M-04 Medium UR-04 Must, UR-08 Must Mapper Moduuli, Integraatio Usean paketin metadata lisätään kerralla järjestelmään (syötetään mapperin stdin:iin) ja tarkistetaan skriptillä onko luotavassa packages.rl:ssä kaikki kentät Configurator Enginen syntaksin mukaista ja ettei mikään kenttä sisällä erikoismerkkejä (joita ei ole etukäteen kaavailtu olevan). packages.rl ei sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) packages.rl:ssä kaikkien määrittelyn kentässä on hyväksyttävä arvo, kenttien arvoissa ei ole ylimääräisiä tyhjiä merkkejä ja määrittelyt ovat ehjiä. TC-M-05 Low UR-04 Must, UR-08 Must Mapper Moduuli Itse generoitu Packages-tiedosto lisätään järjestelmään (syötetään mapperin stdin:iin) ja tarkistetaan käsin, onko tulos (packages.rl ja allpackages.xml) syöte-tiedoston määrittelyn mukaista. Packages-tiedostossa on erikoismerkkejä, duplikaattipaketteja ja syktaktisesti vääriä kenttiä. packages.rl ja allpackages.xml eivät sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) Ajon yhteydessä mapperilta pitäisi tulla varoitus virheellisistä kentistä ja duplikaattipaketeista. Tarkistetaan ovatko packages.rl ja allpackages.xml syötetyn Packagestiedoston kanssa yhteneväisiä sisällön suhteen. TC-M-06 UR-04 Must, UR-08 Must Mapper Integraatio Usean paketin metadata (Packages) lisätään kerralla järjestelmään (syötetään mapperin stdin:iin) ja luodaan packages.rl ja allpackages.xml-tiedostot. Syntyneet tiedostot siirretään talteen. Lisäksi mapperille syötetään kaikki paketit, joista Packages on alkujaan luotu ja saadaan toiset packages.rl ja allpackages.xml-tiedostot. Tiedostoja verrataan keskenään. packages.rl ja allpackages.xml eivät sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) ja kaikki ipkg-paketit (jotka vastaavat Packages-tiedoston sisältöä). Molempien ajojen tuloksena syntyneet tiedostot packages.rl ja allpackages.xml ovat identtisiä toistensa kanssa. 11

12 TC-M-07 UR-03 Must, UR-09 Must, UR-08 Must Mapper ja GUI Integraatio Usean paketin metadata lisätään kerralla järjestelmään (syötetään mapperin stdin:iin) ja tarkistetaan manuaalisesti tai skriptillä näkyvätkö kaikkien pakettien kaikki tiedot oikein GUI:n ruudulla. allpackages.xml (ja packages.rl) eivät sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) Kaikkien Packages-tiedostossa olevien pakettien nimet, tiedostonimet, koot ja kuvaukset näkyvät oikein GUI:n ruudulla. TC-M-08 UR-02 Must, UR-08 Must, UR-07 Must Mapper ja Configurator engine Integraatio Usean paketin metadata lisätään kerralla järjestelmään (syötetään mapperin stdin:iin). Sen jälkeen kokeillaan tunnistaako configuration engine kaikki paketit ja niiden versiot: tään yhden paketin kokoisia konfiguraatioita configuration enginelle ja katsotaan menevätkö ne läpi. allpackages.xml (ja packages.rl) eivät sisällä yhtään pakettia. Packages (tekstitiedosto jossa usean paketin tiedot) Configurator engine hyväksyy kaikki yhden paketin pituiset konfiguraatiot ja lopputuloksena tulee aina konfiguraatio, jossa on ainakin testattava paketti. 4.2 GUI - käyttöliittymä Käyttöliittymän testitapaukset. TC-G-01 UR-03 Must, UR-09 Must, UR-27 Must GUI Moduuli, Integraatio GUI lukee allpackages.xml tiedoston ja muodostaa tämän tiedoston sisällön perusteella pakettilistauksen käyttäjän web-selaimeen HTML-muodossa. Mapper on muodostanut pakettilistauksen XML formaatissa allpackages.xml tiedostoon. Käyttäjä on ottanut yhteyden palvelimen web-serveriin web-selaimensa avulla. Käyttäjä syöttää Configurator-palvelun URL:n webselaimensa osoitekenttään. Käyttäjän web-selaimeen muodostuu HTML pakettilistaus palvelimella olevista paketeista. 12

13 TC-G-02 UR-05 Must, UR-27 Must GUI Moduuli, Integraatio Käyttäjä valitsee paketteja omaan konfiguraationsa. Mapper on muodostanut pakettilistauksen XML formaatissa allpackages.xml tiedostoon. Käyttäjä on ottanut yhteyden palvelimen pakettilistaus sivuun web-selaimensa avulla ja hänelle on muodostettu pakettilistaus. Painamalla pakettikohtaista Add -linkkiä käyttäjä lisää kyseisen paketin omaan konfiguraatioonsa. Valitun paketin Add -linkki muuttuu Remove linkiksi ja kyseinen paketti lisätään käyttäjän konfiguraatioon. (Tämä voidaan nykyisellään testata siten, että kirjoitetaan konfiguraatio tiedostoon - Save Configuration - ja tulkitaan tiedoston sisältöä). TC-G-03 UR-06 Must, UR-27 Must GUI Moduuli, Integraatio Käyttäjä poistaa paketteja omasta konfiguraatiostansa. Käyttäjä on valinnut omaan konfiguraatioonsa vähintään yhden paketin, tai hän voinut myös lisätä paketteja konfiguraatioonsa valitsemalla Load Configuration - toiminteen. Painamalla pakettikohtaista Remove -linkkiä käyttäjä poistaa kyseisen paketin omasta konfiguraatiostaan. Valitun paketin Remove -linkki muuttuu Add -linkiksi ja kyseinen paketti poistetaan käyttäjän konfiguraatiosta. (Tämä voidaan nykyisellään testata siten, että kirjoitetaan konfiguraatio tiedostoon - Save Configuration - ja tulkitaan tiedoston sisältöä). 13

14 TC-G-04 Medium UR-19 Must, UR-27 Must GUI Moduuli, Integraatio Käyttäjä haluaa tallettaa valitsemansa konfiguraation tiedostoon. Käyttäjä on ottanut web-selaimella yhteyden Configurator-palvelun pääsivuun, johon hänelle on luotu listaus saatavilla olevista paketeista ja niiden tiedoista. Käyttäjä on valinnut konfiguraatioonsa joitakin paketteja painamalla pakettikohtaista Add -linkkiä. Käyttäjä painaa pääsivulla olevaa Save Configuration - painiketta, jonka jälkeen hän pääsee sivulle, jolla määritellään tiedoston nimi, johon konfiguraatio tallennetaan. Tällä sivullä käyttäjä nimeää tiedoston johon konfiguraatio kirjoitetaan ja painaa OK nappia. Käyttäjä voi myös valita BACK TO MAIN PAGE napin jolloin hän palaa pakettilistaus sivulle. Jos tiedoston nimi on pituudeltaan 0 tai se sisältää hakemiston erotinmerkkejä, tulostetaan käyttäjälle virheilmoitus ja kehoitetaan antamaan uusi tiedoston nimi. Jos tiedoston nimi on hyväksyttävä, suoritetaan tiedostoon kirjoitus ja tulostetaan käyttäjälle onnistuneen kirjoituksen ilmoitus ja tiedostoon kirjoitettujen pakettien lukumäärä. TC-G-05 Medium UR-20 Must, UR-27 Must GUI Moduuli, Integraatio Käyttäjä haluaa ladata tallettamansa konfiguraation tiedostosta. Käyttäjä on tallettanut aikaisemmin konfiguraation tiedostoon. Käyttäjä painaa pääsivulla olevaa Load Configuration - painiketta, jonka jälkeen hän pääsee sivulle jolla määritellään tiedoston nimi, josta konfiguraatio ladataan. Tällä sivullä käyttäjä nimeää tiedoston, josta konfiguraatio ladataan ja painaa OK nappia. Käyttäjä voi myös valita BACK TO MAIN PAGE napin, jolloin hän palaa pakettilistaus-sivulle. Jos tiedoston nimi on pituudeltaan 0 tai se sisältää hakemiston erotinmerkkejä, tulostetaan käyttäjälle virheilmoitus ja kehoitetaan antamaan uusi tiedoston nimi. Jos tiedoston nimi on hyväksyttävä suoritetaan lukuoperaatio ja tulostetaan käyttäjälle onnistuneen suorituksen ilmoitus ja tiedostosta luettujen pakettien lukumäärä. 14

15 TC-G-06 UR-02 Must GUI ja Configurator Engine Integraatio Käyttäjä haluaa tarkistaa nykyisen (toimivan) konfiguraation oikeellisuuden Configurator Engineltä. Käyttäjä on valinnut GUI:lla tarkistettavan konfiguraation. Käyttäjä on valinnut paketit konfiguraatioon, joka on loogisten sääntöjen mukaan oikea, esimerkiksi defaultkonfiguraatio. Käyttäjä painaa painiketta Check Configuration, jolloin GUI tarkistaa Configurator Engine:lta konfiguraation oikeellisuuden. Configurator Engine antaa tarkistuksen tuloksen. GUI ilmoittaa, että konfiguraatio on hyväksytty ja tarkistettu konfiguraatio näkyy käyttäjän listauksessa. TC-G-07 UR-02 Must, UR-11 Must GUI ja Configurator Engine Integraatio Käyttäjä valitsee ristiriitaisen konfiguraation, joka tarkastetaan Configurator Engine:lla. Käyttäjä saa ilmoituksen tarkistuksen hylkäämisestä. Käyttäjä on valinnut konfiguraation, jonka haluaa tarkistaa. Esimerkiksi paljon paketteja, joissa on konflikteja toistensa kanssa. Konfiguraation valitsemisen jälkeen käyttäjä painaa Check Configuration -painiketta, jolloin GUI tarkistaa Configurator Engine:lta konfiguraation oikeellisuuden. Configurator Engine antaa tarkistuksen tuloksen. GUI ilmoittaa, että konfiguraatiota ei ole hyväksytty, mutta ei muuta mitään käyttäjän pakettivalinnoissa. TC-G-08 UR-02 Must, UR-11 Must, UR-12 Useful GUI ja Configurator Engine Integraatio Käyttäjä valitsee vaillinaisen konfiguraation, josta puuttuu vaadittuja paketteja. Tarkastetaan Configurator Engine:lla ja käyttäjä saa ilmoituksen puuttuvista paketeista. Käyttäjä on valinnut konfiguraation, jonka haluaa tarkistaa. Esimerkiksi paketteja, jotka vaativat kirjastoja yms. toimiakseen. Konfiguraation valitsemisen jälkeen käyttäjä painaa Check Configuration -painiketta, jolloin GUI tarkistaa Configurator Engine:lta konfiguraation oikeellisuuden. Configurator Engine antaa tarkistuksen tuloksen. GUI ilmoittaa, että konfiguraatiota ei ole hyväksytty ja listaa paketit, jotka myös tarvitaan mukaan konfiguraatioon. 15

16 TC-G-09 Medium UR-02 Must, UR-11 Must GUI ja Configurator Engine Integraatio Käyttäjä valitsee konfiguraation, joka tarkastetaan Configurator Engine:lla. Configurator Engine:a ei ole saatavilla. Käyttäjä on valinnut konfiguraation, jonka haluaa tarkistaa. Configurator Engine ei ole polussa tai muuten saatavilla. Konfiguraation valitsemisen jälkeen käyttäjä painaa Check Configuration -painiketta, jolloin GUI tarkistaa Configurator Engine:lta konfiguraation oikeellisuuden. Configurator Engine ei vastaa. GUI ilmoittaa, että konfiguraatiota ei ole hyväksytty. TC-G-10 Medium UR-31 Useful GUI ja Installer Integraatio Käyttäjä haluaa tunnistaa PDA-laitteella olevan asennetun konfiguraation. Käyttäjä on GUI:n aloitusdialogissa määritellyt PDA:n IP-osoitteen ja PDA:n kuunteleman TCP-portin. Käyttäjä painaa pääsivulla(main.jsp) olevaa Detect Configuration painiketta jonka jälkeen häneltä kysytään varmistusta. Jos käyttäjä valitsee OK ja alkutilanteen ehdot täyttyvät, aloitetaan varsinainen tunnistusprosessi. Varmistusdialogista käyttäjä voi vielä peruuttaa tunnistuksen valitsemalla Back to Main Page, jolloin hän palaa palvelun pääsivulle. Jos konfiuraation tunnistaminen onnistui, tulostetaan käyttäjälle tieto tästä ja luetun konfiguraation pakettien lukumäärä. Epäonnistuneesta tunnistamisesta tulostetaan myös tieto käyttäjälle. Onnistuneen tunnistamisen jälkeen yksittäiset konfiguraation paketit ovat tunnistettavissa käyttäjän palatessa palvelun pääsivulle (Installed:X, Operation:Remove) 16

17 TC-G-11 UR-14 Must, UR-15 Must GUI ja Installer Integraatio Käyttäjä haluaa asentaa valitsemansa konfiguraation PDA-laitteelle. Konfiguraatio voi sisältää yhden tai useampia paketteja. Palvelun pääsivulla(main.jsp) Käyttäjä on valinnut vähintään yhden paketin konfiguraatioonsa (Add). Hän on myös suorittanut valitun konfiguraation oikeellisuuden tarkistuksen (Check Configuration) ja lukenut PDAlaitteelle jo valmiiksi asennetut paketit(detect configuration). Myös GUI:n aloitusdialogissa hän on määritellyt PDA:n IP-osoitteen ja PDA:n kuunteleman TCP-portin. Käyttäjä painaa pääsivulla (Main.jsp) olevaa Install Configuration -painiketta, jonka jälkeen häneltä kysytään varmistusta. Jos käyttäjä valitsee OK ja alkutilanteen ehdot täyttyvät, aloitetaan varsinainen asennusprosessi. Varmistusdialogista käyttäjä voi vielä peruuttaa asennuksen valitsemalla Back to Main Page, jolloin hän palaa palvelun pääsivulle. Jos asennus oli onnistunut tulostetaan käyttäjälle tieto tästä. Epäonnistuneesta asennuksesta tulostetaan myös tieto käyttäjälle ja vahvistus siitä, että yhtään uutta pakettia ei asennettu. Onnistuneen asennuksen jälkeen käyttäjä voi todeta asennuksen onnistumisen palaamalla palvelun pääsivulle, josta hän pystyy näkemään valittujen pakettien asentuneen PDA-laitteelle ( Installed : X). ipaq sisältää konfiguraation mukaiset paketit. 17

18 TC-G-12 Medium UR-15 Must, UR-16 Useful GUI ja Installer Integraatio Käyttäjä haluaa poistaa PDA-laitteelle asennetun paketin tai useita paketteja. Käyttäjä lukenut PDA-laitteelle jo valmiiksi asennetut paketit(detect configuration). Tällöin palvelun pääsivulla (Main.jsp) näkyvät PDA-laitteelle jo asennetut paketit (Installed:X, Operation:Remove). Käyttäjä on tämän jälkeen valinnut jonkin näistä paketeista poistettavaksi valitsemalla Remove ja tämän jälkeen suorittanut konfiguraation oikeellisuuden tarkistuksen (Check Configuration). Myös palvelun aloitusdialogissa käyttäjän on pitänyt määritellä PDA:n IP-osoite ja PDA:n kuuntelema TCP-portti. Käyttäjä painaa pääsivulla(main.jsp) olevaa Install Configuration painiketta jonka jälkeen häneltä kysytään varmistusta. Jos käyttäjä valitsee OK ja alkutilanteen ehdot täyttyvät, aloitetaan varsinainen poistoprosessi. Varmistusdialogista käyttäjä voi vielä peruuttaa poiston valitsemalla Back to Main Page, jolloin hän palaa palvelun pääsivulle. Jos poisto oli onnistunut, tulostetaan käyttäjälle tieto tästä. Epäonnistuneesta poistosta tulostetaan myös tieto käyttäjälle ja vahvistus siitä, että yhtään uutta pakettia ei poistettu. Onnistuneen poiston jälkeen käyttäjä voi todeta poiston onnistumisen palaamalla palvelun pääsivulle, josta hän pystyy näkemään valittujen pakettien PDAlaitteelta poiston onnistumisen ( Installed :, Operation: Add). ipaq:sta on poistettu poistettavaksi määritetyt paketit. 18

19 TC-G-13 GUI, Installer, Configurator Engine Järjestelmätestaus Asennetaan paketti ipaq:iin, niin että ensiksi haetaan tieto nykyisestä konfiguraatiosta ipaq:lta, jonka jälkeen konfiguraatio tarkistetaan halutun paketin kanssa. Jos konfiguraatio oli validi, paketti asennetaan ipaq:iin. Käyttäjällä on edessään kirjautumisruutu, johon syotetään tiedot ipaq:sta. Käyttäjä syöttää ipaq:n osoitteen ja portin kenttiin ja pääsee pakettilistaukseen. Käyttäjä hakee nykyisen konfiguraation ipaq:sta painamalla nappia Detect Configuration. Käyttäjä valitsee halutun paketin painamalla Add ja painaa Check Configuration. Jos paketti riippuu muista paketeista, käyttäjä valitsee ne konfiguraatioon painamalla Add All Packages, jonka jälkeen uusiutunut konfiguraatio tarkistetaan painamalla Check Configuration -nappia. Jos konfiguraatio oli validi painetaan Install Configuration, jonka suoriuduttu operaatio on valmis. Käyttäjä voi tarkistaa ipaq:sta, tuliko uusi paketti ipaq:iin, esim. yrittämällä suorittaa ohjelmaa. GUI näyttää paketin asentuneen (rasti Installed-sarakkeessa). TC-G-14 GUI, Installer, Configurator Engine Järjestelmätestaus Poistetaan paketti ipaq:ista, niin että ensiksi haetaan tieto nykyisestä konfiguraatiosta ipaq:lta, jonka jälkeen konfiguraatio tarkistetaan ilman poistettavaa pakettia. Jos konfiguraatio oli validi, paketti poistetaan ipaq:ista. Käyttäjällä on edessään kirjautumisruutu, johon syotetään tiedot ipaq:sta. Käyttäjä syöttää ipaq:n osoitteen ja portin kenttiin ja pääsee pakettilistaukseen. Käyttäjä hakee nykyisen konfiguraation ipaq:sta painamalla nappia Detect Configuration. Käyttäjä valitsee poistettavan paketin painamalla Remove ja painaa Check Configuration. Jos mikään paketti ei riipu poistettavasta, on konfiguraatio validi. Poisto-operaatio suoritetaan painamalla Install Configuration -nappia. Käyttäjä voi tarkistaa ipaq:sta, että poistettiinko paketti ipaq:ista, esim. yrittämällä suorittaa ohjelmaa. GUI näyttää paketin poistuneen ipaq:sta (rasti hävinnyt Installed-sarakkeesta). 19

20 TC-G-15 Medium GUI, Installer, Configurator Engine Järjestelmätestaus Käyttäjä tallettaa halumansa konfiguraation, joka ei ole ipaq:n nykyinen, mutta on validi. Käyttäjä lataa talletetun konfiguraation ja asentaa sen ipaq:iin. Käyttäjällä on edessään kirjautumisruutu, johon syotetään tiedot ipaq:sta. Käyttäjä syöttää ipaq:n osoitteen ja portin kenttiin ja pääsee pakettilistaukseen. Käyttäjä hakee nykyisen konfiguraation ipaq:sta painamalla nappia Detect Configuration. Käyttäjä valitsee halutun paketin painamalla Add ja painaa Check Configuration. Jos paketti riippuu muista paketeista, käyttäjä valitsee ne konfiguraatioon painamalla Add All Packages, jonka jälkeen uusiutunut konfiguraatio tarkistetaan painamalla Check Configuration -nappia. Jos konfiguraatio oli validi painetaan Save Configuration, jonka jälkeen annetaan tiedostonnimi, esim. test.xml. Tämän jälkeen haetaan nykyinnen konfiguraatio ipaq:sta painamalla Detect Configuration. Seuraavaksi ladataan tallennettu konfiguraatio painamalla Load Configuration -nappia ja kirjoittamalla talletettu tiedostonnimi test.xml. Onnistuneen operaation jälkeen tutkitaan oliko valitut paketit samoja konfiguraation kanssa, joka tallennettiin. Täämän jälkeen konfiguraatio tarkistetaan Check Configuration ja asennetaan Install Configuration. Käyttäjä voi tarkistaa ipaq:sta, tuliko uusi paketti ipaq:iin, esim. yrittämällä suorittaa ohjelmaa. GUI näyttää paketin asentuneen (rasti Installed-sarakkeessa). 20

21 TC-G-16 Medium GUI, Installer, Configurator Engine Järjestelmätestaus Käyttäjä tallettaa ipaq nykyisen konfiguraation, joka on validi. Käyttäjä lataa minimikonfiguraation, tarkistaa ja asentaa sen. Tämän jälkeen ladataan alkuperäinen konfiguraatio ja asennetaan minimikonfiguraation tilalle. Käyttäjällä on edessään kirjautumisruutu, johon syotetään tiedot ipaq:sta. Käyttäjä syöttää ipaq:n osoitteen ja portin kenttiin ja pääsee pakettilistaukseen. Käyttäjä hakee nykyisen konfiguraation ipaq:sta painamalla nappia Detect Configuration. Konfiguraatio tallennetaan painamalla Save Configuration nappia ja antamalla nimi originalconfig.xml. Käyttäjä lataa minimaalisen konfiguraation painamalla Load Configuration ja kirjoittamalla nimeksi minimal_fam0.5.xml. Tämän jälkeen konfiguraatio tarkistetaan painamalla Check Configuration ja lisäämällä paketteja jos tarvetta. Minimikonfiguraatio asennetaan ipaq:iin painamalla Install Configuration nappia. Seuraavaksi ladataan tallennettu konfiguraatio painamalla Load Configuration nappia ja kirjoittamalla originalconfig.xml kenttään. Tämän jälkeen konfiguraatio tarkistetaan ja asennetaan Install Configuration napilla. Käyttäjä voi tarkistaa minimi että normaalin konfiguraation asentamisen jälkeen ipaq:sta, ovatko ohjelmat poistuneet/asentuneet. Samoin GUI näyttää sen hetkisen konfiguraation. 4.3 Installer - paketin asennusohjelma Seuraavat testitapaukset ovat Installer-komponenttia varten. TC-I-01 UR-14 Must, UR-15 Must, UR-21 Useful Installer Moduuli Asetetaan testausta varten tehty current-ipaqconfiguration.xml ja desired-configuration.xml installerin saataville ja ajetaan installer. desiredconfiguration.xml sisältää kaikki jo aiemmin asennetut paketit sekä yhden ennestään asentamattoman paketin. Varmistetaan paketin asentuminen seuraamalla installerin tulosteita sekä tarkistamalla ipaq:n tiedostojärjestelmästä. Jos UR-21 on toteutettu, tarkistetaan että ainoastaan uusi paketti asennettiin. Tarkistetaan että installerin paluuarvo on 0. Testipakettia ei ole asennettu ipaq:iin. current-ipaq-configuration.xml ja desiredconfiguration.xml, joka sisältää jo asennettuja paketteja, sekä yhden asennettavan testipaketin. Paketti on asennettu ipaq:iin ja installer palautti onnistumista merkitsevän paluuarvon 0. 21

22 TC-I-02 Low UR-14 Must, UR-15 Must Installer Moduuli Asetetaan testausta varten tehty desiredconfiguration.xml installerin saataville ja ajetaan installer. desired-configuration.xml sisältää kaikki jo aiemmin asennetut paketit sekä yhden ennestään asentamattoman paketin, jonka nimessä on välilyöntejä sekä muita erikoismerkkejä. Varmistetaan paketin asentuminen seuraamalla installerin tulosteita sekä tarkistamalla ipaq:n tiedostojärjestelmästä. Tarkistetaan että installerin paluuarvo on 0. Testipakettia ei ole asennettu ipaq:iin. current-ipaq-configuration.xml ja desiredconfiguration.xml, joka sisältää yhden asennettavan testipaketin, jonka nimessä on välilyöntejä sekä muita erikoismerkkejä. Paketti on asennettu ipaq:iin ja installer palautti onnistumista merkitsevän paluuarvon 0. TC-I-03 UR-15 Must Installer Moduuli Asetetaan testausta varten tehty desiredconfiguration.xml installerin saataville, ja ajetaan installer. desired-configuration.xml sisältää jo asennettuja paketteja sekä yhden asennettavan paketin, jota ei ole saatavilla. Varmistetaan installer käyttäytyy siististi virheestä huolimatta seuraamalla installerin tulosteita. Tarkistetaan että installerin paluuarvo on muuta kuin 0. Testipakettia ei ole asennettu ipaq:iin. current-ipaq-configuration.xml ja desiredconfiguration.xml, joka sisältää paketin, jota ei ole saatavilla. Paketin asennus ipaq:iin on epäonnistunut ja installer palautti epäonnistumista merkitsevän paluuarvon, joka on muuta kuin 0. 22

23 TC-I-04 Medium UR-15 Must Installer Moduuli Asetetaan testausta varten tehty desiredconfiguration.xml installerin saataville, irroitetaan ipaq verkosta ja ajetaan installer. Varmistetaan että installer käyttäytyy siististi virheestä huolimatta seuraamalla installerin tulosteita. Tarkistetaan että installerin paluuarvo on muuta kuin 0. ipaq ei ole kiinni verkossa. current-ipaq-configuration.xml ja desiredconfiguration.xml. Paketin asennus ipaq:iin on epäonnistunut ja installer palautti epäonnistumista merkitsevän paluuarvon, joka on muuta kuin 0. TC-I-05 UR-15 Must Installer Moduuli Asetetaan testausta varten tehty desiredconfiguration.xml installerin saataville, täytetään ipaq:n muisti siten, ettei testipaketti mahdu sinne, ja ajetaan installer. Varmistetaan että installer käyttäytyy siististi virheestä huolimatta seuraamalla installerin tulosteita. Tarkistetaan että installerin paluuarvo on muuta kuin 0. Testipakettia ei ole asennettu ipaq:iin ja ipaq:n muisti on niin vähissä ettei paketti mahdu ipaq:iin. current-ipaq-configuration.xml ja desiredconfiguration.xml, joka sisältää paketin joka on liian iso ipaq:n muistiin. Paketin asennus ipaq:iin on epäonnistunut ja installer palautti epäonnistumista merkitsevän paluuarvon, joka on muuta kuin 0. TC-I-06 Medium UR-15 Must Installer Moduuli Asetetaan testausta varten tehty desiredconfiguration.xml, joka ei sisällä tarvittavia attribuutteja tai sisältää syntaksivirheitä, installerin saataville. Varmistetaan että installer käyttäytyy siististi virheestä huolimatta seuraamalla installerin tulosteita. Tarkistetaan että installerin paluuarvo on muuta kuin 0. Virheellinen desired-configuration.xml. Asennus on epäonnistunut ja installer palautti epäonnistumista merkitsevän paluuarvon, joka on muuta kuin 0. 23

24 TC-I-07 UR-15 Must Installer Moduuli Asetetaan testausta varten tehty current-ipaqconfiguration.xml ja desired-configuration.xml installerin saataville. desired-configuration.xml:ään sisällytetään useita asennettavia paketteja, joista yhden asennuksessa on odotettavissa virhe. Tarkistetaan että virhe havaitaan ja että installerin paluuarvo on muuta kuin 0. current-ipaq-configuration.xml ja desiredconfiguration.xml, jossa on monta asennettavaa pakettia, joista yhtä ei voida asentaa. Asennus on (osittain) epäonnistunut ja installer palautti epäonnistumista merkitsevän paluuarvon, joka on muuta kuin 0. TC-I-08 Low UR-16 Useful Installer Moduuli Asetetaan testausta varten tehty current-ipaqconfiguration.xml ja desired-configuration.xml installerin saataville, ja ajetaan installer. desiredconfiguration.xml sisältää yhden paketin vähemmän kuin current-ipaq-configuration.xml. Varmistetaan paketin poistuminen seuraamalla installerin tulosteita sekä tarkistamalla ipaq:n tiedostojärjestelmästä. Tarkistetaan että installerin paluuarvo on 0. Testipaketti on asennettu ipaq:iin. current-ipaq-configuration.xml ja desiredconfiguration.xml, jotka sisältävät jo asennettuja paketteja, sekä yhden poistettavan testipaketin. Paketti on poistettu ipaq:sta ja installer palautti onnistumista merkitsevän paluuarvon 0. 24

25 TC-I-09 Low UR-25 Nice to have Installer Moduuli Asetetaan testausta varten tehty current-ipaqconfiguration.xml ja desired-configuration.xml installerin saataville, ja ajetaan installer. desiredconfiguration.xml sisältää kaksi asennettavaa pakettia, jotka ovat niin suuria, ettei ipaq:n muisti riitä, jos molemmat paketit ovat ipaq:ssa asennuksen aikana. Varmistetaan asennuksen onnistuminen ja tarkistetaan että installerin paluuarvo on 0. ipaq:n muisti on niin täynnä, että molemmat paketit sekä paketteina että asennettuna eivät mahdu muistiin. Tilaa tulee kuitenkin olla molemmille asennettuna ja yhdelle pakettina. current-ipaq-configuration.xml ja desiredconfiguration.xml, joka sisältää asennettavat testipaketit. Paketit on asennettu ipaq:iin ja installer on palauttanut onnistumista merkitsevän paluuarvon 0. TC-I-10 Medium UR-31 Useful Installer Moduuli Käynnistetään installer parametrilla status. Varmistetaan, että installer on tuottanut current-ipaqconfiguration.xml-tiedoston ja että sen syntaksi on oikea ja sisältö uskottava. Asennetaan uusi paketti ja haetaan status uudelleen. Tarkistetaan, että uusi paketti on listassa. ipaq:ssa on tarvittava peruskonfiguraatio. current-ipaq-configuration.xml ja desiredconfiguration.xml, joka sisältää asennettavan testipaketin. Installer on tuottanut kunnollisen current-ipaqconfiguration.xml:n. Asennettu uusi paketti tuli mukaan tuotettaessa current-ipaq-configuration.xml uudelleen. 4.4 Prioriteetit testaukselle Testitapauksissa käytetään prioriteetteinä sekä vaatimusmäärittelyn Must, Nice To Have, Useful-tasoja, että testitapauksille määritettyjä tärkeystasoja taulukossa 2. Tasojen avulla testitapaukset voidaan järjestää ja määrittää olennaiseksi, jotka täytyy läpäistä, ennen kuin testaus on hyväksytysti suoritettu. Lisää testauksen kriteereistä kappaleessa 5. Virhetilanteille on omat vakavuusasteensa, taulukossa 3. 25

26 Kuvaus Kohteet Määrittelee testitapaukset, jotka täytyy läpäistä, jotta kokonaistestaus onnistuu. Muuten testaus epäonnistuu. Medium Määrittelee testitapaukset, joista täytyy osa läpäistä kriteerien määritysten mukaan, jotta kokonaistestaus onnistuu. Muuten testaus epäonnistuu. Low Määrittelee testitapaukset, joiden läpäisy ei vaikuta kokonaistestauksen onnistumiseen. Taulukko 2: Prioriteetit testitapauksille Kriittiset osat, joita ilman kohde ei toimi eikä täytä tehtäväänsä. Tärkeät osat, joita ilman kohde toimii vaillinaisesti tai joissain tilanteissa virheellisesti. Osat, jotka eivät ole kokonaistoiminnan kannalta kriittisiä ja tuovat mahdollisesti lisäarvoa. Virheprioriteetti Kuvaus Toimenpiteet Fatal Virheet, jotka estävät kohteen toimimisen millään arvoilla. Virheet täytyy korjata, ennen kuin testejä voidaan jatkaa. Testejä ei voi läpäistä, niin kauan kuin tason virheitä on korjaamatta. Raportoidaan Broken Feature 5 Kriteerit testaukselle Kohde toimii, mutta tuottaa vääriä tuloksia. Kohde tuottaa jollain arvoilla vääriä tai epämääräisiä lopputuloksia. Taulukko 3: Prioriteetit bugeille 5.1 Järjestelmätestauksen hyväksymiskriteerit aina. Voidaan jatkaa testausta, mutta testitapausta ei ole läpäisty ennen kuin virhe on korjattu. Raportoidaan, jos pikaista korjausta ei löydy. Testausta voidaan jatkaa normaalisti ja testaus voidaan läpäistä. Virheet korjataan, jos aikataulu sallii. Ei ole pakollista raportoida. Järjestelmätestaus konfigurointiympäristölle on hyväksytysti suoritettu, kun seuraavat vaatimukset on toteutettu järjestelmätestauksen aikarajaan mennessä. Kaikki testitapaukset, jotka testaavat ominaisuuksia määriteltynä tasolle Must vaatimusmäärittelyssä, täytyy olla hyväksytysti läpäisty. Kaikki testitapaukset, jotka testaavat ominaisuuksia määriteltynä tasolle Useful vaatimusmäärittelyssä, testiprioriteetille ja jotka on toteutettu, täytyy olla hyväksytysti läpäisty. Kaikki testitapaukset, jotka on määritetty testiprioriteetille, täytyy olla hyväksytysti läpäisty. Testitapauksista testiprioriteetilla Medium täytyy olla 50% läpäisty. Kaikki testitapaukset on ohjeiden mukaan dokumentoitu. Kriteerejä tarkennetaan tarvittaessa, kun projekti etenee lähemmäksi järjestelmätestausvaihetta. 5.2 Järjestelmätestauksen hylkäämiskriteerit Järjestelmätestaus hylätään, jos jokin edellämainituista hyväksymiskriteereistä ei toteudu. 26