Testaussuunnitelma Versio Päiväys Tekijä Kuvaus 0.1 15.11.01 Ville Vaittinen Ensimmäinen luonnos 0.2 10.12.01 Ville Vaittinen Kevyet päivitykset kommenttien perusteella
Sisällysluettelo 1. Johdanto...3 1.1 Tarkoitus ja kattavuus...3 1.2 Tuote ja ympäristö...3 1.3 Määritelmät, termit ja lyhenteet...4 1.4 Yleiskatsaus dokumenttiin...4 2. Ympäristövaatimukset...5 2.1 Vaihe 1 testaus PC-työasemalla...5 2.2 Vaihe 2 testaus laboratorio-oloissa lähetysverkossa...5 2.3 Turvallisuus...5 2.4 Apuvälineet (työkalut)...5 3. Henkilöstö- ja koulutusvaatimukset...6 4. Vastuualueet...7 4.1 Sovelluksen testausryhmä (Testiryhmä 1 - koordinaattieditori)...7 4.2 Sovelluksen testausryhmä (Testiryhmä 2 Xlet-sovellus)...7 4.3 Integrointi- ja järjestelmätestausryhmä...7 4.4 Koodikatselmoinnit...8 5. Vaadittava tulosaineisto...9 6. Erikoisominaisuuksia...10 7. Testauksen tehtäväjärjestys ja testausmenettely...11 7.1 Tehtäväjärjestys...11 7.2 Testattavat osat...11 7.3 Testitapausluokat ja virheluokat...11 7.4 Menetelmät...11 7.4.1 Ohjelmistovirheiden hallinta...11 7.5 Rajoitukset...12 8. Testaustapaukset...13 8.1 Testitapaukset Koordinaattieditori...13 8.2 Testitapaukset Xlet-sovellus...13 8.3 Testitapaukset - Siirtoprotokolla...14 9. Riskien hallinta...15 10. Aikataulu ja työmäärät...16 10. 1 Vaihe T1...16 10. 2 Vaihe T2...16 10. 3 Vaihe T3...16 10. 4 Vaihe T4...16 Viitteet...17 Testaussuunnitelma 2
1. Johdanto Tämä dokumentti liittyy Teknillisen korkeakoulun kurssin T-76.115 Tietojenkäsittelyopin ohjelmatyö puitteissa Digita Oy:lle tehtävään projektiin [1]. 1.1 Tarkoitus ja kattavuus Tämä dokumentti määrittelee digi-tv-järjestelmään kehitettävän sovelluksen testauksen yleiset periaatteet sekä testaukselle annetut resurssit ja aikataulun. Tässä käsitellään vain integrointi- ja järjestelmätestausta, moduulitason testauksen määrittävät ja suorittavat ohjelmoijat oman sisäisen työnjakonsa mukaisesti. Varsinaiset testitapaukset ovat erillisissä dokumenteissa, ks. viitteet niihin tämän dokumentin lopussa. Tämä dokumentti on tarkoitettu järjestelmän testauksesta vastuussa oleville ja projektin johdolle. 1.2 Tuote ja ympäristö Järjestelmä on jaettu testauksen kannalta kolmeen osaan: koordinaattieditori, siirtoprotokolla ja Xlet-sovellus. Editoria käyttäen kerätään videokuvasta parametritietoa, joka lähetetään siirtoprotokollaa käyttäen Xlet-sovellukselle, joka puolestaan hyödyntää tietoa kuvan parametreista haluamallaan tavalla. Testaussuunnitelma 3
1.3 Määritelmät, termit ja lyhenteet Tässä määritellään tärkeimmät termit ja lyhenteet, kattava luettelo aihe-alueeseen liittyvistä termeistä löytyy erillisestä dokumentista MHP & Digi-tv -termit [2]. Digi-tv MHP Testaus Televisiojärjestelmä, jossa kuva, ääni ja muu informaatio siirretään digitaalisesti perinteisen analogisen sijasta. Etuna analogiseen järjestelmään on parempi kuvan ja äänen laatu sekä paremmat mahdollisuudet lisäarvopalvelujen tuottamiseen. Multimedia Home Platform on avoin standardi, joka määrittelee katsojien päätelaiteissa olevan tekniikan. DVB-MHP mahdollistaa esimerkiksi Java sovelmien suorittamisen katsojien päätelaiteissa. Toiminta, jolla pyritään varmistamaan, että testauksen kohde toimii odotetulla tavalla ja täyttää sille asetetut vaatimukset. Testitapaus Järjestelmällinen toimintasarja, joka suoritetaan testin kohteelle tarkoituksena saada testattava käyttäytymään odotuksista poikkeavalla tavalla. Xlet Xlet on Digi-TV:n tarpeisiin muokattu versio Java sovelmista (applet). Xlet:ien avulla voidaan toteuttaa monimutkaisia sovelluksia MHP laitteisiin. 1.4 Yleiskatsaus dokumenttiin Seuraavaksi luvussa kaksi käsitellään testauksen suorittamiselle tarpeellinen laitteisto, minkä jälkeen tarvittavat henkilöresurssit luvuissa 3 ja 4. Testaussuunnitelma 4
2. Ympäristövaatimukset Kehitettävä järjestelmä tulee olemaan osa digi-tv-järjestelmää ja siten lopullinen testaus voidaan suorittaa kun vasta kun käytössä on digi-tv-standardia tukeva lähetysjärjestelmä sekä vastaavat kotivastaanottimet. Toistaiseksi on epäselvää, täyttyvätkö nämä edellytykset tämän projektin puitteissa. Seuraavassa testaukselle on määritelty vaiheet käytössä olevan laitteiston mukaisesti 2.1 Vaihe 1 testaus PC-työasemalla Testattavista järjestelmistä koordinaattieditorin testaus voidaan aloittaa välittömästi, koska sen käyttöalusta on normaali PC-Windows-työasema. Xlet-sovelluksen alustana toimii periaatteessa digi-tv-vastaanotin, joka tukee MHP standardia, mutta AltiCast-yhtiö on kehittänyt AltiEmulator-simulaattorin [2], jota voidaan käyttää Xlet-sovellusten ajamiseen WinNT- tai Win 2000-työasemalla. Minimi tehovaatimus on n. 500 Mhz prosessorilla ja 128 Mt:n keskusmuistilla varustettu mikro. Projektilla on lisenssin alaisesta AltiEmulator-tuotteesta käytössä vain ilmaisversio 30 päivän kokeiluajalla. Tästä johtuen pitempiaikainen käyttö käytännössä edellyttää käyttöjärjestelmän uudelleenasennusta kokeiluajan kuluttua umpeen. 2.2 Vaihe 2 testaus laboratorio-oloissa lähetysverkossa Integrointi- ja järjestelmätestaus voidaan suorittaa vasta kun koko digit-tv-järjestelmä on käytettävissä. Tämä tarkoittaa lähetyslaitteistoa, johon voidaan videokuvan lisäksi syöttää dataa objektikaruselliin. Vastaanottopäässä tarvitaan digi-tv-vastaanotin, joka toteuttaa MHP-standardin. 2.3 Turvallisuus Testitulokset on siirrettävä välittömästi testien jälkeen niille varattuun hakemistoon projektin internet-portaaliin [3]. 2.4 Apuvälineet (työkalut) Koordinaattieditorin sekä myöhemmin myös järjestelmän testaaminen edellyttää käytettävissä olevaa n. muutaman minuutin pituista MPEG-2-standardin mukaan enkoodattua tiedostoa. Testaussuunnitelma 5
3. Henkilöstö- ja koulutusvaatimukset Testaus suoritetaan pääasiassa kahden testaajan toimesta, projektin päällikkö toimii myös testauspäällikkönä. Alkuvaiheen koordinaattieditorin ja Xlet-sovelluksen testauksessa käytössä ovat projektin omat henkilöresurssit lukuunottamatta käyttöliittymätestausta, jossa on mukana asiakkaan edustaja. Loppuvaiheessa, kun integraatio- ja järjestelmätestejä suoritetaan, on asiakkaan läsnäolo tarpeen, koska testilaboratorio sijaitsee Digita Oy:n tiloissa. Testaussuunnitelma 6
4. Vastuualueet Testauksen yleiseen suunnitteluun ja järjestelyyn osallistuu seuraavat henkilöt. henkilö vastuualueet Ville Vaittinen suunnittelu Ville Vaittinen valmistelu Tapio Nissilä johto Eri osa-alueiden testausryhmät on tarkennettu seuraavasti. 4.1 Sovelluksen testausryhmä (Testiryhmä 1 - koordinaattieditori) Sovelluksen käyttöliittymätestaukseen osallistuu projektiryhmän jäsenten lisäksi asiakkaan edustaja. henkilö Ville Vaittinen Ville Vaittinen Ville Vaittinen Matti Vuorio vastuualueet valmistelu suoritus tarkastus suoritus 4.2 Sovelluksen testausryhmä (Testiryhmä 2 Xlet-sovellus) Sovelluksen käyttöliittymätestaukseen osallistuu projektiryhmän jäsenten lisäksi asiakkaan edustaja. henkilö Ville Vaittinen Ville Vaittinen Oskari Pirttikoski Matti Vuorio vastuualueet valmistelu suoritus tarkastus suoritus 4.3 Integrointi- ja järjestelmätestausryhmä Integrointi- ja järjestelmätestauksessa on mukana sekä asiakkaan edustajia teknisinä tukihenkilöinä, että projektiryhmän teknisiä asiantuntijoita. Testaussuunnitelma 7
henkilö vastuualueet Ville Vaittinen valmistelu Ville Vaittinen suoritus Riku Hurmalainen tekninen tuki Matti Vuorio tekninen tuki Oskari Pirttikoski tarkastus 4.4 Koodikatselmoinnit Koodikatselmointeihin osallistuu sekä ohjelmoijia sekä testauksesta vastuussa olevia. henkilö Riku Hurmala Tapio Nissilä Ville Vaittinen Oskari Pirttikoski vastuualueet koodikatselmointi puheenjohtaja koodikatselmointi koodikatselmointi Testaussuunnitelma 8
5. Vaadittava tulosaineisto Jokaisesta testitapauksesta on tallennettava seuraavat tiedot: 1. Käytössä oleva ohjelmaversio 2. Testin suorituspäivämäärä 3. Testin suorittaja 4. Testin lopputulos 5. Jos testi epäonnistui, selvitys epäonnistumisen syystä riittävin kommentein, jotta se voidaan tuottaa uudelleen 6. Mahdolliset käytetyt syötteet ja vastaavat ohjelman tulosteet Nämä tallennetaan ko. testiryhmän numeroa vastaavaan hakemistoon testitapauksen nimellä. Esim. Testiryhmä yhden ensimmäinen testitapaus seuraavasti testi_ryhma_1/testitapaus_1_syote.txt testi_ryhma_1/testitapaus_1_tuloste.txt jne. Yksittäisten testitapausten kohdalla tästä säännöstä voidaan poiketa. Jokaiselle testiryhmän suorituksen jälkeen kirjoitetaan testiraportti, joka sisältää käytetyn ohjelmaversion, päivämäärän, testien suorittajan, testitapauksien tulokset ja mahdolliset virheet. Tulosaineisto ja testiraportti tallennetaan projektin internetportaaliin sille osoitettuun alihakemistoon. Testaussuunnitelma 9
6. Erikoisominaisuuksia Testejä suorittaessa oletetaan, että alla oleva laitteisto toimii oikein. Tämä pätee erityisesti kun tehdään järjestelmätestausta oikeassa digi-tv-siirtojärjestelmässä. Testaussuunnitelma 10
7. Testauksen tehtäväjärjestys ja testausmenettely 7.1 Tehtäväjärjestys Testiryhmät 1 (Koordinaattorieditori) ja 2 (Xlet-sovellus) voidaan testata samanaikaisesti. Kussakin testiryhmässä olevien testitapauksien suorittamisessa ei tarvitse noudattaa mitään erityistä järjestystä, mutta siirtoprotokollan testaus edellyttää, että oikea digi-tv-laitteisto on käytettävissä. 7.2 Testattavat osat Testiryhmä 1 (Koordinaattorieditori) Testiryhmä 2 (Xlet-sovellus) Testiryhmä 3 (Siirtoprotokolla) 7.3 Testitapausluokat ja virheluokat Testitapaukset jaetaan niiden tärkeyden mukaan luokkiin: A = ydinominaisuus B = normaali A-prioriteetin mukaiset testit ovat järjestelmän ydinominaisuuksia ja siten välttämättömiä koko järjestelmän toiminnalle. B-prioriteetin testit eivät testaa järjestelmän ydinominaisuuksia. Jokainen testitapaus voi päättyä vain kahteen eri tulokseen oikein tai väärin. 7.4 Menetelmät 7.4.1 Ohjelmistovirheiden hallinta Virheiden löytyessä löytäjä kirjaa virheen Burana-järjestelmään. Ohjelmoijien velvollisuus on seurata järjestelmää ja vastata omaan alueensa liittyvistä virheistä. Virheen korjattuaan ohjelmoija ilmoittaa ko. virheen korjatuksi tietyssä ohjelmistoversiossa, jolloin virheen löytäjä suorittaa testitapauksen uudelleen ja ilmoittaa lopputuloksen. Testaussuunnitelma 11
7.5 Rajoitukset Integraatio- ja järjestelmätestaukselle merkittävä rajoitus on pääsy Digita Oy:n tiloihin, jossa testilaboratorio sijaitsee. Pääasiassa testausta voidaan suorittaa vain arkipäivisin klo 8 ja 16 välisenä aikana. Testaussuunnitelma 12
8. Testaustapaukset Testitapaukset on johdettu eri komponenttien toiminnallisista määrittelyistä ja on jaettu seuraaviin alaryhmiin. 1. Koordinaattieditori 2. Xlet-sovellus 3. Siirtoprotokolla Itse testitapaukset on määritelty niiden suuren määrän takia erillisissä dokumenteissa [3], [4] ja [5]. Alla esitetty testitapauksien nimet ryhmittäin. 8.1 Testitapaukset Koordinaattieditori 1. Uuden projektin avaaminen 2. Avaa olemassaoleva projekti 3. Tallenna projekti 4. Lisää objekti 5. Muokkaa objektia 6. Videon siirtäminen aikatasossa 7. Ohjelman esittäminen 8. Poista objekti 9. Muunna projekti digi-tv-protokollan muotoon 10. Tallenna näkymä 11. Objektiluettelon muodostus 8.2 Testitapaukset Xlet-sovellus Testaussuunnitelma 13
1. Objektien havainnointi paikallaan pysyvä objekti 2. Objektien havainnointi liikkuva objekti 3. Objektien aktivointi 8.3 Testitapaukset Siirtoprotokolla 1. Ohjelma-ajan lukeminen 2. Koordinaattidatan lukeminen 3. Lähetysajan nollaus Testaussuunnitelma 14
9. Riskien hallinta Riskienhallinta noudattaa samoja periaatteita kuin projektisuunnitelmassa [1] on määritelty. Alla testauksen kannalta relevantit riskit määriteltynä. Päiväys Riski Kuvaus 15.11.01Testauksen toteuttaminen 15.11.01Aikataulu Tämän hetkisen markkinatilanteen perusteella on mahdollista, ettei projektin aikana ole käytettävissä aitoa järjestelmää testausta varten Riittävää testausta ei saada järjestettyä, koska testaus pitää tehdä Digitan tiloissa virka-aikana Vakav. [1-5] TN Painoarvo [0-5] 4 50 % 2 Selvitä onko simulointi mahdollista 2 30 % 0,6 Testausvastaava suunnitelee testausaikataulun kehittäjien kanssa Digita Oskari Toimenpiteet Vastuuhenkilöt Varasuunnitelma Testataan komponentit erikseen Neuvotellaan mahdollisuudesta testata virka-ajan ulkopuolella 15.11.01digitvvastaanotin Ei saatavilla MHP-standardin toteuttavaa digi-tv-vastaanotinta 4 30 % 1,2 Tutustu Altiemulaattorin mahdollisuuksiin paremmin Digita Testataan Xlet Altiemulatorilla Testaussuunnitelma 15
10. Aikataulu ja työmäärät 10. 1 Vaihe T1 Ensi vaiheessa testattavaksi tulee pääosin testiryhmä 1 (Koordinaattieditorin proto). henkilö tehtävä aika Ville Vaittinen suunnittelu 15 Ville Vaittinen valmistelu 1 Ville Vaittinen suoritus 3 Ville Vaittinen tarkastus 1 10. 2 Vaihe T2 Toisessa vaiheessa testaus keskittyy pääosin editorin jatkokehitysversioihin ja Xletsovelluksen ensimmäisiin versioihin. henkilö tehtävä aika Oskari Pirttikoski valmistelu 2 Ville Vaittinen valmistelu 2 Ville Vaittinen suoritus 15 Oskari Pirttikoski suoritus 5 Ville Vaittinen tarkastus 3 10. 3 Vaihe T3 Kolmannessa vaiheessa testaus keskittyy edelleen editoriin ja Xlet-sovellukseen. henkilö tehtävä aika Oskari Pirttikoski valmistelu 2 Ville Vaittinen valmistelu 2 Ville Vaittinen suoritus 15 Oskari Pirttikoski suoritus 5 Ville Vaittinen tarkastus 3 10. 4 Vaihe T4 Neljännessä vaiheessa perustestauksen lisäksi tehdään koodikatselmointia. henkilö tehtävä aika Ville Vaittinen valmistelu 2 Ville Vaittinen suoritus 15 Ville Vaittinen tarkastus 2 Oskari Pirttikoski koodikatselmointi 3 Tapio Nissilä koodikatselmointi 3 Riku Hurmalainen koodikatselmointi 3 Testaussuunnitelma 16
Viitteet [1] Nissilä Tapio, 31.10.2001, Projektisuunnitelma, Digi-TV-vastaanottimella toteutetut interaktiiviset sovellukset, Teknillinen korkeakoulu, T-76.115 [2] Ståhlberg Mika, 25.10.2001, MHP & Digi-tv termit, Teknillinen korkeakoulu, T-76.115 [3] Vaittinen Ville, 15.11.2001, Testitapaukset Koordinaattieditori, Teknillinen korkeakoulu, T-76.115 [4] Vaittinen Ville, 23.11.2001, Testitapaukset Xlet-sovellus, Teknillinen korkeakoulu, T-76.115 [5] Vaittinen Ville, 10.12.2001, Testitapaukset Siirtoprotokolla, Teknillinen korkeakoulu, T-76.115 Testaussuunnitelma 17