Testiraportti 2. iteraatiosta TeamDC - CoSCA-simulaattorin jatkokehitysprojekti Versio Päiväys Tekijä Kuvaus 0.1 20.2.2006 Santeri Saarinen Muokattu templatesta, aloitettu kirjoittaminen 0.2 20.2.2006 Santeri Saarinen Lisätty testiloki 0.3 21.2.2006 Santeri Saarinen Tulosten yhteenveto 0.4 21.2.2006 Santeri Saarinen Lisätty vertaistestaus 0.5 24.2.2006 Santeri Saarinen Lisätty kattavuuden ja laadun arviot 0.6 25.2.2006 Santeri Saarinen Viimeistely katselmointiin 0.7 26.2.2006 Santeri Saarinen Muutokset katselmoinnin jälkeen 0.8 26.2.2006 Santeri Saarinen ienosäätöä kommenttien perusteella
1. Yhteenveto Tämän dokumentin tarkoitus on antaa kattava kuva ja yhteenveto projektin toisessa iteraatiossa tapahtuneesta testauksesta ja sen tuloksista. Kaikkien testien suorituksesta saa tarkempia tietoja kyseisten testien omasta dokumentaatiosta. Iteraation aikana on suoritettu seuraavia testityyppejä: Systemaattista testausta testitapauksien avulla Käytettävyystestausta ohjelmiston loppukäyttäjien (Kauppakorkeakoulun opiskelijat) toimesta (SEPA-aihe) Tutkivaa testausta vertaisryhmän sekä oman projektiryhmän toimesta JUnit-yksikkötestejä Lähdekoodin staattista analysointia (SEPA-aihe) euristista arviointia yväksymistestausta asiakkaan toimesta Testaamisen suunnitteluun, testaamiseen ja testaamisen tulosten kirjaamiseen on käytetty seuraavia dokumentteja: 1. Vaatimusmäärittelydokumentti, TeamDC_VM 2. Laadunvarmistussuunnitelma, TeamDC QA Plan 3. Tuotteen tekninen spesifikaatio, Cosca technical speficication 4. Tuotteen jatkokehitysdokumentti, Cosca_further_development_guide 5. Testitapaukset ja testiloki, TeamDC Test cases and testlog 6. Tutkivan testauksen avulla toteutetun systeemitestauksen sessiokuvaukset ja lokit (1-4), TeamDC_SystemTestCharter_CX.pdf 7. Vertaistestauksen sessiokuvaukset ja lokit (1-10), TeamDC_PeerTestCharterX_CX_Neptune.pdf 8. Staattinen analysointi, SEPA-päiväkirja, SEPA-49580L-Static_Analysis.pdf 9. Käytettävyystestaus, SEPA-päiväkirja, SEPA(KäytettävyydenArviointi) 10. yväksymistestauksen loki, TeamDC_yväksymistestaus_ja_tavoitteet.xls Kaikki mainitut dokumentit ovat saatavilla ryhmän www-sivuilla osoitteessa: http://users.tkk.fi/~kylihars/swproject/ 2. Testaukseen tehdyt muutokset iteraation aikana Kaikki suunnitellut testit pystyttiin suorittamaan iteraation aikana, mutta joitakin muutoksia jouduttiin tekemään testauksen aikataulun sekä testattavien ominaisuuksien osalta. Seuraavassa luetellaan kaikki testeihin testaussuunnitelman jälkeen tehdyt muutokset ja niiden syyt. 2.1 Yksikkötestaus Yksikkötestausta suoritettiin suunniteltua rajoitetummin, lähinnä facade-luokissa tehtyjen muutosten yhteydessä.tämä johtui suurelta osin toisen iteraation painotuksesta käyttöliittymän kehitykseen, johon yksikkötestit eivät sopinee kovin hyvin. Muutoksella ei ollut suurta vaikutusta ohjelmiston laatuun, sillä yksikkötestausta on muutenkin projektin aikana käytetty rajoitetusti.
2.2 S1-testaus S1-testauksessa voitiin ajaa vain edellistä iteraatiota koskevat testit, koska toisen iteraation ensimmäisessä syklissä toteutettua toiminnallisuutta ei voitu vielä käyttää käyttöliittymän kautta. Testaus päätettiin kuitenkin suorittaa aikataulun mukaan ja suunniteltuja testejä pystyttiin ajamaan myöhemmissä vaiheissa. Testauksen rajoitus viivästytti bugien löytämistä ja korjaamista. 2.3 S2-testaus S2-testauksessa ei pystytty ajamaan kaikkea toisessa syklissä toteutettavaksi suunniteltua toiminnallisuutta, sillä suuri osa esimerkiksi puunäkymän kautta suoritetusta simulaatioajon muokkaamisesta myöhästyi aikataulustaan, mikä puolestaan johtui graafinäkymän luomisen aloituksesta ennen puunäkymän tekemistä loppuun. Testaus päätettiin kuitenkin suorittaa aikataulun mukaisesti ja osa uudesta toiminnallisuudesta voitiin testata. Testauksen rajoitus viivästytti bugien löytämistä ja korjaamista. 2.4 Systeemitestaus Alkuperäisen suunnitelman mukaan systeemitestaus piti suorittaa muutamia päiviä ennen vertaistestauksen alkua, jotta vertaistestausryhmälle voitaisiin toimittaa ohjelman versio, josta systeemitestauksessa löydetyt bugit olisi korjattu. Koska ohjelmisto oli valmis testaukseen samana päivänä kun vertaistestauksen piti alkaa, päätettiin systeemitestaus ja vertaistestaus tehdä samalla ohjelmistoversiolla. 2.5 Vertaistestaus Vertaistestaus alkoi suunnitelmien mukaisesti. Ainoa muutos oli, että ohjelmaversiota ei ehditty kokonaan systeemitestaamaan ennen vertaistestauksen alkua, joten käytetty ohjelma versio oli sama kuin systeemitestauksessa. Tästä ei kuitenkaan ollut haittaa vertaistestauksen onnistumisen kannalta, sillä systeemitetauksessa löydetyt bugit eivät estäneet testausta ja vertaisryhmä löysi suurelta osin eri bugeja, kuin oma ryhmä systeemitestauksessa. 2.6 Käytettävyystesti Erillistä käytettävyystestausta ei oltu suunniteltu 2. iteraatioon alunperin, mutta sellainen päätettiin järjestää 9. - 13.2., koska käyttäjälähtöinen näkökulma on ollut projektissa keskeisessä roolissa ja käyttäjien palautetta järjestelmästä pidettiin erittäin tärkeänä.
3. Kattavuuden arviointi Testauksen muutoksista ja testaukseen käytetyn ajan rajallisuudesta huolimatta ohjelmisto on pystytty testaamaan kaikkien vaadittujen ominaisuuksien osalta. Seuraavassa taulukossa on lueteltu ohjelmiston komponentit vaatimustenmäärittelydokumentista löytyvien vaatimusten mukaisesti. Testien kattavuus on arvioitu asteikolla 1-3, jossa 1 tarkoittaa hyvin pinnallista testausta, 2 tarkoittaa kattavaa ja kaikki ominaisuudet läpikäyvää testausta ja 3 erittäin kattavaa, kaikki ominaisuudet läpikäyvää ja eri tavoin toistettavaa testausta. On huomattava, ettei testauksen tavoitteisiin kuulunut simulaattorin laskemien tuloksien oikeellisuus, eikä sitä siis testattu. Vaatimus Systeemin määrittäminen Työvirran ominaisuuksien määrittäminen, kustannusten määrittäminen ja päätössääntöjen valinta Testien kattavuus Perustelu 3 2 Tulosten tarkastelu 2 Simulaation ajaminen Ei-toiminnalliset vaatimukset (käytettävyys ja jatkokehitettävyys) 3 3 Systeemin määrittämistä wizardin avulla on testattu toisen iteraation alusta saakka ja systeemin määrittelyjä puunäkymän kautta on testattu kattavasti systeemitestauksen alusta lähtien. Näitä ominaisuuksia ei ehditty testata niin kattavasti kuin oli suunniteltu, koska ominaisuuksien valmistuminen viivästyi hieman aikataulusta. Tulosten tarkastelua pystyttiin testaamaan osittain iteraation alusta saakka, mutta tulosten vienti pois ohjelmasta sekä muutamat muut bugit rajoittivat testausta aina hyväksymistestauksen alkuun saakka. Simulaatiota on ajettu iteraation alusta saakka lähes kaikissa testityypeissä käytettävyystestaus mukaan lukien. Suunniteltujen testien lisäksi simulaatioita on ollut pakko ajaa myös ohjelmiston kehitystyön yhteydessä. Näitä ominaisuuksia on testattu järjestelmällisesti koko projektin ajan staattisen analysoinnin, käytettävyystestien sekä heuristisen arvion avulla.
4. Tulosten yhteenveto Seuraavassa käydään läpi 2. iteraation kaikkien testien tulokset. Lista testauksessa löydetyistä bugeista löytyy iteraation testilokista (LIITE B) ja tarkempi kuvaus kaikista bugeista löytyy bugilistasta (LIITE A). 7 bugia 22:sta löydettiin lueteltujen testien ulkopuolella. Yksityiskohtaisemmat tiedot testien tuloksista löytyvät 1. luvussa luetelluista dokumenteista. Suoritetut testitapaukset jaetaan epäonnistuneihin (failed) ja hyväksyttyihin (passed). 4.1 S1-testaus S1-testauksessa voitiin suorittaa vain osa suunnitelluista testitapauksista. Testauksessa ei löytynyt uusia bugeja ja yksi epäonnistunut testitapaus johtui jo aiemmin tietoon tulleesta bugista. Testaus oli kuitenkin hyödyllinen, koska sillä voitiin varmistua 1. iteraatiossa toteutettujen ominaisuuksien toimivuudesta. 4.2 S2-testaus S2-testauksessa ei pystytty suorittamaan kaikkia suunniteltuja testitapauksia, mutta nyt pystyttiin kuitenkin suorittamaan yhteensä 17 testitapausta, joista 5 testasi uusia ominaisuuksia. Uusia bugeja ei löytynyt, mutta 2 testiä epäonnistui tunnettujen bugien vuoksi. 4.3 Systeemitestaus Systeemitestaus suoritettiin aikataulustaan hiukan jäljessä sekä testitapausten, että tutkivan testauksen avulla. Kumpaakin testimenetelmää käytettiin samaan aikaan, jotta saataisiin kuva testimenetelmien tehosta sekä lisättyä testauksen tehoa. Testauksessa suoritettiin kaikki suunnitellut testitapaukset ja tutkivan testauksen sessiokuvaukset siten, ettei kukaan ryhmän jäsenistä testannut itse luomaansa toiminnallisuutta. Bugeja löytyi 15, joista testitapauksien avulla 7, tutkivalla testauksella 3 ja kummallakin menetelmällä 5 samaa bugia. Testitapauksista suoritettiin hyväksytysti 17/26. 4.4 Vertaistestaus Vertaistestaus suoritettiin suunnitellusti ja vertaisryhmä käytti 10 tuntia aikaa sen suorittamiseen. Vertaistestauksessa löydettiin 10 bugia, joista neljää ei oltu löydetty aiemmin muissa testeissä. Tämän lisäksi vertaisryhmältä saatiin palautetta simulaattorin käytettävyyden parantamiseksi entisestään. 4.5 euristinen arvio euristiseen arviointiin osallistui yksi henkilö ja aikaa käytettiin 3 tuntia. Arviointi tehtiin systeemitestauksen jälkeen ja arvioinnin kohteena oli korjattu versio. Kokonaisuutena arvioiden arvioinnista oli hyötyä yleisilmeen parantamisessa ja menetelmällä löydettiin asioita, joita muulla testauksella ei olisi löydetty. Selkeitä bugeja ei löytynyt arvion yhteydessä, mutta joitakin havaittuja parannusehdotuksia on koottu tuotteen jatkokehitysehdotuksiin.
4.6 Käytettävyystestaus Käytettävyystestauksen suoritti 20 Kauppakorkean opiskelijaa, joista kukin käytti testaukseen n. 15 minuuttia, eli yhteensä testaukseen käytettiin n. 5 tuntia. Testissä ohjelmiston asentaminen ja simulaatioajojen ajaminen todettiin helpoiksi, mutta tulosten tarkastelu todettiin melko hankalaksi. Kaikki testin osa-alueet kuitenkin alittivat ennalta määrätyn alimman hyväksytyn tason ja testi voitiin todeta hyväksytyksi. Testissä löydettiin myös testaajien toimesta yksi bugi (#23), mutta tällä ei ollut vaikutusta testin kulkuun tai tuloksiin käytettävyyden kannalta. 4.7 Staattinen analyysi Lähdekoodin staattista analysointia suoritettiin viikoittain maanantaisin ja testien tuloksista raportoitiin ryhmän coding campissa keskiviikkoisin. Iteraation aikana todettiin muutamia vakavia ongelmia staattisen analyysin raja-arvojen osalta, lähinnä liittyen joidenkin luokkien kokoon ja kompleksisuuteen. Suurimman ongelman aiheutti ResultsReportPanel-luokka, johon oli koottu kaikki simulaation tulosten ilmoittaminen käyttäjälle. Tämä luokka jaettiin systeemitestauksen jälkeen 4 osaan, minkä jälkeen raja-arvojen ylitykset olivat marginaalisia. Raja-arvojen ylityksiin ei puututtu, jos niiden todettiin olevan merkityksettömän pieniä, johtuvan staattisen laskennan "sokeudesta" tiettyjen arvojen suhteen (esim. perintähierarkian pituus oli oletusarvoisesti säädetty maksimissaan viiteen, joka ylittyy oletusarvoisesti monella Javan luokalla) tai jos niistä ei todettu olevan haittaa ohjelmiston jatkokehitykselle. 4.8 yväksymistestaus yväksymistestauksen suorittivat projektin tekninen ohjaaja Lauri Svan ja asiakas Katariina Kemppainen. Testaajat olivat pääosin tyytyväisiä tuotteeseen ja sen todettiin toteuttavan kaikki ohjelmistolle asetetut vaatimukset hyväksytysti. Testauksen yhteydessä raportoitiin 10 bugia, jotka eivät kuitenkaan estäneet testausta tai olleet vakavia. Kahta mainituista bugeista ei pystytty toistamaan ja jätettiin projektin lopussa avoimiksi.
4.9 Löydetyt bugit Pääosa bugeista löytyi simulaattorin käyttöliittymästä ja bugien vakavuus painottui Major- ja Minor-luokkiin. Iteraation aikana löydettiin 2 blocker-bugia, mutta ne pystyttiin korjaamaan nopeasti, kuten kaikki muutkin iteraation aikana löydetyt bugit. Yhdenkää bugin korjaaminen ei vaatinut suurien muutoksien tekemistä ohjelmistoon. Kahta avoimeksi jäänyttä bugia ei pystytty toistamaan ja ne jätettiin avoimiksi. Avoimet bugit kuuluvat vakavuudeltaan minor-luokkaan ja niistä kerrotaan simulaattorin jatkokehitysdokumentissa [4]. Kaikki bugit on lueteltu yksityiskohtaisemmin liitteessä A. Taulukko 1: Yhteenveto löydetyistä bugeista Blocker Major Minor Enhancement YTEENSÄ Facade-luokat 5 1 6 1 6 14 8 29 CoSCA Simulaattori 1 1 YTEENSÄ 2 11 15 8 36 5. Arvio laadusta Projektin laatutavoitteiksi on määritelty tuotteen laadunvarmistussuunnitelmassa käytettävyys, jatkokehitettävyys sekä virheetön toiminta. Näistä käytettävyys ja jatkokehitettävyys ovat eitoiminnallisia ominaisuuksia ja virheetön toiminta toiminnallinen ominaisuus. Ei-toiminnalliset vaatimukset on lueteltu tarkemmin vaatimustenmäärittelydokumentin[1] 8. luvussa. Ohjelman virheetöntä toimintaa on testattu suoraan yksikkötestien, systemaattisen testauksen ja tutkivan testauksen avulla. Näiden lisäksi ohjelman virheetöntä toimintaa on testattu epäsuorasti käytettävyystestauksessa, hyväksymistestauksessa ja testaustoiminnan ulkopuolella ohjelmistoa kehitettäessä. Testauksen aikana simulaatiosta on löytynyt useita bugeja, mutta ne on pystytty korjaamaan nopeasti löytämisensä jälkeen. Koska tuotteen toiminnallisuutta on testattu monen eri tahon toimesta ja erilaisia testityyppejä hyväksikäyttäen, eikä tuotteesta ole löytynyt viimeisissä testeissä uusia vakavia bugeja, voidaan tuotteen toiminnallisuuden katsoa olevan laadultaan hyvää. Käytettävyyden testaamiseen on käytetty erityisiä käytettävyystestejä ja heuristista arviota projektin aikana. Ohjelmisto on läpäissyt kaikki käytettävyyden testit ja testien tavoitteet on kunkin testin osalta saavutettu. Näiden lisäksi vertaistestauksessa ja hyväksymistestauksessa löytyi ohjelmiston käytettävyyden kannalta ainoastaan pieniä huomautettavia asioita. Näiden johdosta ohjelmiston käytettävyyden voidaan todeta olevan laadultaan hyvää. Jatkokehitettävyyttä on pystytty testaamaan staattisen analyysin avulla, jonka mukaan ohjelmisto on laadultaan pääosin hyvää. Tämän lisäksi ohjelmoitaessa on noudatettu Sunin Javan koodauskäytäntöä, lähdekoodi on kommentoitu javadocin avulla ja koko tuotteen arkkitehtuuri on suunniteltu olio-ohjelmoinnin käytännön mukaan modulaariseksi. Näiden lisäksi tuotteen jatkokehitettävyyttä tukee ohjelmiston tekninen spesifikaatio-dokumentti [3], jossa ohjelmiston rakennetta selvitetään jatkokehitettävyyttä silmälläpitäen. Tekninen ohjaaja on katselmoinut dokumentin toisen iteraation lopussa ja javadoc-dokumentaatiota on parannettu asiakkaan
palautteen mukaisesti. Myös kaikki palautettavat dokumentit on katselmoitu ryhmän katselmointikäytännön mukaisesti. Näiden vuoksi myös tuotteen jatkokehitettävyyttä voidaan pitää hyvänä. Liite A: 2. iteraation aikana löydetyt bugit Mahdolliset bugien löytötavat ovat: systemaattinen testaus (S), tutkiva testaus (T), käytettävyystestaus (K), vertaistestaus (V) ja hyväksymistestaus (). Jos bugi on löydetty tavallisen testauksen ulkopuolella, merkitään (-). Bugeja #32 ja #37 ei olla laskettu mukaan bugitilastoihin. Taulukko 2: Kuvaus löydetyistä bugeista ID Vakavuus Sijainti Kuvaus Korjaus Löytötapa 16 major Facade Pullonkaularesurssi ei päivity raportissa - 17 major 18 blocker Old Cosca 19 major 20 major Facade 21 major Facade Softa kaatuu OutOfMemory -virheeseen (Java heap space) Results don't differ if decision rules are changed Jos Wizard suljetaan ruksista, ei varsinaisen ohjelmaikkunan lukitus poistu "Back to start" causes ArrayIndexOutOfBoundsException Job shopin ajaminen aiheuttaa IllegalArgumentExceptionin - - - - - 22 minor Facade Back to start ei tallenna kuin kerran - 23 major Facade Exception simulaatiota ajettaessa K 24 enhancement 25 minor 26 major 27 major 28 blocker 29 enhancement 30 major Contents nappula ei toimi heti helpin avaamisen jälkeen "Run Whole Simulation" ei aina aja koko simulaatiota Simulaatiopuun sääntölistaus ei noudata käyttäjän simulaatiota koko ajoa S S S+V "Export results" ei tuota järkeviä tuloksia T+S+V Tallennetun simulaation lataus ei onnistu "closed"-tilassa Simulaation tallennuksessa ei varmistuskysymystä Wizard-ikkuna aina päällimmäisenä (vaikka vaihtaisi ohjelmasta toiseenkin) S+V S T+S+V
31 major Facade 32 - Facade 33 minor 34 enhancement 35 minor 36 minor 37 - Facade 38 minor 39 enhancement 40 minor 41 minor 42 enhancement 43 major 44 minor 45 enhancement 46 minor 47 enhancement 48 minor Komposiittiresurssin lisääminen aiheuttaa Exceptionin Muutokset työvirtaan ja kustannusrakenteeseen eivät päivity Graafi laskee mukaan simulaatioajon stabilointiviikon "open wizard at startup"-napin käytettävyydessä ongelmia Nimenmuutokset kenttiin "simulation" "system" ja "product" eivät päivity Simulaatiotyypin muuttaminen kesken simulaation heittää Exceptionin Tekstimuotoisen raportin exportointi ei onnistu Ei bugi, (ks. bug #39) Duplikaatti bugista #27 Workflow-paneliin jää virheellinen summa T Numeroarvojen syöttämisessä puuhun käytettävyysongelma Ohjeissa puhutaan "weekpanelista", simulaattorissa "periodical results" Periodical results-välilehteen jää laitteen vanha nimi "average utilization" kuvaajan pitäisi kuvata prosenttiarvoja, mutta y-akselilla luvut 0.00-1.00 Jos asettaa kaikki kulut arvoon 0, graph heittää Exceptionin ko. graafeissa "Back to start"-nappi palauttaa alkuperäisen ikkunan koon Epäselviä näppäinoikoteitä Resurssia poistettaessa seuraava resurssi tulee valituksi, mutta editointi-ikkuna on edelleen disabloitu Venytellessä Periodical Results -ikkunaa yläoikeaan ikkunaan saa näkyvile oikeaan laitaan kaksi scroll baria Pikanäppäimellä F5 ajaessa varsinainen käyli ei päivittynyt dialogin alta T+S S T+V T+S T T+S - S+V V V V V Ei pystytty toistamaan Ei pystytty toistamaan
49 minor 50 minor 51 enhancement 52 minor 53 minor Systeemin nimen muuttaminen ei päivity systeeminäkymään Apply Changes -nappi ei päivitä utilization ratea Eräät terminologiat hämääviä Eri osien skaalautumisen kanssa on vähän ongelmia Graafin tallennus tallentaa graafin siinä tilassa kuin on Liite B: 2. iteraation testiloki Tähän taulukkoon on koottu loki kaikesta toisessa iteraatiossa suoritetusta testauksesta. Testityyppikohtaisia yksityiskohtaisempia testilokeja löytyy 1. luvussa luetelluista dokumenteista. Testitapahtuma Päivä Staattinen analyysi Viikoittain S1-testaus 31.1.2006 Käytettävyystestaus 9.2-13.2.2006 S2-testaus 15.2.2006 Systeemitestaus testitapauksien avulla Systeemitestaus tutkivan testauksen avulla 19.2.2006 19.2.2006 Vertaistestaus 21.2.2006 Testiympäristö ja versio Eclipse, Windows XP, cvs Eclipse, Windows XP, cvs Windows, käytettävyystestauksen Eclipse, Windows XP, cvs Windows XP, systeemitestauksen Windows XP, systeemitestauksen Windows XP, systeemitestauksen Ajetut testit Testaaja Santeri 9 testitapausta Santeri Testitehtävät ja vapaa käyttö Elina, KKK:n opiskelijoita (21 kpl) 17 testitapausta Santeri 26 testitapausta Tutkivan testauksen sessiokuvaukset 1-4 Tutkivan testauksen Vesa ja Samuel Kari ja Aleksi Neptuneryhmä Testin tulos yväksytty yväksytty, 8/9 testitapausta läpäisty yväksytty #23 yväksytty, 15/17 testitapausta läpäisty yväksytty, 17/26 testitapausta läpäisty. yväksytty yväksytty Löydetyt bugit #24, #25, #26, #27, #28, #29, #30, #31, #32, #34, #36, #39 #27, #30, #31, #33, #34, #35, #36, #38 #26, #27, #28, #30,
euristinen arvio 22.2.2006 yväksymistestaus 23.2.2006 Windows XP, hyväksymistestauksen Windows XP, hyväksymistestauksen sessiokuvaukset 1-5 Projektin vaatimukset taulukoituna Aleksi Katariina Kemppainen ja Lauri Svan yväksytty #33, #39, #40, #41, #42, #43 yväksytty #44 - #53