HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS OHJELMISTOTUOTANTOPROJEKTI HABA Testausdokumentti. Ahti Kare. Riina Henriksson.

Samankaltaiset tiedostot
Testausdokumentti. Kivireki. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Convergence of messaging

Testaussuunnitelma. Ohjelmistotuotantoprojekti Nero. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Testaussuunnitelma. Koskelo. Helsinki Ohjelmistotuotantoprojekti. HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Testaussuunnitelma PULSU. Syksy 2008 Ohjelmistotuotantoprojekti. HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Testausraportti. Oppimistavoitteiden hallintajärjestelmä harri

Lohtu-projekti. Testaussuunnitelma

Testaussuunnitelma Labra

Ohjelmistotuotantoprojekti

Ohjelmiston testaus ja laatu. Ohjelmistotekniikka elinkaarimallit

HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS OHJELMISTOTUOTANTOPROJEKTI HABA Vaatimusmäärittelydokumentti

Testausraportti. Orava. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Testaussuunnitelma. PUSU-ryhmä. Helsinki Ohjelmistotuotantoprojekti. HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Ohjelmiston testaussuunnitelma

Testaussuunnitelma. Asdf. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS OHJELMISTOTUOTANTOPROJEKTI HABA Vaatimusmäärittelydokumentti

Kontrollipolkujen määrä

Määrittelydokumentti NJC2. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Testaussuunnitelma. Karstula. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS OHJELMISTOTUOTANTOPROJEKTI HABA Vaatimusdokumentti. versio 0.7

UCOT-Sovellusprojekti. Testausraportti

Ohjelmistojen mallintaminen. Luento 11, 7.12.

SEPA diary. Dokumentti: SEPA_diary_PK_HS.doc Päiväys: Projekti: AgileElephant Versio: V0.3

Ohjelmiston testaus ja laatu. Testaustasot

T Testiraportti - järjestelmätestaus

Tik Tietojenkäsittelyopin ohjelmatyö Tietotekniikan osasto Teknillinen korkeakoulu. LiKe Liiketoiminnan kehityksen tukiprojekti

58160 Ohjelmoinnin harjoitustyö

Ylläpitodokumentti. Boa Open Access. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

TESTIRAPORTTI - VYM JA KANTA Virtuaaliyhteisöjen muodostaminen Versio 1.0

Käyttäjien tunnistaminen ja käyttöoikeuksien hallinta hajautetussa ympäristössä

Testausdokumentti. Sivu: 1 / 10. Ohjelmistotuotantoprojekti Sheeple Helsingin yliopisto. Versiohistoria

Automaattinen yksikkötestaus

Testaussuunnitelma. Ohjelmistotuotantoprojektin tietojärjestelmä OhtuTie

Testaussuunnitelma. Opeapuri. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Testaussuunnitelma. Pizzeria - Pitseria HAAGA-HELIA ammattikorkeakoulu Tietojenkäsittelyn koulutusohjelma. WebPizza

Kuopio Testausraportti Kalenterimoduulin integraatio

T Tietojenkäsittelyopin ohjelmatyö. Testiraportti, vaihe T1. Tietokonegrafiikka-algoritmien visualisointi. Testiraportti, vaihe T1

Testaussuunnitelma. Ohjelmistotuotantoprojekti XPerf. Helsingin yliopisto. Tietojenkäsittelytieteen laitos

Testaussuunnitelma. Oppimistavoitteiden hallintajärjestelmä harri

T Testiraportti - integraatiotestaus

Opponointitestaus VYM -> LiKe

Projektisuunnitelma. KotKot. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

COTOOL dokumentaatio Testausdokumentit

dokumentin aihe Dokumentti: Testausraportti_I1.doc Päiväys: Projekti : AgileElephant

Testaussuunnitelma. HenTyLi. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Hirviö Laadunvarmistussuunnitelma

T Tietojenkäsittelyopin ohjelmatyö. Testiraportti, vaihe LU. Tietokonegrafiikka-algoritmien visualisointi. Testiraportti, vaihe T3

Laadunvarmistustekniikat

Ohjelmisto on selainpohjaisen käyttöliittymän tarjoava tietokantajärjestelmä merikotkien seurantaan WWF:n Merikotka-työryhmän tarpeisiin.

Kuopio Testausraportti Asiakkaat-osakokonaisuus

Yksikkötestaus. import org.junit.test; public class LaskinTest public void testlaskimenluonti() { Laskin laskin = new Laskin(); } }

Versio Päiväys Tekijä Kuvaus Tikkanen varsinainen versio

Käyttöohje. Versiohistoria: versio Mari Kommenttien perusteella korjattu versio

Good Minton QA Raportti Iteraatio 1 Sulkapalloliiton Kilpailujärjestelmä

Ohjelmistotuotanto s

ELM GROUP 04. Teemu Laakso Henrik Talarmo

Yksikkötestaus. Kattava testaus. Moduulitestaus. Ohjelman testaus. yksikkotestaus/ Seija Lahtinen

Hirviö Laadunvarmistussuunnitelma

Ylläpitodokumentti Mooan

Lohtu-projekti. Testiraportti. Versiohistoria: syklin toteutuksen testit. 1. ajo Virve

SEPA diary. Dokumentti: SEPA_diary_PK_HS.doc Päiväys: Projekti: AgileElephant

CoMa - Testausdokumentti

Esityksen sisältö Määrittelyjen mukaisuudesta varmistuminen - PlugIT-leima

TESTIRAPORTTI - XMLREADER LUOKKA Virtuaaliyhteisöjen muodostaminen Versio 1.0

Analyysi, dynaaminen mallintaminen, yhteistoimintakaavio ja sekvenssikaavio

HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS OHJELMISTOTUOTANTOPROJEKTI HABA Projektisuunnitelma versio 0.1

Hirviö Järjestelmätestauksen testitapaukset ja suoritusloki I1

Testaaminen ohjelmiston kehitysprosessin aikana

Käyttötapausanalyysi ja testaus tsoft

TESTIRAPORTTI - XMLREADER-LUOKKA Virtuaaliyhteisöjen muodostaminen Versio 1.0 (luonnos 2)

Ylläpitodokumentti. Ohjelmistotuotantoprojektin tietojärjestelmä OhtuTie

erasmartcard-kortinlukijaohjelmiston käyttöohje

Analyysi, dynaaminen mallintaminen, yhteistoimintakaavio ja sekvenssikaavio

Test-Driven Development

Graafinen käyttöliittymä lintujen rengastusjärjestelmään

1 Kirjautuminen ja Käyttöliittymä Kirjautuminen Käyttöliittymä Uuden varauksen tekeminen Normaali varaus...

Versiohistoria: Versio Päivämäärä Kuvaus Tekijä Virallinen versio Janne Piippo

T Projektikatselmus

Määrittelydokumentti: Kansallinen palveluväylä - integraatio

TESTIRAPORTTI - JÄRJESTELMÄ, ADMIN Virtuaaliyhteisöjen muodostaminen Versio 1.0

Ohjeistus pöytäkirjan käyttöön. Suomen Lentopalloliitto ry

TIE Ohjelmistojen testaus 2015 Harjoitustyö Vaiheet 1 ja 2. Antti Jääskeläinen Matti Vuori

Ohjelmien testaustyökalut

Testaus käsite. Sekalaista testausasiaa. Testauksen käsitteestä. Kattavuusmitat. Jos ajatellaan, että testaus = V&V, voidaan erottaa:

TOIMINNALLINEN MÄÄRITTELY MS

Määrittelyvaihe. Projektinhallinta

BlueJ ohjelman pitäisi löytyä Development valikon alta mikroluokkien koneista. Muissa koneissa BlueJ voi löytyä esim. omana ikonina työpöydältä

Yhteenvetodokumentti. PLAYOFF Jari Anttila Sanna Fröblom Aarno Sandvik Tommi Paavilainen Miikka Kohijoki. Päivi Pääkkö, ohjaaja

Tämän lisäksi listataan ranskalaisin viivoin järjestelmän tarjoama toiminnallisuus:

Ohjelmoinnin perusteet Y Python

LAATURAPORTTI Iteraatio 1

HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS OHJELMISTOTUOTANTOPROJEKTI HABA Projektisuunnitelma

Test-Driven Development

Aineistosiirron testauksen aloituksen ohje Trafin sopimuskumppaneille

Fingridin säätösähkötarjousohje. Vaksin käyttöohjeet

Subversion-ohje. Linux Traffic Control-käyttöliittymä Ryhmä paketti2

OP Tunnistuksen välityspalvelu

Laadunvarmistuksen suunnitelma. Ryhmä ExtraTerrestriaLs Aureolis Oy

Hirviö Testausraportti I2

Transkriptio:

HELSINGIN YLIOPISTO TIETOJENKÄSITTELYTIETEEN LAITOS OHJELMISTOTUOTANTOPROJEKTI HABA 2004 Testausdokumentti Ahti Kare Riina Henriksson Marko Lähde Antti Mäki Mika Stenberg Teemu Virtanen

Versiohistoria Versio Päivämäärä Kommentit/muutokset Tekijä 0.1 10.11.2004 Testaussuunnitelma Ahti 0.2 11.11.2004 Ulkoasu päivitetty sekä teksti käyty läpi Marko 0.3 24.11.2004 Tekstiä korjattu ja lisätty Jannen testiaineisto Ahti 0.4 8.12.2004 Päivitetty dokumenttia hyväksymistestauksen osalta Ahti 0.5 15.12.2004 Lisätty integraatio ja järjestelmätestauksen tulokset Riina 0.6 16.12.2004 Lisätty testausprosessi luku Riina 1.0 17.12.2004 Lisätty katselmointien tiedot ja oikoluettu Marko

Sisältö Johdanto...1 Testaussuunnitelma...1 Katselmoinnit...2 Testiympäristö...2 Yksikkötestaus...2 Metodien testaus...3 Integrointitestaus...3 Järjestelmätestaus...3 Hyväksymistestaus...3 Testiaineisto...4 Testausprosessi...8 Katselmoinnit...8 Yksikkö testaus...8 Integraatiotestaus...9 Hyväksymistestaus...11 Liitteet...13

Johdanto Tässä testausdokumentissa kuvataan Tietojenkäsittelytieteen laitoksen HABA 2004 ohjelmistotuotantoprojektin toteuttaman liiketoimintaverkostojen hallintapaneelin testaussuunnitelma sekä dokumentoidaan tehdyt testit. Testausdokumentissa kuvataan kaikki ohjelmiston oikean toiminnan varmistamisessa käytetyt menetelmät, niin testit kuin muutkin. Testaamisen lisäksi virheitä pyritään löytämään katselmoinneilla. Tehtyjen testien yhteydessä kuvataan käytetyt testitapaukset, niiden testiaineisto ja testien tulokset. Mahdolliset jäljelle jääneet virheet, jotka ovat mahdottomia korjata projektin puitteissa, dokumentoidaan ja niihin esitetään korjausehdotukset Testaussuunnitelma Testaukselle varataan projektista aikaa viisi viikkoa, jonka aikana suoritetaan myös projektin toteutus. Testauksen tavoitteena on havaita ja korjata tuotettavasta ohjelmistosta mahdollisimman monta virhettä, niin että luovutettava ohjelmisto olisi mahdollisimman virheetön. Testaus jaetaan projektissa neljään vaiheeseen: yksikkö-, integraatio-, järjestelmä- ja hyväksymistestaukseen. Yksikkötestauksessa luokat testataan lausekattavasti yksittäisinä erossa muista luokista. Integraatiotestauksessa testataan luokkien yhteistoimintaa ja pyritään varmistamaan, että yhteiset rajapinnat toimivat ja luokat käyttävät niitä oikein. Järjestelmätestauksessa varmistetaan, että järjestelmä toimii määrittelyn mukaisesti. Tässä vaiheessa testataan järjestelmää kokonaisuutena ja käytetään hyväksi määrittelyvaiheessa tehtyjä käyttötapauksia ja muita järjestelmälle asetettuja vaatimuksia. Kaikissa edellisissä vaiheissa pyritään testiaineisto jakamaan ekvivalenssiluokkiin, jottei testattavien tapausten määrä paisu hallitsemattoman suureksi. Viimeisenä vaiheessa, järjestelmän hyväksymistestauksessa, tutkitaan järjestelmän toimintaa simuloiduilla käyttäjillä tai yhdessä asiakkaan kanssa, jotta voidaan arvioida miten järjestelmä käyttäytyy, kun se otetaan käyttöön. Mahdolliset puutteet dokumentoidaan asiakkaalle. 1

Testitapauksista dokumentoidaan niiden kuvaus, tavoite, syötteet sekä tulokset. Dokumenttiin liitetään testiluokat ja aineisto, mihin viitataan testien yhteydessä. Yksikkötestit ja osa integraatiotesteistä tehdään lasilaatikko (White-box) -testauksena, jossa testataan ohjelmakoodin toimivuutta. Loput integraatiotestauksesta ja järjestelmätestaus tehdään musta laatikko (Black-box) -testauksena, jossa järjestelmälle, tai sen osalle, annetaan syötteitä ja tarkastellaan saatuja tuloksia. Katselmoinnit Ohjelman oikeellisuuden varmistamisessa ja virheiden etsinnässä hyödynnetään myös ohjelmakoodin katselmointeja. Niitä pyritään järjestämään systemaattisesti koko toteutusvaiheen ajan. Tavoitteena on katselmoida kaikki tärkeimmät luokat. Löydetyt virheet kirjataan testiraportin liitteisiin. Testiympäristö Toteutettavan ohjelmistotuotantoprojektityön, liiketoimintaverkostojen hallintapaneelin, toimivuus testataan Internet Explorer 6.0 ja Mozilla 1.5 selaimilla järjestelmä- ja hyväksymistestauksessa. Järjestelmää ajetaan testauksen aikana Tietojenkäsittelytieteen laitoksen Apache Tomcat - sovelluspalvelimessa. Yksikkö- ja integraatiotestaus tehdään Eclipse 3.0 kehitysympäristössä, siihen integroidun JUnittestiympäristön avulla. Kaikki lähdekoodi, niin luokkien kuin testien, talletetaan ryhmän yhteiseen kotihakemistoon CVS-järjestelmän avulla. Yksikkötestaus Yleisesti yksikkö- ja integraatiotestaus ovat yksittäisten ohjelmoijien vastuulla. Jokainen ohjelmoija testaa kirjoittamansa luokat tarvittavassa laajuudessa koodauksen yhteydessä. Jokaiselle luokalle kirjoitetaan sitä vastaava testiluokka, joka testaa luokan metodeita eri syötteillä. Testattavat luokat pyritään testaamaan yksittäisinä kokonaisuuksina niin pitkälti kuin se on mahdollista, jotta muut luokat eivät vaikuta testien tuloksiin. Joitain monimutkaisimpia luokkia testataan laajemmin. Luokasta ja niiden testit esitellään tässä dokumentissa. Kaikesta testauksesta pidetään keskitetysti kirjaa. 2

Metodien testaus Luokkien yksikkötestauksessa jokainen metodi testataan erikseen. Metodista käydään läpi kaikki kirjoitettu koodi sekä testataan silmukoiden toimivuus ja erityisesti silmukoiden toimiminen niiden rajoilla. Metodien rajapinnoista testataan parametrien tarpeellisuus, tyyppi ja arvojoukko sekä metodien alku- ja loppuehdot. Lisäksi metodeita testataan syötteiden raja-arvoilla sekä täysin virheellisillä syötteillä. Mikäli metodilla on sisäisiä tietorakenteita myös ne testataan erikseen tarpeen vaatiessa. Integrointitestaus Oliopohjainen integrointi on luonnollista tehdä alhaalta ylöspäin eli oliot integroidaan komponenteiksi, komponentit osajärjestelmiksi ja osajärjestelmät koko järjestelmäksi. Jokainen vaihe on oma testausvaiheensa. Integrointi testaus on rajapintojen testausta. Testattavia asioita ovat parametrien lukumäärä kutsuissa, tyyppien ja arvojoukkojen yhteensopivuus kutsujan ja palvelun tarjoajan välillä, alku- ja loppuehdot. Jos luokka A käyttää luokan B palveluita luokan B toteuttaja suorittaa integraatio testauksen. Myös integrointi testauksessa hyödynnetään Javan JUnit kehystä. Järjestelmätestaus Järjestelmätestauksen tarkoituksena on testata järjestelmän toimivuutta kokonaisuutena sen oikeassa toimintaympäristössä. Testit suoritetaan käyttäen liiketoimintaverkostojen hallintapaneelin käyttöliittymää ja ne suoritetaan kaikilla testattavaksi määritellyillä selaimilla (IE 6.0 ja Mozilla 1.5). Kokonaisuuteen kuuluvat ohjelmisto, laitteisto ja muut ohjelmiston kanssa yhteistyössä toimivat ohjelmistot. Järjestelmä testauksessa keskitytään ulkoisiin rajapintoihin ja suorituskykyyn. Hyväksymistestaus Hyväksymistestaukseen kuuluvat validointitestaus, alfa-testaus ja beta-testaus. Validointitestauksessa testataan, että vaatimusanalyysissä kirjatut vaatimukset toteutuvat valmiissa järjestelmässä. Alfa-testauksessa loppukäyttäjä tai asiakas testaa järjestelmää valvotuissa laboratorio-olosuhteissa. Beta-testauksessa loppukäyttäjät testaavat järjestelmää, tässä siis liiketoimintaverkostojen hallintapaneelia, ilman valvojaa lopullisessa toimintaympäristössä. 3

Testiaineisto Sopimusvarastossa on kahdenlaisia sopimuksia: BusinessNetworkModel1- ja BusinessNetworkModel2 malleihin pohjautuvia sopimuksia (Metso, 17.11.2004). BusinessNetworkModel1:ssä on kaksi epokkia: BiddingCompetition ja Business. Näitä vastaavat arkkitehtuurit ovat BiddingCompitition ja ShipBuy. Malli koostuu kahdesta vaiheesta, joista ensimmäisessä myyjät kilpailutetaan. BiddingCompitition -arkkitehtuuri koostuu neljästä roolista: ostajasta(buyer) ja kolmesta myyjästä(sellers). Kunkin myyjän välillä on vain suora sidos ostajaan. ShipBuy arkkitehtuuri koostuu kahdesta roolista ostajasta ja valitusta myyjästä, joiden välillä on yksi sidos. BusinessNetworkModel2 mallissa on kaksi epokkia: Puhcase ja Delivery. Näitä vastaavat arkkitehtuurit ovat nimetty vastaavasti: Purhcase ja Delivery. Mallissa on kasi vaihetta. Ensimmäisessä vaiheessa ostaja ja myyjä tyottavat yhdessä ostotapahtuman, toisessa vaiheessa kuljetuspalvelu kuljettaa tuotteen myyjältä ostjalle. Sopimusvarastossa olevia sopimuksia on kahdenlaisia ExampleContractX, jotka ovat edellä kuvatun BusinessNetworkModel1 mukaisia ja AnotherExampleContractX, jotka ovat edellä kuvatun mallin BusinessNetworkModel2 mukaisia. ExampleContractX sopimuksissa on yksi sessio, lukuun ottamatta sopimusta ExampleContract0: Sopimus rooli(t) epokki tila huomioita ExampleContract0 Buyer BiddingCompetition StartBiddingRound SellerX BiddingCompetition StartBiddingRound ExampleContract1 ei sessiota In-negotition vaiheessa 4

Sopimus rooli(t) epokki tila huomioita ExampleContract2 Buyer Business PlaceOrder Seller Business PlaceOrder Bidding ExampleContract3 Buyer Compitition StartBiddingRound Bidding SellerX Compitition StartBiddingRound ExampleContract4 Buyer Business ReceiveDeliveryNotice Seller Business SendDeliveryNotice Taulukko 1. ExampleContractX sopimusten sessioiden tilat AnotherExampleContractX sopimuksissa on kaksi sessiota: Sopimus Sessio rooli(t) epokki tila huomi oita AnotherExampleContract0 Sessio 0 Buyer Delivery ProductReceived Seller Delivery ProductGiven DeliveryAgent Delivery ProductDelivered Sessio 1 Buyer Purchase PurchaseStart Seller Purchase SellStart DeliveryAgent - AnotherExampleContract1 Sessio 0 Buyer Delivery DeliveryStart 5

Sopimus Sessio rooli(t) epokki tila huomi oita Seller Delivery BuyerNotified DeliveryAgent Delivery DeliveryStart Sessio 1 Buyer Purchase OrderPlaced Seller Purchase InvoiceCreated DeliveryAgent - AnotherExampleContract2 Sessio 0 Buyer Delivery DeliveryStart termin oitu Seller Delivery DeliveryStart DeliveryAgent Delivery DeliveryStart Sessio 1 Buyer Delivery DeliveryStart termin oitu Seller Delivery DeliveryStart DeliveryAgent Delivery DeliveryStart AnotherExampleContract3 Sessio 0 Buyer Delivery FinishedNoticeRec eived Seller Delivery ProductGiven DeliveryAgent Delivery ProductFetched Sessio 1 Buyer Purchase OrderPlaced Seller Purchase OrderReceived 6

Sopimus Sessio rooli(t) epokki tila huomi oita DeliveryAgent - AnotherExampleContract4 Sessio 0 Buyer Delivery FinishedNoticeRec eived Seller Delivery DeliveryOrdered DeliveryAgent Delivery DeliveryOrdered Sessio 1 Buyer Purchase InvoiceReceived Seller Purchase InvoiceCreated DeliveryAgent - Taulukko 2: AnotherExampleContractX sopimusten sessioiden tilat 7

Testausprosessi Katselmoinnit Toteutuksen aikana jokaisessa status palaverissa oli katselmoitu koodia. Tärkeimmät katselmointi päivämäärät lueteltu alla olevassa taulukossa: Päivämäärä Katselmoitava koodi 11.11.2004 Luotiin silmäys koodauksen nykytilaa, Koodauksen dokumentoinista sopiminen 15.11.2004 MessageHandler: Todettiin messagehandlerin olevan pääpiirteittään lähes valmis.datahandler 22.11.2004 Katselmoitiin kattava kutsuketju, joka tarvitaan valikon toteuttamiseen. 8.12.2004 Sopimusvarastosta voi tulla null arvoja. Taulukoiden kohdalla ongelma: Ei sessiota => null. Tarkastettiin em. Datahandlerista Koodin katselmointi on ollut tehokas tapaa etsimään loogisia virheitä, sekä parantamaan koodaustyyliä Yksikkö testaus Yksikkötestausta on käytetty vaativissa koodiosioissa. Esimerkiksi HabaMessageHandler, joka hakee tarvittavat tiedot sopimusvaraston rajapinnan kautta, on yksikkötestattu. DataHandler luokat käsittelevät HabaMessageHandlerin hakemat oliot. Tällöin DataHandler luokkia ei ollut mahdollista testata yksittäisinä kokonaisuuksina. Yksikkötestausta täytyy todetta hyvin tehokkaaksi apuvälineeksi, koska yksikkötestattujen luokkien toiminnassa ei löytynyt puutteita seuraavissa testausvaihteissa. 8

Integraatiotestaus Integraatiotestauksessa oli testattu DataHandler luokkien, MessageHandlerin ja Sopimusvaraston yhteistyötä. Integraatiotestauksen yhteydessä on löydetty sopimusvaraston virheitä, joista suurin osa on korjannut. Integraatiotestauksen yhteydessä on myös selvinnyt, missä olosuhteissa tietty olio tai tietyn olion kenttä voivat palauttaa null arvon. Sellaista tietoa ei ollut sopimusvaraston javadoc:ssa eikä rajapintadokumentaatiossa, joten luonnollisesti suunnitteluvaiheessa näihin ei ole varauduttu. Kuitenkin muutaman refaktorointi kerroksen jälkeen niin Haba kuin sopimusvaraston puolella, jäljellä on vain yksi tilanne jossa tulee poikkeus: koska järjestelmä ei tiedä mihin yritykseen käyttäjä kuulu, käyttöliittymässä ei ole mahdollista estää, ettei käyttäjä yrittäisi vaihtaa oma yrityksen pois sopimuksesta. Sellaisessa tilanteessa sopimusvarasto palauttaa virheilmoituksen. Tästä on myös mainittu käyttöohjeissa. Järjestelmätestauksessa oli testattu erilaiset käyttötapaussekvenssit sekä sopimusvaraston tuottaman tietosisällön tulostuksen sopivuuden. Alla olevassa taulussa on esimerkki järjestelmätestauksen dokumentaatiosta viikolla 51. Nro Virheen kuvaus Toimenpiteet 1 change toiminto aiheutti poikkeuksen jos sopimus oli terminated tilassa 2 contract id=null poikeus, kun keskellä toimintoa restartataan tomcat (esimerkiksi sopimus valittu mutta leave contract nappi klikataan tomcat restartin jälkeen). 3 sessionid=null poikkeus tomcat restart jälkeen jos valitaan heti sessioon ja sen jälkeen rooliprosessiin 4 kun etsitään firma, search result sivulla session valinta aiheutti poikkeukseen Korjattu: nappi on piilotettu jos sopimus on terminated tilassa. Asiasta mainittu käyttöohjeessa Asian autta update napin klikkaaminen. Jannen hyväksymä ratkaisu. Ei korjausta, asiasta mainittu käyttöohjeessa Korjattu Korjattu 9

Nro Virheen kuvaus Toimenpiteet 5 ArrayIndex OutOfBound exception kun valitaan tietty rooliprosessi 6 yrityksen vaihto palauttaa false, mutta yritys on poistettu sopimuksesta kuitenkin 7 Kirjoitusvirhe joka aiheutti että kuvassa sama tila oli näkyvissä kahteen kertaan (seller role) 8 Kun näytetään verkostoon kuvat eri epokkeissa, kuvat ovat samanlaiset jokaisessa epokissa. Viimeisiin tietojen mukaan tämä ei johtuu back-endista vaan Haba toteutuksesta 19 Rooliprosessin current tila merkataan * merkeillä. Tämä aiheutta sitä että network kuvassa current tila tulee näkyviin kahteen kertaan 10 Jos sopimuksessa ei ollut yhtään sessiota, current epoch ei ollut näkyvissä, network kuvassa 11 Terminated sessio näytetään punaisella värillä, terminated sopimus vihreällä värillä asiakkaan mukaan tämä on ristiriitaista Korjattu Toimii oikein, koska 15.12 selvisi että sopimusvaraston palauttama false ei tarkoitta sitä että yritystä ei voi vaihtaa, vaan sitä, että yrityksen tilalle ei löydy toista yritystä ja tällöin sopimus terminoidaan. Janne korjasi Korjattu Korjattu Korjattu Janne on hyväksynyt asian 10

Nro Virheen kuvaus Toimenpiteet 12 Kun yrityksen vaihdon yhteydessä tilalle tulee uusi yritys, ja sopimustiedoissa valitaan tämän yrityksen rooliprosessin, tulee tyhjä sivu. Yrityksen tiedot tulevat kuitenkin ok Korjattu 13 Kaikki event timestampit ovat samanlaiset Johtuu testi datasta,. Janne lupasi korjata. 14 Kun sopimus terminoidaan tai vaihdetaan yrityksen, menu ei päivity automaattisesti vaan täytyy klikata update 15 Jos sopimus on in negoitation tilassa, osallistujan vaihto ei onnistuu sopimusvaraston poikkeuksen takia 16 BusinessModel1 perustuvan sopimuksen osallistujan tietoja ei pysty päivittämään, sopimusvarasto aiheuttaa poikeuksen 17 16.12.2004 klo 20:13 on havaittu että sopimusvarasto ei palauttaa enää event timestampit Jannen mukaan tämä on ok. Asiasta mainitaan käyttöohjeessa Ilmoitettu Jannelle Ilmoitettu Jannelle Ilmoitettu Jannelle Hyväksymistestaus Hyväksymistestauksessa oli testattu onko vaatimukset toteutettu oikein. Huom, että tässä kohdassa ei voinut totea, että vaatimukset on toteutettu täysin määrittelydokumentin mukaisesti tämän projektin olosuhteista riippuvista syistä, joista isoin liene olla se, että määrittelyvaiheen jälkeen sopimusvarastoon on tullut muutoksia niin käsite kuin toteutus ja tietosisältöön tasolla. 11

Asiakashyväksymistestaus suoritettiin asiakkaan toivomuksesta (testauspalaveri 1.12.2004). vaatimusmäärittelydokumentissa kuvattujen käyttötapausten pohjalta. Hyväksymistestauksessa (7.12.2004) käytettiin pohjana liitteenä 1 olevaa hyväksymistestaustaulukkoa. Kun asiakashyväksymistestauksessa todetut virheet korjattiin, järjestettiin uusi asiakashyväksymistestaus (15.12.2004). Asiakashyväksymistestauksen yhteenveto on lisätty liitteen 1 12

Liitteet Hyväksymistestaus 7.12.2004 + Asiakkaan kommentit 15.12.2004 Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila Sopimuksen Avaa Lista olemassa olevista ok Alkunäkym ok Ok tarkastelu, liiketoimintave sopimuksista, lyhyt ä vastaava rkon kuvaus sopimuksista(id), aina sama vaatimus 4 hallintapaneeli sopimuksen sessiot(id) yrityksestä n riippumatta Tavanomain Valitsee Lyhyt kuvaus Lnkkiratk Sijoitteluon Verkoston Ok en linkistä sopimuksesta(id), aisu ok, gelma: kuva tapahtuma kiinnostavan aloitus- ja lopetuspvm, kuva verkoston omaan sopimuksen elinkaaren vaihe, erilliseen kuva linkin ikkunaan, sallittujen sessioiden ikkunaan takana muuten ok määrä, sopimukseen osallistujat ja heidän roolinsa, sopimukseen liittyvän verkoston mallin rakenne 13

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila Valinnainen Klikkaa Menu kuten yllä Joistain Päivitä - Puutteet Puutteet tapahtuma 1, -linkistä ja sopimuksi linkki korjataan, korjattu, väärä valitsee oikean sta puuttui ajaa tällä muuten ok epokit sopimus sopimuksen epokkeja hetkellä lisätty listasta saman listaan, Ok asian Valinnainen Klikkaa Lyhyt kuvaus yrityksestä, ok "Eroaa" ok Ok tapahtuma 2, yrityksen yrityksen rooli vaatimus- tietojen nimeä, päivitä sopimiuksessa, määritys- päivittämine muuttuneet yhteystietokentät: osoite, dokumentin n tiedot, paina puhelinro, sähköposti, kuvauksest Update info - yhteyshenkilö, päivitä - a painiketta painike Valinnainen Klikkaa Rooliprosessin nimi, Jos Puutteet Puute tapahtuma 3, yritykseen kuvaus ja automata roolilla ei korjataan, korjattu. rooliprosessi liittyvää rooli - ole muuten ok Jos roolilla n nimi, linkkiä toimintaa, ei ole kuvaus ja kerrotaan toimintaa automata, null- siitä vaatimus arvojen kerrotaan lisätty 18.10. sijaan sanallisesti. sanallisest Ok i 14

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila Valinnainen Klikkaa Näyttää verkoston Samat Puutteet Puutteet tapahtuma 4, vaihtoehtoista arkkitehtuurin valitussa epokkipuu korjataan, korjattu, Verkoston epokki linkkiä epokissa tteet kuin muuten ok epokit arkkitehtuuri valinnaise lisätty n kuva ssa listaan, Ok valitussa tapahtuma (kuva ei epokissa, ssa 1 vaihdu) vaatimus lisätty 18.10 Verkkotilan javerkon rakenteentar kastelu, vaatimukset 1, 3, 5, 7 ja 9 Avaaliiketoimi ntaverkonhallin sopimuksista, lyhyt tapaneelin Lista olemassa olevista ok ok Ok kuvaus sopimuksista(id), sopimuksen sessiot(id) Tavanomain Valitsee Näyttää session Verkostok Lisätään Linkki en sopimukseeen nykyiseen epokkiin uva linkki lisätty, Ok tapahtuma liittyvän liittyvät tiedot: puuttuu verkostok session session ID ja nykyinen uvaan, klikkaamalla epokki, session tila, muuten ok näytön verkoston mallin nimi, sopimuslistauk verkoston mallin rakenne sen alla olevaa sessio -linkkiä 15

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila Valinnainen Valitsee Näyttää rooliprosessin Nykyinen Toteutus Aikaleima Ok (kuva tapahtuma 1, rooliprosessin tiedot: nimen, kuvauksen tila ja kesken, t erilliseen väärin) Rooliprosess roolin nimen autamatan: tilat, tapahtumi visualisoint taulukkoo ien tarkastelu perusteella tapahtumat ja aikaleimat en i kesken n, tilan aikaleimat esitys esiin mukaan kuvaan Valinnainen Hakee tiettyyn Näyttää tiettyyn Hakutoimi Toteutus Sekä Koodin tapahtuma 2, yritykseen yritykseen liittyvät nnon poikkeea asiakas toimivuuus Yrityskohtai liittyvät sessiot sopimukset ja kautta siltä osin että tarkistettu, nen kirjoittamalla sessiot. saadut vaatimus- projektiry Ok tarkastelu hakukentään sopimukse dokumentin hmä osan yrityksen t eivät kuvauksest tarkastavat nimestä ja vastaa a, että koodinsa klikkaa etsi - aloitusnäk näyttää toimivuud painiketta. ymän sessiot en sopimuksi sopimusten a alla Valitsee Näyttää session Terminate Lisätään Terminated kiinnostavan nykyiseen epokkiin d - Terminate -tila lisätty, session listalta liittyvät tiedot: sessioiden d -tila Ok (aborted session ID ja nykyinen tila ContractS -> epokki, session tila, näytetään ession - terminated) verkoston mallin nimi, state_not Beaniin verkoston mallin _available 16

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila rakenne: roolit ja kanavat na Valinnainen Valitsee Roolien välinen yhteistyö JUNGin ok Jää tapahtuma 3, kiinnostavaan (conversation) kirjastopuut Liiketoimint sopimukseen visualisoidaan teiden toteuttamatt a- verkoston liittyvän vuoksi ei a, Ok tiekartta session voida visualisoida Liiketoimint Avaaliiketoimi Lista olemassa olevista a- prosessin ntaverkonhallin sopimuksista, lyhyt muuttaminen tapaneelin, vaatimukset kuvaus sopimuksista(id), sopimuksen sessiot(id) 2, 3 ja 9 ok Ok Tyypillinen Valitsee Lyhyt kuvaus ok Ok tapahtumien linkistä sopimuksesta(id), kulku, uusi kiinnostavan aloitus- ja lopetuspvm, toimija sopimuksen elinkaaren vaihe, olemassa sallittujen sessioiden määrä, sopimukseen osallistujat ja heidän roolinsa, sopimukseen liittyvän verkoston mallin rakenne, lista kaikista verkostomalliin liittyvistä 17

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila epokeista Valitsee Lista rooliprosesseista, Riittää, jos Yhteydenpi Pohja- Toiminnon toimijan joita toimijan vaihdon korjataan toa järjestelm (yritys), joka tuloksena lopetetaan per itse ja asiakkaasee ässä ohjelmointi vaihdetaan sessio: roolin nimi, informoid n ongelmia, toteutettu, rooliprosessin nimi ja an mahdollisis jotka toiminto kuvaus. asiakasta ta pohjalla asiakas testattu, Ok Lista olevista korjaa toipumisprosesseista, puutteista liittyen joita toimijan vaihdon change- ja tuloksena käynnistetään leaving - sivuihin Vahvistaa Raportti muutoksesta: Riittää, jos Yhteydenpi Toiminnon toimijan uuden toimijan tiedot, korjataan toa vaihdon uusien prosessien tiedot, itse ja asiakkaasee ohjelmointi sopimuksen tilan informoid n toteutettu, muutoksen jälkeen an mahdollisis Ok asiakasta ta pohjalla (rooliproses olevista sien tiedot puutteista eivät päivity) 18

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila Valinnainen Valitsee Lista osaprosesseista, Riittää, jos Yhteydenpi Toiminnon tapahtuma 1, toimijan joita toimijan vaihdon korjataan toa uutta (yritys), joka tuloksena lopetetaan per itse ja asiakkaasee ohjelmointi toimijaa ei vaihdetaan sessio. informoid n toteutettu, löydy, Lista an mahdollisis toiminto verkon toipumisprosesseista, asiakasta ta pohjalla testattu, Ok toiminta joita toimijan vaihdon olevista jatkuu tuloksena käynnistetään puutteista Vahvistaa Ilmoittaa, että uutta Riittää, jos Yhteydenpi Toiminnon toimijan toimijaa ei löydy ja että korjataan toa vaihdon verkko itse ja asiakkaasee ohjelmointi on edelleen käytössä. informoid n toteutettu, Tulostaa raportin an mahdollisis toiminto muutoksista: lista asiakasta ta pohjalla testattu, Ok osprosesseista, jotks olevista toimijan vaihdon vuoksi puutteista lopetetaan, lista toipumisprosesseista, joita toimijan vaihdon vuoksi käynnistetään. Valinnainen Avaa Lista olemassa olevista ok Toiminnalli tapahtuma 2, liiketoimintave sopimuksista, lyhyt suutta ei uuden rkon kuvaus sopimuksista(id), toteutettu, toimijan hallintapaneeli sopimuksen sessiot(id) sillä etsiminen vie n rajapinta ei 19

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila verkon tue väliaikaisesti toimintaa ei käytössä tilaan Valitsee linkistä kiinnostavan sopimuksen Lyhyt kuvaus sopimuksesta(id), aloitus- ja lopetuspvm, elinkaaren vaihe, sallittujen sessioiden määrä, sopimukseen osallistujat ja heidän roolinsa, sopimukseen liittyvän verkoston mallin rakenne, lista kaikista verkostomalliin liittyvistä epokeista ok - - Valitsee toimijan (yritys), joka vaihdetaan Lista osaprosesseista, joita toimijan vaihdon tuloksena lopetetaan per sessio. Lista toipumisprosesseista, joita toimijan vaihdon tuloksena käynnistetään Riittää, jos Yhteydenpi Pohja- - - korjataan toa järjestelm itse ja asiakkaasee ässä informoid n ongelmia, an mahdollisis jotka asiakasta ta pohjalla olevista puutteista asiakas korjaa liittyen change- ja 20

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila leaving - sivuihin Vahvistaa Tulostaa, että uuden Riittää, jos Yhteydenpi - - toimijan toimijan etsintäprosessin korjataan toa vaihdon aikana itse ja asiakkaasee liiketoimintaverkko on informoid n väliaikaisesti pois an mahdollisis käytöstä. asiakasta ta pohjalla olevista puutteista Valinnainen Vahvistaa Tulostaa, että uutta Riittää, jos Yhteydenpi Toiminnon tapahtuma 3, toimijan toimijaa ei ole korjataan toa uutta vaihdon mahdollista saada ja että itse ja asiakkaasee ohjelmointi toimijaa ei verkon toiminta päättyy. informoid n toteutettu, löydy ja sen Tulostaa raportin verkon an mahdollisis toiminto seurauksena toiminnan lopetamisesta: asiakasta ta pohjalla testattu, Ok verkon kaikki lopetettavat olevista toiminta osaprosessit, kaikki puutteista päättyy asiaan liittyvät toipumisprosessit. Poistuminens Avaaliiketoimi Lista olemassa olevista opimuksesta, ntaverkonhallin sopimuksista, lyhyt vaatimukset tapaneelin kuvaus sopimuksista(id), ok Ok 21

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila 2, 3 ja 9 sopimuksen sessiot(id) Valitsee Lyhyt kuvaus ok Ok linkistä sopimuksesta(id), kiinnostavan aloitus- ja lopetuspvm, sopimuksen elinkaaren vaihe, sallittujen sessioiden määrä, sopimukseen osallistujat ja heidän roolinsa, sopimukseen liittyvän verkoston mallin rakenne, lista kaikista verkostomalliin liittyvistä epokeista Valitsee "poistu tästä sopimuksesta" Lista rooliprosesseista, joita toimijan vaihdon tuloksena lopetetaan per sessio: roolin nimi, rooliprosessin nimi ja kuvaus. Lista toipumisprosesseista, joita toimijan vaihdon tuloksena käynnistetään: roolin nimi, Riittää, jos Yhteydenpi Pohja- Toiminnon korjataan toa järjestelm itse ja asiakkaasee ässä ohjelmointi informoid n ongelmia, toteutettu, an mahdollisis jotka toiminto asiakasta ta pohjalla olevista puutteista asiakas korjaa liittyen change- ja leaving - sivuihin testattu, Ok 22

Käyttötapaus Tapahtumaketjun kuvaus Yrityksen Käyttöliittymä työntekijä Käyttötapauksen toteutuminen Asiakas OHTU Hyväks yminen Korjaukset Nykytila toipumisprosessi. Tulostaa sopimuksen tilan poistumisen jälkeen. Valinnaiset Valitsee Lista osaprosesseista, Riittää, jos Yhteydenpi Toiminnon tapahtumat, toimijan joita toimijan vaihdon korjataan toa Verkosto (yritys), joka tuloksena lopetetaan per itse ja asiakkaasee ohjelmointi jatkaa vaihdetaan sessio. informoid n toteutettu, toimintaansa Lista an mahdollisis toiminto toipumisprosesseista, asiakasta ta pohjalla testattu, Ok joita toimijan vaihdon olevista tuloksena käynnistetään puutteista Vahvistaa Ilmoittaa, että uutta Riittää, jos Yhteydenpi Toiminnon toimijan toimijaa ei löydy ja että korjataan toa vaihdon verkko itse ja asiakkaasee ohjelmointi on edelleen käytössä. informoid n toteutettu, Tulostaa raportin an mahdollisis toiminto muutoksista: lista asiakasta ta pohjalla testattu, Ok osprosesseista, jotks olevista toimijan vaihdon vuoksi puutteista lopetetaan, lista toipumisprosesseista, joita toimijan vaihdon vuoksi käynnistetään. 23

24