COTOOL dokumentaatio Vertaisryhmätestaus

Transkriptio

1

2 Table of Contents Vertaistestauscharter: Yleinen Johdanto Kuvaus Mitä - Testattavat alueet Miksi - Tavoite Miten - Lähestymistapa Huomio - Mitä ongelmia etsitään Tutkimusloki Tehtävän esittely Data tiedostot Testauksen muistiinpanot Bugit Huomioitavaa Kaffetauko: Vertaistestauscharter: Charter Johdanto Kuvaus Mitä - Testattavat alueet Miksi - Tavoite Miten - Lähestymistapa Huomio - Mitä ongelmia etsitään Tutkimusloki Tehtävän esittely Data tiedostot Testauksen muistiinpanot Bugit Huomioitavaa Kaffetauko: Vertaisryhmätestauksen tulokset Yhteenveto Varianssit Kattavuuden arviointi Tulosten yhteenveto Arviointi LIITE A: LISTA LÖYDETYISTÄ ONGELMISTA Datasailors: Vertaistestauscharter: Charter Kuvaus Mitä testataan Miksi testataan Miten testataan Focus Tutkimusloki Datasailors: Vertaisryhmätestauksen tulokset Yhteenveto Varianssit Kattavuuden arviointi Tulosten yhteenveto Arviointi LIITE A: LISTA LÖYDETYISTÄ ONGELMISTA

3 1 (10) Vertaistestauscharter: Yleinen Versiohistoria Versio Pvm Tekijä Kuvaus Hyväksyjä TH Pohja TH Pohjaa täytetty. - 1 Johdanto Tämä kappale kuvaa kurssin tarjoaman yleisen charterin vertausryhmätestaukseen. 2 Kuvaus Analysoikaa järjestelmän sopivuutta tarkoitettuun käyttöön tutkimalla sen ydintoiminallisuutta. 3 Mitä - Testattavat alueet Käyttäkää vaatimusmäärittelyjä, käyttötapauksia sekä muuta saatavilla olevaa dokumentaatio sekä keskustelkaa kehittäjien kanssa saadaksenne selville järjestelmän ydintoiminallisuuden sekä korkean tason vaatimukset. Testatkaa ydintoiminallisuutta tietyn tyyppisten validien syöttöjen ja ehtojen avulla. Valitkaa yksi ydintoiminallisuuden alue tarkempaa testausta varten ja tutkikaa sitä syvällisemmin. 4 Miksi - Tavoite Tavoitteena on analysoida järjestelmän sopivuutta tarkoitettuun käyttöön. Tämä tarkoittaa, että teidän pitäisi pyrkiä muodostamaan yleinen arvio ydintoiminallisuudesta sekää arvioimaan järjestelmän kestävyyttä valitsemalla yksi toiminallisuus tai alue tarkempaa testausta varten. 5 Miten - Lähestymistapa Käyttäkää manuaalitestausta ja pyrkikää muodostamaan joitain ekvivalenssiluokkia sekä etsikää joitain syöttö ja tulosterajoja tutkiessanne järjestelmää. Ydintoiminallisuuden yleisen testauksen aikana, pyrkikää kattamaan niin monta ekvivalenssiluokkaa kuin mahdollista. Pyrkikää löytämään myös mahdollisia virhearvoja ja siten pakottamaan järjestelmä joihinkin virheenkäsittelytilanteisiin. Voitte käyttää mitä tahansa saatavilla olevaa työkalua ja testidataa, jonka toinen ryhmä voi tarjota järjestelmästään. 6 Huomio - Mitä ongelmia etsitään Teidän tulisi käyttää järjestelmää käyttäjän näkökulmasta ja raportoida kaikista virheistä ja mahdollisista

4 2 (10) ongelmatilanteista, jotka oman arvionne mukaan saattaa haitata järjestelmän tarkoituksen mukaista käyttöä. Voitte tarkastella mitä tahansa järjestelmän riskejä, jotka te tai toinen ryhmä voi identifioida. 7 Tutkimusloki Session aloitus (pvm ja aika): Testaaja: 7.1 Tehtävän esittely Kesto(tuntia): Testauksen suunnittelu ja suoritus (prosenttia): Bugien tutkinta ja raportointi (prosenttia): Session järjestelyt (prosenttia): 7.2 Data tiedostot 7.3 Testauksen muistiinpanot 7.4 Bugit 7.5 Huomioitavaa Kaffetauko: Vertaistestauscharter: Charter 1 Versiohistoria Versio Pvm Tekijä Kuvaus Hyväksyjä TH Pohja TH Pohjaa täytetty. - 1 Johdanto Tämä kappale kuvaa kurssin tarjoaman yleisen charterin vertausryhmätestaukseen. 2 Kuvaus COTOOL on kiinteistön hallintatyökalu, jonka päätavoitteena on, että käyttäjä pystyy helposti seuraamaan kiinteistönsä tilaa (esim. lämpötiloja, ongelmatilanteita jne).

5 3 (10) Tämä dokumentti kuvaa ensimmäisen charterin COTOOLin vertaisryhmätestausta varten. 3 Mitä - Testattavat alueet Tässä charterissa tarkoitus olisi testata tähän saakka tuotettuja ominaisuuksia sekä saada vertaisryhmältä ehdotuksia järjestelmän kehittämiseksi. Charterin pääpaino on pohjakuvanäkymän testauksessa ja arvioinnissa. Tavoitteena on testata: - Pohjakuvassa liikkumista - Pohjakuvan zoomausta - Tilojen valintaa pohjakuvasta - Tilojen valintaa hakupuuta käyttämällä - Värien käyttöä Lisäksi olisi mukava saada kommentteja liittyen: - Käyttöliittymän käytettävyyteen - Heikkouksiin - Vahvuuksiin - Ulkonäköön - Tarvittaviin lisäominaisuuksiin Järjestelmässä on mahdollisuus valita olosuhderaportti (tabia vaihtamalla), mutta tässä testi charterissa siihen ei tarvitse paneutua. 4 Miksi - Tavoite Tavoitteena on varmistua, että tähän menessä tuotetut ominaisuudet toimivat siten, kun niiden pitäisi. Lisäksi tavoitteena on saada ulkopuolista mielipidettä käyttöliittymän käytettävyyteen liittyen. 5 Miten - Lähestymistapa Järjestelmän kehitys on tässä vaiheessa kesken, joten on vaikea määritellä mikä toiminallinen ongelma johtuu bugista ja mikä keskeneräisyydestä. Testauksessa olisi siten tärkeä keskittyä tehtyjen ominaisuuksien toiminallisuuden testaukseen. Pyrkikää exploratiivisesti kokeilemaan eri toimintoja ja #leikkimään# käyttöliittymällä. Olisi hyvä, jos jollain testaajilla olisi kokemusta käytettävyystestauksesta ja, että he pystyisivät suorittamaan käyttöliittymälle heuristisia arvioita. 6 Huomio - Mitä ongelmia etsitään Pyrkikää etsimään nykyiseen toiminnallisuuteen (zoomaus, kuvassa siirtyminen,tilan valinta, tilan tuplaklikkaus jne) liittyviä ongelmia. Ilmoittakaa kaikista toiminnoista, mitkä toimivat teidän mielestänne epänormaalisti. Tarkistakaa myös toimiiko tilojen rajaus oikein (piirretään tummat kehykset ympärille) kaikissa tilanteissa.

6 4 (10) Lisäksi tarkoitus olisi löytää käyttöliitymästä heuristisen arvion perusteella epäjohdonmukaisuuksia tai selkeitä käytettävyysvirheitä. 7 Tutkimusloki Session aloitus (pvm ja aika): Testaaja:Tomi Hintikka ja Antti Seppälä 7.1 Tehtävän esittely Kesto(tuntia): 4 Testauksen suunnittelu ja suoritus (prosenttia): 40 Bugien tutkinta ja raportointi (prosenttia): 50 Session järjestelyt (prosenttia): Data tiedostot Ei muita dokumentteja 7.3 Testauksen muistiinpanot ensireaktio: simppeli normaalikäytössä ei saa rikki zoomauksissa ongelmia context menu pitäisi disabloida 7.4 Bugit Jos käyttäjä käyttää SVG viewerin context menua, zoomaustoiminnot eivät toimi enää normaalisti Huoneisiin ei pääse zoomaamaan tuplaklikkauksella Jos käyttäjä zoomaa ulospäin yli 15 kertaa, default näkymä siirtyy normaalia kauemmas 7.5 Huomioitavaa Vähän testattavaa - vähän sanottavaa Kaffetauko: Vertaisryhmätestauksen tulokset

7 5 (10) Kaffetauko Versiohistoria Versio Pvm Tekijä Kuvaus Antti Seppälä ja Tomi Hintikka Vertaisryhmätestauksen tulokset 1 Yhteenveto Testasimme Datasailor-ryhmän COTOOLia (Room Air Conditions Reporting Tool for buildings). Testasimme järjestelmän päätoiminallisuuksia, graafista käyttöliittymää, jossa käyttäjät pystyvät näkemään huoneiden eri lämpötiloja. Muita moduuleja ei vielä testattu, koska niitä ei oltu toteutettu vielä. Testaus tapahtui Datasailorssin tiloissa JPTalotekniikassa. Testiympäristö on sama, joita he käyttävät kehityksessä. 2 Varianssit Tarkempia variansseja ei esiintynyt, seurasimme annettua testicharteria.kuten charter1:ssä mainittiin charter2 (olosuhderaportti) ei tarvitse testata tässä vaiheessa (ei vielä toteutettu). 3 Kattavuuden arviointi Testauksen laajuus testisuunnitelmien suhteen lähenteli 100%.Testattava alue oli melko kapea ja pystyimme täyttämään testicharterin specifikaatiot. Testicharterissa ei ollut osia tai ominaisuuksia, joita emme pystyneet testaamaan. 4 Tulosten yhteenveto Kaikki toiminnallisuudet toimivat kuten pitikin eikä järjestelmän toimintaan haittaavia virheitä löytynyt. Käyttöliittymä oli melko intuitiivinen ja löysimme ainoastaan yhden heikkouden, jonka korjaaminen tekisi käyttöliittymästä paremman (2# virhelistassa). Taulukko 1: Yhteenveto löydetyistä virheistä Severity Blocker Critical Major Minor Trivial Total Number Arviointi Kun käyttäjä valitsee huoneen joka ei sillä hetkellä näkyvissä (zoomaksen takia) ja siirtää näkymän suoraan siihen, käyttäjän pitää ensi klikata sitä, odottaa hetken, ja klikata uudestaan. Olisi käyttäjälle parempi, jos toiminto toimisi suoraaan tuplaklikkauksella. Kaikki muut käyttöliittymän osat ovat intuitiivisia ja ne toimivat kuten käyttäjä olettaa niiden toimivan. Testicharterissa esitettyjen ominaisuuksien arviointi Kuvassa liikkuminen:liikkuminen meni hyvin ja oli intuitiivista eikä bugeja löytynyt. Liikkuminen ja kuvien klikkaaminen oli helppoa.

8 6 (10) Kuvan zoomaus:tilojen rajaukset olivat hieman liian vahvoja kun zoomattiin lähelle. Muuten zoomaus meni hyvin.yksi triviaali bugi löytyi: zoomatessa 15 kertaa kauemmas default näkymä menee liian kaukaiseksi, mikä johtaa siihen, ettei käyttäjä pysty zoomaamaan niin lähelle kuin normaalisti. Myöskin SVG:n zoomaus toiminnon käyttö johti ei haluttuihin tuloksiin (tämän bugin vertaisryhmä oli jo raportoinut ennalta). Alueiden valinta kuvassa:tämä näytti OK:lta eikä tarkempia parannusehdotuksia ole. Alueiden rajat voisivat olla ohuemma kun zoomataan lähemmäs. Alueiden valinta käyttäen hakupuuta:yksi pieni bugi löydettiin: tuplaklikkaus toiminto näyttää puuttuvan. Kuten se esitetään testaamamme käyttöliittymän muissa osissa, se olisi intuitiivinen myös hakupuussa. Värien käyttö:emme havainneet mitään heikkouksia värin käytössä.kuitenkin kerroksessa oli joitain valkoisia alueita numeroilla ja ilman. Ne saattavat olla hieman harhaan johtavia käyttäjälle (valkoisten alueiden klikkaaminen palauttaa default näkymään, mikä eroaa paljon normaali huoneista. Silti toiminto tuntuu intuitiiviseltä pienen järjestelmään tutustumisen jälkeen). Järjestelmän käytettävyys:kuvan lataus oli erittäin hidasta, mutta pidimme järjestemää käytettävänä.se oli helppo käyttää ja nopea, kunhan kuva oli lataantunut. Heikkoudet:Navigointi toimi hyvin lukuunottamatta aikaisemmin kuvattuja seikkoja. Ulkoasu:Näyttää riittävän hyvältä. Ehkä kuvanlaatu voisi olla heikompi, jotta lataus toimisi nopeammin. Ulkoasu täytti tehtävänsä hyvin. Toivottavat lisäominaisuudet:emme ole varmoja, toimiiko kuvan vetäminen, mutta se lisäisi käytettävyyttä. 6 LIITE A: LISTA LÖYDETYISTÄ ONGELMISTA Kuvaus kaikista löydetyistä ongelmista OngelmaID Vakavuus Sijainti Kuvaus Ratkaisu 1 Major GUI: SVG:n oma menu Jos käyttäjä zoomaa lähemmäs/kauemmas, kuva ei lataudu enää oikein ja default näkymä ei ole enää oikeassa kohdassa. 2 Minor GUI: Huonelista Tuplkaklikkaustoiminto puuttuu. Tämä voi hämmentää käyttäjää ja sen oppiminen saattaa kestää uudelta käyttäjältä. 3 Trivial GUI Zoomatessa 15 kertaa kauemmas, default näkymä siirtyy liian kauas. Estä käyttäjää käyttämästä SVG:n omaa menua. Tuplaklikkausominaisuus tulisi lisätä. Estäkää käyttäjää zoomaasta liian kauas. Datasailors: Vertaistestauscharter: Charter 1 Kaffetauko Versiohistoria Versio Pvm Tekijä Kuvaus

9 7 (10) Laura Selonen Tomin luonnosten pohjalta laadittu html-versio Turo Honkaniemi Testicharterin tietojen merkitseminen. 1 Kuvaus eauction-järjestelmä mahdollistaa tarjouspyyntöjen tekemisen ja niiden kilpailuttamisen toimittajilla. Järjestelmässä tilaaja tekee tarjouspyynnön määrittäen sille sulkeutumisajan, ja sulkeutumisajan jälkeen toimittajat kilpailevat tarjouksesta huutokaupassa. He tekevät tarjouksia järjestelmään ja voivat tarkastella reaaliaikaisesti tilanteen kehittymistä. Tässä dokumentissa on kuvattu eauction vertaistestauksen näkökulmasta. 2 Mitä testataan Vertaistestauksen tavoitteena on testata järjestelmän toiminta kokonaisuudessaan käytettävyyden kannalta, ja kriittiset toiminnallisuudet mahdollisimman järjestelmällisesti. Eniten painoa tulee olemaan huutokaupan testauksella. 3 Miksi testataan Vertaistestauksen tavoitteena on testata systeemiä tositilanteessa ja nähdä kokonaiskuva käytettävyyden näkökulmasta. 4 Miten testataan Huutokaupan testaamiseen suositellaan käytettäväksi vähintään 50% (?) testaamiseen käytettävästä ajasta. Tämä sisältää huutokaupan tekemisen, huutokauppojen listaamisen ja tärkeimpänä reaaliaikaisen huutokaupan. Reaaliaikainen huutokauppa tulee testata perinpohjaisesti niin, että vähintään kaksi testaajaa kilpailee tietyssä huutokaupassa samanaikaisesti. 5 Focus Olemme erityisen kiinnostuneita huutokaupan vakaasta toimivuudesta todellisessa ympäristössä, usean yhtiön kilpaillessa keskenään ja tehden huutoja lähes samanaikaisesti. 6 Tutkimusloki SESSION ALOITUS (pvm ja aika): :00 TESTAAJAT: Turo Honkaniemi ja Matti Liljavirta TEHTÄVÄN ESITTELY KESTO (tuntia): 5:00 TESTIN SUUNNITELU JA SUORITUS (prosenttia): 65% BUGIEN TUTKINTA JA RAPORTOINTI (prosenttia): 25% SESSION JÄRJESTELYT (prosenttia): 10% CHARTER VS. OPPORTUNITY (prosenttia/prosenttia): 90%/10% DATA TIEDOSTOT Testauksessa käytettiin joitain satunnaisia dokumentteja tarjousympäristössä. TESTAUKSEN MUISTIINPANOT Aloimme käymään läpi ohjelmaa luovutetun manuaalin perusteella. Aluksi kävimme nopeasti läpi koko ohjelman toiminallisuuden, sitten sama uudestaan huolellisemmin testaten. Pyrimme antamaan kaikissa mahdollisissa paikoissa valideja ja epävalideja syötteitä. Lopuksi paneuduimme testaamaan huutokauppaa useamman tietokoneen avulla. Löydetyt bugit ID Kuvaus

10 8 (10) 1 Kun ollaan luomassa uutta tarjouspyyntöä, kenttien jäädessä tyhjiksi virhetekstit näkyvät epäselvästi, koska ne menevät ika-logon kanssa päällekäin. 2 Kun ollaan luomassa uutta tarjouspyyntöä, virheilmoituksia näkyy ainoastaan kolme kerrallaan (loput jäävät osittain piiloon). 3 Kun ollaan julkaisemassa tarjousta, Tallenna tiedotpainike esiintyy kaksi kertaa. Tämä saattaa olla käytettävyyshaitta, koska se voi hämätä käyttäjää. 4 Jos käyttäjä syöttää väärän käyttäjätunnus/salasana parin, siitä ei ilmoiteta (ei kuulu välttämättä Kaffetauko-ryhmän ongelma-alueeseen). 5 Käynnissä olevassa huutokaupassa huutoikkuna ei päivity. HUOMIOITAVAT ASIAT: - Datasailors: Vertaisryhmätestauksen tulokset Datasailors Versiohistoria Versio Pvm Tekijä Kuvaus Turo Honkaniemi & Matti Liljavirta -raportti 1 Yhteenveto Testasimme Kaffetauko-ryhmän ika-portaalin sähköistä tarjousympäristö ja eauction-huutokauppa moduuleja siten, että pääpaino oli käytettävyyydessä sekä kriittisissä toiminallisuuksissa. Testauksen suoritti kaksi henkilöä, käyttäen siihen noin 8 tuntia aikaa (sisältää raportin kirjoituksen). 2 Varianssit Seurasimme annettua testicharteria, eikä testaus siten poikennut suunnilletusta. 3 Kattavuuden arviointi Testaus kattoi tarjousympäristö ja huutokauppa moduulien kaikki tärkeimmät ominaisuudet. Testauksessa pyrimme käyttämään valideja ja ei valideja syötteitä sekä kuormittamaan reaaliaikaista huutokauppaa muun muassa samanaikaisilla huutoilla kahdelta eri koneelta. 4 Tulosten yhteenveto Testauksen perusteella emme löytäneet mitään vakavia puutteita tai ongelmakohtia järjestelmästä. Löydetyt ongelmakohdat olivat lähinnä lieviä tai kosmeettisia.

11 9 (10) Taulukko 1: Yhteenveto löydetyistä virheistä Vakavuus Estävä Kriittinen Vakava Lievä Kosmeettinen Yhteensä Lukumäärä Arviointi Tarjosympäristö moduuli oli kokonaisuudessaan hyvin toimiva. Raportoidut ongelma kohdat olivat lähinnä kosmeettisia ja ne liittyivät virhetekstien esittämiseen. Tarjouspyynnöt/Luo uusi tarjouspyyntö: Ongelmakohta 1: Virhetekstit, jotka esiintyvät kenttien jäädessä tyhjiksi, menevät ika logon kanssa päällekkäin. Tämä haittaa tekstien lukemista ja on selvä kosmeettinen haitta. Tämä voidaan korjata sijoittamalla virhetekstit uudestaan tai asettamalla tekstille pohjaväri, jolloin ika logo jaa osittain piiloon. Ongelmakohta 2: Jos virhetekstejä on enemmän kuin kolme kappaletta, osa niistä jää piiloon. Uudelleen sijoitus on ratkaisu myös tähän ongelmaan. Toinen vaihtoehto on, että näkymän kokoa muutetaan. Tarjouspyynnöt/Julkaisematon tarjous: Ongelmakohta 3: Lomakkeessa esiintyy kaksi Tallenna tiedot-painiketta. Toinen Tarjouspyynnön kuvaus kentässä ja toinen Dataroom-kentässä. Tämä saattaa olla käytettävyyden kannalta hieman hämäävää. Suosittelemme, että pyrittä pääsemään eroon toisesta painikkeesta esimerkiksi uudelleen sijoittelun avulla. Huutokauppa Ongelmakohta 4 : Huutokaupan olessa käynnissä, paras huuto ei päivity huutoikkunaan. Olisi hyvä, jos sen saisi jotenkin päivitettyä. Muuta huomioitavaa Ongelmakohta 5 : Jos sisäänkirjautuessa syötetään väärä käyttäjätunnus/salasana pari, järjestelmä ei ilmoita siitä. Tämä olisi hyvä korjata, vaikkei se välttämättä kuulu Kaffetaukoryhmän alueeseen. 6 LIITE A: LISTA LÖYDETYISTÄ ONGELMISTA Kuvaus löydetyistä ongelmista ID Vakavuus Sijainti Kuvaus Ratkaisuehdotus 1 Kosmeettinen Tarjouspyynnöt/Luo uusi tarjouspyyntö 2 Lievä Tarjouspyynnöt/Luo uusi tarjouspyyntö Jos kentät jätetään tyhjiksi. Virhetekstit näkyvät epäselvästi, koska ne menevät ika-logon kanssa päällekäin. Virheilmoituksia näkyy ainoastaan kolme kerrallaan (loput jäävät osittain piiloon). 3 Kosmeettinen Tarjouspyynnöt/Julkaisematon Tallenna tiedotpainike esiintyy kaksi tarjous kertaa. Tämä saattaa olla Virhetekstit sijoitettava uudestaan/asetetaan tekstikentälle pohjaväri Virhetekstit sijoitettava uudestaan/näkymän kokoa muutettava Sijoitelkaa painikkeet siten, että ainoastaan yksi Tallenna tiedot-painike on

12 10 (10) 4 Lievä ika:n sisäänkirjautuminen käytettävyyshaitta, koska se voi hämätä käyttäjää. 5 Lievä Huutokauppa Käynnissä olevassa huutokaupassa huutoikkuna ei päivity. käytössä. Jos käyttäjä syöttää Ilmoitus väärästä väärän käyttäjätunnus/salasana käyttäjätunnus/salasana parista parin, siitä ei ilmoiteta (ei kuulu välttämättä Kaffetauko-ryhmän ongelma-alueeseen). Pyrkikää jollain keinoin päivittämään huutoikkuna.