Opponenttitestaus Kuopio
Kuopio, Opponenttitestaus, 15.4.2002 Versiohistoria: Versio Pvm Laatija Muutokset 0.1 13.4.2002 Wesa Aapro Ensimmäinen versio 0.2 15.4.2001 Mikko Lampi Katselmointi, lähinnä sanamuotojen korjauksia. 0.3. 15.4.2001 Matti Peltomäki Katselmointi. Kuopio2002, vain kurssin T-76.115 arvostelun vaatimaan käyttöön Sivu 2
SISÄLLYSLUETTELO 1. YLEISTÄ...4 1.1 AJANKÄYTTÖ...4 2. TESTAUKSEN KULKU...4 3. HUOMIOITA...5 3.1 YKSI SÄHKÖPOSTIOSOITE JA YKSI KÄYTTÄJÄ...5 3.2 SESSION VANHENEMINEN...5 3.3 SÄHKÖPOSTIKENTÄN TARKISTUS UUTTA KÄYTTÄJÄÄ LISÄTTÄESSÄ...5 3.4 YLEINEN HITAUS...5 4. MIELIPITEITÄ...5 4.1 VISUAALINEN ILME...6 4.2 TERMIT...6 4.3 LAJITTELU...6 4.4 TULOSLISTA...6 4.5 KAIKKI JULKAISUT...6 4.6 JULKAISUJEN TALLENNUS...6 5. YHTEENVETO...6 6. LIITTEET...7 [LIITE 1] TESTILOKI...7 Kuopio2002, vain kurssin T-76.115 arvostelun vaatimaan käyttöön Sivu 3
KUOPIO 15.4.2002 1. YLEISTÄ Tämä raportti on Kuopio-projektissa tehdyn opponenttitestauksen raportti. Tässä dokumentissa kuvataan Kuopio-projektiryhmän opponenttiryhmän järjestelmään kohdistuvan testauksen periaatteet, kulku ja tulokset. Opponenttiryhmän, Publicumin, toivomuksesta, testaus keskittyi ainoastaan dokumenttien hakemiseen ja käyttäjähallintaan. Muita ominaisuuksia testattiin lähinnä satunnaisesti. Testituloksina esitetään saadut virheet sekä hyväksytysti suoritetut testitapaukset. Lisäksi dokumentti sisältää huomioita järjestelmän epäloogisuuksista ja perusteltuja mielipiteitä järjestelmän visuaalisesta ilmeestä ja käytettävyydestä. 1.1 Testaushenkilöstö Kuopio-projektin testauksesta vastaava henkilö on Matti Peltomäki, joka huolehti opponenttitestauksen käytännön organisoimisesta ja aikataulussa pysymisestä. Testaajina toimivat Mikko Lampi ja Wesa Aapro, joista jälkimmäisen mielenkiinnon kohteisiin kuuluu ohjelmistojen visuaalinen ulkoasu ja käytettävyys. Tällä henkilöstövalinnalla saavutettiin siis mainittavan suuri pätevyys ja asiantuntemus. 1.2 Ajankäyttö Testaushenkilöstö käytti opponenttitestauksen suunnitteluun, toteuttamiseen ja raportointiin neljätoista työtuntia. Järjestelmään tutustuminen käyttöohjeen ja elementaarisen käytön avulla vei kaksi tuntia, varsinainen testaaminen seitsemän tuntia ja testauksen raportointi ja raportin katselmointi noin viisi tuntia. Suurimman osan tehdystä työstä teki Wesa Aapro. Mikko Lampi ja Matti Peltomäki osallistuivat lähinnä raportin katselmointiin ja testauksen organisoimiseen. 2. TESTAUKSEN KULKU Ensin luin Publicumin käyttöohjeen läpi, jonka löysin osoitteesta http://taotao.cs.hut.fi/publicum/docs/usersguide.html. Käyttöohje antoi hyvän kuvan järjestelmästä, vaikka lukemassani versiossa eivät kuvat jostain syystä toimineet. Ohjeet eivät myöskään olleet järin tarkat, mikä estää järjestelmän testaamisen itse ohjeita vastaan. Tämän jälkeen siirryin itse järjestelmän testaamiseen ja kävin sen ensin läpi yleisellä tasolla ja sitten testasin tarkemmin käyttäjien hallinnan ja julkaisujen haun (simple ja adcanced). Annoin järjestelmälle erikoissyötteitä (paitsi ja välilyönti syötteitä, jotka ilmoitettiin tunnetuiksi virheiden aiheuttajiksi). Järjestelmä vaikutti varsin vankalta; erikoissyötteetkin saivat aikaan vain muutamia virhetoimintoja. Suoranaisia bugeja ei löytynyt kuin kaksi, joiden lisäksi muutama huomio ja ajatus syntyi liittyen käyttäjien hallintaan ja julkaisujen hakuun. Virheet käsittelivät julkaisujen hakutoimintoa ja ne on kuvattu virheraportissa numero 2411. Tehdyistä testeistä on tarkempi listaus dokumentin liitteenä. Seuraavassa lyhyt lista toiminnoista, jotka suoritin järjestelmällä: Käyttäjällä kuopio sisään kirjautuminen Uuden käyttäjän lisääminen (4 kappaletta) Puuttuvia syötteitä joka kenttään E-mailin virheellinen syöttäminen Salasanan virheellinen toistaminen Käyttäjän poistaminen (1 kappale) Kuopio2002, vain kurssin T-76.115 arvostelun vaatimaan käyttöön Sivu 4
Useiden käyttäjien yhtäaikainen poistaminen (3 kappaletta) Julkaisun simple etsintä: ei hakusanaa eli kaikki julkaisut Julkaisun simple etsintä: kaikki julkaisut, lajittelu ja ryhmittely Julkaisun simple etsintä: hakusana Julkaisun simple etsintä: osittainen hakusana Julkaisun advanced etsintä: jokaiseen kenttään sana Julkaisun advanced etsintä: jokaiseen kenttään vajaa sana Julkaisun advanced etsintä: tyypin mukaan rajaus Julkaisun advanced etsintä: vuoden mukaan rajaus Julkaisun advanced etsintä: statuksen mukaan rajaus Julkaisun advanced etsintä: useamman syötekentän täyttö 3. HUOMIOITA 3.1 Yksi sähköpostiosoite ja yksi käyttäjä Tämä kummastutti hieman, sillä en keksi mitään syytä sille. Toisaalta, jos julkaisuja on tarkoitus lisätä järjestelmään kirjautumatta sisään, on tilanne, jossa sama henkilö tarvitsisi kaksi käyttäjätunnusta, varsin epätodennäköinen. 3.2 Session vanheneminen Kun käyttäjä istunto vanhenee, siirrytään uuden salasanan syötön jälkeen päävalikkoon, eikä sivulla, jonne käyttäjä pyrki session vanhetessa. Tämä aiheuttaa jo kohteen kokoisessa sovelluksessa sekavuutta. Pahempi puute lienee se, että järjestelmä ei anna ilmoitusta istunnon vanhenemisesta, mikä saa käyttäjän ihmettelemään sisäänkirjautumisnäkymään siirtymisen syytä. 3.3 Sähköpostikentän tarkistus uutta käyttäjää lisättäessä Sähköpostikentässä kelpaa pelkkä nimi@. Yleensä tarkistetaan onko @-merkki, sitä ennen tekstiä, sekä sen jälkeen ainakin yksi piste, ja tämän jälkeen vielä tekstiä. Tosin koko sähköpostikentän oikeellisuuden tarkistuksen ei tarvitse olla kovin monimutkainen sillä on oletettavaa ettei sitä ole tarkoitus käyttää väärin! 3.4 Yleinen hitaus Järjestelmä oli ärsyttävän hidas vaikka sinne oli syötettynä vain vajaa kymmenen julkaisua. Syy saattoi myös olla testaajan Welho-yhteydessä, joskin testauksen aikaan muu internet toimi huomattavasti nopeammin. Sama ongelma havaittiin kuitenkin myös nopeampien yhteyksien kautta käytettäessä myöhemmin. 4. MIELIPITEITÄ Minä en ole henkilökohtaisesti ollut juurikaan tekemisissä konferenssipapereiden tai tieteellisten lehtiartikkelien kanssa joten mielipiteeni eivät ole välttämättä kovinkaan valistuneita, ainakaan loppukäyttäjää ajatellen. Kuopio2002, vain kurssin T-76.115 arvostelun vaatimaan käyttöön Sivu 5
Yleisestiottaen järjestelmä vaikuttaa kompaktilta ja hoitaa hommansa, mikä on erittäin hyvä. 4.1 Visuaalinen ilme Visuaalinen ilme on ilmeisesti vielä vaiheessa. Linkit näyttävät ainakin Microsoft Internet Explorerilla Windows 2000 -käyttöympäristössä siltä kun teksti olisi valittu hiirellä, mikä vaikutti käyttäjälle erittäin hämäävältä. Sekavuus tulee ilmi, kun yrittää kopioida jotain näkymän sisältöä leikepöydän kautta toiseen sovellukseen. Kun tämän hoitaa kuntoon (ryhmittää kentät kunnolla, jättää ilmaa oikeisiin paikkoihin, miettii värimaailman) tulee Publicumista mukava päivittäinen työkalu. 4.2 Termit Järjestelmässä on paljon erilaisia sanoja niinkin pieneen sivumäärään nähden. Löytyy tekstikenttiä ja alasvetovalikoita, jotka ovat täynnä erittäin tiivistä informaatiota. Yhdessä visuaalisen ilmeen parannuksen myötä voisi jonkinlaista opastusta miettiä. Ehkäpä termin kohdalla kerrotaan lyhyesti mihin se liittyy. Voisiko järjestelmä olla ehkä myös monikielinen? 4.3 Lajittelu Edelliseen kohtaan liittyen, lajitteluvalintoja on mielettömän monta. Onko osa vain debuggausta varten, sillä on vaikea kuvitella että noita kaikkia oikeasti tarvittaisiin? Jos niitä on tarkoituskin olla noin useita, kannattaa miettiä miten niitä voisi järjestellä loogisemmin. Miksi voi lajitella ja ryhmitellä vain yhteen suuntaan (suuntaa ei ole ilmoitettu), sen jälkeen kun haku on jo tehty? 4.4 Tuloslista Julkaisulista näyttää todella epäselvältä koska siinä on vain pilkulla eroteltuina data ilman otsikoita. Ilman tietämystä aiheesta ja sovelluksesta, on hankala selvittää, mitä mikäkin numero tarkoittaa. Varsinkin full data -moodissa menee ihan sekasin. Tämä epäselvä muoto saattoi olla myös yksi tekijä, miksei bugeja löytynyt enempää niitä on vaikea havaita tuosta esitystavasta. Myös se, että listaelementit ovat kaikki tiiviisti yhdessä ilman minkäänlaista riviväliä hankaloittaa lukemista. Nämä ovat kuitenkin ulkoasuun liittyviä seikkoja, jotka luultavasti ovat vielä työn alla. 4.5 Kaikki julkaisut Ilmeisesti on niin, että jos ei syötä tekstiä julkaisun nimeksi se listaa kaikki julkaisut. Tämä on oikein ja erittäin hyvä. Siellä voisi kuitenkin olla erikseen nappi joka tekee tämän saman, tai jokin ohje ihan käyttöliittymätasolla. 4.6 Julkaisujen tallennus Julkaisujen tallennus-toiminto vaikuttaa jotenkin epätavalliselta. Ihan näppärähän se tosin on, URL on lyhyt. Mielestäni olisi hyvä jos hakuja voisi vielä muuttaa, nyt se ei taida olla mahdollista. 5. YHTEENVETO Järjestelmä vaikuttaa testattujen ominaisuuksien osalta varsin vankalta. Virheitä löytyi varsin mitätön määrä. Tämä selittynee kuitekin testauksen kohteena olleen järjestelmän ja etenkin Kuopio2002, vain kurssin T-76.115 arvostelun vaatimaan käyttöön Sivu 6
testattujen ominaisuuksien suppeudesta. Laajemmasta järjestelmästä olisi ollut hedelmällisempää etsiä virheitä. Varsinaisten bugien puuttuessa on tyytyminen testausryhmän miettimiin ja perustelemiin parannusehdotuksiin. Nämä on kuvattu luvussa 4. 6. LIITTEET [Liite 1] Testiloki Kuopio2002, vain kurssin T-76.115 arvostelun vaatimaan käyttöön Sivu 7