Testausraportti Smartmeeting opponointi
Sisällysluettelo 1. Johdanto...3 2. Testitapaukset Smartmeeting...4 2.1 Yritä kirjautua järjestelmään väärällä salasanalla...4 2.2 Lisää uusi käyttäjä...4 2.3 Lisää kokous...4 2.4 Kokousten selaus...5 2.5 Hae kokous...5 2.6 Ilmoittaudu kokoukseen...5 2.7 Kommentoi aihetta...5 2.8 Avaa aihe...5 2.9 Äänestä...6 2.10 Kokouksen pöytäkirjan selaus...6 2.11 Ilmoita muita kokoukseen osallistujia...6 2.12 Lisää dokumentti...6 2.13 Lisää tehtävä...7 2.14 Yritä lisätä tehtävä ilman otsikkoa...7 2.15 Sulje tehtävä...7 2.16 Lisää ideapooli...7 2.17 Muokkaa ideapoolissa olevaa aihetta...7 2.18 Lisää kokoukseen aihe ideapoolista...8 2.19 Muuta käyttäjän salasanaa...8 2.20. Yhteenveto testituloksista...9 3. Muut testatessa ilmenneet ongelmat...10 3.1 Testi add subject...10 3.2 Testi Search meetings...10 3.3 Testi Add Meeting...10 3.4 Testi Remove vote...11 3.5 Testi Remove document...11 4. Loppuyhteenveto...12 5. Testitapauksiin liittyvät virheilmoitukset...13 5.1 Virheilmoitukset - testitapaus lisää kokous (kappale 2.3)...13 Viitteet...15 Päiväys Tekijä Kuvaus 13.04.02 Ville Vaittinen Smartmeeting opponointitestaus Testausraportti Smartmeeting opponointi 2
1. Johdanto Kurssivaatimusten puitteissa DTV-projektiryhmä suoritti opponointitestausta projektiryhmän Smartmeeting järjestelmälle. Testaus perustui Smartmeetingprojektirynän toimittamiin testitapauksiin [1] ja DTV-ryhmän omaan testaukseen. Testit suoritettiin hajautetusti ryhmän jäsenten kesken, missä tarkoituksena oli testata järjestelmää erilaisilla kokoonpanoilla ja kerätä kokemuksia järjestelmän toimivuudesta erilaisten selainten kanssa. Järjestelmän asentamiseen, testaukseen ja virheiden raportointiin käytettiin kokonaisuudessaan ryhmän jäsenten aikaa noin 20 tuntia. Seuraavissa luvuissa esitetään tuloksia testeistä ja lopuksi DTV-ryhmän yhteenveto Smartmeeting-järjestelmästä. Testausraportti Smartmeeting opponointi 3
2. Testitapaukset Smartmeeting 2.1 Yritä kirjautua järjestelmään väärällä salasanalla. Testitapaus 1 2.2 Lisää uusi käyttäjä Testitapaus 2 Hylätty Kommentit Virhe: käyttäjän tietojen muokkaaminen. Valittaessa käyttäjä (pudotusvalikosta) editoitavaksi, ja muokattaessa käyttäjän nimeä, uusi nimi ei päivity, vaan vanha nimi jää muistiin valittaessa pudotusvalikosta sama käyttäjä uudelleen. Valittaessa ko. Käyttäjä vanhalla nimellä, tulee uusi (muutettu) nimi uudelleen näkyviin. 2.3 Lisää kokous Testitapaus 3 Hylätty Kommentit Syöte: Tehdään kokous ja annetaan tiedoiksi satunnaista tekstiä, Erikoismerkkejä sekä pitkiä rivejä. 1. Sihteerin asettaminen kokoukselle (uuden kokouksen luomisen yhteydessä) tuottaa selaimeen virheilmoituksen. 2. Uuden kokouksen tallentaminen "save" napista tuottaa virheilmoituksen. 3. Henkilön lisääminen kokoukseen tuottaa oheisen virheilmoituksen. (tallennettu virhelogi kappaleessa 4.1) Testausraportti Smartmeeting opponointi 4
2.4 Kokousten selaus Testitapaus 4 2.5 Hae kokous Testitapaus 5 2.6 Ilmoittaudu kokoukseen Testitapaus 6 Redhat 7.2/KDE Conqueror 2.7 Kommentoi aihetta Testitapaus 7 Redhat 7.2/KDE Conqueror 2.8 Avaa aihe Testitapaus 8 Redhat 7.2/KDE Conqueror Testausraportti Smartmeeting opponointi 5
2.9 Äänestä Testitapaus 9 Redhat 7.2/KDE Conqueror 2.10 Kokouksen pöytäkirjan selaus Testitapaus 10 Redhat 7.2/KDE Conqueror 2.11 Ilmoita muita kokoukseen osallistujia Testitapaus 11 Hylätty Kommentit Sign participants in/off nappi avaa (väärän?) sivun, jossa on kokouksen nimi, linkit aiheisiin, meeting minutes ja sign off linkit (ja toimimaton open chat nappi). Kokouksen osallistujia voi muuttaa vain jos kyseiseltä sivulta klikataan ensin joku kokouksen aiheista ja avautuvalla sivulla painetaan Sign participants in/off nappia. Saman sivun saa auki myös kokouksen etusivulta painamalla jotain aihe-linkkiä. Varsinainen kokouksen osallistujien muutteleminen toimii moitteetta. Win2000 / IE5 2.12 Lisää dokumentti Testitapaus 12 Win2000 / IE5 Testausraportti Smartmeeting opponointi 6
2.13 Lisää tehtävä Testitapaus 13 Win2000 / IE5 2.14 Yritä lisätä tehtävä ilman otsikkoa Testitapaus 14 Win2000 / IE5 2.15 Sulje tehtävä Testitapaus 15 Hylätty Kommentit Huomio: Jos haluaa esim. muuttaa tehtävän kuvausta samalla kun sulkee sen, järjestelmä hukkaa tehdyt muutokset jos erehtyy painamaan Close task nappia ennen Save changes nappia. (voisi tarkastaa mahdolliset muutokset tai jopa tallettaa ne samalla!) Win2000 / IE5 2.16 Lisää ideapooli Testitapaus 16 Win98/Mozilla 0.98 2.17 Muokkaa ideapoolissa olevaa aihetta Testitapaus 17 Win98/Mozilla 0.98 Testausraportti Smartmeeting opponointi 7
2.18 Lisää kokoukseen aihe ideapoolista Testitapaus 18 Hylätty Kommentit Havaittiin seuraava bugi: "VelocityServlet : Error processing the template -- java.lang.nullpointerexception" virhe ilmestyy, jos toimii seuraavasti: 1. Valitse ideapooli, jossa on aiheita 2. Valitse aihe ko. ideopoolista (Get ideas) 3. Valise toinen ideapooli, jossa ei ole samoja aiheita (älä paina "get ideas"-nappia. 4. Paina "Add subject"-nappia Eli tässä lisätään aihe, jota ko. ideapoolissa ei ole. Tästä syntyy null-osoitinvirhe puutteellisen virheenkäsittelyn takia. Win98/Mozilla 0.98 2.19 Muuta käyttäjän salasanaa Testitapaus 19 Win98/Mozilla 0.98 Testausraportti Smartmeeting opponointi 8
2.20. Yhteenveto testituloksista Testitapaus Tulos 1 2 Hylätty 3 Hylätty 4 5 6 7 8 9 10 11 Hylätty 12 13 14 15 Hylätty 16 17 18 Hylätty 19 Hyväksytyt 14 Hylätyt 5 Total 19 Hyv./Total. % 74 Testausraportti Smartmeeting opponointi 9
3. Muut testatessa ilmenneet ongelmat Tässä luvussa on joitain muita testatessa ilmi tulleita ongelmia selityksineen. 3.1 Testi add subject Testitapaus add subject Kommentit Kokouksen etusivulta klikataan jotain aihetta -> painetaan Add Subject -> aukeaa uuden aiheen lisäyssivu, jossa etusivulla klikatun aiheen alla on Related documents lista, jossa on joukko epämääräisiä (kaikki järjestelmässä olevat?) aiheeseen kuulumattomia dokumenttejä. 3.2 Testi Search meetings Testitapaus Kommentit Search meetings Kokouslistassa (Meetings/My Meetings/All Meetings/Search meetings) Assembly Place on $asm.getplace(), jos paikkaa ei ole syötetty. Kuitenkin jos hakuehto pätee vain kokouksiin, joissa paikka ei ole valittu, sitä ei näytetä. Tällöin myöskään Assembly Timeä ei näytetä vaikka se on olemassa! 3.3 Testi Add Meeting Testitapaus Kommentit Add Meeting Jos käyttäjä on kirjautunut johonkin kokoukseen ja painaa Add Meeting-linkkiä avautuu Modify Meeting sivu, johon on esitäytetty vain kokouksen nimi. Nimenä on jonkun kokouksen nimi (aakkosissa ensimmäinen?), johon käyttäjä on kirjautunut. Muita kenttiä ei ole esitäytetty kyseisen olemassaolevan kokouksen tiedoilla. Kuitenkaan tämä sivu ei muuta kokousta, jonka nimi on esitäytettynä, vaan luo uuden samalla nimellä, jos nimeä ei muuta. Loogista, eikö vaan? Testausraportti Smartmeeting opponointi 10
3.4 Testi Remove vote Testitapaus Remove vote Kommentit Toiminto "remove a vote" ei ole mahdollinen koska toimintoa ei ole. Win95/NS 4.08 3.5 Testi Remove document Testitapaus Kommentit Win95/NS 4.08 Remove document Avaa Documents-sivulta jokin dokumentti uuteen ikkunaan ja samaan ikkunaan. Poista dokumentti toisessa ikkunassa ja muokkaa sitä toisessa. Seurauksena virheilmoitus: VelocityServlet : Error processing the template java.lang.nullpointerexception java.lang.nullpointerexception at fi.hut.smartmeeting.ui.documentservlet.savemodifydoc umentrequest(unknown Source) at Fi.hut.smartmeeting.ui.DocumentServlet.handleRequest( Unknown Source) Testausraportti Smartmeeting opponointi 11
4. Loppuyhteenveto Yleisesti ottaen Smartmeeting järjestelmä vaikutti testiryhmän mielestä periaattessa toimivalta. Sen sijaan ryhmän sisällä mielipiteet vaihtelivat sen suhteen, voiko kokouksia ylipäätänsä järjestää näin virtuaalisesti. Asia lienee kuitenkin pääasiassa tottumiskysymys. Järjestelmän testaukseen oli testisuunnitelman perusteella arvioiden kiinnitetty huomiota ja käytännössäkin se osoittautui pääosin toimivaksi. Kuitenkin web-käyttöliittymän ollessa kyseessä epäselväksi jäi, kuinka paljon järjestelmää on testattu erilaisilla selaimilla. Omissa testeissämme käytimme ainakin neljää erityyppistä selainta (IE5, NS 4.08, Mozilla 0.98 ja KDE Konqueror) ja alustana Windowsia ja Linuxia, joiden välillä oli joitakin eroja toimivuudessa. Pääasiassa kaikki toimivat, kuitenkin joissain tilanteissa eroja oli, mutta niiden johtaminen selaimeen tai järjestelmään ei ollut mahdollista ilman tarkempaa tuntemusta kummastakin. Jos ryhmämme olisi saanut ohjelman testikäyttöön paria viikkoa aikaisemmin, olisimme voineet käyttää SM:a kokoustemme järjestämiseen ja testanneet näin sen käytettävyyttä todellisissa käyttötarpeissa. Yhden viikonlopun testauksessa ei ollut mahdollisuuksia mennä syvälle sovelluksen käytettävyyden ja tarkoituksenmukaisuuteen. Testaamistoimintamme rajoittui näin ollet testitapausten läpikäymiseen ja ohjelmallisten bugien metsästykseen. Testausraportti Smartmeeting opponointi 12
5. Testitapauksiin liittyvät virheilmoitukset 5.1 Virheilmoitukset - testitapaus lisää kokous (kappale 2.3) "VelocityServlet : Error processing the template java.lang.nullpointerexception java.lang.nullpointerexception at fi.hut.smartmeeting.ui.meetingservlet.errorsininput(unknown Source) at fi.hut.smartmeeting.ui.meetingservlet.savemodifymeetingrequest(unknown Source) at fi.hut.smartmeeting.ui.meetingservlet.handlerequest(unknown Source) at fi.hut.smartmeeting.core.smartmeetingservlet.handlerequest(unknown Source) at org.apache.velocity.servlet.velocityservlet.dorequest(velocityservlet.ja va:331) at org.apache.velocity.servlet.velocityservlet.dopost(velocityservlet.java: 301) at javax.servlet.http.httpservlet.service(httpservlet.java:760) at javax.servlet.http.httpservlet.service(httpservlet.java:853) at org.apache.catalina.core.applicationfilterchain.internaldofilter(applica tionfilterchain.java:247) at org.apache.catalina.core.applicationfilterchain.dofilter(applicationfilt erchain.java:193) at org.apache.catalina.core.standardwrappervalve.invoke(standardwrappervalv e.java:243) at va:566) at org.apache.catalina.core.standardpipeline.invoke(standardpipeline.java:4 72) at org.apache.catalina.core.containerbase.invoke(containerbase.java:943) at org.apache.catalina.core.standardcontextvalve.invoke(standardcontextvalv e.java:201) at va:566) at org.apache.catalina.valves.certificatesvalve.invoke(certificatesvalve.ja va:246) at va:564) at org.apache.catalina.core.standardpipeline.invoke(standardpipeline.java:4 72) at org.apache.catalina.core.containerbase.invoke(containerbase.java:943) at org.apache.catalina.core.standardcontext.invoke(standardcontext.java:234 4) at org.apache.catalina.core.standardhostvalve.invoke(standardhostvalve.java :164) at va:566) at org.apache.catalina.valves.errordispatchervalve.invoke(errordispatcherva lve.java:170) at va:564) at org.apache.catalina.valves.errorreportvalve.invoke(errorreportvalve.java :170) at va:564) at org.apache.catalina.valves.accesslogvalve.invoke(accesslogvalve.java:462 Testausraportti Smartmeeting opponointi 13
) at va:564) at org.apache.catalina.core.standardpipeline.invoke(standardpipeline.java:4 72) at org.apache.catalina.core.containerbase.invoke(containerbase.java:943) at org.apache.catalina.core.standardenginevalve.invoke(standardenginevalve. java:163) at va:566) at org.apache.catalina.core.standardpipeline.invoke(standardpipeline.java:4 72) at org.apache.catalina.core.containerbase.invoke(containerbase.java:943) at org.apache.catalina.connector.http.httpprocessor.process(httpprocessor.j ava:1011) at org.apache.catalina.connector.http.httpprocessor.run(httpprocessor.java: 1106) at java.lang.thread.run(thread.java:484) " Testausraportti Smartmeeting opponointi 14
Viitteet [1] Opponointitestauksen testitapaukset, Smartmeeting-projekti, T-76.115, Teknillinen korkeakoulu, 12.04.2002 Testausraportti Smartmeeting opponointi 15