Testausraportti. Sahara-ryhmä. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Transkriptio

1 Testausraportti Sahara-ryhmä Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

2 Kurssi Ohjelmistotuotantoprojekti (6 ov) Projektiryhmä Sanna Keskioja Sampo Lehtinen Hanna Liedenpohja Seppo Syrjänen Asiakas Joni Salmi Johtoryhmä Juha Taina Kimmo Simola Kotisivu Versiohistoria Versio Päiväys Tehdyt muutokset Ensimmäinen versio Toinen versio Testauksen raportointi valmis/hl Muun sisällön viimeistely/sk Pikku korjauksia/sl

3 Sisältö i 1 Testausraportin tunniste 1 2 Johdanto 2 3 Testiasetelma Testattavat kohteet Testaukseen käytetyt resurssit Henkilöstö Laitteisto ja ohjelmistot Testitapaukset Käytön aloitus Ryhmien hallinta Aikataulujen hallinta Testisekvenssit Vaatimusten validointi Toiminnalliset vaatimukset Ei-toiminnalliset vaatimukset Yhteenveto 35

4 1 Testausraportin tunniste 1 OhtuKesä Sahara TR01

5 2 Johdanto 2 Sahara on Helsingin yliopiston tietojenkäsittelytieteen laitoksen kesän 2005 ohjelmistotuotantoprojekti. Projektissa tuotetaan Tanja-järjestelmä, jonka avulla tietojenkäsittelytieteen laitoksella työskentelevä, ryhmiä kokoonkutsuva henkilö voi jakaa ryhmänsä jäsenille sekä ryhmän yhteisiä että henkilökohtaisia tapaamisaikoja. Tanja-järjestelmä kävi läpi kolme testikierrosta ennen lopullista hyväksyntää. Testauksessa keskityttiin testaamaan vaatimusmäärittelyssä kuvattujen käyttötapausten läpimenoa käyttöliittymässä. Rajallisen ajan vuoksi painopiste oli sen testaamisessa, että Tanjajärjestelmä suoriutuu sille asetetusta tehtävästä virheettömästi ja mahdollisimman nopeasti. Tämän dokumentin tehtävänä on raportoida testauksen tulokset ja kuvata menetelmät, resurssit ja olosuhteet, joilla testaus suoritettiin. Tässä raportissa viitatut käyttötapaukset ja vaatimukset löytyvät kokonaisuudessaan kuvattuina vaatimusdokumentin versiosta 2.01.

6 3 Testiasetelma Testattavat kohteet Tanja-järjestelmän kehitystyön ohessa vaatimuksia kartutettiin käyttötapausten avulla. Käyttötapausten pohjalta suunniteltiin graafinen käyttöliittymä, jota jatkuvasti simuloitiin asiakkaan kanssa hyödyntäen useita eri versioita käyttöliittymäprotoista. Käytettävyyden testauksesta on siis huolehdittu iteratiivisesti projektin edetessä. Hyväksyttyyn vaatimusdokumenttiin liittyi hyväksytty käyttöliittymäsuunnitelma. Järjestelmän totetuskieleksi tuli PHP, ja sen yksikkötestausta on tehty systemaattisesti ohjelman koodauksen edetessä. Myös itse ohjelman toteutus on ollut iteratiivista - komponentit on aina valmistumisensa jälkeen liitetty kokonaisuuteen, joka on tämän jälkeen testattu. Varsinaiseksi dokumentoitavaksi testaukseksi jäävät validointi- ja hyväksymistestaukset, jotka on kuvattu tässä dokumentissa. Tanja-ohjelmistoa testattiin kolme kierrosta viikkojen 34 ja 35 aikana. Jokaisen kierroksen jälkeen korjattiin testauksessa löytyneet virheet ja puutteet. Testaukset tehtiin seuraavilla Tanja-järjestelmän versioilla: v1.0.( php) - järjestelmätestaus v1.1 ( php) - järjestelmätestaus v1.2 ( php) - validointitestaus Viimeisin versio v1.2 luovutettiin asiakkaalle hyväksymistestausta varten tiistaina 30. elokuuta. 3.2 Testaukseen käytetyt resurssit Henkilöstö Toteutuksen aikaisesta tietokannan ja laskentalogiikan testauksesta vastasi Seppo. Käyttöliittymän toteutuksen aikana tehtävästä testauksesta vastasivat yhdessä Hanna, Sampo ja Seppo. Järjestelmätestauksesta vastasivat yhdessä Hanna ja Sanna siten, että Hanna testasi järjestelmän Linux-ympäristössä Mozilla Firefox 5:0:lla, jota varten järjestelmä on varsinaisesti kehitetty ja joka myös on ollut järjestelmän kehitysympäristö. Sanna puolestaan testasi Tanja-järjestelmää laitoksen ulkopuolella Windows2000-ympäristössä Internet Explorer 6.0:lla. Validointitestauksen suorittivat Sanna ja Hanna vertaamalla toteutunutta ohjelmistoa asiakkaan kanssa sovittuihin vaatimuksiin ennen järjestelmän esittelimistä asiakkaalle. Lopullisen hyväksymistestauksen suorittaa asiakas projektin luovutta-

7 4 misen jälkeen Laitteisto ja ohjelmistot Käytettävät laitteistot sijaitsevat tietojenkäsittelytieteen laitoksen tiloissa. Testissä käytettävät ohjelmistot ovat niitä versioita, jotka testien tekohetkellä ovat laitoksella asennettuina. Tästä poikkeuksena on Sannan tekemä ohjelmiston testaus Windows2000 ympäristössä, jonka hän suorittaa kotonaan.

8 4 Testitapaukset 5 Tässä esitellään testaussuunnitelmassa määriteltyjen laajennettujen käyttötapausten (EUCT) perusteella suoritettujen testien tulokset. Koska testaukseen ei ollut käytettävissä kovin paljon aikaa, testattiin vain ensimmäisellä testikierroksella aivan kaikki testitapaukset. Toisella ja kolmannella testikierroksella toistettiin vain edellisellä kierroksella virheitä aiheuttaneet testit. Testitulosten kirjaamiseen on käytetty seuraavaa merkintätapaa: tulos kuvaus [versio testaaja päiväys ympäristö] Esimerkkejä testituloksista: hyväksytty tulos: OK [v1.0 KK virheellinen tulos: VIRHE 2, painike ei toimi oikein [v1.0 KK wi/ie] Lyhenteiden selitteet: Tulos: OK = testi hyväksytty VIRHE = virhe, testi ei hyväksytty Virheluokat: VIRHE 1 = kriittinen, estää ohjelmiston käyttämisen VIRHE 2 = siedettävä, hankaloittaa ohjelmiston käyttöä mutta ei estä sitä VIRHE 3 = vähäinen, voi häiritä käyttää hieman Kuvaus: Vapaamuotoinen lyhyt kuvaus tilanteesta Versio: v1.0 = testiversio 1.0 v1.1 = testiversio 1.1 v1.2 = testiversio 1.2 Testaaja: KK = testaajan nimikirjaimet Ympäristö: li = Linux wi = Windows mf = Mozilla Firefox ie = Internet Explorer

9 6 4.1 Käytön aloitus KT1 Rekisteröityminen järjestelmään tekstikenttä: Etunimi oletusarvo: tyhjä Etunimi ei voi olla tyhjä. OK, tekstinä Täytä kaikki pakolliset kentät. [v1.0 HL välilyönti HYV OK [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>joni</b> HYV VIRHE 2, eskapointi puuttuu [v1.0 HL oikea syöte Joni HYV OK [v1.0 HL tekstikenttä: Sukunimi oletusarvo: tyhjä Sukunimi ei voi olla tyhjä. OK, tekstinä Täytä kaikki pakolliset kentät. [v1.0 HL välilyönti HYV OK [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>salmi</b> HYV VIRHE 2, eskapointi puuttuu [v1.0 HL oikea syöte Salmi HYV OK [v1.0 HL

10 tekstikenttä: Sähköposti oletusarvo: tyhjä Sähköpostiosoite ei voi olla OK, tekstinä Täytä kaikki tyhjä. pakolliset kentät. [v1.0 HL välilyönti yksi merkki 2 Virheellinen sähköpostiosoite. Virheellinen sähköpostiosoite. html-koodia Virheellinen sähköpostiosoite. <b>joni.salmi@helsinki.fi</b> oikea syöte joni.salmi@helsinki.fi virheellinen syöte joni.salmi@yliopisto.fi virheellinen syöte joni.salmi@ OK, tekstinä Sähköpostiosoite on väärän muotoinen. [v1.0 HL OK, tekstinä Sähköpostiosoite on väärän muotoinen. [v1.0 HL OK, tekstinä Sähköpostiosoite on väärän muotoinen. [v1.0 HL HYV OK [v1.0 HL Sähköpostiosoite ei kelpaa. OK, tekstinä Sähköpostiosoite on väärän muotoinen. [v1.0 HL Virheellinen sähköpostiosoite. OK, tekstinä Sähköpostiosoite on väärän muotoinen. [v1.0 HL tekstikenttä: Salasana oletusarvo: tyhjä Salasana ei voi olla tyhjä. OK, tekstinä Täytä kaikki pakolliset kentät. [v1.0 HL välilyönti Virheellinen salasana. OK, tekstinä Salasana on väärän muotoinen. [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <p>salasana</p> HYV VIRHE 2, eskapointi puuttuu [v1.0 HL Virheellinen salasana OK, tekstinä Salasana on väärän muotoinen. [v1.0 HL oikea syöte s!#ala3 HYV OK [v1.0 HL

11 painike: Rekisteröidy painallus Kiitos rekisteröitymisestäsi! OK [v1.0 HL Lähetämme sähköpostiosoitteeseesi viestin, jossa olevalla linkillä voit vahvistaa rekisteröitymisesi ja pääset käyttämään järjestelmää. sähköposti: Vahvistusviesti viestin sisältö oikea teksti (katso kälidemo OK [v1.0 HL ) vahvistuslinkin napsautus Avataan selainikkuna ja päästetään VIRHE 2, poikkeaa spekseistä: käyttäjä sisään järjes- telmään. nyt teksti tiketti Ok Käyttäjätunnuksesi on aktivoitu. Pääset kirjautumaan sisään etusivulta, linkistä pääsee kyllä etusivulle ja kirjautuminen sisälle onnistuu [v1.0 HL VIRHE 2, tilanne ennallaan [v1.1 HL OK, teksti korjattu, ok että kirjaudutaan vielä erikseen vahvistuslinkin napsautus uudestaan Sivulla ilmoitus, että rekisteröinti jo tehty. 8 [v1.2 HL VIRHE 3, teksti Tiketti väärä [v1.0 HL VIRHE 3, tilanne ennallaan [v1.1 HL OK [v1.2 HL

12 9 KT2 Kirjautuminen järjestelmään tekstikenttä: Sähköposti ja tekstikenttä: Salasana oletusarvo: molemmat tyhjiä Käyttäjää ei löydy OK, tekstinä Käyttäjää ei löydy. Anna tiedot uudelleen. [v1.0 HL toinen tyhjä Käyttäjää ei löydy OK, tekstinä Käyttäjää ei löydy. Anna tiedot uudelleen. [v1.0 HL väärä syöte Käyttäjää ei löydy OK, tekstinä Käyttäjää ei ja löydy. Anna tiedot uudel- xxyyzz leen. [v1.0 HL oikea syöte ja s!#ala3 oikea syöte ja s!#ala3 Käyttäjää ei löydy OK, tekstinä Käyttäjää ei löydy. [v1.0 HL HYV OK [v1.0 HL painike: Kirjaudu painallus Järjestelmä siirtää käyttäjän OK [v1.0 HL sisälle järjestelmään. KT3 Salasanan tilaus tekstikenttä: Sähköposti oletusarvo: tyhjä Sähköpostiosoitteella ei löytynyt OK [v1.0 HL käyttäjää. abc Sähköpostiosoitteella ei löytynyt OK [v1.0 HL käyttäjää. HYV OK [v1.0 HL

13 painike: Tilaa salasana painallus Tilaus lähetetty! Lähetämme OK [v1.0 HL sähköpostiisi viestin, jossa on salasanasi. sähköposti: Lähetetty salasana viestin sisältö oikea teksti (katso kälidemo ) ja viestissä salasana s!#ala3 OK [v1.0 HL

14 11 KT20 Kutsujan tietojen muokkaus tekstikenttä: Kutsuja (etunimikenttä) tyhjä Etunimi ei voi olla tyhjä. OK, tekstinä Tallennus ei onnistunut: Kaikki kentät ovat pakollisia. [v1.0 HL välilyönti HYV OK [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>jani</b> HYV VIRHE 2, eskapointi puuttuu [v1.0 HL oikea syöte Jani HYV OK [v1.0 HL tekstikenttä: Kutsuja (sukunimikenttä) tyhjä Sukunimi ei voi olla tyhjä. OK, tekstinä Tallennus ei onnistunut: Kaikki kentät ovat pakollisia. [v1.0 HL välilyönti HYV OK [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>salminen</b> HYV VIRHE 2, eskapointi puuttuu [v1.0 HL oikea syöte Salminen HYV OK [v1.0 HL tekstikenttä: Sähköposti

15 tyhjä Sähköpostiosoite ei voi olla OK, tekstinä Tallennus ei tyhjä. onnistunut: Kaikki kentät ovat pakollisia. [v1.0 HL välilyönti yksi merkki 2 Virheellinen sähköpostiosoite. Virheellinen sähköpostiosoite. html-koodia Virheellinen sähköpostiosoite. <b>joni.salmi@cs.helsinki.fi</b> oikea syöte joni.salmi@cs.helsinki.fi virheellinen syöte joni.salmi@yliopisto.fi virheellinen syöte joni.salmi@ tekstikenttä: Salasana OK, tekstinä Tallennus ei onnistunut: Sähköpostiosoite on virheellinen. [v1.0 HL OK, tekstinä Tallennus ei onnistunut: Sähköpostiosoite on virheellinen. [v1.0 HL VIRHE 1, virheellinen syöte hyväksyttiin [v1.0 HL OK, tekstinä Tallennus ei onnistunut: Sähköpostiosoite on virheellinen. [v1.0 HL HYV OK [v1.0 HL Sähköpostiosoite ei kelpaa. VIRHE 1, virheellinen syöte hyväksyttiin [v1.0 HL Virheellinen sähköpostiosoite. OK, tekstinä Tallennus ei onnistunut: Sähköpostiosoite on virheellinen. [v1.0 HL

16 tyhjä Salasana ei voi olla tyhjä. OK, tekstinä Tallennus ei onnistunut: Kaikki kentät ovat pakollisia. [v1.0 HL välilyönti Virheellinen salasana. OK, tekstinä Tallennus ei onnistunut: Salasana on virheellinen. [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>sala</b> HYV OK [v1.0 HL Virheellinen salasana OK, tekstinä Tallennus ei onnistunut: Salasana on virheellinen. [v1.0 HL oikea syöte u#!usi5 HYV OK [v1.0 HL painike: Tallenna painallus Tiedot tallennetaan. Jos sähköpostiosoite VIRHE 1, tiedot tallennetaan, muutettu, anne- mutta sähköpostin vaihdon taan kehote mennä vahvistamaan vahvistamisesta ei tule ilmoitusta uusi sähköpostiosoite vahvistusviestin linkistä. [v1.0 HL VIRHE 3 Ilmoitus tulee, mutta alussa teksti Tallennus ei onnistunut [v1.1 HL OK [v1.2 HL sähköposti: Vahvistusviesti 13

17 viestin sisältö oikea teksti (katso kälidemo VIRHE 1, vahvistusviestiä ja KT1) ei tule [v1.0 HL VIRHE 3, vahvistusviestistä puuttuu fromaddress ja fromname, viestin otsikko Tanja-spmuutos, teksti ok (sanamuoto?) [v1.1 HL OK [v1.2 HL vahvistuslinkin napsautus Avataan selainikkuna ja päästetään käyttäjä sisään järjestelmään. 14 VIRHE 1, vahvistusviestiä ei tule [v1.0 HL KT19 Tutustuminen järjestelmään esittelysivuilla painike: Tutustu Tanjaan painallus Käyttäjä siirretään järjestelmää VIRHE 2, linkkiä ei ole, kossivuille. esitteleville wwwka käyttöohjetta ei vielä tehty [v1.0 HL VIRHE 2, tilanne entisellään [v1.1 HL OK [v1.2 HL KT21 Kirjautuminen ulos painike Kirjaudu ulos painallus Järjestelmä lopettaa istunnon ja siirtää käyttäjän kirjautumissivulle. OK [v1.0 HL

18 Ryhmien hallinta KT4 Ryhmän lisääminen painike: Uusi painallus Järjestelmä luo uuden OK [v1.0 HL ryhmän. Perustiedotvälilehdessä tyhjä loma- ke. tekstikenttä: Ryhmä oletusarvo: (uusi ryhmä) HYV OK [v1.0 HL tyhjä HYV OK [v1.0 HL välilyönti HYV OK [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>tira HYV VIRHE 2, eskapointi puuttuu K2005</b> [v1.0 HL oikea syöte Tira K2005 HYV OK [v1.0 HL uusi samanniminen ryhmä Tira K2005 HYV OK [v1.0 HL painike: Tallenna painallus Tiedot tallennetaan. OK [v1.0 HL KT5 Ryhmän tietojen muokkaaminen tekstikenttä: Ryhmä

19 tyhjä HYV OK [v1.0 HL välilyönti HYV OK [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>tira HYV OK [v1.0 HL S2005</b> oikea syöte Tira S2005 HYV OK [v1.0 HL painike: Tallenna painallus Muutokset tallennetaan. OK [v1.0 HL KT6 Ryhmän poistaminen valintalista: Ryhmät Poistettava ryhmä valittu Ryhmä korostettu valintalistassa. OK [v1.0 HL painike: Poista painallus Poiston varmistus, ryhmä OK [v1.0 HL poistuu käyttöliittymästä. KT7 Osallistujan lisääminen ryhmään A. Lisäys osallistuja kerrallaan painike: Uusi osallistuja painallus Loppuun lisätään tyhjä rivi, OK [v1.0 HL jossa syöttökentät. tekstikenttä: Sukunimi oletusarvo: tyhjä HYV OK [v1.0 HL oikea syöte Hiltunen HYV OK [v1.0 HL

20 17 tekstikenttä: Etunimi oletusarvo: tyhjä HYV OK [v1.0 HL oikea syöte Heikki HYV OK [v1.0 HL tekstikenttä: Sähköposti oletusarvo: tyhjä HYV OK [v1.0 HL väärä Virheellinen sähköpostiosoite.lennettu. OK, tekstinä Tietoja ei tal- Sähköpostiosoite on virheellinen. [v1.0 HL oikea syöte HYV OK [v1.0 HL painike: Tallenna painallus Tiedot tallennetaan ja lisätty osallistuja valittuna. VIRHE 2, lisätty osallistuja ei säily valittuna [v1.0 HL B. Lisäys CSV-muodossa painike: Tuo CSV-muodossa painallus Avataan popup-ikkuna, jossa OK [v1.0 HL CSV-tuontilomake. tekstialue: CSV-data (sivu 1)

21 oletusarvo: tyhjä Virheilmoitus VIRHE 2, siirtää tyhjän datan taulukkosivulle, ei virheilmoitusta [v1.0 HL OK, virheilmoitus Anna tiedot tai paina Peru. [v1.1 HL CSV-dataa (esim kälidemo ) 18 HYV VIRHE 1, siirtää kaiken datan etunimi-kenttään (vaikka sähköpostin sarakkeeksi vaihtaa 5), mutta jos datan muotoilee etunimi;sukunimi;sähköposti, siirto toimii [HL ] valintalista: CSV-erotinmerkki (sivu 1) oletusarvo: ; HYV OK [v1.0 HL valinta : HYV OK [v1.0 HL tekstikenttä: Etunimisarake (sivu 1) oletusarvo: 1 HYV OK [v1.0 HL HYV (jos sukunimisarake tai sähköpostisarake ei 2) VIRHE 1, ei vaihda saraketta [v1.0 HL tekstikenttä: Sukunimisarake (sivu 1) oletusarvo: 2 HYV OK [v1.0 HL HYV (jos sukunimisarake tai sähköpostisarake ei 1) tekstikenttä: Sähköpostisarake (sivu 1) VIRHE 1, ei vaihda saraketta [v1.0 HL

22 oletusarvo: 3 HYV OK [v1.0 HL HYV (jos sukunimisarake tai sähköpostisarake ei 2) 19 VIRHE 1, ei vaihda saraketta [v1.0 HL painike: Siirrä (sivu 1) painallus Siirrytään sivulle, jossa tiedot OK [v1.0 HL näkyvät taulukossa. painike: Peru (sivu 1) painallus Suljetaan popup-ikkuna OK [v1.0 HL tekstikenttä: Etunimi (sivu 2) oletusarvo: CSV-datan arvo HYV OK [v1.0 HL tyhjä HYV OK [v1.0 HL tekstikenttä: Sukunimi (sivu 2) oletusarvo: CSV-datan arvo HYV OK [v1.0 HL tyhjä HYV OK [v1.0 HL tekstikenttä: Sähköposti (sivu 2)

23 oletusarvo: CSV-datan arvo HYV OK [v1.0 HL tyhjä HYV OK [v1.0 HL Virheellinen sähköpostiosoite 20 VIRHE 2, hyväksyy syötteen, ei virheilmoitusta (ilmeisesti joku sp-osoitteen tarkistus tapahtuu, kun tuodaan csv-data taulukkoon, koska virheellisille ei tule Lisätään-rasteja?) [v1.0 HL VIRHE 2, toimii vähän oudosti, virheilmoitus tulee: Epäkelpo sähköpostiosoite: etunimi=heli sukunimi=mikkonen sposoite=heli.mikkonenhelsinki.fi ja Takaisin: Korjaa virheet - linkki, muiden osallistujien rastit tällä välin tyhjentyneet ja tiedot menneet kantaan, lisäksi muokattu sp-osoite palautunut alkuperäiseksi, Takaisin-linkistä tulee myös postdata-confirm [v1.1 HL OK [v1.2 HL valintaruutu: Siirretään (sivu 2) valittu HYV, tallennetaan OK [v1.0 HL ei valittu HYV, ei tallenneta OK [v1.0 HL painike: Valmis (sivu 2) painallus Siirrytään sivulle, jossa tiedot OK [v1.0 HL tallennuksesta. painike: Peru (sivu 2) painallus Suljetaan popup-ikkuna OK [v1.0 HL

24 21 painike: Sulje (sivu 3) painallus Suljetaan popup-ikkuna VIRHE 2, näytetään postdata-confirm [v1.0 HL KT8 Osallistujan tietojen muokkaaminen tekstikenttä: Sukunimi tyhjä HYV OK [v1.0 HL Heinonen HYV OK [v1.0 HL tekstikenttä: Etunimi tyhjä HYV OK [v1.0 HL Harri HYV OK [v1.0 HL tekstikenttä: Sähköposti tyhjä HYV OK [v1.0 HL väärä Virheellinen sähköpostiosoite.lennettu. OK, tekstinä Tietoja ei tal- Sähköpostiosoite on virheellinen. [v1.0 HL syöte HYV OK [v1.0 HL painike: Tallenna painallus Tiedot tallentuvat ja muokattu osallistuja valittuna. VIRHE 2, muokattu osallistuja ei säily valittuna [v1.0 HL

25 22 KT9 Osallistujan poistaminen painike: Poista valittu osallistuja painallus Poiston varmistus, osallistuja OK [v1.0 HL poistetaan. 4.3 Aikataulujen hallinta KT10 Aikataulun lisääminen ryhmälle painike: Uusi napin painallus Järjestelmä luo uuden OK [v1.0 HL aikataulun. Perustiedotvälilehdessä tyhjä lomake, jossa Ryhmä-kentässä käsiteltävänä olevan ryhmän nimi. Muissa kentissä oletusarvot. tekstikenttä: Aikataulu oletusarvo: (uusi aikataulu) HYV OK [v1.0 HL tyhjä HYV OK [v1.0 HL välilyönti HYV OK [v1.0 HL yksi merkki 2 HYV OK [v1.0 HL html-koodia <b>ohjaukset</b> HYV VIRHE 2, eskapointi puuttuu [v1.0 HL oikea syöte Ohjaukset HYV OK [v1.0 HL uusi samanniminen aikataulu Ohjaukset painike: Tallenna HYV OK [v1.0 HL

26 painallus muutokset tallentuvat OK [v1.0 HL KT11 Aikataulun ominaisuuksien määrittäminen 23 valintanappi: Tapaamisen tyyppi oletusarvo: Yksilötapaaminensivulla Valinta tallentuu, Aikataulutaulu. näytetään yksilöaika- valinta Ryhmätapaaminen Valinta tallentuu, Aikataulusivulla näytetään ryhmäaikataulu. valintalista: Tapaamisen kesto OK [v1.0 HL OK [v1.0 HL

27 oletusarvo: 20 min 20 min valittuna, HYV, viikkonäkymässä tarjotut ajat 20 min. valinta 10 min, ei tarjottuja aikoja valinta 10 min, on tarjottuja aikoja valinta 60 min, ei tarjottuja aikoja valinta 60 min, on tarjottuja aikoja on tarjottuja aikoja ja sopivuuksia HYV, viikkonäkymässä tarjotut ajat 10 min. Varmistus, HYV, viikkonäkymässä tarjotut ajat 10 min. HYV, viikkonäkymässä tarjotut ajat 60 min. Varmistus, HYV, viikkonäkymässä tarjotut ajat 60 min. Tapaamisen kesto - valintalista disabloitu. 24 OK [v1.0 HL VIRHE 2, näyttää varmistuksen, vaikka ei rasteja [v1.0 HL VIRHE 2, varmistus ok, mutta en ole varma, toimiiko aikojen skaalaminen uuteen kestoon oikein [v1.0 HL VIRHE 2, näyttää varmistuksen, vaikka ei rasteja [v1.0 HL VIRHE 2, varmistus ok, mutta en ole varma, toimiiko aikojen skaalaminen uuteen kestoon oikein [v1.0 HL OK [v1.0 HL tekstikenttä: Viikkojakso alkaa

28 oletusarvo: seuraava ma Päiväys näytetään oikein, OK [v1.0 HL HYV. tyhjä Päiväys on virheellinen. EI TESTATTU testiversiossa vanha versio tarkistuksesta [v1.0 HL VIRHE 1, näyttää virheilmoituksen, mutta oletuspäivä (kuukausi 08) antaa virheen, välillä jää myös useita alert-aatikoita päällekkäin? Korjattava oletusarvo: nollat pois ja alerttiin pvm-ohje [v1.1 HL OK [v1.2 HL välilyönti Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL yksi merkki kirjain ä Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL yksi merkki 2 Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL html-koodia <b> </b> Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL oikea syöte HYV VIRHE 1, pitäisi olla 5.9. [v1.1 HL OK, nollat ok [v1.2 HL oikea syöte HYV VIRHE 1, pitäisi olla 5.9. [v1.1 HL OK, nollat ok [v1.2 HL oikea syöte HYV OK, mutta tallennus muuttaa muotoon [v1.1 HL väärä syöte Päiväys on virheellinen. 25 tekstikenttä: Viikkojakso loppuu

29 oletusarvo: su laskettuna seuraava Päiväys näytetään oikein, OK [v1.0 HL ma + 6 viikkoa HYV. tyhjä Päiväys on virheellinen. EI TESTATTU testiversiossa vanha versio tarkistuksesta [v1.0 HL VIRHE 1, katso Viikkojakso alkaa [v1.1 HL OK [v1.2 HL välilyönti Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL yksi merkki kirjain ä Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL yksi merkki 2 Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL html-koodia <b> </b> Päiväys on virheellinen. OK, mutta katso ed. kohta [v1.1 HL oikea syöte HYV VIRHE 1, pitäisi olla 2.12 [v1.1 HL OK, nollat ok [v1.2 HL oikea syöte HYV OK, mutta tallennus muuttaa muotoon [v1.1 HL väärä syöte Päiväys on virheellinen. valintaruudut: Tarjotut ajat oletusarvo: ei valintoja Ei valittuja ruutuja, HYV. OK [v1.0 HL tapaamisen kesto 20 min, valinnat ti 10:00-12:00, to 12:00-16:00 HYV, valinnat näytetään oikein korostettuna viikkonäkymässä. 26 OK [v1.0 HL painike: Tallenna painallus Muutokset tallennetaan. OK [v1.0 HL KT16 Aikataulun poistaminen

30 valintalista: Aikataulut Poistettavan aikataulu valittu Aikataulu korostettu valintalistassa. OK [v1.0 HL painike: Poista (aikataulu) painallus Poiston varmistus, aikataulu OK [v1.0 HL poistuu käyttöliittymästä. 27 KT12 Sopivuuksien syöttäminen valintanapit: Sopivuudet tapaamisen kesto 20 min, tarjotut HYV, valinnat näytetään oikein OK [v1.0 HL ajat ti 10:00-11:20, va- linnat sk, et, es, sk korostettuna viikkonäky- mässä. KT14 Ehdotetun aikataulun muokkaaminen valintaruudut: Tapaamiset rastitetaan kaksi ruutua valintaruutujen paikat vaihtuvat OK [v1.0 HL rastitetaan yksi ruutu ei tehdä mitään OK [v1.0 HL aikoja > osallistujia, rastitetaan Aika merkitään kyseiselle OK [v1.0 HL valintaruutu tietyn osal- listujan rivillä osallistujalle. osallistujia > aikoja, rastitetaan valintaruutu tietyn tapaamisen sarakkeessa Aika merkitään kyseiselle osallistujalle. OK [v1.0 HL painike: Järjestä tapaamiset aikojen mukaan painallus Tapaamiset järjestetään aikojen OK [v1.0 HL mukaan. painike: Laske aikataulu uudelleen

31 painallus Aikataulu lasketaan sopivuuksien VIRHE 2, päiväys päivittyy mukaan uudelleen. myös valintaruuduista? [v1.0 Viimeksi laskettu -päiväys HL VIRHE päivittyy. 2, tilanne ennallaan [v1.1 HL OK [v1.2 HL Testisekvenssit Sellaisia vaatimuksia, joihin ei suoraan liittynyt mitään testitapausta, validoitiin testisekvenssien avulla. Nämä testisekvenssit valittiin edustamaan muutamaa tyypillisimmäksi arvioitua järjestelmän käyttötapaa. Testisekvenssit testattiin Sannan kotona Windows2000 ympäristössä Internet Explorer 6.0 selaimella. Koska muu testaus oli tehty laitoksen Linuxympäristössä oletettiin, että myös testisekvenssit toimivat siellä, kuten jo aiemmin tehdyt syöte- ja tulostestaukset olivat osoittaneet. Testisekvenssit 1. Uuden aikataulun perustamisesta valmiiseen aikatauluun Alkutila: Kutsujalla ei ole käytössään ryhmän aikataulua. Lopputila: Kutsujalla on käytössään järjestelmän muodostama aikataulu. (a) Kutsuja kirjautuu järjestelmään henkilökohtaisilla käyttäjätunnuksillaan: Järjestelmä hyväksyy kirjautumisen ja käyttäjä siirretään järjestelmän perustiedotvälilehdelle. Alkutila määrittelyn mukainen. (b) Käyttäjä antaa ryhmälle ja aikataululle nimen (c) Käyttäjä syöttää ryhmälle tarjoamansa tapaamisajat (d) Käyttäjä on tyytyväinen järjestelmän tarjoamiin aikataulun oletusarvoihin, tapaamisen tyyppiin (yksilötapaaminen), kestoon ja ryhmän aloitus- ja lopetuspäiviin. (e) Käyttäjä siirtyy osallistujat-välilehdelle. (f) Käyttäjä lisää osallistujia CSV-tuonnin kautta. Järjestelmä liittää osallistujat halutulla tavalla ryhmän osallistujiksi. Myös osallistujan manuaalinen lisäys onnistuu.

32 (g) Käyttäjä syöttää ryhmänsä osallistujille sopivuudet. Sopivuuksien lisäys onnistui. (h) Viimeisen osallistujan sopivuuksien syöttämisen jälkeen käyttäjä siirtyy aikatauluvälilehdelle. (i) Järjestelmä muodostaa tarjottujen aikoihin ja sopivuuksien perusteella osallistujille onnistuneesti henkilökohtaisen tapaamisaikataulun Uuden aikataulun lisääminen olemassaolevalle ryhmälle Alkutila: Käyttäjä lisää ryhmälleen uuden aikataulun Lopputila:Käyttäjän ryhmällä on uusi aikataulu (a) Käyttäjä kirjautuu järjestelmään sisään. (b) Käyttäjä valitsee käyttöliittymän yläosan ryhmä-valikosta sen ryhmän, jolle haluaa lisätä aikataulun (c) Oikean ryhmän aktivoituaan käyttäjä painaa aikataulu-valikosta painiketta uusi. Järjestelmä avaa hänelle tyhjän perustiedot-sivun lomakkeen, jossa määrityksen mukaisesti syötteinä oletusarvot ja ko. ryhmän nimi. (d) Käyttäjä tekee aikataulun perustietoihin haluamansa muutokset. (e) Käyttäjä siirtyy osallistujat-välilehdelle. (f) Ryhmän osallistujien tiedot ovat jo olemassa, joten käyttäjä vain syöttää jokaiselle osallistujalle sopivuudet. (g) Käyttäjä siirtyy aikataulu-välilehdelle (h) Järjestelmä muodostaa annettuihin tarjottujen aikojen ja sopivuuksien perusteella osallistujille onnistuneesti uuden aikataulun. 3. Ryhmän, aikataulun ja osallistujan poistaminen Alkutila: Käyttäjällä on ryhmä, ryhmään kuuluva aikataulu tai osallistuja, jonka hän haluaa poistaa. Lopputila: Ko. ryhmä, aikataulu tai osallistuja on poistettu (a) Käyttäjä on kirjautuneena järjestelmän

33 (b) Käyttäjä valitsee yläosan ryhmä-valikosta sen ryhmän, jonka haluaa poistaa tai johon kuuluvan aikataulun tai osallistujan haluua poistaa. 30 (c) Aktivoidun ryhmän käyttäjä poistaa klikkaamalla ryhmä-valikossa poista-painiketta. Ryhmään kuuluvan aikataulun hän poistaa vastaavalla tavalla aikataulu-valikossa aktivoimalla poistettavan aikataulun ja klikkaamalla poista-painiketta. (d) Ryhmään kuuluvan osallistujan käyttäjä poistaa osallistujat-välilehdellä aktivoimalla poistettavan osallistujan osallistujat-taulukossa ja klikkaa poista valittu osallistuja -painiketta. (e) Järjestelmä poistaa ko. osallistujan ryhmästä ja samalla tuhoaa myös ko. osallistujaan liittyvät sopivuudet.

34 5 Vaatimusten validointi 31 Tässä luvussa tarkastetaan, ovatko projektiryhmän ja asiakkaan ohjelmistolle asettamat vaatimukset toteutuneet. Oheiseen tarkistuslistaan on kirjattu vaatimus kerrallaan vaatimuksen tunniste, testaussuunnitelmassa määritelty vaatimuksen validoiva käyttötapaus, muu dokumentti tai testisekvenssi. Kolmannessa sarakkeessa vahvistetaan vaatimuksen toteutuminen siten, että jos vaatimus valoidoituu, sille merkitään OK. Jos määritellyn vaatimuksen ja toteutuksen välillä on poikkeama, sitä kuvataan taulukossa merkinnällä P (poikkeama). Poikkeamat on kuvattu tarkemmin toteutusdokumentissa. Käyttötapaukset on kuvattu kokonaisuudessaan vaatimusdokumentissa ja niiden validoivuus perustuu tässä raportissa kuvattujen laajennettujen käyttötapausten onnistuneeseen läpivientiin.

35 Toiminnalliset vaatimukset Vaatimus Validointitapa OK V1 KT1 OK V2 KT2 OK V3 KT3 OK V4 KT20 (vaatimuksen kuvauksesta poiketen voidaan muuttaa myös OK salasanaa) V5 KT20 sähköposti: Vahvistusviesti OK V6 Ei toteutettu - V7 KT4, KT5, KT6, KT7, KT9, KT10, KT11, KT12, KT14, KT16 OK V8 Ei toteutettu - V9 KT19 OK V10 KT4 OK V11 KT5 OK V12 KT6 OK V13 KT7 B. Lisäys CSV-muodossa OK V14 KT7 B. Lisäys CSV-muodossa OK V15 KT7 A. Lisäys osallistuja kerrallaan OK V16 KT8 OK V17 KT9 OK V18 KT10 OK V19 KT11 OK V20 KT11 OK V21 KT16 OK V22 KT12 OK V23 Ei toteutettu - V24 Ei toteutettu - V25 Ei toteutettu - V26 Ei toteutettu - V27 KT14 OK V28 KT14 painike: Järjestä tapaamiset aikojen mukaan OK V29 KT14 painike: Laske aikataulu uudelleen OK V30 KT14 OK V31 Ei toteutettu - V32 Ei toteutettu - V33 Ei toteutettu -

36 Ei-toiminnalliset vaatimukset Vaatimus Validointi OK V34 KT1 (pakollisten tietojen tarkistus) OK V35 KT1 OK V36 KT1, KT20 OK V37 KT1, KT20 OK V38 KT1 OK V39 KT1 sähköposti: Vahvistusviesti, KT20 sähköposti: Vahvistusviesti OK V40 KT2 OK V41 KT3 OK V42 Ei toteutettu - V43 KT4 (ryhmien määrää ei rajoitettu) OK V44 KT4 (kutsujalla voi olla samannimisiä ryhmiä), KT5 (kutsuja voi OK ryhmän nimeä muuttaessaan antaa ryhmän uudeksi nimen saman nimen kuin jollain muulla ryhmällään). V45 KT7 (osallistujien määrää ei rajoitettu) OK V46 KT7 (osallistujien lkm näytöllä, tarjotut ajat näkyvissä) OK V47 KT10 (aikataulujen määrää ei rajoitettu) OK V48 KT10 OK V49 KT11 OK V50 KT11 OK V51 KT11 OK V52 KT11 OK V53 KT11 OK V54 KT12 OK V55 Testisekvenssi 1 (valmis aikataulu) OK V56 KT12, KT14 OK V57 Testisekvenssi 1 OK V58 Toteutus poikkeaa määrittelystä (testisekvenssi 3) P V59 Ei toteutettu - V60 Saharan testaus (useita samanaikaisia käyttäjiä) OK V61 Testisekvenssi 1 OK V62 Toteutus poikkeaa määrittelystä (toteutusdokumentti) P V63 Testisekvenssi 2 (aikaisempia ryhmiä, lisätään uusi) OK

37 Vaatimus Validointi OK V64 Toteutusdokumentti (konfiguraatiotiedoston sisältö) OK V65 Ei toteutettu - V66 Toteutusdokumentti (konfiguraatiotiedoston sisältö) OK V67 Toteutusdokumentti (konfiguraatiotiedoston sisältö) OK V68 Testisekvenssi 1 OK V69 Testisekvenssit OK V70 Ei toteutettu - V71 Toteutus poikkeaa määrittelystä (toteutusdokumentti) P V72 Ei toteutettu - V73 Ei toteutettu - V74 Toteutus poikkeaa määrittelystä P V75 KT6, KT9, KT16 (Testisekvenssi 3) OK V76 Toteutus poikkeea osittain määritellystä. KT4, KT7, KT8 OK V77 Ei toteutettu - V78 Testisekvenssit OK V79 Ei toteutettu - 34

38 6 Yhteenveto 35 Sahara-ryhmän kesän 2005 ohjelmistoprojektissa tuottama Tanja-järjestelmä kävi läpi kolme testikierrosta ennen kuin ryhmä hyväksyi sen lopullisesti. Testauksessa keskityttiin testaamaan vaatimusmäärittelyssä kuvattujen käyttötapausten läpimenoa käyttöliittymässä ja voitiin todeta, että järjestelmä suoriutuu sille asetetusta tehtävästä virheettömästi ja hyvällä www-sovelluksen nopeudella. Lisäksi jo aikaisemmin käyttöliittymän suunnittelun yhteydessä tehtyjä käytettävyyttä mittaavia sekvenssejä toistettiin eri variaatioin. Myös käyttöliittymän osalta voitiin todeta suunniteltujen elementtien valtaosin toteutuneen, joitakin poikkeamia lukuunottamatta. Vaatimusdokumentissa määritellyistä ohjelman toimintalogiikkaan liittyvistä vaatimuksista toteutumatta jäi ajan puutteen vuoksi vanhojen tietojen poisto. Vanhat tiedot voidaan kuitenkin poistaa loppuraportissa kuvatun Asenna-hakemiston työkalulla. Poikkeamat käyttöliittymäsuunnitelmasta Poikkeama: suoratallennus Toteuma: lähettämistoiminnot piilotettiin käyttöliittymäelementteihin Poikkeama: kalenterikomponentti puuttuu Toteuma: Tekstikentät ryhmän alkamis- ja päättymispäivien syöttämiseksi Poikkeama: Tarjottujen aikojen valinta ja sopivuuksien syöttäminen viikkonäkymästä maalaamalla Toteuma: Valinnat hiirellä klikkaamalla Poikkeama: Järjestelmä ei tue hajautettua käyttöä Toteuma: Kutsuja syöttää itse ryhmänsä osallistujien sopivuudet Toteutuksessa poikettiin alkuperäisestä käyttöliittymäsuunnitelmasta pääosin ohjelmointikielen vaihtumisesta johtuen. Alun perin javalla toteutettavaksi suunniteltuja toimintoja ei pystytty toteuttamaan php:lla ja javascriptilla. Lisäksi ryhmän koko pieneni viidestä neljään, jolloin menetettiin 20% käytettävissä olevasta ajasta. Tämä johti vaatimusten karsimiseen ja joidenkin suunniteltujen osioiden rajaamiseen toteutuksen ulkopuolelle. Tulosten yhteenveto Tanja-järjestelmän kehitystyön ohessa vaatimuksia kartutettiin käyttötapausten avulla. Käyttötapausten pohjalta suunniteltiin graafinen käyttöliittymä, jota jatkuvasti simuloitiin asiakkaan kanssa hyödyntäen useita eri versioita käyttöliittymäprotoista. Käytettävyyden testauksesta huolehdittiin iteratiivisesti projektin edetessä. Järjestelmän totetuskieleksi tuli php, ja sen yksikkötestausta tehtiin systemaattisesti ohjelman koodauksen edetessä. Myös itse ohjelman toteutus oli iteratiivista - komponentit liitettiin aina valmistumisensa

39 jälkeen kokonaisuuteen, joka tämän jälkeen testattiin. Toteutuksesta erillisiksi testausvaiheiksi jäivät tässä käyttötapauksiin perustuvat järjestelmä- ja validointitestaukset. Tässä raportissa dokumentoidut testitulokset osoittavat Tanja-järjestelmän täyttävän sille vaatimusmäärittelyssä ja käyttöliittymäsuunnitelmassa asetetut vaatimukset sillä tasolla, että järjestelmä läpäisi testausvaiheen. Järjestelmä luovutettiin asiakkaalle hänen itse tekemäänsä lopullista hyväksymistestausta varten. 36