TESTIRAPORTTI 1/5 TESTIRAPORTTI 1 Yleistä Tässä raportissa kerrotaan vertaistestin tulokset DrunkIT-ryhmälle. Testiin varaamamme kahdeksan tuntia käytettiin seuraavasti: - 2 h ohjelmistoon tutustuminen, järjestelyt ja testin suunnittelu - 2 h testi-istunto (Markku Kekkonen, 20.2.) - 2 h testi-istunto (Sami Tikkanen, 20.2.) - 2 h testi-istunto (Tuomas Hellstén, 21.2.) Testi-istunnot ovat raportin luvuissa 3, 4 ja 5. Yleiset havainnot on kerrottu luvussa 6. Löydetyt viat on raportoitu Bugzillaan. Vikojen tunnisteisiin viitataan tässä asiakirjassa. 2 Käytetyt datatiedostot Datatiedostoina käytettiin testi-istunnoissa mainittujen ohjelmistojen asennushakemistojen sisältöä, erityisesti lisenssiehtoja. 3 Testi-istunto 1 Testin alkamisaika: 20.2.2006 18:30 Testauspaikka: Helsinki Java-versio: 1.5.0_06 OSLC-versio: oslc-test4, February 16, 2006 Markku Kekkonen 2 h
TESTIRAPORTTI 2/5 Testiloki: - hakemistopolun muistaminen (vrt NohevaII Projektin avaus) - Lisenssien tulostus ei toimi ei osaa katkaista rivejä siten että kokolisenssi tulostuisi (BugID: 14) More about licenses => Print - Painamalla Next Inspection complete ikkunassa aukeaa aina uusi detailed results kuitenkin siten että ainoastaa uusinta voi selailla. Tulisi korjata siten että useita ikkunoita ei voi avata tai sitten vanha suljetaan ennen uuden avaamista (BugID: 15) - Koko ohjelma sulkeutuu painamalla detailed resultsin kiinni oikean yläkulman ruksista. Pitäisi seulkea vain detailed results ikkunan (BugID: 16) 4 Testi-istunto 2 Testin alkamisaika: 20.2.2006 21:10 Sami Tikkanen 1 h 32 min Suunnittelun ja toteutuksen osuus: 95 % Vikojen tutkimisen ja raportoinnin osuus: 5 % Testin järjestelyjen osuus: 0 % Testitapausten käytön ja vapaan testauksen 0 % / 100 % suhde: Aika Mitä testattiin/havaittiin Testin tulos 21.10 Ohjelman käynnistys OK 21.12 Hammurapi-lisenssin etsintä (LGPL) OK 21.13 Ant-lisenssin etsintä OK 21.15 Hakemistopolun säilyminen olisi hyvä asia, ei käyttöä häiritsevä seikka tarvitsisi selata samaan hakemistoon monta kertaa, jos siellä on useita ohjelmistoja. 21.16 QJ-pro-lisenssin etsintä (GPL) OK 21.18 Lisenssien selaus ei tunnu toimivan. virhe (BugID: 4) Syötekenttään voi kirjoittaa, mutta Searchnappi ei aktivoidu. Syötekenttä voisi olla vain yksirivinen, koska muut rivit valuvat kuitenkin piiloon. 21.21 Tulostuksen esikatselussa teksti valuu yli virhe (BugID: 14) paperin reunojen. 21.22 Tekstin "Finish" tilalle voisi valita myös vähäinen viimeistelyseikka tekstin "Exit" tai "Quit". 21.27 Buenos-lisenssin etsintä (m-bsd) OK
TESTIRAPORTTI 3/5 21.33 SableCC-lisenssin etsintä (LGPL) OK 21.37 Checkstyle 4.0 (kaupallinen, All rights OK 21.39 jedit 4.2 (Apache V1.1/All rights OK 21.42 Cute PDF Writer (kaupallinen, All rights OK 21.43 BitTorrent (MIT) OK 21.46 CVS (GPL) OK 21.47 Dia (ei lisenssiä) OK 21.49 Eclipse (All rights OK 21.52 Graphmatica (Shareware) OK 21.52 Ghostscript (ei lisenssitietoja) OK 21.53 GSView (ei lisenssitietoja) OK 21.55 Illustrate dbpoweramp/lame (LGPL) OK 21.56 Sun Java 1.5 (All rights reserved/bsd) OK 22.03 mirc (ei lisenssitietoja) OK 22.06 Mozilla Firefox (All rights OK 22.09 MySQL 4.0 (LGPL/GPL) OK 22.12 NetBeans 4.1 (All rights reserved/apache) OK 22.13 Microsoft Flight Simulator 2002 (All rights OK 22.14 Painettaessa Next > -painiketta tulee virheilmoitus: virhe (BugID: 17) 22.18 PCSpim (ei lisenssiä) OK 22.20 PLT Scheme (LGPL/GPL) OK 22.21 Scorched 3D (GPL) OK 22.22 Trax (NPD, ei lisenssitietoja) OK 22.25 Virtual Sailor (PD, ei lisenssitietoja) OK 22.30 XviD (LGPL/GPL) OK 22.31 ApacheV1.1-lisenssiä ei voi katsella, vaikka virhe (BugID: 3) se näkyy listassa. 22.31 Ms-CL-lisenssiä ei voi katsella, vaikka se virhe (BugID: 3) näkyy listassa. 22.32 LGPL-lisenssiä ei voi katsella, vaikka se virhe (BugID: 3) näkyy listassa. 22.32 Ohjelman sulkeminen OK Testausistunto päättyi 5 Testi-istunto 3 Testin alkamisaika: 21.2.2006 09:30 Tuomas Hellstén 2 h Suunnittelun ja toteutuksen osuus: 95 %
TESTIRAPORTTI 4/5 Testiloki: 9.30-9.50 Browsing Open Source license texts - Search-nappula ei toimi. (BugID: 4) - Tekstikenttä rivittää tekstiä enterillä,vaikka tilaa useamman rivin näyttämiseen ei ole. (BugID: 4) - Tulostettaessa lisenssiä rivitys ei toimi, joten teksti menee paperilta ulos. (BugID: 14) 9.50-11.30 License Checking - Jos klikkaa next, ja polku on tyhjä tai esim levyaseman kirjain puuttuu, tulee virheilmoitus: "String index out of range: -1" (ei juuri kerro käyttäjälle, missä vika on) (BugID: 17) - Mozilla Public License versio 1.1 tunnistettu väärin (All rights reserved / All rights, (Mozilla Firefox 1.5.0.1) (BugID: 18) - Tiedoston valitseminen selausikkunassa vierittää tiedoston keskelle ikkunaa, jolloin reunoilla olevien tiedostojen valinta tupla-klikkauksella ei onnistu. (Tiedosto siirtyy pois kursorin alta ennen toista klikkausta.) (BugID: 19) - Eclipse Public License v1.0 tunnistettu väärin (Allrigths reserved / Apache), (Eclipse SDK 3.1.1) (BugID: 18) - Lukuisa määrä lisenssittömiä tiedostoja tunnistettu väärin apachen lisenssille, Total files: 2676. Source files: 157. Licenses identified: Apache: 157). Tässä siis kaikille on tunnistettu joku lisenssi, vaikka oikeasti yli 100 lähdekooditiedostoa oli lisenssittömiä. Tiedostoja yksittäin tutkittaessa tunnistuvat oikein. (Kysymys ilmeisesti hakemiston juuressa olevasta (apachen) license-tiedostosta, jonka mukaan koko hakemisto tunnistetaan, ellei muuta tietoa ole koodista löydettävissä?) (BugID: 18) 6 Muut havainnot Ohjelman toiminta on selkeää ja nopeaa. Jonkinlainen päävalikko voisi selkeyttää ohjelmaa entisestään ja tehostaa käyttöä. Päävalikon toimintoja voisivat olla 1) lisenssien etsintä ja tunnistus sekä 2) lisenssien selaus.
TESTIRAPORTTI 5/5 Ohjelma voisi myös ehkä pitää jotakin lokia siitä, mitä lisenssejä sillä on etsitty tai selattu. Kiinnostaisi myös tietää, mikä on ohjelman kohderyhmä. Jos kohderyhmä on Open Source -ohjelmistojen kanssa aktiivisesti tekemisissä olevat henkilöt, olisi ehkä vielä hyötyä sellaisesta ominaisuudesta, että ohjelma skannaisi tietyn hakemiston (esim. C:\Program Files\) tietokoneen käynnistyksen yhteydessä ja ilmoittaisi sinne tulleista uusista ohjelmista ja niiden lisensseistä. Parasta tietenkin olisi, että ohjelmistolisenssien hallinta kytkettäisiin ohjelmistojen asennustietoihin, kuten Windowsin Add/Remove Programs. Yhtenäinen ohjelmistojen ja lisenssien hallinta vähentäisi lisensseihin liittyviä ongelmia. Tämä ajatus on tietysti jo kaukana OSLC:n aihepiiristä. Nykyiselläänkin OSLC vaikuttaa toimivalta työkalulta, vaikkakaan se ei ole välittömästi tarpeellinen tavallisille peruskäyttäjille.