TESTAUSPROSESSIN ORGANISOINNIN KONSEPTIMALLI Luonnos mukautuvalle referenssimallille
Tutkimusaiheesta Tulevassa haastattelussa pyrimme selvittämään ISO/IEC 29119-testausmallin sopivuutta (kelvollisuutta) täydellisyyttä sekä mukautuvuutta erilaisten yritysten kannalta ajateltuna. Periaatteessa aiheen nimi onkin Standardisoidun testausmallin soveltuvuuden arviointi erilaisissä organisaatiokonteksteissa. Vastaustenne avulla pystymme luomaan mukautuvan mallin, eli eräänlaisen käyttöohjeen, niille organisaatioille jotka haluatvat kokeilla ja käyttää standardin esittelemää mallia.
Mitä me nyt siis pyydämme on, että käyt läpi tässä kalvosarjassa esitellyn mallin sekä siihen liittyvät kysymykset. Arvioi sitä, kuinka oma organisaatiosi toimii, ja vertaa sitä mallissa esitettyihin toimintatapoihin. Arvioi sitä, kuinka ISO/IEC 29119-malli (jäljempänä) sopisi teidän organisaatioonne. Haastatteluissa tarkoituksenamme on keskustella aiheesta, ja olemmekin erityisen kiinnostuneista omakohtaisista arvioistanne koskien mallin soveltuvuutta. Vastaukset käsitellään anonyymeinä, ja niistä poistetaan kaikki viittaukset ihmisiin, yrityksiin sekä tuotteisiin. Haastattelut pidetään englanniksi.
Organisaation testausprosessi ISO/IEC 29119-standardin mukaisesti
Testauksen hallinta ja testaustoiminta
Malli lyhyesti Mallissa on kolme tasoa; organisaatio, joka ohjaa toimintaa yleisellä tasolla, hallinta, joka hallinnoi testaustyötä projekteissa, sekä toiminta, jossa varsinainen testaustyö tehdään. Mallissa on neljä dokumenttiä: Testauspolitiikka; määrittelee yleiset toimintatavoitteet, miksi ja kuka Testausstrategia; määrittelee testausprosessin mitä, milloin, miten, missä. Testaussuunnitelma: määrää projektitasolla sen, mitä testataan ja miten testaus tehdään. Testien valmistumisraportti; Kirjaa sen, kuinka testaus lopulta onnistui. Testauspolitiikka, -strategia ja -suunnitelma määritelllään projektin suunnitteluvaiheessa, ja pidetään ajantasalla. Yleisesti testausprosessia mitataan ja valvotaan, ja havaintojen sekä raporttien pohjalta testaustoimeen ja sen ohjeistukseen tehdään muutoksia arvioitujen tarpeiden pohjalta. Ohessa vielä standardin alkuperäiset määrittelyt eri dokumenteille:
Definitions; Test policy The purpose of a Test Policy is to: define the scope of software testing within the organization; establish practices or rules regarding testing to be adhered to across the organization; establish a framework for establishing, reviewing and continually improving the organization s test policy, test strategy and project test plans; define what is done in testing in the organization (not how testing is performed); explain how test activities (as described within the policy) support the business strategy and mission. The typical attributes of a Test Policy are: executive-level document that defines management commitment to testing; formally agreed and adopted by an organization; non-technical; Short ( 2 pages);
Definitions; Test strategy The purpose of an Organizational Test Strategy is to: define the practice of software testing within the organization; define a reusable set of testing guidelines that can be used on all projects; provide a framework for establishing and reviewing Project Test Plans. The attributes of an Organizational Test Strategy are: it is aligned with the Organizational Test Policy; it may incorporate the content of an Organizational Test Policy where no separate Test Policy is available; it is defined at an organizational level to apply to all testing within the organization; it is not project-specific; it is tailorable for use on all project sizes and types within the organization.
Definitions; Test plan Test plans are required at different stages in the testing and the content of the test plan will change depending on the testing being planned. The project test plan is specific to a project and should be aligned with the organizational test strategy unless project-specific constraints prevent this; in this situation the project test plan should describe (and explain) the differences. Test plans do not have to be explicit separate documents, but can be incorporated in other project documentation as long as the requirements of this standard are addressed.
Definitions; Test completion report The following describes the typical contents of a Project Test Completion Report: What was tested coverage a reference to open incidents (e.g. defects outstanding) What was not tested open risks incidents not fixed requirements not tested Deviations from Project Test Plan (for traceability) time, effort, resources, and environments updates made to project test plan Deviations from Organizational Test Policy and Organizational Test Strategy measure of compliance with completion criteria
Kysymykset 1/3 englanniksi Does your organization have clear test policy or something resembling it? If yes, what does it define? Does it work? Why? If no, does your organization apply same or similar test process in all projects? Would you think that such a document could be defined in your organization? Why/Why not?
Kysymykset 1/3 suomeksi Onko organisaatiossanne määritelty selkeä testauspolitiikka tai jotain, joka vastaa sitä? Jos kyllä, mitä se määrittelee? Onko se toimiva? Miksi? Joe ei, niin toimiiko organisaationne testausta tehdessään kaikissa projekteissa samansuuntaisesti? Voisiko organisaationne halutessaan määritellä yksiselitteisen testauspolitiikan? Miksi/Miksi ei?
Kysymykset 2/3 englanniksi Does your organization have defined test strategy or something resembling it? If yes, what does it define? In your opinion, is it useful? If yes, is it updated or assessed for change requirements systematically or if needed? If no, does your test process apply same or similar phases in all software projects? Would you think that test strategy, as defined earlier, could be defined based on your test process? Why/Why not? Name three most effective testing practices. Why are they effective? Would your organization try out new testing practice from best practices -type instruction manual without prior knowledge regarding this new practice? Why/Why not?
Kysymykset 2/3 suomeksi Onko organisaatiossanne määritelty testausstrategia tai jotain joka vastaa sitä? Jos kyllä, niin mitä se määrittelee? Onko siitä mielestänne hyötyä? Miksi? Jos kyllä, pidetäänkö sitä ajantasalla vai päivitetäänkö sitä tarpeen vaatiessa? Jos ei, niin kuinka paljon organisaationne käyttämän testaustavat poikkeavat eri prosessien tai projektien välillä? Voisiko organisaatiostanne mielestänne määritellä testauststrategian? Miksi/Miksi ei? Nimeä kolme mielestäsi tehokkainta testausmenetelmää. Miksi ne ovat tehokkaita? Uskoisitko, että organisaationne kokeilisi uutta, entuudestaan tuntematonta, testausmenetelmää jos se muuten vaikuttaisi lupaavalta tai tehokkaalta? Miksi/Miksi ei?
Kysymykset 3/3 englanniksi Do you define test plans for each software project at the design phase? If yes, how detailed are they? Do they change during the project? If no, would you think that such a plan could be defined in design, or generally before testing is started? Who in your organization defines the test plan (or decides on what is tested)? In your opinion, how much policies or management affect these decisions? How about resources? Do you think that testers should follow definite plans for all test cases? How much details should this plan have? Does your organization do testing-wrap ups such as test completion reports or project autopsies? Do these reports affect how testing is done in the latter projects?
Kysymykset 3/3 suomeksi Määrittelettekö organisaatiossanne testaussuunnitelman projektin suunnitteluvaiheessa? Jos kyllä, niin kuinka tarkkoja ne ovat? Muuttuvatko ne projektien aikana? Jos ei, niin voisiko mielestäsi tällaisen suunnitelman tehdä jo testausvaiheessa? Miksi/Miksi ei? Kuka organisaatiossanne päättää testaussuunnitelman sisällöstä (tai ylipäänsä päättää mitä testataan)? Kuinka paljon päätökset ja ohjeistukset mielestäsi vaikuttavat näihin päätöksiin? Entä saatavilla olevat resurssit? Pitäisikö testaajien mielestänne pidättäytyä tarkkaan määritellyissä testi-caseissa? Kunka paljon testaussuunnitelmaan ylipäänsä pitäisi saada yksityiskohtia? Tehdäänkö organisaatiossanne testauksen yhteenvetoja? Vaikuttaako nämä yhteenvedot mielestänne testauksen toiminnan kehittämiseen?
MASTO-projekti http://www2.it.lut.fi/project/masto/ Lisätietoa kysymyksistä ja ohjelmistotestauksen mallista Jussi Kasurinen, jussi.kasurinen@lut.fi Lisätietoa haastatteluajoista ja haastattelujen organisoinnista Leah Riungu leah.riungu@lut.fi Ohjelmistotekniikan laboratorio