ISO/IEC 25000 sarja (SQUARE) Software product Quality Requirements and Evaluation (SQuaRE) Risto Nevalainen, FiSMA ry FiSMA 1
Taustaa, historiaa Ohjelmiston laadun mittaaminen on yksi vanhimmista SC7 standardointialueista ja edelleen yksi keskeisimmistä! Jo 1970 luvulla oli useita tunnettuja ohjelmistojen laadun mittaamisen teorioita ja viitekehyksiä. Ne loivat painetta standardointiin. Virallinen standardointi alkui 1990-luvun alussa SC7 piirissä, perustettiin WG6 Ensimmäinen laaja tuotos oli standardiperhe ISO/IEC 9126. Se julkaistiin TR-julkaisuna. Nykyäänkin se on paljon käytetty standardi. Toinen laaja tuotos on ollut tarkastusohjeisto, ISO/IEC 14598 2000-luvun alussa määriteltiin uusi kokonaisuus ohjelmistojen tuotelaadun mittaamiseen tehtiin SQUARE viitekehys ja julkaistiin ISO/IEC 25000 standardina. Samalla varattiin koko 250xx nimialue tälle työlle. Työ on laajentumassa pikkuhiljaa myös järjestelmien laadun mittaamiseen IT-palvelujen mittaaminen (SLA ym) on työryhmässä WG1A IT Governance IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 2
ISO/IEC 9126 ja ISO/IEC 14598 sarjat IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 3
Quality Characteristic 1 Characteristic 2 Characteristic 3 Characteristic n Subcharacteristic 2-1 Subcharacteristic 2-2 Subcharacteristic 2-m Attribute 2-1-1 Attribute 2-1-2 Attribute 2-1-k Attribute 1-1 Attribute 1-2 Attribute 1-3 Attribute 1-k Quality model structure IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 4
Quality Models Product Quality Model Data Quality Model Quality in Use Model Human-computer system Information System Communication System Direct & indirect users Target SystemComputer System Computer Hardware Non-target Software Target Software Target Data Non-target Data Mechanical Systems Other Stakeholders Target properties of quality models IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 5
SQuaRE nykynäkemys ISO/IEC 2503n: Quality Requirement Division 25030: Quality requirements (IS) ISO/IEC 2501n: Quality Model Division 25010: Quality model (3 rd CD) 25012: Data quality model (IS) ISO/IEC 2500n: Product Quality General Division 25000: Guide to SQuaRE (IS) 25001: Planning and management (IS) ISO/IEC 2502n: Quality Measurement Division 25020: Measurement reference model and guide (IS) 25021: Quality measure elements (TR) 25022: Measurement of internal quality (WD) 25023: Measurement of external quality (WD) 25024: Measurement of quality in use (WD) ISO/IEC 2504n: Quality Evaluation Division 25040: Evaluation reference model and guide (3 rd CD) 25042: Evaluation process for developers 25043: Evaluation process for acquirer 25044: Evaluation process for evaluators 25041: Evaluation modules (NYA) 25045: Evaluation module for recoverability (FCD) ISO/IEC 25050 ~ 25099: SQuaRE Extension Division 25051: Requirements for quality of COTS software product and instructions for testing (IS) 25062: Common Industrial Format (CIF) for usability test reports (IS) 25060: General framework for usability-related information (PDTR) JWG with ISO/TC159/SC4
Nykytila Viitekehys ja terminologia julkaistu standardina ISO/IEC 25000 Yksittäisiä muitakin osia julkaistu TR-raportteina, mm. 25021 Quality measure elements 25051 Evaluation of external components COTS 25010 laatumalli alkaa olla kunnossa, ks seuraava kalvo 25021 ollaan otettu uudestaan työn alle, tavoitteena IS-versio 25040 sarjaa on aloitettu uudistaa ISO/IEC 14598 pohjalta IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 7
System/Softwar e Product Quality Functional Suitability Performance efficiency Compatibility Usability Security Maintainability Reliability Portability Functional completeness Functional correctness Functional appropriateness Time- behaviour Resource utilisation Co-existence Interoperability Appropriateness recognisability Learnability Operability User error protection User interface aesthetics Accessibility Confidentiality Integrity Nonrepudiation Accountability Authenticity Modularity Reusabillity Analysability Modifiability Testability Maturity Availability Fault tolerance Recoverability Adaptability Installability Replaceability System/software quality model IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 8
Quality In Use Effectiveness Efficiency Satisfaction Safety Context of use Effectiveness Efficiency Purpose accomplishment Trust Pleasure Comfort Economic damage risk Health and safety risk Environmental harm risk Flexibility Context completeness System quality in use model IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 9
Esimerkkejä mittareista ohjelmiston turvallisuus (safety) Metric Name Purpose of the metrics Method of application Measurement, formula and data element computations Interpretation of measured value Metric scale type User health and safety What is the incidence of health problems among users of the product? Usage statistics X = 1-A / B A = number of users reporting RSI B = total number of users 0<= X <=1 The closer to 1 the better. Absolute Safety of people affected by use of the system What is the incidence of hazard to people affected by use of the system? Usage statistics X = 1-A / B A = number of people put at hazard B = total number of people potentially affected by the system 0<= X <=1 The closer to 1 the better. Absolute Economic damage What is the incidence of economic damage? Usage statistics X = 1-A/ B A = number of occurrences of economic damage B = total number of usage situations 0<= X <=1 The closer to 1 the better. Absolute Software damage What is the incidence of software corruption? Usage statistics X = 1-A / B A = number of occurrences of software corruption B = total number of usage situations 0<= X <=1 The closer to 1 the better. Absolute IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 10
Käynnissä oleva uudistustyö Koko työmaa tulee kestämään vielä vuosia ja osittain myös iteroituu kun jo julkaistuja standardeja pitää ruveta uusimaan samalla kun tehdään uusia riski että kokonaisuus ei ole ajantasalla Painetta laajentaa mittaristoa järjestelmien alueelle ehkä myös ITpalvelujen mittaristoon Lisäksi on perustettu työryhmä aiheena A Quality Framework for Software Processes, tavoitteena tunnistaa prosessien vaatimuksia tuotevaatimusten ja mittojen perusteella saattaa johtaa rinnakkaiseen työhön SC7 uudet työmaat kuten Governance of IT, web services, open source, agile development saattavat myös tuoda uutta sävyä tuotelaadun mittaamiseen IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 11
Soveltamismahdollisuuksia ja -suosituksia ISO/IEC 9126 on laajalti tunnustettu referenssimallina, sen pohjalta on ollut mm. useita EU-tutkimushankkeita. Valittuja standardiin perustuvia mittareita voisi käyttää sekä yrityksen sisällä että sopimuksissa ainakin jos niitä sovittaa kulloiseenkin tilanteeseen. Tätä tapahtuu kuitenkin vielä vähän. FiSMAlla oli vuosina 2006 2007 projekti SoMe yhdessä TTY/Pori ja Joensuun yliopiston kanssa. Mittarit koottiin yhteen tietokantaan. Mittareiden käyttökokemuksia ja käyttösuosituksia kerättiin myös SoMe tietokantaan edelleen FiSMAn jäsenten käytettävissä Ohjelmiston laadun mittaamiseen on kasvava tarve tulevaisuudessa toivottavasti standardi vastaa haasteisiin! IT-standardit liiketoiminnan jatkuvuuden takeena miniseminaari, joulukuu 2009 12