Tilastollisten menetelmien soveltaminen ohjelmistojen luotettavuuden analysoinnissa Proseminaarityö Joni Mönttinen 185671 Itä-Suomen ylioisto 30.11.2012 1
Sisältö 1 Johdanto...3 2 Virheiden otanta...3 3 Virhetilastojen analysointi...4 3.1 luotettavuuden mallintaminen...4 3.2 luotettavuuden testaaminen...7 4 Cleanroom -ohjelmistotuotantomenetelmä...9 5 ohdinta...10 6 viitteet...11 2
1 Johdanto Ohjelmistojen laatu jaetaan ISO/IEC 9126 -standardin mukaan kuuteen eri laadun mittaavaan kriteeriin: toiminnallisuuteen, luotettavuuteen, käytettävyyteen, tehokkuuteen, ylläidettävyyteen ja siirrettävyyteen. Jokainen näistä kriteereistä voidaan jakaa vielä eri attribuutteihin, joita voidaan mitata ja tällöin määrittää laatu kriteerin täyttyminen. Luotettavuuden mittaamisessa yritään selvittämään, että kuinka todennäköisesti ohjelmisto kykenee ylläitämään toimintaansa tietyissä olosuhteissa. Tähän asiaan vaikuttaa esimerkiksi virheiden sietokyky, toiumiskyky ja virhe tilanteiden yleisyys. [1] Täydellisen ohjelmiston kehittäminen on käytännössä mahdotonta, joten ohjelmistotuotteen laadun arviointiin tarvitaan menetelmiä, joilla voidaan osoittaa jonkin laatukriteerin täyttyvän riittävän hyvin. Tässä tutkielmassa käydään lävitse ohjelmiston luotettavuuden mallintamiseen ja testaamiseen soveltuvia tilastollisia menetelmiä ja selvitetään niiden soveltamista cleanroom -ohjelmistotuotantomenetelmään. 2 Virheiden otanta Testaaminen toteutetaan mustalaatikkotestaamisella, jossa ei kiinnitetä huomiota ohjelman tekniseen toteutukseen, vaan verrataan vain ohjelmalle annettuja syötteitä ja niitä vastaavia tulosteita. Täten ohjelma on niin sanotusti läinäkymätön musta laatikko Ohjelman toiminnasta tiedetään sen verran, että mitä sen täytyy suorittaa tietyillä syötteillä, jotta voidaan äätellä onko kyseessä virhetilanne vai toimiiko ohjelma niin kuin on tarkoituskin. Virheet kirjataan ylös, mutta niitä ei korjata ennen kuin otanta on suoritettu, sillä samat virheet voivat esiintyä useaan kertaan. [2] Jotta otanta saataisiin kuvaamaan ohjelmiston luotettavuutta mahdollisimman tarkasti, niin testitaaukset täytyy suunnitella vastaamaan ohjelmiston käyttötaauksia. Muuten testaus voi kohdistua liikaa sellaisiin ohjelmiston komonentteihin, joita ei käytetä niin usein tai niitä ei käytetä samalla tavalla, kuin käytännöntehtävissä. Tästä syystä testaa- 3
jan itää unohtaa ohjelman koodin toiminta, sillä muuten testitaaukset keskittyvät ohjelma koodin mukaisen toiminnan testaamiseen jolloin virheiden otannasta tulee harhainen. [2] Ohjelmiston luotettavuuden mittana elkkä virheiden määrä ei ole riittävä. Toinen mitattava asia on testaamiseen kulutettu aika, sillä ohjelmiston luotettavuus voidaan ajatella olevan todennäköisyys, jolla se kykenee toimimaan tietyllä aikavälillä tietyssä olosuhteessa.[3] 3 Virhetilastojen analysointi 3.1 Luotettavuuden mallintaminen Tässä käydään lävitse menetelmä, jolla voidaan tarkkailla ja hallita ohjelmiston luotettavuutta. Tässä menetelmässä on kolme vaihetta: ensiksi lasketaan virheintensiteetin estimaatti, toiseksi sovitetaan logaritminen Poisson-malli estimoidulle virheintensiteetti datalle ja louksi kehitetään luottamusvälit. Virheintensiteetin funktio saadaan johdettua kaavalla jossa λ (τ)= d μ( τ) d τ, μ(τ)=e [ M (τ)], jossa { M (τ),τ 0 } on stokastisen rosessi, joka kuvaa virheiden määrää suoritusajan τ aikana. [4 s.1] Virheintensiteetin estimaatti saadaan laskemalla virheryhmiä. Kerättyt virhetilastot voidaan muodostaa m:n eräkkäiseen virheryhmään, joita merkataan τ i ', jossa i = 1,, m. Tästä voidaan laskea kerääntynyt aika i:nteen virheeseen kaavalla 4
i τ i = τ l '. l=1 Tarkasteltava väli (0, τ m ) jaetaan jokaisen k:nnen virheen esiintymisen ajankohdasta siten, että saadaan yhteensä osaväliä tarkasteluvälille, jolloin voidaan estimoida j:nnes osaväli (τ k ( j 1), τ kj ) kaavoilla k τ kj τ k ( j 1), kun j=1,..., 1, y i m k( 1) τ m τ k ( j 1), kun j= J:ttä osaväliä vastaava väliarvon estimaatin funktio on x j =k ( j 1), kun j=1,..., Nämä laskemalla saadaan aikaiseksi kaavio, joka kuvaa virhetilaston virheintensiteettiä ja sen laskua, kun virhetilanteita tulee vastaan. [4 s.1-2] 5
Seuraavaksi estimoidaan mallin arametrit λ 0 ja θ sovittamalla Poisson-malli λ (μ)=λ 0 e θμ estimoituihin virheintensiteetteihin. Olkoon ε j mallin j:nen dataisteen suhdeluvun logaritmi, jolloin saadaan kaava ln y j =ln λ( x j )+ε j =ln λ 0 θ x j +e j. Parametrien λ 0 ja θ estimaatit saadaan laskettua siten, että minimoidaan ε j :n summan neliöt. S(λ 0, θ)= e j 2 = {ln y j ln λ 0 +θ x j } 2 Tästä voidaan johtaa kaavat λ 0 ja θ estimaattien λ 0 ja θ laskentaan θ= j=1 x j ln y j ( x j )( ln y j ) ( x j 2 ) ( j=1 x j ) 2 ja ln λ 0 = ln y θ x, jossa ln y ja x ovat y j ja x j otoskeskiarvoja. [4 s.3] Louksi itää laskea estimaattien luottamusvälit, jotta tiedetään estimaattien tarkkuus. Oletetaan, että satunnaisvirheet ε j ovat itsenäisiä muuttujia, joiden keskiarvo on nolla ja niiden oletetaan myös olevan normaalisti jakautuneita yhteisellä varianssia σ 2. Tällöin regressiosuoran varianssin estimaatti on σ 2 = S ( λ 0, θ) ( 2). 6
Tämän lisäksi estimoidaan λ 0 :n ja θ varianssit ja kovarianssit V (ln λ 0 )=( 2 x j j=1 ) σ 2 S xx V ( θ)= σ 2 /S xx COV (ln λ 0, θ)=( X S xx ), jossa S xx = (x j x) 2 Nyt voidaan laskea λ 0 :n ja θ :n luottamusvälit kaavoilla ln λ 0 t 2 ;α/ 2 V (ln λ 0 ) ln λ 0 ln λ 0 +t 2 ;α/ 2 V (ln λ 0 ) ja θ t 2 ;α/ 2 V ( θ) θ θ+t 2; α/ 2 V ( θ).[4 s.3] 3.2 Luotettavuuden todentamismenetelmä SPRT -testiä (sequential robability ratio test) on usein käytetty menetelmä teollisuuden laadunhallinnassa, mutta sitä voidaan soveltaa myös ohjelmistojen laadunhallinassa. Olkoon { N (t ),t 0 } homogeeninen Poisson-rosessi arametrilla λ. N(t) tarkoittaa ajan hetkeen t mennessä ilmenneiden virheiden määrä ja on virheiden määrä aikayksikössä. Ohjelman testaamisesta kerätyn virhetilastojen ohjalta voidaan estimoida λ, jol- 7
loin voidaan tehdä äätös, että hylätäänkö ohjelma liian virheellisenä vai hyväksytäänkö se riittävän toimivana. Tämän äätöksen tekemiseen tarvitsee määritellä muuttujat λ 0 ja λ 1 ( 0<λ 0 <λ 1 ). Jos tilastot viittaavat, että λ>λ 1, niin todennäköisesti ohjelma on liian virheellisesti toimiva ja toisaalta jos λ 0 >λ, niin todennäköisesti ohjelma toimii riittävän luotettavasti. [5] Tässä testissä voidaan mahdollisesti tehdä virheitä analyysissä. Saatetaan esimerkiksi hylätä testattava ohjelmisto, vaikka se toimisikin riittävän hyvin. Toisaalta voidaan myös virheellisesti hyväksyä ohjelmisto. Tästä syystä täytyy määritellä kaksi muuttujaa α ja β, jotka ovat arvojen 0 ja 1 välillä siten, että α on todennäköisyys, jolla virheellisesti hylätään ohjelmisto ja β on todennäköisyys, jolla virheellisesti hyväksytään ohjelmisto. [6 s.123] Testaus toteutetaan eräkkäisinä sarjoina, jotka ovat jaettu ennalta määrätyn aikayksikön mukaan. Testausta jatketaan niin kauan, kun (t, N(t)) kuvaaja ysyy rajojen N U (t) ja N L (t) sisäuolella. N U (t)=a t+b 2, joissa N L (t)=a t+b 1 a= λ 1 λ 2 ln(λ 1 /λ 0 ), ln ((1 α)/β) b 1 = ln(λ 1 / λ 0 ) ja b 2 = ln((1 β)/α) ln(λ 1 /λ 0 ). [5] Kun virheiden määrä ylittää viivan N U (t) ensimmäistä kertaa, niin ohjelma todetaan eäluotettavaksi. Toisaalta, jos virheiden määrä alittaa viivan N L (t) ensimmäistä kertaa, niin ohjelma todetaan luotettavaksi. 8
4 Cleanroom -ohjelmistotuotantomenetelmä Luotettavuuden mittausmenetelmiä voidaan soveltaa niin sanottuun cleanroom -ohjelmistotuotantomenetelmään, jossa on yritään tuottamaan mahdollisimman luotettavasti toimiva ohjelmisto. Kyseessä on inkrementaalinen tuotantomalli, jossa jokaisen iteraatiokierroksen loussa ohjelmiston toimivuus todennetaan tilastollisilla testausmenetelmillä. Jos ohjelma ei toimi riittävän luotettavasti, niin ei siirrytä seuraavaan iteraatio kierrokseen, vaan ohjelmaa korjataan, kunnes se lääisee tilastolliset testit. Tällöin kehitettävästä ohjelmistosta saadaan kerralla luotettavasti toimiva ja vältytään kalliilta testauksilta ja virheiden korjauksilta sen valmistuttua. [7 s.19-21] Cleanroom menetelmässä ohjelman toiminta mallinnetaan matemaattisilla funktioilla, jonka lisäksi käytetään auna laatikkorakenteeseen erustuvaa määrittelyä ja suunnittelua. Matemaattisella verifioinnilla yritään siihen, että ohjelman toiminta tunnetaan tarkasti, jolloin testauksen tareen itäisi vähentyä. [7 s.21-22] 9
[8] 5 Pohdinta Tilastollisten menetelmien soveltaminen ohjelmistojen laadunhallintaan vaikuttaa äälleäin järkevältä ajatukselta ja tässä tutkielmassa esitetyt menetelmät vaikuttavat sinänsä toimivilta, jos meillä on käytössä hyvät virhetilastot. Tätä tutkielmaa tehdessä sain huomata, että tällaisia menetelmiä ei käytetä kovin laajasti. Ongelmana todennäköisesti on se, että hyvän virhetilaston kerääminen voi olla hyvin vaikeaa, sillä tilastoista saattaa tulla helosti harhaisia vääränlaisesta testaustavasta johtuen. Toisaalta vaikka saataisiinkin kerättyä täydellinen virheotos, niin nämä menetelmät eivät ota huomioon virheiden laatua. Missään vaiheessa ei tullut vastaan tilannetta, jossa oltaisiin harkittu yksittäisten virheiden vaikutusta ohjelman toimintaan. Tällöin ohjelman luotettavuuden testaaminen jää uutteelliseksi. 10
6 Viitteet [1] htt://en.wikiedia.org/wiki/iso_9126 (Haettu 19.11.2012) [2] Ron Patton, Software Testing, Sams Publishing (2006) (s.34-36) [3]Jiantao Pan,Software Reliability (1999) [4] Kazuhira Okumoto, A Statistical Method for Software Quality Control, IEEE Software (1985) (s.1-3) [5] Harald A. Stieber, Statistical quality control: How to detect unreliable software comonents [6]Wald, Abraham (June, 1945). "Sequential Tests of Statistical Hyotheses". Annals of Mathematical Statistics [7] R.C. Linger, Cleanroom Process Model, IEEE Software (1994) [8] D.P. Kelly, R.S. Oshana, Imroving software quality using statistical testing techniques (2000) (s.802) 11