Työkalujen merkitys mittaamisessa

Transkriptio

1 Työkalujen merkitys mittaamisessa Mittaaminen ja Ohjelmistotuotanto -seminaari Toni Sandelin , VTT Elektroniikka, Oulu 1

2 Sisältö Mihin työkalutukea tarvitaan? Työkalut & metriikat: luokitus Mittausohjelmien automatisointi Yhteenveto 2

3 Mihin työkalutukea tarvitaan? Työläät mittaustehtävät ei resursseja tehdä usein => trendien seuraaminen ei mahdollista tärkeitä asioita voi jäädä mittaamatta työläyden takia Vakiomuotoiset mittaustulokset vertailukelpoista tietoa Nopea reagointi, jos jokin muuttuu => Automatisointi: Mittausten täysimittaisen hyödyntämisen edellytys laajamittaisessa ohjelmistokehityksessä 3

4 Mitä ei voida tehdä työkaluilla? Kaikkea ei voida hoitaa työkaluilla: tietojen syöttäminen järjestelmiin / lomakkeille tietojen ja toiminnallisuuden oikeellisuuden varmistaminen tulosten analysointi paketointi: mitä on opittu? 4

5 Työkaluluokittelu (1) 1. Tiedon sisäänsyöttöä tukevat työkalut lomakkeet (Excel, Web) määrämuotoinen datan keräys 2. Tiedon poimintaa/suodattamista tukevat työkalut Ohjelmistotuotantoprosessin työkalut mm. testaustyökalut, koodin analysointityökalut, versionhallinta vaihetuotteet (dokumentit, logit, raportit, tietokannat) hyötykäyttöön dataa paljon => oleellisen tiedon kaivaminen esiin Mittauksen suunnittelu Mittausdatan kirjaaminen Mittausdatan kerääminen Metriikoiden laskenta Analyysigraafien muodostus Tulosten analysointi Tulosten paketointi 5

6 Työkaluluokittelu (2) 3. Tiedon koonti- ja talletusympäristöt koko mittausohjelman tuki vaatimuksia: metadata, tietojen aikaleimat, liitynnät muihin järjestelmiin, erilaisia tapoja tietojen sisäänsyötölle, rajoitukset yleiskäyttöisyys vs. räätälöidyt työkalut 4. Tiedon analysointityökalut tilastollinen analyysi raportointiominaisuudet, graafiset kuvaajat trendit Mittauksen suunnittelu Mittausdatan kirjaaminen Mittausdatan kerääminen Metriikoiden laskenta Analyysigraafien muodostus Tulosten analysointi Tulosten paketointi 6

7 Automatisoinnin vaiheet 4. Mittausdatan 5. Metriikoiden k e r ä ä m i n e n l a s k e n t a j a analyysigraafien muodostus 1. Automaattisen mittauksen suunnittelu 2. Automaattisen mittauksen toteutus 3. Mittausdatan k i r j a a m i n e n 6. Metriikoiden analysointi 7. Tulosten paketointi 8. Ylläpito 7

8 Suunnitteluvaihe (1) Automatisoitavien metriikoiden valinta uusien metriikoiden määrittely esim. GQM-menetelmällä automatisoitavien valinta olemassaolevasta metriikkasetistä Automatisoi metriikat, joissa saavutettu hyöty suuri suhteessa automatisoinnin työmäärään, joissa paljon käsiteltävää dataa, joka muuttuu/kasvaa koko ajan, joita analysoidaan usein, jotka voidaan esittää aina samassa muodossa, jotka ovat vakiintuneet käyttöön, joiden keräykseen käytetyn työkalun automatisointimahdollisuudet OK. 8

9 Suunnitteluvaihe (2) Määritellään: mitä tietoa tarvitaan, missä tarvittava tieto sijaitsee tarkasti (tietokanta, taulu, kenttä), tiedon keräystiheys, missä formaatissa kerätty tieto halutaan käsitellä analyysissä, mitä pitää tehdä, että raakadatasta saadaan haluttu analyysiesitys. Työkalutuen valinta: tietojen keräämiseen, tietojen käsittelyyn, tulosten esittämiseen. Arvioi jatkamisen kannattavuus! 9

10 Työkaluvaatimukset Määrittely: vapaa kerättävien metriikoiden määrittely vapaa tarvittavan tiedon valinta Suoritus: tiedon käsittely käyttäjän määrittelemällä tavalla tiedon käsittelyn vapaa ajastus automaattinen tiedon käsittely käyttäjän määrittelemällä tavalla ja aikataulussa automaattinen esitysgraafien tuottaminen Varmistus: epäkelvon datan käsittely Mahdollisuus päivittää kaikkea edellämainittua Historiatiedon talletus ja tutkiminen 10

11 Toteutusvaihe Toteutetaan tiedon keräykseen tarvittavat toiminnot yhteydet tietolähteisiin (tietokantaan, sovellusohjelmiin), toteutetaan tiedon keräyksen automaattinen käynnistys / päivitys, tallennuspaikka. Toteutetaan tiedon käsittelyyn tarvittavat toiminnot käsittelyn automaattinen käynnistys halutulla tavalla, käsittely- /laskentarutiinit, tulosten esitystavan määrittäminen, kaiken em. toistettavuus. 11

12 Suoritusvaihe Mittausten keruu ja käsittely automaattisesti ajastettuna tapahtumana, käyttäjän käynnistämänä, määrityksen & toteutuksen mukaisesti. Toistetaan halutuin aikavälein Kerääminen, laskenta, analyysi 4. Mittausdatan 5. Metriikoiden k e r ä ä m i n e n l a s k e n t a j a analyysigraafien muodostus 3. Mittausdatan k i r j a a m i n e n 6. Metriikoiden analysointi 12

13 Paketointi- ja ylläpitovaihe Mittausohjelman tulosten muokkaaminen malleiksi, jotka ovat koko organisaation käytössä esim. prosessikuvauksia, käsikirjoja jne. Päivitetään automatisointia tarpeen mukaan uusia metriikoita ja esitystapoja, poistetaan metriikoita ja esitystapoja, muutoksia käsittelytiheyteen, muutoksia tiedon lähteisiin ja muutoksia käytettäviin työkaluihin. 13

14 Yhteenveto Työkalutuki on tärkeä olemassa olevien työkalujen hyödyntäminen ympäristön muutokset: joustavuus Työläät mittaustehtävät kannattaa automatisoida vähentää työtä, mittaus voidaan suorittaa useammin, trendien seuranta työmäärä vs. saavutettu hyöty kynnys mittausten muuttamiseen myöhemmin kasvaa Suunnittele huolellisesti: valittava oikeat asiat mitattaviksi, automatisointi vaatii jonkin verran työmäärää => työmäärän suuntaus oikeisiin asioihin 14