Katselmoinnit Sami Kollanus 16.4.2008 Katselmoinnin määritelmä Katselmointi, katselmus (review) IEEE Std 1028-1988 Ohjelmiston osien tai projektin tilan arviointi (evaluation), jonka tarkoitus on tunnistaa tuotosten eroavuudet suunnitelmiin nähden sekä tuottaa kehitysehdotuksia. Tämä arviointi noudattaa formaalia prosessia (esimerkiksi johdon katselmointiprosessia, ohjelmiston tarkastusprosessia tai läpikäyntiprosessia). 2 1
Katselmointi Katselmointi Tekninen katselmointi Tarkastus Läpikäynti 3 ja vielä ajatuksia katselmoinneista Ihmisvoimin tehtävää työtä (vrt. testaus) Ne suorittaa joku muu kuin tuotoksen tekijä Päämäärä etsiä virheitä dokumentista Usein puhutaan vertaiskatselmoinneista Katselmoijat muita kehittäjiä Kehitysprosessiin kuuluvaa toimintaa Ei erillisen latuyksikön toimintaa 4 2
Testauksen V-malli Päävaatimusten määrittely Järjestelmän spesifikaatio Katselmointi Päävaatimusten speksit Järjestelmän speksit Katselmointi Komponenttien koodaus / testaus Komponenttien testaus Katselmointi Arkkitehtuurin speksit Arkkitehtuurisuunnittelu Katselmointi Moduulien speksit Komponenttisuunnittelu Integrointitestaus Hyväksymistestaus Järjestelmän testaus Katselmointi Koskinen, Sakkinen ja Paakki, 2001. Ohjelmistotekniikka, kurssimoniste 5 Tarkastus (inspection) Tarkasti määritelty kokouskäytäntö katselmoinnin toteuttamiseen Michael Fagan 1976, IBM Myöhemmin menetelmää määritellyt tarkemmin mm. Gilb & Graham (1993) 6 3
Tarkastusprosessi (1/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 7 Vaatimus tarkastuksen järjestämisestä Tuotoksen tekijä esittää vaatimuksen tarkastuksen järjestämisestä, kun hänen mielestään esiehdot on täytetty Tarkastuksen tulisi olla vapaaehtoista?!? Valitaan tarkastuksen johtaja Tuotos tarkastuksen johtajalle 8 4
Tarkastusprosessi (2/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 9 Aloitus Tarkastuksen johtaja käy läpi aloituskriteerit Jos aloituskriteerejä ei ole täytetty, on turha tuhlata tarkastajien aikaa Aloituskriteerit yleisiä nopeasti tarkastettavia, esim. Dokumentiontiohjeita noudatettu Kaikki vaadittu tehty Voidaanko käytännössä peruuttaa? > aloitukriteerit käytännössä ehkä tekijää varten 10 5
Tarkastusprosessi (3/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 11 Suunnittelu Tarkastuksen johtaja suunnittelee tarkastuksen läpiviennin Useampi kierros? Tarkastajien valinta ja roolitus Aikataulu, tilavaraukset Materiaalin jakelu tarkastajille 12 6
Tarkastusprosessi (4/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 13 Käynnistyskokous Ei välttämättä järjestetä voidaan ohjeistaa tarkastajat muulla tavalla Tarkastajien koulutusta ja motivointia varten Varmistetaan, että jokainen tietä roolinsa Tuotoksen tekijä voi esitellä tuotosta, jotta tarkastajat pääsevät siihen helpommin sisälle 14 7
Tarkastusprosessi (5/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 15 Itsenäinen tarkastus Tarkastajat etsivät itsenäisesti tuotoksista virheitä ja kirjaavat ne ylös Tämä on tärkein vaihe Gilb & Graham 1993: Optimitilanteessa 80% virheistä löydetään tässä vaiheessa ja 20% palaverissa Ilman tätä vaihetta on mahdollista, että löydetään vain 10% virheistä verrattuna hyvin toteutettuun tarkastukseen Joissakin tutkimuksissa lähes 100% virheistä on löydetty tässä vaiheessa 16 8
Tarkastusprosessi (6/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 17 Kirjauspalaveri Kolme tarkoitusta Kirjataan ylös kaikki mahdolliset virheet, jotka on havaittu itsenäisessä tutustumisessa Suoritetaan tarkastus ryhmässä, jotta voidaan löytää ja kirjata ylös vielä uusia virheitä Kirjataan ylös tarkastettavaan tuotokseen liittyviä kehitysehdotuksia ja kysymyksiä tuotoksen tekijälle Lisäksi voidaan kerätä erikseen prosessinkehitysehdotuksia 18 9
Kirjauspalaveri Aivoriihimäinen, suositaan vapaata ajatuksenjuoksua Rajoitetaan keskustelua, ettei kaikki aika kulu siihen Parannusehdotuksia ja kysymyksiä saa esittää, mutta ne ainoastan kirjataan ylös Ratkaisujen pohdinta jätetään korjaajalle Maksimiaika 2 tuntia -> tarkastuksen johtajalla tärkeä rooli ohjata ajankäyttöä oleellisiin asioihin Tuloksena lista virheistä, prannusehdotuksista ja kysymyksistä 19 Kirjauspalaverin huoneentaulu (Haikala & Märijärvi 2001) Puheenjohtaja: Hillitse selittelyä Huolehdi aikataulussa pysymisestä Estä rönsyily ja liika ideointi Tekijä Älä selittele Alä tuo keskeneräistä tuotetta Kaikki osallistujat Valmistaudu huolellisesti Ole ystävällinen, varo loukkaamasta tekijää Pysyttele teknisissä asioissa arvioi tuotosta, älä tekijää Anna myös positiivisia kommentteja Osoita ongelmat, älä esitä korjausehdotuksia Anna korjaukset pikkuvirheisiin kirjallisesti Tee kysymyksiä 20 10
Tarkastusprosessi (7/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 21 Korjaus ja seuranta Korjaaja (tuotoksen tekijä?) käy kirjauspalaverissa luodun listan läpi Virheiden luokittelu ja lopullinen kirjaus Virheiden korjaus Tarvittaessa korjauspyyntö lähdedokumenttiin Kolme tapaa edetä: Uusi tarkastus Tarkastuksen johtaja hyväksyy korjaukset Korjaaja vahvistaa itse korjaukset tehdyksi 22 11
Tarkastusprosessi (8/8) Vaatimus tarkastuksen järjestämisestä Aloitus Suunnittelu Käynnistyskokous Itsenäinen tarkastus Kirjauspalaveri Korjaus ja seuranta Lopetus 23 Lopetus Tarkastuksen johtaja tarkistaa lopetuskriteerit Kriteerejä esim. Kaikki vaaditut dokumentit tehty Vaaditut korjaukset tehty Yleinen hyväksyttävä virhetaso saavutettu 24 12
Käytännön ohjeita Tarkastuksella on johtaja, joka organisoi tilaisuuden Ei tuotoksen tekijä eikä esimies Ryhmän kokosuositus 3-6 henkilöä Eri roolit tärkeitä: Eri osaamisalueet Sama dokumentti näkökulmista Jaetaan dokumentti osiin Tarkastus on luonnollinen osa tuotantoprosessia, ei minkään erillisen laatuyksikön asia Vie 5-15 % työajasta 25 Katselmointiharjoitus Valmistaudu 26 13
Katselmointiharjoitus The case studies discussed in this paper were conducted in six software organizations from five different companies in Finland. The size of the companies varies from about 100 to millions of employers. Their business focuses primarily on customer projects. In one organization all the interviewees were from a small R&D unit and the results represent that unit, not the whole organization. The case organizations were chosen using personal contacts, not randomly. However, it was no intention to get only the best organizations, but different kinds of organizations included in the silly piece of work we are doing. No matter what I put here. You are not going to have enough time to read it. In this sense the data collection was a success, because all invited organizations participated and provided different perspectives. 27 Katselmointiharjoitus The case studies discussed in this paper were conducted in six software organizations from five different companies in Finland. The size of the companies varies from about 100 to millions of employers. Their business focuses primarily on customer projects. In one organization all the interviewees were from a small R&D unit and the results represent that unit, not the whole organization. AIKA LOPPU! The case organizations were chosen using personal contacts, not randomly. However, it was no intention to get only the best organizations, but different kinds of organizations included in the silly piece of work we are doing. No matter what I put here. You are not going to have enough time to read it. In this sense the data collection was a success, because all invited organizations participated and provided different perspectives. 28 14
Testaus vs. katselmointi Testaus voidaan toteuttaa vasta toimivalle ohjelmalle, jolloin korjaaminen on kallista Testaus ei kata läheskään kaikkea validointi puutteet dokumentaatio ylläpidettävyys Katselmoinnit saattavat olla halvempia jopa samojen virheiden löytämiseen kuin testaus 29 Virheen suhteellinen kustannus 40-1000X Virheen korjaamisen suhteellinen kustannus 1 3-6X 10X 15-40X 30-70X (82X IBM keskiarvo) Vaatimusmäärittely Suunnittelu Koodaus Kehitys- Testaus Hyväksymis- Testaus Käyttöönotto, Ylläpito Boehm (1981) 30 15
Tutkimustuloksia katselmointien vaikutuksesta Fagan (1976), IBM: 23% tehokkuuden nousu ensimmäisissä kokeiluissa Bush (1990), JPL: Virheen korjaaminen maksaa 1700 $ Katselmoinnissa löytyy 12 virhettä Säästö 25 000 $ / katselmointi Russel 1991, Bell-Northern Researh: Jokainen katselmointitunti säästi 33 tuntia ylläpitotyötä 31 Tutkimustuloksen jatkuu Doolan (1992), Shell Research: Jokainen tarkastus maksoi itsensä takaisin 30- kertaisesti Grady & Slack (1994), HP: HP on säästänyt 25 M$ Basili ja Selby (1987), opiskelija+csc+nasa: totesivat koodin lukemisen olevan tehokkaampi tapa löytää jopa samoja virheitä kuin testaus. Russel (1991) esitti tämän tueksi yrityscasen. So ym. (2002) Tehokkuudessa ei eroa, mutta eri testausmenetelmät löytävät erilaisia virheitä 32 16
Tarkastuksen merkitys organisaatiolle 1/3 1. Prosessin läpimenoajan lyhentäminen 2. Dokumentin laadun mittaaminen 3. Dokumentteja tuottavan prosessin laadun mittaaminen 4. Jäljellä olevien virheiden määrän arvioinnin mahdollistaminen 5. Virheiden tunnistaminen (ennaltaehkäisy) 6. Virheiden poistaminen 7. Ylimääräisten prosessin loppuvaiheen virheiden ennaltaehkäisy poistamalla olemassa olevat virheet Gilb (2000) 33 Tarkastuksen merkitys organisaatiolle 2/3 8. Dokumentteja tuottavan prosessin kehittäminen 9. Tarkastusprosessin kehittäminen 10.Katselmoijien työn kautta oppiminen 11.Tiimin johtajan koulutus 12.Tiimin johtajan sertifiointi 13.Työntekijöiden motivointi 14.Johtajien motivointi 15.Tuotoksen tekijän auttaminen Gilb (2000) 34 17
Tarkastuksen merkitys organisaatiolle 2/3 16.Standardoitumisen vahvistuminen 17.Asiantuntijatiedon kerääminen ja uudelleenkäyttö 18.Kustannuksien pienentyminen 19.Tiimin rakennus 20.Se on hauskaa sosiaalinen tapahtuma Gilb (2000) 35 Tehokkuus tarkastuksissa Kuvitteellinen esimerkki: Tilanne ennen: 8 merkittävää virhettä per tarkastus 16 tuntia työtä per tarkastus = 0,5 virhettä / tunti Prosessimuutos Tilanne jälkeen: 10 merkittävää virhettä per tarkastus 32 tuntia työtä per tarkastus = 0,3 virhettä / tunti Onko prosessimuutos järkevä? 36 18
Tekijöitä tarkastusten tehokkuudessa Prosessitekijät Lukumenetelmät Tarkastajien lukumäärä Valmistautumisaika Tarkastuspalaveri Materiaalin määrä Roolit tiimissä Tarkastuskierrosten määrä Virheiden korjaus kierrosten välillä Yksilöt Kokenut projektipäällikkö Ohjelmointitaidot Lukutaito Motivaatio Muita tekijöitä Koulutus Laatupäällikkö / prosessin omistaja Muut organisaatiotekijät 37 Tehokkuustekijät ohjelmistoprojekteissa Data base size Schedule constraint Turnaraund time Virtual machine experience Software tools Virtual machine volatility Modern programming practices Storage constraint Application experience Timing constraint Required reliability Product complexity 1,23 1,23 1,32 1,34 1,49 1,49 1,51 1,56 1,57 1,66 1,87 2,36 Personel / team capacity 4,18 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 Boehm 1981 38 19
Tutkimusasetelma Laaja kirjallisuuskatsaus Haastatteluja 8 ohjelmistoorganisaatiossa Organisaatiosta: laatupäällikkö, projektipäällikkö ja sovelluskehittäjä Kaksi tarkoitusta: Nykyiset katselmointikäytänteet ja puutteet käytänteissä Käytännölliset ongelmat katselmointien toteuttamisessa Kollanus 2005 39 Keskeisimpiä katselmointien ongelmia Avoin kysymys: Ihmiset ovat kiireisiä, erityisesti osaavat Heikko valmistautuminen palaveriin Kaivataan formaalimpaa prosessia Strukturoitu kysely: Heikko valmistautuminen Palaveri ajautuu epäoleellisiin asioihin Palaverin aikataulutus voi aiheuttaa viivettä Yleinen huomio: Motivaatio lukea toisten tuotoksia vaikuttaa olevan suurin haaste Kollanus 2005 40 20
Muita mahdollisia ongelmia Löydetään vain vähän virheitä Huono tukimateriaali Osallistujat eivät ymmärrä tarkastusprosessia Kritiikki kohdistuu tuotoksen tekijään Heikko katselmoinnin suunnittelu Väärät ihmiset osallistuvat Heikkolaatuinen dokumentti kuluttaa turhaan resursseja Liian paljon materiaalia Tarkatuksiin ei ole allokoitu resursseja Kollanus 2005 41 Puutteita katselmointikäytänteissä Säännölliset tarkastukset tehokkaat tarkastukset Ei koulutusta Rajallisesti tietoa tarkastuksista Heikko motivaatio > heikko valmistautuminen Tarkastuksia tehdään usein asiakasta varten Ei prosessin seurantaa Asenne kooditarkastuksiin Kollanus 2005 42 21
Yhteenveto tarkastusten tehokkuudesta Tärkeintä on... saada riittävän osaamisen omaavat ihmiset lukemaan toisten tuotoksia riittävän motivoituneesti. 43 Lähteet Tarkat lähdeviitteet löytyvät lisensiaatintyöstä Kollanus (2006): http://ebooks.jyu.fi/1795_9713/9513923983.pdf 44 22