CT60A4150 OHJELMISTOTESTAUKSEN PERUSTEET Jussi Kasurinen (etu.suku@lut.fi) Kevät 2015
HALLINNOLLISET ASIAT CT60A4150 Ohjelmistotestauksen perusteet
OPPIMISTAVOITTEET Kurssin suoritettuaan opiskelija tuntee tavallisimmat ohjelmistotestauksen työmenetelmät sekä testauksen työvaiheet. Opiskelijalla on valmiudet tehdä ohjattua testaustyötä itsenäisesti, tai suunnitella ja valmistella testaustyötä osana organisaatiota. Opiskelija tietää miten ohjelmistotestausta tehdään ja kuinka testaustoiminta ja ohjelmistokehitys liittyvät toisiinsa.
SISÄLTÖ Testauksen työvaiheet Testaustasot Tavallisimmat testausmenetelmät Testauksen työkalut Tavallisimmat testauksen dokumentit Testaus organisaation toimintana Testaustoiminnan kehittäminen Testauksen prosessit Testaus käytännössä
? Kurssin tavoitteena on opettaa testauksen tekemiseen liittyvät peruskäsitteet ja termit. Miten ohjelmistoja testataan, kuka testaa, millä testataan, miksi testataan jne. Luennoilla puhutaan yleisestä tasosta, keskitytään kokonaisuuden ymmärtämiseen. Ei puhuta työkalujen käyttämisestä, kaikilla on omat suosikkityökalut, vaan esim. siitä millaisia työkaluja on saatavilla. Harjoituksissa tehdään käytännöllisempiä harjoituksia joihin on tuotu elementtejä oikeasta ohjelmistoteollisuudesta.
KURSSIN KESKEINEN SISÄLTÖ Testaus osana ohjelmistotuotantoa Testauksen peruskäsitteet Testauksen perusmenetelmät Testauksen organisointi yrityksissä Esimerkkejä ISO/IEC 29110-standardin ajatuksia noudatellen Laadun määritteleminen ja mittaaminen Esimerkkejä ISO/IEC 25010 periaatteita noudatellen Testaustoiminnan kehittäminen
MUUTA SISÄLTÖÄ Lyhyt kuvaus testaukseen liittyvistä tavallisimmista standardeista ja sertifikaateista. Ohjeita testauksen keskeisten dokumenttien (policy, strategy, plan, report) laatimiseen. Yleisluontoisia kuvauksia suomalaisen ohjelmistoteollisuuden testaustoiminnasta vuosina 2008-2014 tehtyjen tutkimusten pohjalta. (ANTI, MASTO, SOCES, Game Cluster)
MUITA HUOMIOITA Tämä ei ole suoranaisesti ohjelmointikurssi mutta tällä kurssilla joutuu käsittelemään lähdekoodia. Lisäksi osassa harjoituksissa voidaan pyytää tekemään koodia tai täydentämään ohjelmaa. Kurssin voi joka tapauksessa läpäistä koodaamatta riviäkään. Yhteistyö harjoitustehtäviin liittyen muiden kurssilaisten kanssa sallittua, jopa suotavaa. Kaikki tekee kuitenkin oman harjoitustyön, plagiointitapaukset viedään poikkeuksetta eteenpäin.
TAVOITETILA Ennen kurssia Henkilöllä on auttava käsitys siitä, mitä ohjelmistotuotanto on, miten ohjelmia tehdään. Kaikki on varmaankin käynyt Ohjelmistotuotanto kurssin? Kurssin jälkeen Henkilö tietää miten ohjelmistotestausta tehdään, millä menetelmillä ja millä työkaluilla. Tietää miten testaustoiminta liittyy kehitystyöhön. Tietää miten testaus on organisoitu, mitä kaikkia organisaation asioita testaukseen liittyy. Tietää miten organisaation toimintatapoja voisi kehittää.
KURSSIN SUORITTAMINEN Luennot kerran viikossa (nauhoitetaan nettiin) Harjoitukset kerran viikossa (2 ryhmää joista valita, ei pakollisia tehtäviä, ei erikseen ilmoittautumista) 2 harjoitustyötä, molemmat pakollisia Tehdään 1-3 hengen pienryhmissä, yksin tekeminen myös sallittua (mutta työläämpää) Tentti, 6kpl kuuden pisteen esseekysymyksiä joista yhden voi jättää pois; maksimi 30 pistettä, läpipääsyraja 15.
KURSSIN SUORITTAMINEN Tavoitteena avustettu itseopiskelu Harjoituksissa tehtäviä joita voi toteuttaa omatoimisesti. Esimerkkivastauksia ei anneta, mutta harjoituksissa voidaan neuvoa miten tehtävä olisi pitänyt ratkaista. Kaikki materiaali ml. luennot saatavilla verkosta. Ei läsnäolopakkoa. Harjoitustyöt tehtävissä ilman erillisiä maksullisia työvälineitä. Kurssin päätiedotuskanava Noppa-sivusto, seuraa sitä.
ETÄOPISKELU-MAHDOLLISUUS Kurssi on organisoitu siten, että ainoa pakollinen lähipäivä tulee olemaan tentin tekeminen. Kurssin harjoitustyöt skaalautuvat työmäärältään siten, että kurssin voi tehdä myös itsenäisesti ilman muuta ryhmää. Kampuksella oleville opiskelijoille ryhmäytymistä suositellaan. Etäopiskelijat tekevät itsenäistä työtä, koska muilta kursseilta on huomattu ikävää vapaamatkustajaongelmaa mikäli näin ei tehdä.
KURSSIKIRJALLISUUS Kurssi seurailee teemoiltaan tätä kirjaa: Ohjelmistotestauksen käsikirja, Docendo Oy 2013....mutta sen hankkiminen ei ole pakollista! Kaikki kurssin läpäisyyn tarvittava sanotaan luennoilla tai lukee kalvoissa. Lisäksi harjoituksiin tulossa kurssipruju; valmistuu kurssin mittaan. Mika Kataran Ohjelmistotestaus -kurssin kalvot vuodelta 2011 erittäin suositeltavaa selata läpi. Lähteenä myös monissa tämän kurssin kalvoissa, linkki kurssin noppa-sivuilla. Kaikki muut kirjat joissa puhutaan testauksesta organisaation toimintana (kts. kurssin Muu materiaali -sivu Nopasta.)
VIDEOARKISTO Kurssia varten kootaan teemoista koostuvaa videoarkistoa. Jokainen pääteema esiteltynä lyhyellä videolla. Tarkoitus tukea opettelemista, ja täydentää luennoilla esitettyjä asioita. Valmistuu kurssin aikana. Linkki kurssisivuilla Nopassa.
JOHDANTO, TESTAUKSEEN LIITTYVÄÄ HISTORIAA CT60A4150 Ohjelmistotestauksen perusteet
HISTORIAA Vuonna 1968 Saksassa pidetyssä konferenssissa kehitettiin termi ohjelmistokriisi kuvaamaan uutta ja varsin yllättävää ongelmaa: Tietokoneiden suoritusteho oli muutamassa kymmenessä vuodessa kasvanut räjähdysmäisesti Tuloksena syntyi ohjelmia, jotka sisälsivät paljon toimintoja ja olivat aikaansa nähden varsin isokokoisia. Ohjelmistoprojekteille tämä samalla tarkoitti paljon tarkastettavia asioita, useita mahdollisuuksia vikatiloille ja merkittäviä haasteita projektien johtajille.
HISTORIAA Koneiden suorituskapasiteetti oli kasvanut kokoluokkaan, jossa yksittäinen ohjelmoija ei enää pystynyt joko hahmottamaan tai muistamaan kaikkea. Vaihtoehtoisesti käytettävä laite päätyi toimimaan vajaatehoisena. Lisäksi itse ohjelmistoprojektit tuppasivat paisumaan joko yli alkuperäisen budjettinsa, alkuperäisten määräaikojensa, jättivät ohjelmat alitehoisiksi, heikkolaatuisiksi tai eivät täyttäneet niille asetettuja odotuksia. Tarvittiin hoitokeinoja näiden ongelmien poistamiseksi Ohjelmistotestaus oli konseptina syntynyt!
MIKSI PUHUA OHJELMISTOTESTAUKSESTA Ohjelmistotestaus on läsnä kaikessa ohjelmistotuotannossa. Usein testaustoimintaa rajoittaa joko raha, aika, henkilöstömäärä tai muu saatavilla oleva resurssi. Kuitenkin jo 15% optimaalisista resursseista riittää perustason testaukseen. Yhdysvalloissa puutteellinen testaus aiheuttaa vuosittain 59.5 miljardin dollarin tappiot tuotannonmenetyksinä ja vikavastuina (arvio 2002). Globaali arvio *koko* musiikkibisnekselle ~20 miljardia USD. Virheen korjaaminen ohjelmaa suunnitellessa maksaa 1-2 prosenttia siitä mitä se maksaisi julkaisun jälkeen tehtynä.
MIKSI PUHUA TESTAUKSESTA? Therac-25-röntgenhoitokone antoi liian suuria säteilyannoksia johtaen kuuden ihmisen kuolemaan. ESA:n Ariane 5 raketin epäonnistunut laukaisu aiheutti noin seitsemän miljardin dollarin kustannukset. (lasti + selvittely + menetetyt sopimukset + korvaavat lennot ) Viallisten Pentium-suorittimien vaihtaminen maksoi Intelille yli 400 miljoonaa dollaria.
TESTAUKSEN KOULUKUNNISTA (LÄHTEINÄ KATARA, KANER, PETTICHORD, JORGENSEN) Eri kurssit ja lähteet saattavat painottaa eri asioita testauksessa. Analyyttinen (Speksien mukainen käytös, toteutettu käytös, testattu käytös) Tunnusmerkit: tekniset aspektit, täsmälliset menetelmät, mallintaminen Rutiini (Testaus on se osa liukuhihnatyöstä joka varmistaa että vaatimukset täyttyy.) Tunnusmerkit: edistymisen mittaaminen, kustannukset ja standardit, automaatio, ulkoistaminen Laatu (Testaus huolehtii että ohjelma on korkeatasoinen.) Tunnusmerkit: prosessit, standardit, kehittäjien valvonta ja projektien etenemisen hallinta Kontekstiohjattu (Testaus tuottaa tietoa kehitystyölle.) Tunnusmerkit: ihmiset, sidosryhmille kaikkien tärkeimpien virheiden löytäminen, tutkiva testaus
OHJELMISTOPROJEKTIN TAVOITTEET YLEISESTI 1. Tuote valmistuu ajallaan. 2. Tuote valmistuu annetulla budjetilla. 3. Tuote sisältää kaikki toivotut ominaisuudet. 4. Tuote on riittävän korkealaatuinen. 5. (Tuote tuottaa toivotun käyttäjäkokemuksen vrt. onko peli hauska.)
TESTAAMINEN Tekninen testaus: Testing is the process of executing a program with the intent of finding errors. Laajempi määritelmä: A technical investingation of the product under test conducted to provide stakeholders with quality-related information. Onko tuote tehty oikein? / Tehdäänkö oikeaa tuotetta?
TESTAAMISESTA Testaaminen on siis systemaattista virheiden etsimistä ei satunnaista kokeilua. Virheitä voidaan etsiä mistä tahansa, ja missä tahansa vaiheessa ohjelman rakentamista. Testaus etsii tuotteista virheitä, ja onnistuessaan osoittaa virheet ja poikkeamat suunnitelmasta. Testaus ei koskaan voi osoittaa, että ohjelmassa ei olisi virheitä tai puutteita.
TESTAUKSEN TUOTTAMA ARVO ON Löytää tuotteesta vikoja. Arvioida tarvittavan työn määrää. Arvioida tuotteen laadukkuutta. Tuottaa informaatiota ohjelmiston kehittämiseksi. Tuottaa informaatiota organisaation toiminnan kehittämiseksi. Helpottaa ohjelmiston kehittämistä osoittamalla ongelmat ja heikkolaatuiset osat.
ERILAISIA VIKOJA Tuote toimii eri tavalla kuin määrittely sanoo sen toimivan. Tuote tuottaa vääriä lopputuloksia. Tuote ei tee jotain asiaa, minkä määrittely sanoo sen tekevän. Tuote on vaikea käyttää, epälooginen tai neuvoo käyttäjää väärin. Tuotteen suorituskyky on riittämätön. Tuote ei anna toivottua käyttäjäkokemusta tai tuota riittävän korkealaatuista lopputulosta.
MILLOIN TESTATAAN? VESIPUTOUSMALLI
TESTAUKSEN V-MALLI
RUP-MALLI
MIKSI TESTATAAN? VIRHEEN HINTA
STANDISH GROUP-RAPORTTI OHJELMISTOALAN PROJEKTEISTA 2003-2012 Onnistui 6 % Mikä tahansa syy, miksi projekti ei toteutunut 100% tai vastaa 1:1 suunnitelmaa. Epäonnistui 42 % Vajavainen 52 % 30
YLEISESTI SIIS: CT60A4150 Ohjelmistotestauksen perusteet
TESTAUS ERI TASOILLA Testaus voidaan opetuksellisessa mielessä jakaa kahteen osaan: Testauksen suunnittelu ja organisointi Testaustyön tekeminen Suunnittelua ja organisointia voidaan opettaa kursseilla, koska se on yleistä tietoa ja ohjeita siitä, miten asiat pitäisi suunnitella ja miten testaustyötä ohjataan. Tekemistä oppii parhaiten harjoittelemalla tai työelämässä; kaikilla on omat testauksen tekemisen työvälineet ja tavat.
TESTAUKSEN TYÖKALUISTA (OTANTA 31 YRIT YSTÄ) Testitapausten hallinta 15 Yksikkötestaus 12 Testausautomaatio 9 Suorituskykytestaus 8 Virhetietokanta Testauksen suunnittelu 7 7 Laadunvalvonta 6 Muut 10
KAIKEN TESTAAMINEN Olemme kirjoittaneet yksikertaisen ohjelman, joka pyytää käyttäjältä neljä tietoa; verenpaineen ala- ja ylärajan painon kiloina sekä pituuden sentteinä Tämän perusteella ohjelma kertoo onko käyttäjällä verenpaineongelmia (alapaine yli 90, yläpaine yli 140), ja onko käyttäjä ali-, normaali- vai ylipainoinen (massaindeksi paino kiloina jaettuna pituus metreinä toiseen). Jos ohjelma havaitsee ongelmatilanteen, on ohjelman ehdottomasti pyydettävä käyttäjää syöttämään arvot uudestaan ja mikäli virhe toistuu kolmesti, pyydettävä ottamaan yhteyttä tekniseen tukeen. Koska on tärkeää, että ohjelma antaa käyttäjälle varmasti oikeita vastauksia, päätetään että ohjelmasta testataan kaikki mahdolliset vaihtoehdot joita käyttäjä voi syöttää kaikilla mahdollisilla kombinaatioilla.
KAIKEN TESTAAMINEN Testataan edellä olevat tapaukset mutta siten, että mikä tahansa yhdistelmä neljästä arvosta, on selkeästi järkevien rajojen yläpuolella: Neljästä eri arvosta saadaan kahdeksan eri kombinaatiota, joten 8 * 6, eli 48 tapausta. Testataan siten että mikä tahansa yhdistelmä on selkeästi alle järkevän rajan: 8 * 48, eli 384 testitapausta. Luonnollisesti pitää myös kokeilla selkeästi yli ja selkeästi alle sekä normaalien arvojen kaikki yhdistelmät: 81 * 384, eli 31104 tapausta Ohjelmassa pitää kokeilla kaikki kombinaatiot, joissa arvioissa on mukana nolla: 8 * 31104, eli 248832 testitapausta. Ohjelmassa käytetään laskukaavoja, eli ohjelmassa on testattava tapaukset joissa arvoja on annettu negatiivisena: 8 * 248832, eli 1990656 testitapausta.
KAIKEN TESTAAMISESTA Käyttäjä voi vahingossa painaa OK ja unohtaa syöttää jonkin luvuista: 4 * 1990656, eli 7962624 testitapausta. Käyttäjä voi vahingossa näppäillä kirjaimia lukuarvokenttiin: 8 * 7962624, eli 63700992 testitapausta. Virheilmoituksen toimintatapa muuttuu kun virheitä on kolme peräkkäin, eli kaikki pitää vielä testata kolmeen kertaan: 3 * 63700992, eli 191102976 testitapausta. Kuusi testiä minuutissa, kahdeksan tuntia päivässä testausvauhdilla testien tekemiseen 181,8 vuotta.
MITÄ TÄSTÄ LUENNOSTA PITÄÄ MUISTAA? On teknistä testaustyötä ja testauksen suunnittelua sekä riskienhallintaa. Ei pelkästään poisteta vikoja, vaan estetään niiden syntymistä. Kaikkea ei voi testata, siksi testausta pitää suunnitella, seurata ja riskejä pitää hallita.
ALOITUSKYSELY Tämä kurssi on osa opetuksen kehittämiseen liittyvää projektia: Tähän liittyen aloituskysely, jossa kysellään lähtötasotietoja. Lisäksi kurssin päätteeksi loppukysely. Molempiin kyselyihin asiallisesti vastaaminen antaa kolme (3) lisäpistettä ensimmäiseen yritettyyn tenttiin. ja nämä lisäpisteet voivat muuttaa nollan ykköseksi! Seuraa lakitekstiä: Kyselyissä kerättyä tietoa käytetään kurssin ja sen sisällön kehittämiseen, eikä aineistoa luovuteta LUTin ulkopuolisille tahoille. Kerätystä aineistosta saatetaan julkaista tilastollisia koostetietoja tai anonymisoituja yhteenvetoja osana tieteellisiä julkaisuja.
HARJOITUKSET Ekat harjoitukset viikolla 2; tällä viikolla ei erillisiä harjoitusryhmiä. Käykää lukemassa kurssiin liittyvät tiedotteet Nopan verkkosivuilta.