3.5 Hyväksymistestaus
|
|
- Laura Kähkönen
- 8 vuotta sitten
- Katselukertoja:
Transkriptio
1 3.5 Hyväksymistestaus Hyväksymistestauksen perusteella voidaan päätellä onko tuote sopimusten mukainen Mikäli kehitys on ulkoistettu, saatetaan hyväksymistestaussuunnitelma ja siihen liittyvät testitapaukset liittää jopa osaksi organisaatioiden välistä sopimusta Perustuu siis asiakkaiden vaatimuksiin V-mallia noudatettaessa ensimmäinen vaihe testien suunnittelussa, viimeinen vaihe testien suorituksessa Hyväksymistestaussuunnitelma täytyy pitää ajan tasalla Mikäli uusia ominaisuuksia tilataan kesken kaiken (kuten tavallista), tulee nekin hyväksymistestata Mika Katara: Ohjelmistojen testaus, Hyväksymistestauksessa testataan kokonaista valmista tuotetta Kannattaa käyttää testaajina tuotteen loppukäyttäjiä Testiympäristön pitäisi olla mahdollisimman lähellä todellista loppukäyttäjän ympäristöä Ajallisesti yleensä melko lyhyt vaihe koska tarkoituksena on vain osoittaa, että vaatimukset on tyydytetty Virheiden löytyminen ei pitäisi olla enää ensisijaisena tavoitteena Suurenkin järjestelmän hyväksymistestin pitäisi kestää korkeintaan viikkoja Muuten kyseessä voi olla hyväksymistestiksi kutsuttu järjestelmätesti (mikä ei sinällään haittaa, kunhan se tiedostetaan) tällöin ensisijainen tavoite on virheiden löytyminen Mika Katara: Ohjelmistojen testaus,
2 Hyväksymistestin pitäisi olla lähinnä demonstraatio Mikäli virheitä löydetään, niiden korjaaminen voi tulla hyvin kalliiksi Alihankinta voi muuttaa tilannetta, jos tarkoituksena on varmistaa sopimusehtojen täyttyminen Asiakas voi haluta lykätä hyväksymistestauksen päättymisen ajankohtaa esimerkiksi silloin kun siitä katsotaan takuun alkavan Mikäli käyttäjät pääsevät tutustumaan tuotteeseen vasta kun sen pitäisi olla valmis, suurella todennäköisyydellä virheitä valitettavasti löydetään Idealistisesti ajatellen käyttäjien pitäisi osallistua jossain muodossa kaikkiin ohjelmistoprosessin vaiheisiin Iteratiivinen kehitys siten, että näytetään asiakkaalle väliversioita, saadaan palautetta ja opitaan käsittämään vaatimuksia paremmin Mika Katara: Ohjelmistojen testaus, Koska suurten muutosten tekeminen projektin lopussa voi johtaa kaaokseen, pitää niitä harkita tarkkaan Muutostarpeiden priorisoinnin jälkeen voi olla järkevintä jättää virheen korjaaminen vasta seuraaviin versioihin Mikäli muutoksiin päätetään ryhtyä, pitäisi niihin liittyvät riskit kartoittaa uudelleen esim. sen arvioimiseksi pitäisikö jokin ominaisuus jättää tästä versiosta kokonaan pois tai sen testausta vähentää Mika Katara: Ohjelmistojen testaus,
3 Kaikki erot testiympäristön ja loppukäyttäjän ympäristön välillä ovat asioita, joita ei tule testattua Käytetäänkö todellisia tietokantoja yms. testattavaan järjestelmään liittyviä muita järjestelmiä vai simuloidaanko niitä jotenkin? Onko testidata generoitua vai todellista? Onko käyttäjän laitteistossa muita ohjelmia? Onko laitteiston konfiguraatio realistinen? Erilaisia loppukäyttäjän ympäristöjä voi olla vaikka kuinka paljon Profiilien luonti vastaamaan yleisimpiä ympäristöjä voi kannattaa Mika Katara: Ohjelmistojen testaus, Ideaalitapauksessa hyväksymistestaussuunnitelman kirjoittajat ovat loppukäyttäjiä tai heidän edustajiaan Käyttäjät ymmärtävät Vaatimuksia Omaan liiketoimintaansa liittyviä riskejä Käyttäjät voivat Toimittaa realistista testidataa Toimittaa käyttötapauksia Määritellä hyväksymistestin lopetusehdon Suorittaa testejä Tarkastaa ja katselmoida testiraportteja muita projektissa syntyneitä dokumentteja Mika Katara: Ohjelmistojen testaus,
4 Jokaista vaatimusta kohden pitäisi olla vähintään yksi testitapaus Yksi testitapaus voi kattaa useamman (laillisen) vaatimuksen Vaatimuskattavuusmatriisin käyttö, jos vastaavaa tietoa ei tuoteta automaattisesti testienhallintatyökalusta Vaikka jokainen vaatimus olisikin testattu, ei kaikkea silti ole testattu Itse asiassa yhtään vaatimusta ei ole testattu täydellisesti Ohjelmistolla on paljon sellaisia tiloja, joita ei ole käyty testeissä läpi Hyväksymisvaiheessa toteutustekniikkaan ei kiinnitetä yhtään huomiota Testitapauksia kannattaa priorisoida analysoimalla niitä vastaavien vaatimusten riskejä Mika Katara: Ohjelmistojen testaus, Alfa- ja Beta-testit Käyttäjät tekevät testit Alfa-testit käyttäjän toimesta toimittajan tiloissa mahdollisimman realistisessa ympäristössä Kehitys- tai testausympäristö ei kelpaa Beta-testit käyttäjän toimesta käyttäjän tiloissa ja ympäristössä Sekä alfa- että beta-testauksen tapauksessa täytyy muistaa, että ad hoc -tyyppinen testaus (kokeileminen) ei korvaa järjestelmällistä testausta käyttäen suunniteltua testistrategiaa ja testitapauksia Keskeneräisen ohjelmiston jakelu valikoiduille käyttäjille ei siis yksinään riitä Kokeilukin voi joissain tapauksissa olla paikallaan, mutta vasta sitten kun järjestelmä on hyväksymistestattu järjestelmällisesti Mika Katara: Ohjelmistojen testaus,
5 Ekskursio: Riskianalyysi Riskianalyysiä tehdään Tiedostamatta: jos jätän tenttiin luvun viimeiseen iltaan, millä todennäköisyydellä reputan ja mitä seurauksia siitä on? Tiedostaen: mikäli organisaation avainhenkilöiden täytyy matkustaa samana päivänä samaan kohteeseen, kannattaako heidät laittaa samalle lennolle? Valitettavasti kaikista mahdollisista testeistä voidaan dokumentoida ja ajaa vain pieni osa Riskianalyysiä käyttämällä voidaan yrittää valita mahdollisimman hyödylliset testit Riskianalyysin tuloksilla voidaan myös vakuuttaa projektin johto siitä, että asiat pitää tehdä tietyllä tavalla Mika Katara: Ohjelmistojen testaus, Riskianalyysiprosessin kulku (mukailtu [Craig&Jaskiel 02]): Aivoriihen kokoaminen Listaa järjestelmän ominaisuudet ja attribuutit Arvioi häiriön todennäköisyys Arvioi häiriön vaikutus käyttäjiin Päätä mikä on alin testattava prioriteetti Järjestä ominaisuudet ja attribuutit Arvioi tuloksia ja muuta tarvittaessa Laske riskiprioriteetti Mieti kuinka riskejä voitaisiin pienentää Mika Katara: Ohjelmistojen testaus,
6 Riskianalyysi pitäisi tehdä mahdollisimman aikaisessa vaiheessa projektia Aivoriihen (brainstorming team) kokoaminen: mukana esim. käyttäjiä, kehittäjiä, testaajia sekä henkilöitä markkinoinnista, asiakaspalvelusta sekä teknisestä tuesta Tavoitteena mahdollisimman laaja tietämys tuotteesta ja toimialasta Mika Katara: Ohjelmistojen testaus, Järjestelmän ominaisuuksien ja attribuuttien listaaminen: lähteinä kaikki saavilla oleva dokumentaatio Aloitetaan korkealta abstraktiotasolta, keskitytään yksityiskohtiin myöhemmin Analyysi voi kohdistua osajärjestelmään kunhan tarvittavat rajapinnat otetaan huomioon Tyypillisiä attribuutteja: toiminnallisuus, luotettavuus, yhteensopivuus, käytettävyys, ylläpidettävyys, suorituskyky, skaalautuvuus, turvallisuus Mika Katara: Ohjelmistojen testaus,
7 Häiriön todennäköisyyden arviointi: käydään edellisen kohdan lista läpi ja jokaisen ominaisuuden ja attribuutin kohdalla arvioidaan häiriön todennäköisyys Suhteellinen eikä absoluuttinen arviointi Asteikko esim. 1-3 (low, medium, high) Tässä vaiheessa tärkeintä on saada jotain paperille, ei täydellinen yksimielisyys lopputuloksesta arvoja voi muuttaa vielä myöhemmin Esim. mikäli tiimi T toteuttaa ominaisuuden O ympäristössä Y, millä todennäköisyydellä ilmenee häiriö Mika Katara: Ohjelmistojen testaus, Häiriön vaikutuksen arviointi: käydään jälleen lista läpi ja arvioidaan häiriön vaikutusta käyttäjään Asteikko esim. sama kuin edellisessä vaiheessa Näkökulma käyttäjän, ei arvioida esim. sitä kuinka häiriö voisi vaikuttaa projektiin, työmääriin tms. Joskus käyttäjät haluaisivat korkeimman mahdollisen arvon kaikkiin kohtiin voidaan rajoittaa sitä, kuinka monta kappaletta kutakin arvoa käyttäjät voivat ehdottaa Mika Katara: Ohjelmistojen testaus,
8 Riskiprioriteetin laskeminen: lasketaan yhteen kahdessa edellisessä vaiheessa saadut arvot Tuloksena viisiportainen riskiprioriteetti asteikolla 2-6 Yhteenlaskun sijaan voidaan arvot myös kertoa keskenään mikäli arvoasteikossa on ollut mukana nolla, tämän vaikutus täytyy luonnollisesti ottaa huomioon laskuoperaatiota valittaessa Ongelmia: koska sekä vaikutuksen että todennäköisyyden arvot ovat täysin subjektiivisia, eivät aritmeettiset operaatiot ole periaatteessa sallittuja epälineaarisuus Riskiprioriteetin arvot ovat siis vain suuntaa antavia Mika Katara: Ohjelmistojen testaus, Tulosten arviointi ja muuttaminen tarvittaessa: aivoriihessä syntyneitä todennäköisyyksiä voidaan tässä vaiheessa arvioida uudelleen laajemman tiedon valossa Esim. mikäli tiedetään, että ominaisuuden toteuttaa kokematon kehitystiimi, voidaan häiriön todennäköisyyttä sen osalta nostaa Muutokset voivat perustua myös esim. jonkin mutkikkuusmittarin tuottamaan arvoon Mika Katara: Ohjelmistojen testaus,
9 Ominaisuuksien ja attribuuttien järjestäminen: järjestetään lista uudelleen riskiprioriteetin mukaiseen järjestykseen Järjestetty lista auttaa keskittämään resursseja sinne missä niitä tarvitaan Testitapausten välisiä riippuvuuksia ei vielä tässä vaiheessa kannata ottaa huomioon käytännössä ne voivat sanella sen, että matalamman prioriteetin ominaisuus on testattava ennen korkeamman prioriteetin ominaisuutta Mika Katara: Ohjelmistojen testaus, Alimman testattavan prioriteetin määrittäminen: pienemmän riskin omaavia ominaisuuksia/attribuutteja ei testata ollenkaan tai testataan kevyemmin Rajan vetoon vaikuttavat luonnollisesti käytettävissä olevat resurssit Projektin edetessä rajaa voidaan liikuttaa ylös- tai alaspäin Mika Katara: Ohjelmistojen testaus,
10 Todennäköisyyksien pienentämisen pohtiminen: lopuksi yritetään keksiä keinoja riskien pienentämiseksi pienentämällä häiriöiden todennäköisyyksiä Keskitytään tyypillisesti korkea prioriteetin ominaisuuksiin ja attribuutteihin Keinoja voivat olla vaikkapa tarkastus- ja katselmointitekniikoiden käyttö, prototyypin kehittäminen, tehokkaamman testaustekniikan käyttöönotto jne. Mika Katara: Ohjelmistojen testaus, Niin kuin muitakin dokumentteja, myös riskianalyysin tuloksia täytyy pitää yllä Esim. vaatimusten muuttuessa Kun ryhdytään tekemään järjestelmän uutta versiota, voidaan yleensä edellisen riskianalyysin tuloksia hyödyntää Muutettavien osien kohdalta riskit yleensä kasvavat Yleensä häiriöiden todennäköisyydet muuttuvat ennemmin kuin niiden vaikutukset Mika Katara: Ohjelmistojen testaus,
11 Harjoitus: riskianalyysi IDLE Ominaisuus Attribuutti Todennäköisyys Vaikutus Prioriteetti Todennäköisyyden alentaminen Kurssi-ilmoittautuminen Harj. ilmoittautuminen Tehtävien tekeminen Harj.työn palautus luotettavuus käytettävyys Mika Katara: Ohjelmistojen testaus, Toinen priorisointiasteikko liittyy ns. MoSCoW-menetelmään, joka määrittelee seuraavat neljä prioriteettia (alenevassa tärkeysjärjestyksessä): Must test Should test Could test Won t test Ks. Successful Test Management: An Integral Approach, Iris Pinkster & Bob van de Burgt & Dennis Janssen & Erik van Veenendaal, Springer, Mika Katara: Ohjelmistojen testaus,
12 Esimerkki MoSCoW-arvioinnista Ihmisiä kuolee Kaikki asiakkaat kärsivät Yksi asiakkaista kärsii Must test Must test Jos tämä vaatimus ei toteudu Asiakkaat menettävät rahaa Me menetämme rahaa Kaikki asiakkaat kärsivät Yksi asiakkaista kärsii Ei kiertotietä Kiertotie on olemassa Must test Should test Should test Could test Kukaan ei menetä rahaa Ei kiertotietä Kiertotie on olemassa Could test Won t test Mika Katara: Ohjelmistojen testaus, Edistymisen seuranta, eräs esimerkki toimitus testatut vaatimukset Could test Should test arvio toteutunut Must test aika Mika Katara: Ohjelmistojen testaus,
13 Joissain projekteissa voidaan tarvita vielä hienojakoisempaa priorisointia Testijoukot kootaan testitapauksista, jotka perivät testijoukon MoSCoW-prioriteetin testijoukko voi vastata esim. yhden vaatimuksen testejä Testijoukon sisällä, testitapaukset priorisoidaan vielä asteikolla High, Medium ja Low Nyt voidaan tehdä päätös, että esimerkiksi Should test prioriteetin omaavasta joukosta ajetaan vain High-prioriteetin omaavat testit Huom! Eri joukkoihin kuuluvien testien prioriteetit eivät välttämättä enää ole vertailukelpoisia keskenään onko Should test Low tärkeämpi testitapaus kuin Could test High? Mika Katara: Ohjelmistojen testaus, Testikohteen riskien ja vaatimusten yhteensovittaminen: Jos on olemassa riski, mutta ei sitä vastaavaa vaatimusta, pitää miettiä onko riski turha vai pitääkö sitä vastaava vaatimus lisätä Jos on olemassa vaatimus, mutta ei siihen liittyvää riskiä, voidaan riski joko lisätä tai sitten vaatimus poistaa turhana Riskianalyysi voi siis parantaa myös vaatimusmäärittelyn laatua Analyysiä voidaan käyttää myös taloudelliselta näkökantilta katsottuna Ei arvioidakaan suoraan häiriöiden vaikutusta käyttäjiin, vaan pikemminkin ohjelmiston tuottamaan rahamäärään Esim. mikäli jokin ominaisuus on äärimmäisen tärkeä jollekin hyvin maksavalle asiakkaalle, voidaan tämä ottaa huomioon häiriön vaikutusta arvioitaessa Mika Katara: Ohjelmistojen testaus,
14 3.6 Tarvitaanko kaikkia testausvaiheita? Testauksen järjestelmällisellä vaiheistamisella on selviä etuja suunnittelemattomaan lähestymistapaan verrattuna Varsinkin pienissä projekteissa kaikkien em. testausvaiheiden läpikäyminen voi kuitenkin aiheuttaa ylimääräistä työtä Testauksen vaiheistamista suunniteltaessa kannattaa ottaa huomioon ainakin Kehitettävän järjestelmän monimutkaisuus Projektin budjetti Testausorganisaatio Mika Katara: Ohjelmistojen testaus, Tärkeintä ei ole vaiheiden määrän maksimointi vaan oikeiden vaiheiden valinta kutakin projektia varten Huom! Samaa vaihetta voidaan kutsua eri nimillä Yksikkötestausta voi olla paitsi moduulitestaus myös komponenttitestaus, kehittäjätestaus, säietestaus jne. ei kannata antaa termien hämätä Mika Katara: Ohjelmistojen testaus,
15 Integrointitestauksen yhteydessä pohdittiin sen suhdetta yksikkötestaukseen: oma vaihe vai osa yksikkötestausta Entä voitaisiinko järjestelmätesti yhdistää integrointitestiin? Craig ja Jaskiel [Craig&Jaskiel 02] listaavat ominaisuuksia, jotka ovat yhteisiä heidän asiakasorganisaatioillensa, joissa näiden vaiheiden yhdistäminen on onnistunut: hyvä tuotteenhallinta suhteellisen paljon automatisoituja testejä kanssakäyminen kehittäjien ja testaajien välillä toimii hyvin Mika Katara: Ohjelmistojen testaus, Strategia järjestelmä- ja integrointitestauksen yhdistämiseen [Craig&Jaskiel 02]: Testausryhmä testaa jokaisen huomattavasti edellistä isomman buildin viimeisestä integrointitestin tasosta, missä kaikki yksiköt ovat mukana, tulee järjestelmätesti verrattuna siihen, että kehittäjät vastaisivat integrointitestauksesta, lähestymistapa valitettavasti siirtää kehittäjille kuuluvaa vastuuta oman koodinsa laadusta testaajille Mika Katara: Ohjelmistojen testaus,
16 Entä hyväksymistestin yhdistäminen järjestelmätestiin? Voi olla perusteltua tilanteissa, joissa loppukäyttäjät osallistuvat järjestelmätestaukseen Testejä pitäisi silloin ajaa myös loppukäyttäjän ympäristöä mahdollisimman paljon muistuttavassa ympäristössä Mika Katara: Ohjelmistojen testaus, Milloin siirtyä vaiheesta toiseen? Kaksi oleellista kysymystä testausta vaiheistettaessa Miten vaiheet liittyvät toisiinsa? selkeät rajat auttavat siirtymisessä vaiheesta seuraavaan Mistä tiedetään koska siirrytään vaiheesta seuraavaan? selkeät aloitus- ja lopetusehdot Eri testausvaiheiden ei tule olla päällekkäisiä, eikä niiden välillä saa olla suuria aukkoja Motivaatio päällekkäisyyteen usein elinkaaren nopeuttaminen Mika Katara: Ohjelmistojen testaus,
17 Päällekkäisyyden haittoja Aiemmin löydettyjä (ja korjattuja) virheitä voidaan löytää uudestaan yksikkö ja integrointivaiheissa löydetyt virheet ovat paljon halvempia korjata kuin myöhemmissä vaiheissa löydetyt kun testaus siirtyy kehittäjiltä erillisen testaustiimin harteille, virheiden hinta kasvaa Haaste virheidenhallinnalle Konfiguraationhallinta monimutkaistuu Mika Katara: Ohjelmistojen testaus, Hyvin määritellyt ja tunnollisesti noudatetut aloitus- ja lopetusehdot eri testausvaiheille luovat yhteiset pelisäännöt projektin etenemiselle Jotkin aloitus- ja lopetusehdoista riippuvat projektista, toiset voivat olla standardeja organisaation sisällä Edellisen vaiheen tekijät ovat kiinnostuneita seuraavasta koska heidän panoksensa vaikuttaa paitsi oman vaiheen lopetusehdon myös seuraavan vaiheen aloitusehdon saavuttamiseen Mika Katara: Ohjelmistojen testaus,
18 Esimerkki integrointitestin lopetusehdosta: Kaikki yksikkö- ja integrointitestit ja niiden tulokset on dokumentoitu Kaikki löydetyt vakavat virheet on korjattu ja regressiotestit ajettu Virheiden löytymistiheys on laskenut sovitun rajan alle (esim. viisi korkeintaan medium-tason virhettä viimeisen kolmen päivän aikana) Riittävä lausekattavuus on saavutettu (esim. 90%) Testit ovat kattaneet ohjelman spesifikaatiot riittävästi Koodin tarkastuksen tulokset on dokumentoitu ja ne ovat hyväksyttävissä Mika Katara: Ohjelmistojen testaus, Vaiheen aloitusehdon tulisi sisältää ainakin osa edellisen vaiheen lopetusehdoista Lisäksi siihen voidaan sisällyttää ehtoja koskien myös esim. testiympäristön luomista, testityökaluja ja jopa testaustyövoiman hankkimista Mikäli on vaarana, että aletaan testata versiota, jota ei käytännössä vielä voi testata, kannattaa aloitusehtoihin kirjata myös vaatimus savutestin läpäisemisestä Hyväksymistestauksen lopetusehto on erityisen tärkeä, koska se on samalla koko testauksen lopetusehto Mika Katara: Ohjelmistojen testaus,
19 Esim. hyväksymistestauksen lopetusehdosta (mukailtu [Craig&Jaskiel 02]): Medium tai sen vakavampia virheitä ei saa olla Missään ominaisuudessa ei saa olla kahta virhettä enempää eikä kaiken kaikkiaan yli 50 virhettä Vähintään yksi testitapaus jokaista vaatimusta kohden täytyy läpäistä Testitapaukset TT23, TT25 ja TT38-52 täytyy läpäistä Kahdeksan kymmenestä kokeneesta pankkivirkailijasta pystyy avaamaan tilin korkeintaan kymmenessä minuutissa käyttäen on-line ohjeita Järjestelmä pystyy avaamaan 1000 tiliä tunnissa Mika Katara: Ohjelmistojen testaus, Ruudusta toiseen siirtyminen kestää keskimäärin korkeintaan sekunnin kun järjestelmää käyttää 100 käyttäjää Käyttäjien täytyy hyväksyä allekirjoituksellaan testien tulokset Mika Katara: Ohjelmistojen testaus,
20 3.8 Dokumentoinnista Kuten ohjelmistotuotannossa yleensä, dokumentoinnilla on merkittävä osuus testauksessa Dokumentteja syntyy paljon Niiden kirjoittamiseen kuluu huomattavan paljon aikaa Dokumenttien ja varsinaisten testien synkronointi voi muodostua ongelmaksi Dokumentoinnin tarkoituksena on saada tieto suunnittelijoiden/testaajien korvien välistä muotoon, jota muutkin voivat käyttää Kun asiat kirjataan ylös, huomataan yleensä puutteita ja väärinkäsityksiä Dilemma: miten dokumentoida kaikki tarpeelliset asiat, mutta ei mitään turhaa Mika Katara: Ohjelmistojen testaus, Testauksen suunnittelun tavoitteena on tehdä testien ajaminen ja niistä raportointi mahdollisimman helpoiksi Projektisuunnitelma: mitä dokumentteja tuotetaan kuka tuottaa milloin Testauksen yleissuunnitelmasta (päätestaussuunnitelma) saattaa olla hyötyä ainakin isoissa projekteissa: Testien aikataulut Testausvaiheiden aloitus- ja lopetusehdot Kuka vastaa ja mistä (mm. testiympäristöjen pystyttäminen jne.) Mika Katara: Ohjelmistojen testaus,
21 Testauksen suunnittelu [Haikala&Märijärvi 06]: Functional specification Experiences, check lists Quality system code of practice Design specification Previous test documentation Test planning & design Test plan & design Test execution Test reports Mika Katara: Ohjelmistojen testaus, Koska hyväksymistestaussuunnitelmaa lukevat käyttäjät, pitää sen ymmärrettävyyteen kiinnittää erityistä huomiota Ideaalitapauksessa käyttäjät kirjoittavat sen itse, jos asiantuntemus riittää Tarvittavat lähteet: projektisuunnitelma, joka piirtää kokonaiskuvan projektin kulusta päätestaussuunnitelma vaatimukset, joiden perusteella testit suunnitellaan myös käyttöohje on hyödyllinen, mikä se vain on saatavilla Mika Katara: Ohjelmistojen testaus,
22 Järjestelmätestaussuunnitelma voidaan sisällyttää määrittelydokumenttiin Integrointitestaussuunnitelma voidaan sisällyttää suunnitteludokumenttiin Kunkin moduulin suunnittelun yhteyteen voidaan liittää sitä vastaavan testiympäristön ja testitapausten määrittely Mika Katara: Ohjelmistojen testaus, Kun testejä suunnitellaan yksityiskohtaisesti, saattaa päätestaussuunnitelmaan kohdistua muutostarpeita Päivittämisestä täytyy luonnollisesti huolehtia Ajastaan jälkeen jäänyt dokumentaatio on usein enemmän haitaksi kuin hyödyksi Mika Katara: Ohjelmistojen testaus,
23 Joskus dokumentoinnilla saattaa olla myös kirjoittamattomia tarkoitusperiä Projektin tukeminen? Prosessin tai laatujärjestelmän noudattaminen? Jos on, miksi niitä ei kirjata ylös? Hyvä dokumentointi auttaa keskittymään oikeisiin asioihin kun se mitä tai miten ollaan testaamassa muuttuu Testityökalut saattavat auttaa dokumentoinnissa Tietyntyyppisten dokumenttien (osittainen) generointi Mika Katara: Ohjelmistojen testaus, Kuten testauksen vaiheistaminenkin, dokumentointi pitää suunnitella projektin koon ja testattavan järjestelmän perusteella Jos kyseessä on pieni projekti, riittää yleensä yksi testaussuunnitelma, joka kattaa sekä integrointi- että järjestelmätestauksen Suunnitelma tehdään määrittelyvaiheessa ja sitä täydennetään järjestelmää suunniteltaessa Esimerkkirunko I [Haikala&Märijärvi 06]: 1. Johdanto. 2. Testauksen kohde ja tavoitteet. 3. Testausympäristö. 4. Testauksen organisointi ja raportointi. 5. Testausstrategia ja integrointisuunnitelma. 6. Testattavat toiminnot. 7. Toimintojen testitapaukset, hyväksymiskriteerit. 8. Ei-toiminnallisten ominaisuuksien testaus. 9. Erikoistilanteet. 10. Ominaisuudet, joita ei testata. Mika Katara: Ohjelmistojen testaus,
24 Esimerkkirunko II: Johdanto Tarkoitus ja kattavuus Tuote ja ympäristö Määritelmät, termit ja lyhenteet Viitteet Yleiskatsaus dokumenttiin Testimäärittely Testattavat vaatimukset Lähestymistavan tarkennus Testitapausten nimeäminen Hylkäys- ja hyväksymiskriteerit Testitapausten väliset riippuvuudet Testitapausten määrittely Määrittelystä/suunnittelusta löytyneet virheet Mika Katara: Ohjelmistojen testaus, Esimerkkirunkojen I ja II suurin ero on siinä, että II on yksittäisen vaiheen testaussuunnitelma ja olettaa erillisen päätestaussuunnitelman (Master Test Plan) olemassaolon: Yksikkötestaussuunnitelma Integrointitestaussuunnitelma Päätestaussuunnitelma Järjestelmätestaussuunnitelma Mika Katara: Ohjelmistojen testaus,
25 Testausraportti: Johdanto Ristiriidat ja poikkeamat Kattavuustarkastelu Tulokset Arviointi Toiminta Hyväksyminen Mika Katara: Ohjelmistojen testaus, IEEE Std (uusi versio 2008) IEEE (Institute of Electrical and Electronics Engineers) Standard for Software Test Documentation Määrittelee seuraavat dokumenttipohjat Toimintasuunnitelmien laatimiseen Test Plan: päätestaussuunnitelma, eri vaiheiden toimintasuunnitelmat Testauksen suunnitteluun Test Design Specification: eri vaiheiden testaussuunnitelmat, testitapausten riippuvuudet, kattavuustavoitteet yms. Test Case Specification: käytetään tarvittaessa määrittelemään testitapauksia ja testiautomaation skriptejä Mika Katara: Ohjelmistojen testaus,
26 Test Procedure Specification: kuvaa kuinka joukko testitapauksia suoritetaan Raportointiin Test Item Transmittal Report: käytetään tarvittaessa raportoimaan järjestelmän (tai sen osan) siirtymisestä testaukseen, esim. kehittäjiltä erilliselle testaustiimille Test Log: käytetään tarvittaessa dokumentoimaan testitapausten (ja niiden muodostamien joukkojen) suorituksia Test Incident Report: testauksessa havaittujen häiriöiden raportointi, häiriöt voi liittyä virheeseen missä tahansa, myös testitapauksen määrittelyssä Test Summary Report: raportoi testauksen päättymisestä joko yksittäisen vaiheen tai sen sisällä jonkin muun merkittävän tavoitteen saavuttamisen osalta Mika Katara: Ohjelmistojen testaus, Seuranta Kun testitapaukset suoritetaan, raportoidaan tuloksista testiraporteissa Asiakasreklamaatiot täytyy luonnollisesti dokumentoida huolellisesti Laatujärjestelmän kehittämiseksi virheet analysoidaan ja tilastoidaan Virheen löytymis-, syntymis- ja korjausajankohdat Testauksen kattavuusmitat Virheiden luokittelu (esim. mild, moderate, serious, catastrophic) liian monta tasoa hankaloittaa luokittelua Testipäiväkirjan pitämisestä saattaa myös olla hyötyä Mika Katara: Ohjelmistojen testaus,
27 4. Dynaamisen testauksen tekniikat Perinteisessä mielessä testaaminen on testitapausten ajamista. Tässä kohdassa esitellään dynaamiseen testaukseen liittyviä tekniikoita. Mika Katara: Ohjelmistojen testaus, Erilaisia tekniikoita on kehitetty valtava määrä Käytettävä tekniikka täytyy valita tapauskohtaisesti Yleisesti ottaen testauksessa on hyvin hankala löytää Best Practise -tyyppisiä toimintatapoja Sopivan tekniikan valintaan kussakin tilanteessa voidaan antaa kuitenkin joitain nyrkkisääntöjä Tekniikat voidaan myös luokitella usealla eri tavalla Mika Katara: Ohjelmistojen testaus,
28 Käytettiinpä mitä dynaamista tekniikkaa tahansa, seuraaviin kuuteen kysymykseen tarvitaan yleensä vastaukset: Hyödynnetäänkö testattavan ohjelman koodia vai ei? Kuka testaa? Mitä ohjelman osaa testataan? Minkä tyyppisiä ongelmia etsitään? Mitä pitää tehdä? Mistä tiedetään onnistuiko testiajo vai ei? Mika Katara: Ohjelmistojen testaus, Seuraava luokittelu jakaa tekniikat sen perusteella mihin em. kysymykseen ne pääsääntöisesti yrittävät vastata Luokittelu ja kuvaukset perustuu suurelta osin lähteeseen [Kaner et al. 02] Eri tekniikoita pitää sopivasti yhdistellä aina tarpeen mukaan Tekniikat muodostavat eräänlaisen työkalupakin Ruuvimeisselillä ja vasaralla pääsee jo pitkälle, mutta joskus tarvitaan sahaakin Mika Katara: Ohjelmistojen testaus,
29 4.1 Tekniikat Hyödynnetäänkö ohjelman koodia vai ei? Lasilaatikkotestauksessa testitapaukset valitaan järjestelmän toteutukseen, kuten lähdekoodiin, tutustumalla (glass/white/clear box testing) Lasilaatikkotestaus ei pysty havaitsemaan sellaisia käyttäytymisiä, jotka on spesifioitu, mutta joita ei ole toteutettu kalvon 20 kuvassa tämä tarkoittaisi sitä, että testitapauksia kuvaavien käyttäytymisen ympyrä on kokonaan ohjelman toteutettua käyttäytymistä kuvaavan ympyrän sisällä Mika Katara: Ohjelmistojen testaus, Mustalaatikkotestauksessa testattava ohjelma nähdään mustana laatikkona eli sen toteutuksesta ei välitetä (black box testing) Kun testattavan yksikön koko kasvaa, siirrytään lasilaatikkotestauksesta mustalaatikkotestaukseen yksikkötestaus usein lasilaatikkotestausta, järjestelmätestaus mustalaatikkotestausta toisaalta, mikäli halutaan saavuttaa tietty koodikattavuus, ajetaan ensin mustalaatikkotestit ja sen jälkeen kehitetään uusia testitapauksia lasilaatikkomenetelmällä ja ajetaan niitä, kunnes tavoite on saavutettu Mika Katara: Ohjelmistojen testaus,
30 Testitapaukset valitaan spesifikaation eikä toteutuksen perusteella Testit voidaan suunnitella vaikka toteutusta ei vielä olisikaan Testitapaukset säilyttävät käyttökelpoisuutensa myös toteutuksen muuttuessa, jos spesifikaatio säilyy samana Menetelmän haittoja testitapaukset saattavat olla keskenään redundantteja osia ohjelmasta jää helposti testaamatta Mika Katara: Ohjelmistojen testaus, Mustalaatikkotestaus ei pysty havaitsemaan sellaisia ohjelman käyttäytymisiä, jotka on toteutettu, mutta joita ei ole spesifioitu Kalvon 20 kuvassa tämä tarkoittaisi sitä, että testitapauksia kuvaavien käyttäytymisen ympyrä on kokonaan spesifioitua käyttäytymistä kuvaavan ympyrän sisällä Menetelmä toimii myös muulle kuin ajettavalle ohjelmalle, eli ideat yleistyvät Yleensä halvempaa kuin lasilaatikkotestaus, joka vaatii koodiin tutustumista Mika Katara: Ohjelmistojen testaus,
31 Tekniikat täydentävät toisiaan: siinä missä lasilaatikkotestit löytävät matalan tason virheitä, mustalaatikkotestit löytävät korkeamman tason virheitä Spesifikaatiot korkeammalla abstraktiotasolla kuin toteutus, jossa metsä hukkuu helposti puiden sekaan Mikäli testauksessa käytetään hyväksi tietoa ohjelman toteutusperiaatteista, mutta ei tehdä puhdasta lasi- tai mustalaatikkotestausta, voidaan tätä kutsua harmaalaatikkotestaukseksi Mika Katara: Ohjelmistojen testaus,
Testaus elinkaaressa
Testaus elinkaaressa Järjestelmätestaus Järjestelmätestaus Tarkoittaa koko järjestemän laajuuteen kohdistuvaa testausta, koko järjestelmän toiminnan näkökulmasta Järjestelmän ei tarvitse olla valmis vaan
LisätiedotTIE Ohjelmistojen testaus 2015 Harjoitustyö Vaiheet 1 ja 2. Antti Jääskeläinen Matti Vuori
TIE-21204 Ohjelmistojen testaus 2015 Harjoitustyö Vaiheet 1 ja 2 Antti Jääskeläinen Matti Vuori Työn yleiset järjestelyt 14.9.2015 2 Valmistautuminen Ilmoittaudu kurssille Lue harjoitustyön nettisivut
LisätiedotConvergence of messaging
Convergence of messaging Testaussuunnitelma The Converge Group: Mikko Hiipakka Anssi Johansson Joni Karppinen Olli Pettay Timo Ranta-Ojala Tea Silander Helsinki 20. joulukuuta 2002 HELSINGIN YLIOPISTO
LisätiedotTestausdokumentti. Kivireki. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos
Testausdokumentti Kivireki Helsinki 17.12.2007 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti (6 ov) Projektiryhmä Anu Kontio Ilmari
LisätiedotTestaaminen ohjelmiston kehitysprosessin aikana
Testaaminen ohjelmiston kehitysprosessin aikana 04.02.2004 http://cs.joensuu.fi/tsoft/ Sisällys 1. Johdanto 2. Yksikkö- ja integrointitestaus 3. Järjestelmätestaus 4. Hyväksymistestaus http://cs.joensuu.fi/tsoft/
LisätiedotTIE-21200 Ohjelmistojen testaus Harjoitustyön esittely osa 2: Vaiheet 3 & 4. Antti Jääskeläinen Matti Vuori
TIE-21200 Ohjelmistojen testaus Harjoitustyön esittely osa 2: Vaiheet 3 & 4 Antti Jääskeläinen Matti Vuori Vaiheet 3 & 4: Järjestelmätestaus 28.10.2013 2 Päämäärä jedit-ohjelmointieditorin järjestelmätestaus
LisätiedotTIE-21200 Ohjelmistojen testaus Harjoitustyön esittely osa 2: Vaiheet 3 & 4. Antti Jääskeläinen Matti Vuori
TIE-21200 Ohjelmistojen testaus Harjoitustyön esittely osa 2: Vaiheet 3 & 4 Antti Jääskeläinen Matti Vuori Vaiheet 3 & 4: Järjestelmätestaus 27.10.2014 2 Päämäärä jedit-ohjelmointieditorin järjestelmätestaus
LisätiedotTestaussuunnitelma. Koskelo. Helsinki Ohjelmistotuotantoprojekti. HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos
Testaussuunnitelma Koskelo Helsinki 16.12.2004 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti (6 ov) Projektiryhmä Tom Bertell Johan
LisätiedotT Testiraportti - järjestelmätestaus
T-76.115 Testiraportti - järjestelmätestaus 18. huhtikuuta 2002 Confuse 1 Tila Versio: 1.0 Tila: Päivitetty Jakelu: Julkinen Luotu: 18.04.2002 Jani Myyry Muutettu viimeksi: 18.04.2002 Jani Myyry Versiohistoria
LisätiedotTestaus käsite. Sekalaista testausasiaa. Testauksen käsitteestä. Kattavuusmitat. Jos ajatellaan, että testaus = V&V, voidaan erottaa:
Testaus käsite Sekalaista asiaa Sami Kollanus 15.11.2006 Jos ajatellaan, että = V&V, voidaan erottaa: Staattinen Dynaaminen Toisaalta voidaan määritellä Myersin (1979) mukaan: Testaus on ohjelman suoritusta,
LisätiedotTestausprosessin vaatimukset. 2. Testausprosessi (Artikkelit) Vesiputousmallin ongelmia. V-mallin neljä osavaihetta. Testausprosessimalli V-malli
2. ausprosessi (Artikkelit) Nykyisin useimpien prosessimallien lähtökohta on, että testaus on oleellinen osa ohjelmistotuotantoprosessia. Itse asiassa huolellinen testaus vie helposti 50% tai enemmän käytettävistä
LisätiedotOhjelmiston testaus ja laatu. Ohjelmistotekniikka elinkaarimallit
Ohjelmiston testaus ja laatu Ohjelmistotekniikka elinkaarimallit Vesiputousmalli - 1 Esitutkimus Määrittely mikä on ongelma, onko valmista ratkaisua, kustannukset, reunaehdot millainen järjestelmä täyttää
LisätiedotUCOT-Sovellusprojekti. Testausraportti
UCOT-Sovellusprojekti Testausraportti Ilari Liukko Tuomo Pieniluoma Vesa Pikki Panu Suominen Versio: 0.02 Julkinen 11. lokakuuta 2006 Jyväskylän yliopisto Tietotekniikan laitos Jyväskylä Hyväksyjä Päivämäärä
LisätiedotTestausraportti. Oppimistavoitteiden hallintajärjestelmä harri
Testausraportti Oppimistavoitteiden hallintajärjestelmä harri Helsinki 13.12.2007 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti
LisätiedotHarjoitustyön testaus. Juha Taina
Harjoitustyön testaus Juha Taina 1. Johdanto Ohjelman teko on muutakin kuin koodausta. Oleellinen osa on selvittää, että ohjelma toimii oikein. Tätä sanotaan ohjelman validoinniksi. Eräs keino validoida
LisätiedotKäyttäjien tunnistaminen ja käyttöoikeuksien hallinta hajautetussa ympäristössä
www.niksula.cs.hut.fi/~jjkankaa// Testauksen loppuraportti v. 1.0 Päivitetty 23.4.2001 klo 19:05 Mikko Viljainen 2 (14) Dokumentin versiohistoria Versio Päivämäärä Tekijä / muutoksen tekijä Selite 1.0
LisätiedotOhjelmistotuotantoprojekti
Ohjelmistotuotantoprojekti Ryhmä Muppett TESTAUSDOKUMENTTI Helsinki 5.8.2008 HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Ohjelmistotuotantoprojekti, kesä 2008 Projekti: Muutos- ja korjauspyyntöjen
LisätiedotSEPA diary. Dokumentti: SEPA_diary_PK_HS.doc Päiväys: Projekti: AgileElephant Versio: V0.3
AgilElephant SEPA Diary Petri Kalsi 55347A Heikki Salminen 51137K Tekijä: Petri Kalsi Omistaja: ElectricSeven Aihe: PK&HS Sivu 1 / 7 Dokumenttihistoria Revisiohistoria Revision päiväys: 29.11.2004 Seuraavan
LisätiedotDynaaminen analyysi IV
Dynaaminen analyysi IV Luento 9 Antti-Pekka Tuovinen 16 April 2013 1 Tavoitteet Kokemusperäinen testitapausten suunnittelu Yhteenvetoa suunnittelutekniikoista 16 April 2013 2 1 Testitapausten kokemusperäinen
LisätiedotCT60A4150 OHJELMISTOTESTAUKSEN PERUSTEET. Jussi Kasurinen (etu.suku@lut.fi) Kevät 2015
CT60A4150 OHJELMISTOTESTAUKSEN PERUSTEET Jussi Kasurinen (etu.suku@lut.fi) Kevät 2015 NOPEA KERTAUS TESTAUS HYVIN LYHYESTI Miten normaali testaajan arki ohjelmistoprojektissa sitten rullaa? Käytännössä
LisätiedotHyväksymistestauksen tarkistuslista järjestelmän hankkijalle
Hyväksymistestauksen tarkistuslista järjestelmän hankkijalle Tarkistuslista on suunniteltu käytettäväksi hyväksymistestauksen suunnittelussa, valmiuksien arvioinnissa ja katselmoinnissa.tämä tarkistuslista
LisätiedotMihin kaikkeen voit törmätä testauspäällikön saappaissa?
Mihin kaikkeen voit törmätä testauspäällikön saappaissa? Arto Stenberg Copyright Kuntien Tiera Oy Kuntien Tiera Copyright Kuntien Tiera Oy Tieran toiminta perustuu osaamisverkoston rakentamiseen, mikä
LisätiedotTestauksen hallintaa teekkareille (ja muille kiinnostuneille) Arto Stenberg
Testauksen hallintaa teekkareille (ja muille kiinnostuneille) Arto Stenberg Symbio lyhyesti Innovatiivinen tuotekehitys- ja testauskumppani Juuret Suomessa, perustettu 1997 Laadukkaat ohjelmistotoimitukset
LisätiedotCopyright by Haikala. Ohjelmistotuotannon osa-alueet
Copyright by Haikala Ohjelmistotuotannon osa-alueet Ohjelmiston elinkaari 1. Esitutkimus, tarvekartoitus, kokonaissuunnittelu, järjestelmäsuunnittelu (feasibility study, requirement study, preliminary
LisätiedotDynaaminen analyysi IV Luento 6 Antti-Pekka Tuovinen
Dynaaminen analyysi IV Luento 6 Antti-Pekka Tuovinen 23 April 2018 1 Tavoitteet Kokemusperäinen testitapausten suunnittelu Yhteenvetoa suunnittelutekniikoista 23 April 2018 2 Testitapausten kokemusperäinen
LisätiedotKontrollipolkujen määrä
Testaus Yleistä Testaus on suunnitelmallista virheiden etsimistä Tuotantoprosessissa ohjelmaan jää aina virheitä, käytettävistä menetelmistä huolimatta Hyvät menetelmät, kuten katselmoinnit pienentävät
LisätiedotTik-76.115 Tietojenkäsittelyopin ohjelmatyö Tietotekniikan osasto Teknillinen korkeakoulu. LiKe Liiketoiminnan kehityksen tukiprojekti
Tik-76.115 Tietojenkäsittelyopin ohjelmatyö Tietotekniikan osasto Teknillinen korkeakoulu TESTIRAPORTTI LiKe Liiketoiminnan kehityksen tukiprojekti Versio: 1.1 Tila: hyväksytty Päivämäärä: 13.2.2001 Tekijä:
LisätiedotCT60A4150 OHJELMISTOTESTAUKSEN PERUSTEET. Jussi Kasurinen (etu.suku@lut.fi) Kevät 2015
CT60A4150 OHJELMISTOTESTAUKSEN PERUSTEET Jussi Kasurinen (etu.suku@lut.fi) Kevät 2015 NOPEA KERTAUS VIIME KERROISTA ERILAISIA T YÖKALUT YYPPEJÄ Millä työkaluilla testausta sitten tehdään? Suurin osa ohjelmistojen
LisätiedotTestausraportti. Orava. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos
Testausraportti Orava Helsinki 5.5.2005 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti (6 ov) Projektiryhmä Juhani Bergström Peter
LisätiedotTapahtuipa Testaajalle...
Tapahtuipa Testaajalle... - eli testaus tosielämässä 09.10.2007 Juhani Snellman Qentinel Oy 2007 Agenda Minä ja mistä tulen Testauksen konteksti Tapauksia tosielämästä ja työkaluja 2 Minä Juhani Snellman
LisätiedotT Tietojenkäsittelyopin ohjelmatyö. Testiraportti, vaihe T1. Tietokonegrafiikka-algoritmien visualisointi. Testiraportti, vaihe T1
T-76.115 Tietojenkäsittelyopin ohjelmatyö Sisältö Tästä dokumentista ilmenee T1-vaiheessa suoritettu testaus, sen tulokset ja poikkeamat testisuunnitelmasta. Päivämäärä 1.12.2002 Projektiryhmä Keimo keimo-dev@list.hut.fi
Lisätiedot58160 Ohjelmoinnin harjoitustyö
58160 Ohjelmoinnin harjoitustyö Testaus 30.3.2009 Tuntiop. Sami Nikander sami.nikander@helsinki.fi 58160 Ohjelmoinnin harjoitustyö, Sami Nikander 30.3.2009 1 Testaus Ohjelman systemaattista tutkimista
LisätiedotOnnistunut Vaatimuspohjainen Testaus
Onnistunut Vaatimuspohjainen Testaus Kari Alho Solution Architect Nohau Solutions, Finland Sisältö Mitä on vaatimuspohjainen testaus? Vaatimusten ymmärtämisen haasteet Testitapausten generointi Työkalujen
LisätiedotWCLIQUE. Ohjelmistoprojekti. Testaussuunnitelma
TKK/DISKO/Tik-76.115 WCLIQUE Projektiryhmä Clique http://www.hut.fi/jekahkon/wclique/testplan.html WCLIQUE Ohjelmistoprojekti Projektiryhmä Clique: Janne Dufva, 75008T, email: janne.dufva@nokia.com, 75014C,
LisätiedotTestaussuunnitelma PULSU. Syksy 2008 Ohjelmistotuotantoprojekti. HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos
Testaussuunnitelma PULSU Syksy 2008 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti (9 op) Projektiryhmä Heikki Manninen Noora Joensuu
LisätiedotDynaaminen analyysi I
Dynaaminen analyysi I Luento 6 Antti-Pekka Tuovinen 4 April 2013 1 Tavoitteet Testitapausten suunnittelun ja suorituksen perusteet Black-Box testitapausten suunnittelu Ekvivalenssiluokat Raja-arvo (reuna-arvo)
LisätiedotT Testiraportti - integraatiotestaus
T-76.115 Testiraportti - integraatiotestaus 16. huhtikuuta 2002 Confuse 1 Tila Versio: 1.1 Tila: Päivitetty Jakelu: Julkinen Luotu: 19.03.2002 Jani Myyry Muutettu viimeksi: 16.04.2002 Jani Myyry Versiohistoria
LisätiedotTestauksen hallinta Testaustyökalut Luento 7 Antti-Pekka Tuovinen
Testauksen hallinta Testaustyökalut Luento 7 Antti-Pekka Tuovinen 23 April 2018 1 Tavoitteet Yleiskuva seuraavista aiheista Testauksen organisointi Testaussuunnittelma Testauksen kustannukset Testausstrategia
LisätiedotTOIMINNALLINEN MÄÄRITTELY MS
TOIMINNALLINEN MÄÄRITTELY 11.11.2015 MS YLEISTÄ 1/2 jäsennelty etenee yleiskuvauksesta yksityiskohtiin kieliasultaan selkeä kuvaa myös tulevan järjestelmän ympäristöä tarpeellisella tarkkuudella kuvaa
LisätiedotUudelleenkäytön jako kahteen
Uudelleenkäyttö Yleistä On pyritty pääsemään vakiokomponenttien käyttöön Kuitenkin vakiokomponentit yleistyneet vain rajallisilla osa-alueilla (esim. windows-käyttöliittymä) On arvioitu, että 60-80% ohjelmistosta
LisätiedotTIE Ohjelmistojen testaus 2016 Harjoitustyö Vaiheet 1 ja 2. Antti Jääskeläinen Matti Vuori
TIE-21201 Ohjelmistojen testaus 2016 Harjoitustyö Vaiheet 1 ja 2 Antti Jääskeläinen Matti Vuori Työn yleiset järjestelyt 20.9.2016 2 Valmistautuminen Ilmoittaudu kurssille Lue harjoitustyön nettisivut
LisätiedotTESTIRAPORTTI - VYM JA KANTA Virtuaaliyhteisöjen muodostaminen Versio 1.0
TESTIRAPORTTI - VYM JA KANTA Versio 1.0 i Sisällysluettelo 1. YLEISTÄ 2 1.1. Dokumentin tarkoitus ja yleisiä toimintaohjeita 2 1.2. Viittaukset muihin dokumentteihin 2 2. SUORITETTAVA TESTI 3 2.1. Testauksen
LisätiedotIT2015 EKT ERITYISEHTOJA OHJELMISTOJEN TOIMITUKSISTA KETTERIEN MENETELMIEN PROJEKTEILLA LUONNOS
20.4.2015 IT2015 EKT ERITYISEHTOJA OHJELMISTOJEN TOIMITUKSISTA KETTERIEN MENETELMIEN PROJEKTEILLA 1 1.1 SOVELTAMINEN Näitä erityisehtoja sovelletaan ohjelmistojen tai niiden osien toimituksiin ketterien
LisätiedotTestaussuunnitelma. Asdf. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos
Testaussuunnitelma Asdf Helsinki 22.2.2008 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti (6 ov) Projektiryhmä Kuisma Sami Louhio
LisätiedotOhjelmiston testaus ja laatu. Testaustasot
Ohjelmiston testaus ja laatu Testaustasot Testauksen vaihejako Tarpeet / sopimus Järjestelmätestaus Hyväksymiskoe Määrittely testauksen suunnittelu ja tulosten verifiointi Arkkitehtuurisuunnittelu Moduulisuunnittelu
LisätiedotTestaussuunnitelma. Pizzeria - Pitseria HAAGA-HELIA ammattikorkeakoulu Tietojenkäsittelyn koulutusohjelma. WebPizza
Testaussuunnitelma Pizzeria - Pitseria HAAGA-HELIA ammattikorkeakoulu Tietojenkäsittelyn koulutusohjelma Versio 1.0 Ehdotus Laatija Raine Kauppinen VERSIOHISTORIA Versionotyyppi Versio- Päiväys Tekijä
LisätiedotOhjelmiston testaussuunnitelma
Ohjelmiston testaussuunnitelma Ryhmän nimi: Tekijä: Toimeksiantaja: Toimeksiantajan edustaja: Muutospäivämäärä: Versio: Katselmoitu (pvm.): 1 1 Johdanto Tämä lukaa antaa yleiskuvan koko testausdokumentista.
LisätiedotOhjelmointitekniikka lyhyesti Survival Kit 1 Evtek KA ELINKAARIMALLEISTA
Ohjelmointitekniikka lyhyesti Survival Kit. Vesiputousmalli ELINKAARIMALLEISTA. Ohjelmiston elinkaari Ohjelmiston elinkaarella (life cycle) tarkoitetaan aikaa, joka kuluu ohjelmiston kehittämisen aloittamisesta
LisätiedotCT60A4150 OHJELMISTOTESTAUKSEN PERUSTEET. Jussi Kasurinen (etu.suku@lut.fi) Kevät 2016
CT60A4150 OHJELMISTOTESTAUKSEN PERUSTEET Jussi Kasurinen (etu.suku@lut.fi) Kevät 2016 VIIME KERRALLA MENETELMIÄ Musta laatikko Valkea laatikko Harmaa laatikko Regressio Automaatio Rasitus (kuormitus)
LisätiedotCoMa - Testausdokumentti
CoMa - Testausdokumentti Mindmap - Kari Velling Helsinki 16.12.2005 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti (6 ov) Projektiryhmä
LisätiedotT Tietojenkäsittelyopin ohjelmatyö. Testiraportti, vaihe LU. Tietokonegrafiikka-algoritmien visualisointi. Testiraportti, vaihe T3
T-76.115 Tietojenkäsittelyopin ohjelmatyö Testiraportti, vaihe LU Sisältö Tästä dokumentista ilmenee LU-vaiheessa suoritettu testaus, sen tulokset ja poikkeamat testisuunnitelmasta. Päivämäärä 14.4.2003
LisätiedotOhjelmistojen mallintaminen. Luento 11, 7.12.
Ohjelmistojen mallintaminen Luento 11, 7.12. Viime viikolla... Oliosuunnittelun yleiset periaatteet Single responsibility eli luokilla vain yksi vastuu Program to an interface, not to concrete implementation,
LisätiedotTestaus-tietoisku: Tärkeimpiä asioita testauksesta projektityökurssilaisille
1(23) Testaus-tietoisku: Tärkeimpiä asioita testauksesta projektityökurssilaisille Matti Vuori, Tampereen teknillinen yliopisto 30.10.2012 Sisällysluettelo 1/2 Esityksen tarkoitus 4 Laatu on tärkeää, ei
LisätiedotTestaussuunnitelma Labra
Testaussuunnitelma Labra Helsinki 25.8.2008 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos 1 Kurssi 581260 Ohjelmistotuotantoprojekti (9+1op) Projektiryhmä Anssi Kapanen,
LisätiedotTARKASTUSMENETTELYT JA NIIDEN APUVÄLINETUKI
TARKASTUSMENETTELYT JA NIIDEN APUVÄLINETUKI Vesa Tenhunen Tarkastusmenettelyt Keino etsiä puutteita ohjelmakoodeista, dokumenteista ym. ohjelmistoprosessissa syntyvästä materiaalista Voidaan käyttää kaikissa
LisätiedotTietojärjestelmän osat
Analyysi Yleistä analyysistä Mitä ohjelmiston on tehtävä? Analyysin ja suunnittelun raja on usein hämärä Ei-tekninen näkökulma asiakkaalle näkyvien pääkomponenttien tasolla Tietojärjestelmän osat Laitteisto
LisätiedotMihin kaikkeen voit törmätä testauspäällikön saappaissa?
Mihin kaikkeen voit törmätä testauspäällikön saappaissa? Arto Stenberg Copyright Kuntien Tiera Oy Kuntien Tiera Copyright Kuntien Tiera Oy Tiera on vuonna 2010 perustettu yli 200:n kuntatoimijan omistama
LisätiedotOhjelmistotestauksen perusteita II
Ohjelmistotestauksen perusteita II Luento 2 Antti-Pekka Tuovinen 14 March 2013 1 Luennon oppimistavoitteet Testausprosessin perustoiminnot Testauksen psykologiaa Testauksen seitsemän periaatetta 14 March
LisätiedotOhjelmistotuotanto vs. muut insinööritieteet. (Usein näennäinen) luotettavuus ja edullisuus
Yhteenveto Ohjelmistotuotanto vs. muut insinööritieteet Monimutkaisuus Näkymättömyys (Usein näennäinen) luotettavuus ja edullisuus Muunnettavuus Epäjatkuvuus virhetilanteissa Skaalautumattomuus Copyright
LisätiedotGood Minton QA Raportti Iteraatio 1 Sulkapalloliiton Kilpailujärjestelmä
Good Minton QA Raportti Iteraatio 1 Sulkapalloliiton Kilpailujärjestelmä Versiohistoria: Versio: Pvm: Laatijat: Muutokset: 0.1 2006 12 09 Jani Eränen Alustava DOKUMENTIN TILA: Alustava Valmis Tarkastettu
LisätiedotCOTOOL dokumentaatio Testausdokumentit
Table of Contents Testausraportti.............................................................................. 1 1 Tiivistelmä...............................................................................
LisätiedotVerifioinnin ja validoinnin ero. 7. Verifiointi ja validointi. Verifiointi- ja validointitekniikat. Verifiointi- ja validointitekniikat II
7. Verifiointi ja validointi Verifiointi ja validointi (V&V) on ohjelmistotuotannon työvaihe, missä varmistetaan, että ohjelmisto täyttää sille asetetut implisiittiset ja eksplisiittiset vaatimukset ja
Lisätiedotdokumentin aihe Dokumentti: Testausraportti_I1.doc Päiväys: Projekti : AgileElephant
AgilElephant Testausraportti I1 Tekijä: Petri Kalsi Omistaja: ElectricSeven Aihe: Testausraportti Sivu 1 / 5 Dokumentti Historia Muutoshistoria Revision Numero Revision Päiväys Yhteenveto muutoksista Revision
Lisätiedot7. Verifiointi ja validointi
7. Verifiointi ja validointi Verifiointi ja validointi (V&V) on ohjelmistotuotannon työvaihe, missä varmistetaan, että ohjelmisto täyttää sille asetetut implisiittiset ja eksplisiittiset vaatimukset ja
LisätiedotOhjelmistojen suunnittelu
Ohjelmistojen suunnittelu 581259 Ohjelmistotuotanto 154 Ohjelmistojen suunnittelu Software design is a creative activity in which you identify software components and their relationships, based on a customer
LisätiedotOnnistunut SAP-projekti laadunvarmistuksen keinoin
Onnistunut SAP-projekti laadunvarmistuksen keinoin 07.10.2010 Patrick Qvick Sisällys 1. Qentinel 2. Laadukas ohjelmisto täyttää sille asetetut tarpeet 3. SAP -projektin kriittisiä menestystekijöitä 4.
LisätiedotKuopio Testausraportti Asiakkaat-osakokonaisuus
Kuopio Testausraportti Asiakkaat-osakokonaisuus Kuopio, testausraportti, 25.3.2002 Versiohistoria: Versio Pvm Laatija Muutokset 0.1 11.2.2002 Matti Peltomäki Ensimmäinen versio 0.9 11.2.2002 Matti Peltomäki
LisätiedotTIE Ohjelmistojen testaus 2015 Harjoitustyö Vaihe 3. Antti Jääskeläinen Matti Vuori
TIE-21204 Ohjelmistojen testaus 2015 Harjoitustyö Vaihe 3 Antti Jääskeläinen Matti Vuori Rakenne ja aikataulu Kolme vaihetta: 1. Tutkivan järjestelmätestauksen suunnittelu 2. Tutkivan järjestelmätestauksen
LisätiedotProjektin suunnittelu
Projektin suunnittelu Sami Kollanus TJTA330 Ohjelmistotuotanto 15.3. Projektin suunnittelu - CMMIkäytänteet Projektin estimaatit: Määritellään projektin laajuus (scope) Määritellään tehtävien ja tuotosten
LisätiedotOhjelmistotuotteen hallinnasta
Ohjelmistotuotteen hallinnasta Luennon tavoitteista Luennon sisällöstä Motivointia Lähteinä: Haikala ja Märijärvi, Ohjelmistotuotanto Royce, Software Project Management, A Unified Framework 1 Tavoitteista
LisätiedotTestauksen tuki nopealle tuotekehitykselle. Antti Jääskeläinen Matti Vuori
Testauksen tuki nopealle tuotekehitykselle Antti Jääskeläinen Matti Vuori Mitä on nopeus? 11.11.2014 2 Jatkuva nopeus Läpäisyaste, throughput Saadaan valmiiksi tasaiseen, nopeaan tahtiin uusia tuotteita
LisätiedotOhjelmistotekniikka - Luento 2
Ohjelmistotekniikka - Luento 2 Luku 2: Prosessimallit - miten spiraalimalliin päädyttiin - spiraalimallista (R)UP malliin - oman ammattitaidon kehittäminen; PSP ja TSP mallit 1 Luento 2: Prosessimallit
LisätiedotLaadunvarmistustekniikat
Laadunvarmistustekniikat Ohjelmistojen laadunvarmistustekniikoita: testaus (testing) ohjelman suorittamista tarkoituksena löytää virheitä tarkastukset (inspections, reviews) asiantuntijoiden suorittamia
LisätiedotTestaussuunnitelma. Ohjelmistotuotantoprojekti Nero. Helsinki Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos
Testaussuunnitelma Ohjelmistotuotantoprojekti Nero Helsinki 5.11.2004 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti ( ov) Projektiryhmä
LisätiedotLaadunvarmistuksen suunnitelma. Ryhmä ExtraTerrestriaLs Aureolis Oy
Laadunvarmistuksen suunnitelma Ryhmä ExtraTerrestriaLs Aureolis Oy Versio Päiväys Tekijä Kuvaus 1.0 8.11.2004 Risto Kunnas Ensimmäinen versio 1.1 8.11.2004 Risto Kunnas Korjauksia 1.2 9.11.2004 Mika Suvanto
LisätiedotTestaustyökalut. Luento 11 Antti-Pekka Tuovinen. Faculty of Science Department of Computer Science
Testaustyökalut Luento 11 Antti-Pekka Tuovinen 25 April 2013 1 Tavoitteet Työkalutyyppejä Testauksen hallinta Testien määrittely Staattinen analyysi Dynaaminen testaus 25 April 2013 2 1 Työkalut ja testaus
LisätiedotL models. Testisuunnitelma. Ryhmä Rajoitteiset
Teknillinen korkeakoulu T-76.115 Tietojenkäsittelyopin ohjelmatyö Lineaaristen rajoitteiden tyydyttämistehtävän ratkaisija L models Testisuunnitelma Ryhmä Rajoitteiset Versio Päivämäärä Tekijä Muutokset
LisätiedotOhjelmistotekniikka - Luento 2 Jouni Lappalainen
Ohjelmistotekniikka - Luento 2 Jouni Lappalainen Luku 2: Prosessimallit - miten spiraalimalliin päädyttiin - spiraalimallista (R)UP malliin - oman ammattitaidon kehittäminen; PSP ja TSP mallit 1 Luento
Lisätiedot@Tampereen Testauspäivät (2012-06)
@Tampereen Testauspäivät (2012-06) Testausodotukset räätälöityjen järjestelmien projekteissa Maaret Pyhäjärvi, testausasiantuntija Twitter: maaretp Testausvastaava @ Granlund Oy Yrittäjä
LisätiedotHirviö Laadunvarmistussuunnitelma
Hirviö Laadunvarmistussuunnitelma Jani Heikkinen Anssi Kalliolahti Jukka Larja Kim Nylund Liia Sarjakoski Samuli Sorvakko Timo Toivanen 30. marraskuuta 2004 1 Sisältö 1 Johdanto 3 1.1 Testauksen tavoitteet
LisätiedotAvoimen ja yhteisen rajapinnan hallintasuunnitelma v.1.4
Avoimen ja yhteisen rajapinnan hallintasuunnitelma v.1.4 Tämän esityksen sisältö tausta avoimet toimittajakohtaiset rajapinnat (toimittajan hallitsemat rajapinnat) avoimet yhteiset rajapinnat (tilaajan
LisätiedotAutomaattinen yksikkötestaus
Teknillinen Korkeakoulu T-76.115 Tietojenkäsittelyopin ohjelmatyö Lineaaristen rajoitteiden tyydyttämistehtävän ratkaisija L models Automaattinen yksikkötestaus Ryhmä Rajoitteiset Versio Päivämäärä Tekijä
LisätiedotMobiilin somepalvelun ketterä kehittäminen, sopimusehtoluonnos
Mobiilin somepalvelun ketterä kehittäminen, sopimusehtoluonnos 1. Sopijapuolet Kehitysvammaliitto ry (jäljempänä Tilaaja) Viljatie 4 A 00700 Helsinki Y-tunnus 0116608-8 Yritys (jäljempänä Toimittaja) Osoite
LisätiedotMäärittelydokumentti NJC2. Helsinki 11.2.2004 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos
Määrittelydokumentti NJC2 Helsinki 11.2.2004 Ohjelmistotuotantoprojekti HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos Kurssi 581260 Ohjelmistotuotantoprojekti ( ov) Projektiryhmä Eero Anttila Olli
LisätiedotOhjelmiston testaus ja laatu. Testausmenetelmiä
Ohjelmiston testaus ja laatu Testausmenetelmiä Testausmenetelmiä - 1 Testauksen menetelmien päälähestymistapoina ovat black-box testi testaaja ei voi tutkia lähdekoodia testaus perustuu sovellukselle suunnitteluvaiheessa
LisätiedotLohtu-projekti. Testaussuunnitelma
Lohtu-projekti Testaussuunnitelma Versiohistoria: 1.0 19.2.2003 1. versio Mari 1.1 20.2.2003 Muutoksia Mari 1.2 25.2.2003 Katselmoinnissa esiin tulleet Mari muutokset 1.3 17.3.2003 2. syklissä tehtävät
LisätiedotSoft QA. Vaatimusten muutostenhallinta. Ongelma
Vaatimusten muutostenhallinta Ongelma Muutostenhallinta on usein vaatimustenhallinnan Akilleen kantapää. Projektien alkaessa ensimmäiset vaatimukset kootaan ja dokumentoidaan, mutta usein vaatimuksia ei
Lisätiedotstatbeatmobile PROJECT REVIEW iteration 1
statbeatmobile PROJECT REVIEW iteration 1 agenda Projekti Status Käytännöt Tulokset Katsaus eteenpäin PROJEKTI / mikä on statbeat? Sosiaalinen joukkueurheilupalvelu Keskustelu, fanit, kavereiden joukkueet,
LisätiedotTestataanko huomenna?
Testataanko huomenna? Qentinel Group 2014 Esko Hannula 03.06.2014 Ohjelmistokriisistä testauskriisiin 1985: Ohjelmistot ovat huonolaatuisia ja aina myöhässä Jonkun pitäisi testata, ehkäpä noiden huonoimpien
LisätiedotTESTIRAPORTTI - JÄRJESTELMÄ, PORTAL Virtuaaliyhteisöjen muodostaminen Versio 1.0
TESTIRAPORTTI - JÄRJESTELMÄ, PORTAL i Sisällysluettelo DUMENTIN VERSIOT 1 1. YLEISTÄ 2 1.1. Dokumentin tarkoitus ja yleisiä toimintaohjeita 2 1.2. Viittaukset muihin dokumentteihin 2 2. SUORITETTAVA TESTI
LisätiedotWCLIQUE. Ohjelmistoprojekti. Testaussuunnitelma
TKK/DISKO/Tik-76.115 WCLIQUE Projektiryhmä Clique http://www.hut.fi/~jekahkon/wclique/testplan.pdf WCLIQUE Ohjelmistoprojekti WCLIQUE_TP Projektiryhmä Clique: Janne Dufva, 75008T, email: janne.dufva@nokia.com
LisätiedotAvoimen ja yhteisen rajapinnan hallintamalli
Avoimen ja yhteisen rajapinnan hallintamalli 1.10.2015 Sisältö tausta avoimet toimittajakohtaiset rajapinnat (toimittajan hallitsemat rajapinnat) avoimet yhteiset rajapinnat (tilaajan hallitsemat rajapinnat)
LisätiedotTämän lisäksi listataan ranskalaisin viivoin järjestelmän tarjoama toiminnallisuus:
Dokumentaatio, osa 1 Tehtävämäärittely Kirjoitetaan lyhyt kuvaus toteutettavasta ohjelmasta. Kuvaus tarkentuu myöhemmin, aluksi dokumentoidaan vain ideat, joiden pohjalta työtä lähdetään tekemään. Kuvaus
LisätiedotSimulaattoriavusteinen ohjelmistotestaus työkoneympäristössä. Simo Tauriainen
Simulaattoriavusteinen ohjelmistotestaus työkoneympäristössä Simo Tauriainen www.ponsse.com 25.8.2011 Ponsse-konserni Ponsse Oyj on tavaralajimenetelmän metsäkoneiden myyntiin, tuotantoon, huoltoon ja
LisätiedotT Testiraportti - integraatiotestaus
T-76.115 Testiraportti - integraatiotestaus 22. maaliskuuta 2002 Confuse 1 Tila Versio: 1.0 Tila: Päivitetty Jakelu: Julkinen Luotu: 19.03.2002 Jani Myyry Muutettu viimeksi: 22.03.2002 Jani Myyry Versiohistoria
LisätiedotProject-TOP QUALITY GATE
Project-TOP QUALITY GATE FOR SUCCESSFUL COMPANIES TYÖKALU ERP- JÄRJESTELMIEN TESTAUKSEEN PROJECT-TOP QUALITY GATE Quality Gate on työkalu ERP-järjestelmien testaukseen Huonosti testattu ERP- järjestelmä
LisätiedotPROJEKTIN SUUNNITTELU JOUNI HUOTARI, PAAVO MOILANEN, ESA SALMIKANGAS
PROJEKTIN SUUNNITTELU JOUNI HUOTARI, PAAVO MOILANEN, ESA SALMIKANGAS 10 KEYS TO SUCCESSFUL SOFTWARE PROJECT 1. Clear Vision 2. Stable, Complete, Written Requirements 3. Detailed User Interface Prototypes
LisätiedotOhjelmistotuotanto s
Laadunvarmistustekniikoita Ohjelmistotuotanto 1 testaus (testing) ohjelman suorittamista tarkoituksena löytää virheitä tarkastukset (inspections, reviews) asiantuntijoiden suorittamia dokumentin (voi olla
LisätiedotValtioneuvoston kanslia VAIN VIRKAKÄYTTÖÖN Hallinto- ja palveluosasto/hallintoyksikkö Terja Ketola PTJ2008-työsuunnitelma 1 (5)
Terja Ketola PTJ2008-työsuunnitelma 1 (5) AIKATAULU JA TEHTÄVÄT / PTJ2008 VALMIS MENOSSA MYÖHÄSSÄ ALOITTAMATTA ALUSTAVA AJANKOHTA EI PIDETTY / TEHTY 1 Määrittelyn läpikäynti PTi, TKe, IHa, TRö 34 23.8.2007
LisätiedotMenetelmäraportti - Konfiguraationhallinta
Menetelmäraportti - Konfiguraationhallinta Päiväys Tekijä 22.03.02 Ville Vaittinen Sisällysluettelo 1. Johdanto... 3 1.1 Tärkeimmät lyhenteet... 3 2. Konfiguraationhallinnan tärkeimmät välineet... 4 2.1
Lisätiedot