SEPA Päiväkirja. Käytettävyyden arviointi

Transkriptio

1 SEPA Päiväkirja Käytettävyyden arviointi T Ohjelmistotuotannon erikoiskurssi Aleksi Airola 39054L Vesa Haukkavaara 60610A Elina Kontro 57184R 1

2 Muutoshistoria Versio Pvm Tekijä Kuvaus Elina Kontro Ensimmäinen versio, johdantoa Elina Kontro Pieniä korjauksia, ajatuksia ranskalaisilla viivoilla Aleksi Airola Lisäyksiä keltaisella merkittyinä, kommentointia Elina Kontro Muokkasin, korjasin, alustavasti menetelmien soveltamisesta Elina Kontro Käytettävyyskriteerit, ryhmäläpikäyntiasiaa Elina Kontro Lisäyksiä ryhmäläpikäynti kohtaan, kirjoitusvirheiden korjausta, Proton kuvia liitteeksi, testitilaisuudenrakenne liitteeksi, lähdeluettelo Vesa Haukkavaara Testitehtävät lisätty liitteeseen, kirjoitusvirheiden korjausta Elina Kontro Loput protokuvat Elina Kontro Kriteerien päivitystä, liitteen 2 päivitystä Elina Kontro Ryhmäläpikäynnin tuloksia Elina Kontro Toinen käytettävyystesti kuvaus aloitettu Elina Kontro Jatkoa toiseen käytettävyystestiin, liite 5 lisätty Vesa Haukkavaara Testitehtäviä lisätty täyttämään I1:n lopun tarpeet Aleksi Airola Heuristisen arvio I1 iteraatiossa Elina Kontro 2. käytettävyystesti tarkennus, kritterien päivitys, muuta muokkausta. 2

3 Sisällysluettelo 1 JOHDANTO MENETELMIEN SOVELTAMINEN PROJEKTISSA KÄYTETTÄVYYSTESTIT Ryhmäläpikäynti Toinen käytettävyystesti HEURISTINEN ARVIO Heuristinen arvio I1-iteraatiossa Heuristinen arvio I2-iteraatiossa KOKEMUKSIA TOTEUSTUSITERAATIO Ryhmäläpikäynti TOTEUSTUSITERAATIO YHTEENVETO LÄHDELUETTELO...10 LIITTEET 1

4 1 Johdanto Tässä dokumentissa kuvataan T Ohjelmistotuotannon erikoiskurssin puitteissa toteutettava perehtyminen valittuihin ohjelmistokehityksen käytäntöihin. Dokumentissa kuvattuja käytäntöjä sovelletaan samaan aikaan suoritettavalla T Ohjelmistokehitysprojekti I-kurssilla toteutettavassa CoSCAsimulaattorin jatkokehitysprojektissa. Tässä työssä käytettävyyden arviointia tullaan tekemään sekä käytettävyystesteillä että heuristisella arviolla. Käytettävyyden arvioinnin tavoitteena on testata ja parantaa kehitteillä olevan tuotteen käytettävyyttä. Tuotetta kehitettäessä pyritään kiinnittämään erityistä huomiota tuotteen tulevien käyttäjien näkökulmaan: pystyvätkö käyttäjät tekemään järjestelmällä niitä tehtäviä, joihin se on suunniteltu? Ohjelmistokehitysprojektissa tavoitteena on toteuttaa olemassa olevaan CoSCA-simulaattoriin helppokäyttöinen ja opittava käyttöliittymä, joka mahdollistaa simulaattorin hyödyntämisen Helsingin Kauppakorkeakoulussa (HKKK) opetuksen apuvälineenä. Näin ollen on luontevaa ottaa käytettävyyden arviointi yhdeksi projektissa käytettäväksi menetelmäksi, jolla pyritään varmistamaan halutun tavoitteen helposti käytettävän ja opittavan käyttöliittymän saavuttaminen. Käytettävyystestauksessa käyttäjäryhmä, johon keskitytään, on HKKK:n opiskelijat, joita osallistuu testeihin vähintään kolme. Testejä tullaan tekemään projektin aikana kaksi kertaa. Heuristinen arviointi tullaan tekemään Nielsenin heuristiikkojen pohjalta ja suoritetaan kerran kummassakin iteraatiossa. Käytettävyyden arviointia suunniteltaessa tullaan perehtymään Jacob Nielsenin kirjaan Usability Engineering ja Sirpa Riihiahon artikkeleihin Käytettävyystestauksen muunnelmia ja Käytettävyyden arviointi käyttäjiä. 1

5 2 Menetelmien soveltaminen projektissa Valittuja menetelmiä, heuristinen arvio ja käytettävyystestit, käytetään osana toteutettavan tuotteen testausta. Seuraavissa luvuissa kuvataan valittujen menetelmien soveltamista CoSCA-simulaattorin jatkokehitysprojektissa. 2.1 Käytettävyystestit Ryhmäläpikäynti Ensimmäinen käytettävyystesti käyttäjien kanssa tullaan tekemään paperiprotoa käyttäen ns. ryhmäläpikäyntimenetelmällä [2]. Testi tullaan tekemään heti I1-iteraation alussa, jotta testistä saatua palautetta ja tuloksia voidaan hyödyntää käyttöliittymän suunnittelussa I1-iteraation aikana. Koska kehitettävän käyttöliittymän ensisijainen kohdeyleisö on Helsingin Kauppakorkeakoulun opiskelijat, tulevat käyttäjät testissäkin olemaan ko. kohderyhmän edustajia. Ryhmäläpikäyntiin osallistuu 2 käyttäjää, 1 käyttöliittymän suunnittelija ja 2 käytettävyysasiantuntijaa. Ryhmäläpikäynnissä sekä käyttäjät että suunnittelija tekevät itsenäisesti annetut t (liite 1) paperiprotoa käyttäen, merkiten paperiprotoon ne toiminnot, joita käyttää n tekemiseksi. Käytettävyysasiantuntijoista toinen toimii testitilanteen ohjaajana ja toinen ohjaa tehtävien jälkeistä keskustelua. Vaikka keskustelu onkin vapaamuotoista, pyritään sitä ohjaamaan niin, että ennalta määritellyistä osa-alueista (taulukko 1 ja liite 2) saadaan palautetta. Testissä käytettävän proton kuvat ovat liitteessä 3. Tilaisuudessa Aleksi edustaa suunnittelijoita, Elina ja Vesa käytettävyysasiantuntijoita: Vesa ohjaa testitehtävien läpiviennin, Elina ohjaa keskusteluosuutta. Testitilaisuuden rakenne (tarkemmin liiteessä 2): - Esittely (10min) - Kaksi ä paperiprotolla itsenäisesti (20 min) (Tehtävät annetaan yksitellen) - Keskustelua testitehtävistä ja protosta ( 30 min) - Lopetus (10 min) Käytettävyyskriteerit Käytettävyyden arvioinnissa keskitytään opittavuuden ja miellyttävyyden mittaamiseen. Kurss(e)ille, jossa työkalua käytetään opetuksen apuvälineenä, tulee uusia opiskelijoita joka vuosi. Työkalun tulee olla nopeasti opittavissa, jotta harjoitusten tekemisessä aika ei kulu työkalun käytön opiskeluun, vaan itse asiaan, harjoitusten tekemiseen ja niistä oppimiseen. Mitä miellyttävämmäksi opiskelijat kokevat työkalun käytön sitä 2

6 mieluummin sitä myös käytetään. Taulukossa 1 on koostettu käytettävyyskriteerit ja mittarit, joihin ensimmäisessä käytettävyystestissä keskitytään. Miellyttävyyttä mitattaessa käyttäjiä pyydetään arvoimaan käytön helppoutta, ikkunoiden ryhmittelyä ja tulostentarkastelua asteikolla 1-3 ja annetuista arvioista lasketaan keskiarvo. Annetulla asteikolla 1 on paras arvosana ja 3 huonoin (tarkemmin kysymyskohtaisesti liitteessä 2) Taulukko 1. Käytettävyyskriteerit ja mittarit Opittavuus Käytettävyyskriteeri Käytettävyystekijä Mittaustapa Mittari Esimerkki systeemin valitseminen Esimerkki työvirran valitseminen Esimerkki kustannusrakenteen valitseminen Tarkasteluaikavälin valinta Päätössäännönvalinta Käyttöliittymässä käytetyt termit Miellyttävyys Käytön helppous Keskustelu Käyttöliittymässä käytetyt termit Käyttöliittymän toimintojen ryhmittelyn selkeys Tulosten tarkastelu Keskustelu Keskustelu Haastattelu tehtävän mukaisen systeemin ilamn tehtävän mukaisen systeemin tehtävän mukaisen kustannusrakent een tehtävän mukaisen tarkasteluaikaväli n haluamansa päätössäännön Käyttöliittymässä käytety termit Alin hyväksytty taso Tavoite taso Paras Taso apua termien kanssa 1/2 tuntee termit ovat tuttuja Käyttöliittymän käytön helppous (keskiarvo) Käyttöliittymässä käytety termit ovat tuttuja apua termien kanssa 1/2 tuntee termit Käyttöliittymän ryhmittely on onnistunut (keskiarvo) Tulosten esitystapa on ymmärrettävä (keskiarvo) /2 tuntee termit 2/2 tuntee termit 3

7 2.1.2 Toinen käytettävyystesti Toinen käytettävyystesti on perinteinen testitehtävillä suoritettava testi. Testi tehdään iteraatio 1:n lopussa, jolloin testissä on käytettävissä sovelluksen ensimmäinen toimiva ohjelmaversio ja saatuja tuloksia voidaan hyödyntää I2 iteraatiossa. Myös tässä testissä testikäyttäjät edustavat kohderyhmää eli ovat HKKK:n opiskelijoita ja testejä tehdään kaksi kappaletta. Käytettävyystestiin osallistuu kerrallaan yksi testikäyttäjä, testiohjaaja ja avustaja. Testiohjaaja kertoo mitä testissä tapahtuu, antaa t ja haastattelee lopuksi testikäyttäjän. Avustaja kirjaa muistiinpanot havainnoista ja haastattelusta. Ensimmäisessä testissä Elina on testiohjaaja ja Vesa kirjaa muistiinpanoja, toiseen testiin rooleja vaihdetaan. Testikäyttäjä suorittaa ennalta määritellyt t sovelluksella itsenäisesti kertoen samalla ääneen mitä on tekemässä. Ryhmäläpikäynnissä käytettyjä tehtävit on muokattu tähän käytettävyystestiin sopivaksi (tehtävät 3 ja 4 liiteessä 1). Testit pidetään Otaniemessä 8.12 ja yhden testitilaisuuden kesto on noin 1 tunti. Testitilaisuuden rakenne (tarkemmin liiteessä 6): - Esittely (10min) - Kaksi ä toimivalla ohjelmalla ääneen ajatellen (20 min) (Tehtävät annetaan yksitellen) - Haastattelu (20 min) - Lopetus (10 min) Käytettävyyskriteerit Toisessakin käytettävyys testissä keskitytään opittavuuden ja miellyttävyyden mittaamiseen. Taulukossa 2 on koostettu käytettävyyskriteerit ja mittarit, joihin toisessa käytettävyystestissä keskitytään. Miellyttävyyttä mitattaessa käyttäjiä pyydetään arvoimaan käytön helppoutta, ikkunoiden ryhmittelyä ja tulostentarkastelua asteikolla 1-3 ja annetuista arvioista lasketaan keskiarvo. Annetulla asteikolla 1 on paras arvosana ja 3 huonoin (tarkemmin kysymyskohtaisesti liitteessä 6). Opittavuutta mitataan testitehtävillä; saavatko testikäyttäjät tehtyä annetut tehtävät. Taulukko 2. Käytettävyyskriteerit ja mittarit Opittavuus Käytettävyyskriteeri Käytettävyystekijä Mittaustapa Mittari Esimerkki systeemin valitseminen tehtävän mukaisen systeemin Alin hyväksytty taso Tavoite taso Paras Taso 4

8 Miellyttävyys Esimerkki työvirran valitseminen Esimerkki kustannusrakenteen valitseminen Tarkasteluaikavälin valinta Päätössäännönvalinta Päätössäännönvalinta Käyttöliittymässä käytetyt termit Ohjelman käytön helppous Käyttöliittymässä käytetyt termit ja lyhenteet Wizardin käytön helppous Käyttöliittymän toimintojen ryhmittelyn selkeys Wizardissa Tulosten tarkasteluikkuna n selkeys Tulosten tarkastelu Haastattelu Haastattelu Haastattelu Haastattelu Haastattelu Haastattelu tehtävän mukaisen systeemin tehtävän mukaisen kustannusrakent een tehtävän mukaisen tarkasteluaikaväli n haluamansa päätössäännön Saa vaihdettua haluamansa päätössäännön Käyttöliittymässä käytety termit apua termien kanssa 1/2 tuntee termit ovat tuttuja Käyttöliittymän käytön helppous (keskiarvo) Käyttöliittymässä käytety termit ovat tuttuja apua termien kanssa 1/2 tuntee termit Käyttöliittymän käytön helppous (keskiarvo) Käyttöliittymän ryhmittely on onnistunut (keskiarvo) Tulosten tarkasteluikkuna on selkeä (keskiarvo) Tulosten esitystapa on ymmärrettävä (keskiarvo) /2 tuntee termit 2/2 tuntee termit 5

9 2.2 Heuristinen arvio Heuristinen arvio I1-iteraatiossa Heuristinen arvio tehdään ennen toista käytettävyystestiä 5.12 ja arvioitavan ohjelmiston laajuus on iteraatio 1:n tuotokset. Menetelmällä pyritään löytämään yleisiä käytettävyysongelmia, kuten epäloogiset ja puuttuvat perustoiminnallisuudet, epäyhtenäisyydet näyttöjen sommittelussa tai painikkeiden ja tekstikenttien epäjohdonmukainen ryhmittely ja järjestys. Arvioinnin suorittavat Aleksi ja Elina. Arviointi suoritetaan ensi vaiheessa itsenäisesti läpikäyntinä ja tavoitteena on löytää käyttöliittymän käytettävyysongelmia. Arvionnin apuna käytetään tarkistuslistaa (liite 7) ja Nielsenin kymmenen heuristiikkaa(1993) (liite 8). Löytyneille ongelmille kirjataan tunniste, lyhyt kuvaus, heuristiikka, jota se rikkoo ja subjektiivinen arvio vakavuudesta [taulukko 3]. Virheitä ei pyritä tässä vaiheessa arvioimaan muuten kuin arvioijan henkilökohtaisella mielipiteellä tai tekemään korjausehdotuksia. Toisessa vaiheessa Aleksi koostaa ensimmäisessä vaiheessa kerääntyneen tiedon, arvioi niiden vakavuuden, tekee alsutavat parannusehdotukset ja arvio niiden työmäärän. Yhteenveto käydään läpi palaverissa, jossa päätetään tarvittavista jatkotoimista. Taulukko 3. Virheiden luokitus ja toimenpiteet Virheen vakavuus Selitys Toimenpiteet 1 Virhe ei vaikuta ohjelman toiminnallisuuteen ja se ei riko ohjelman ulkoasua vakavasti. Korjataan, jos se muun tehtävän työn ohessa pystytään korjaamaan. 2 Virhe vaikeuttaa ohjelman käyttöä, on usein käytetty toiminto tai rikkoo ohjelman ulkoasua vakavasti. Virheet arvioidaan työmäärän mukaan ja otetaan osaksi jatkokehitystä. 3 Virhe vaikeuttaa ohjelman käyttöä vakavasti tai aiheuttaa tilanteen, jossa käyttäjä ei pysty tekemään toimintoa toisella tavalla. Nämä kaikki virheet tulee korjata ennen kuin ohjelmaa jatkokehitetään. 6

10 2.2.2 Heuristinen arvio I2-iteraatiossa Tarkennetaan myöhemmin Toinen heuristinen arvio (? henkilöä) samaan aikaan kuin vertaistestaus I2-iteraation loppupuolella-> korjaukset lopulliseen versioon. 7

11 3 Kokemuksia Tarkennetaan iteraatioiden aikana. 3.1 Toteustusiteraatio Ryhmäläpikäynti Ryhmäläpikäynti kesti 1,5 tuntia ja kokonaisuudessaan tilaisuus sujui hyvin ja oli palautteen osalta antoisa. Käyttäjät selkeästi pohtivat proton käyttöä testitehtäviä tehdessään. Kumpikin käyttäjä sai t tehtyä. Keskusteluosuudessa kuitenkin kävi ilmi, että käytetty termistö ja lyhenteet eivät olleet täysin tuttuja, mutta olivat pääteltävissä niin, että tehtävän sai tehtyä. Liitteessä 4 on koostettu keskusteluosuudessa esille nostetuja kysymyksiä ja kommentteja. Taulukossa x. on koostettuna tulokset mitattujen käyttävyyskriteerien osalta. Yhteenveto voi todeta, että kriteerit täyttyivät hyvin, testissä saavuetttiin joko tavoite taso tai paras mahdollinen taso. Seuraavassa käytettävyystestissä kriteereitä tulee kuitenkin hiukan tarkentaa. Esim. kohta tuntee termistön on tulkinnan varainen, koska osa oli tuttua ja osa ei. Taulukon tulossarkeen värikoodaus tarkoittaa seuraavaa: Vihreä = Testissä saavutettiin paras taso Keltainen = Testissä saavutettiin tavoitetaso Taulukko x. Testissä mitattujen käytettävyyskriteerien tulokset. Käytettävyyskriteeri Käytettävyystekijä Mittaustapa Mittari Saavutettu Tulos Alin hyväksytty taso Tavoite taso Paras Taso Opittavuus Esimerkki systeemin valitseminen Esimerkki työvirran valitseminen Esimerkki kustannusrakenteen valitseminen Tarkasteluaikavälin valinta tehtävän mukaisen systeemin ilamn tehtävän mukaisen systeemin tehtävän mukaisen kustannusrakent een tehtävän mukaisen tarkasteluaikaväli n 2/2 sai tehtyä 2/2 sai tehtyä 2/2 sai tehtyä 2/2 sai tehtyä 8

12 Päätössäännönvalinta Käyttöliittymässä käytetyt termit Miellyttävyys Käytön helppous Keskustelu Käyttöliittymässä käytetyt termit Käyttöliittymän toimintojen ryhmittelyn selkeys Tulosten tarkastelu Keskustelu Keskustelu Haastattelu haluamansa päätössäännön Käyttöliittymässä käytety termit ovat tuttuja Käyttöliittymän käytön helppous (keskiarvo) Käyttöliittymässä käytety termit ovat tuttuja Käyttöliittymän ryhmittely on onnistunut (keskiarvo) Tulosten esitystapa on ymmärrettävä (keskiarvo) 2/2 sai tehtyä 2/2 tuntee termit niin että sais tehtävät tehtyä 2 2/2 tuntee termit osittain apua termien kanssa 1/2 tuntee termit 2/2 tuntee termit apua termien 1/2 tuntee 2/2 tuntee kanssa termit termit Toteustusiteraatio Yhteenveto 9

13 4 Lähdeluettelo [1]Nielsen, Jakob. Usability Engineering. AP Professional, Boston (1993) [2]Riihiaho, Sirpa. Käytettävyystestauksen Muunnelmia. [3]Riihiaho, Sirpa. Käytettävyyden arviointi käyttäjiä. [4]TeamDC. CoSCA Simulaattorin jatkokehitysprojektin Projektisuunnitelma v.1.0 (2005) [5]TeamDC. CoSCA-Vaatimusmäärittely v.1.5 (2005) [6] TeamDC. Laatusuunnitelma v.0.48 (2005) 10

14 LIITTEET Liite 1: Käytettävyystestien t Liite 2: 1. Käytettävyystestitilaisuuden rakenne Liite3: Testautun paperiproto kuvat Liite 4: 1. Käytettävyystestin tuloksia Liite 5: 2. Käytettävyystestitilaisuuden rakenne Liite 6: Heuristisen arvion tarkistuslista Liite 7: Nielsenin heuristiikat (1993) 1

15 Testitehtävät Liite 1 Testitehtävä 1 (Paperiproto) Olet konsulttina kansainvälisessä konsulttitoimistossa ja asiakkaanasi on eräs suuri suomalainen matkapuhelinvalmistaja. Asiakkaasi on palkannut sinut ja tiimisi suunnittelemaan tuotannonohjausjärjestelmäänsä. Olette saaneet ison osan perustyöstä valmiiksi ja tehtaan pohjapiirroskin on olemassa. Tiedät, että tehtaan perusprosessi tulee olemaan ns. liukuhihnamainen (flow job). Koneiden tavoitekäyttöaste on erittäin korkea, niinpä suurimmat kustannukset syntyvät, mikäli prosessi myöhästyy. Aloititte juuri tilausten priorisointisääntöjen suunnittelun. Teillä on tiettyjä oletuksia siitä, miten tilaukset tulevat todennäköisesti jakautumaan ja haluaisitte seuraavaksi testata priorisointisääntöjänne simulaation avulla. Tiedät, että sopiva tarkasteluväli simulaatiolle olisi 1 vuosi. Haluat tarkastella tuloksia jo puolen vuoden jälkeen ja tuolloin vaihtaa priorisointisääntöjä, mikäli koet tähän olevan tarvetta. Olet saanut käsiisi Cosca-järjestelmän, jonka tiedät mahdollistavan tämän tyyppisen simuloinnin. Valitettavasti et ole koskaan aiemmin käyttänyt ohjelmistoa, joten päätät lähestyä järjestelmää sen Wizard-toiminnon kautta. Tehtävä: Luo wizardilla testisimulaatio, joka vastaa mahdollisimman tarkasti asiakkaasi tulevaa tehdasta ja em. ongelmankuvausta. Testitehtävä 2 (Paperiproto) Olet juuri aloittanut työsi ruotsalaisessa paperitehtaassa logistiikka-asiantuntijana. Työtehtävänäsi on ko. tehtaan toimitusketjun hallinta sekä ylä- että alavirtaan. Tehtaanne valmistaa useita erilaisia paperilaatuja. Paperitehtailla on perinteisesti korkeat varastointikustannukset. Vähentääksesi näiden kustannusten vaikutusta, päätät tehdä kokeiluja eri priorisointisäännöillä toimitusketjun osien tehostamiseksi: nykyisellään käyttöaste on eri osissa vain n. 80 % luokkaa. Onneksi työvirta on melko tasainen eikä sisällä satunnaisuutta nimeksikään. Tiedät, että priorisointisääntöjen vaikutus näkyy tällaisessa järjestelmässä melko nopeasti. Suunnitteletkin simuloivasi tilannetta puolen vuoden ajan. Haluat kuitenkin tarkastella osien suoriutumista kuukauden välein; tällöin voit tarvittaessa hienosäätää päätössääntöjä jo kesken simulaation. Yritykselläsi on valitettavasti juuri laajat säästötoimenpiteet meneillään, eikä kalliisiin kaupallisiin toimitusketjusimulaattoreihin haluta investoida. Työkaverisi on kuitenkin suositellut sinulle akateemisesti kehitettyä Cosca-simulaattoria, jolla sinun pitäisi pystyä suorittamaan tutkimuksesi. Olet juuri saanut simulaattorin asennettua ja päätät tehdä ensimmäisen testiajosi käyttäen siihen rakennettua Wizard-toimintoa. Tehtävä: Luo wizardilla testisimulaatio, joka vastaa mahdollisimman tarkasti toimitusketjuanne ja em. ongelmankuvausta. 2

16 Testitehtävät Liite 1 Testitehtävä 3 (Iteraatio 1 loppu) Olet konsulttina kansainvälisessä konsulttitoimistossa ja asiakkaanasi on eräs suuri suomalainen matkapuhelinvalmistaja. Asiakkaasi on palkannut sinut ja tiimisi suunnittelemaan tuotannonohjausjärjestelmäänsä. Olette saaneet ison osan perustyöstä valmiiksi ja tehtaan pohjapiirroskin on olemassa. Tiedät, että tehtaan perusprosessi tulee olemaan ns. liukuhihnamainen (flow job). Koneiden tavoitekäyttöaste on erittäin korkea, niinpä suurimmat kustannukset syntyvät, mikäli prosessi myöhästyy. Aloititte juuri tilausten priorisointisääntöjen suunnittelun. Teillä on tiettyjä oletuksia siitä, miten tilaukset tulevat todennäköisesti jakautumaan ja haluaisitte seuraavaksi testata priorisointisääntöjänne simulaation avulla. Aiotte asettaa kaikille koneille priorisointisäännöksi FCFS:n. Tiedät, että sopiva tarkasteluväli simulaatiolle olisi 24 viikkoa. Haluat tarkastella tuloksia kolmen viikon välein ja tuolloin vaihtaa priorisointisääntöjä, mikäli koet tähän olevan tarvetta. Olet saanut käsiisi Cosca-järjestelmän, jonka tiedät mahdollistavan tämän tyyppisen simuloinnin. Valitettavasti et ole koskaan aiemmin käyttänyt ohjelmistoa, joten päätät lähestyä järjestelmää sen Wizard-toiminnon kautta. Tehtävä: Luo wizardilla testisimulaatio, joka vastaa mahdollisimman tarkasti asiakkaasi tulevaa tehdasta ja em. ongelmankuvausta. Aja luotua simulaatiota tarkasteluväleittäin ja muuta halutessasi päätössääntöjä. Testitehtävä 4 (Iteraatio 1 loppu) Olet juuri aloittanut työsi ruotsalaisessa paperitehtaassa logistiikka-asiantuntijana. Työtehtävänäsi on ko. tehtaan toimitusketjun hallinta sekä ylä- että alavirtaan. Tehtaanne valmistaa useita erilaisia paperilaatuja. Paperitehtailla on perinteisesti korkeat varastointikustannukset. Vähentääksesi näiden kustannusten vaikutusta, päätät tehdä kokeiluja eri priorisointisäännöillä toimitusketjun osien tehostamiseksi: nykyisellään käyttöaste on eri osissa vain n. 80 % luokkaa. Onneksi työvirta on melko tasainen eikä sisällä satunnaisuutta nimeksikään. Tiedät, että priorisointisääntöjen vaikutus näkyy tällaisessa järjestelmässä melko nopeasti. Suunnitteletkin simuloivasi tilannetta 12 viikon ajan. Haluat kuitenkin tarkastella osien suoriutumista viikon välein; tällöin voit tarvittaessa hienosäätää päätössääntöjä jo kesken simulaation. Yritykselläsi on valitettavasti juuri laajat säästötoimenpiteet meneillään, eikä kalliisiin kaupallisiin toimitusketjusimulaattoreihin haluta investoida. Työkaverisi on kuitenkin suositellut sinulle akateemisesti kehitettyä Cosca-simulaattoria, jolla sinun pitäisi pystyä suorittamaan tutkimuksesi. Olet juuri saanut simulaattorin asennettua ja päätät tehdä ensimmäisen testiajosi käyttäen siihen rakennettua Wizard-toimintoa. Tehtävä: Luo wizardilla testisimulaatio, joka vastaa mahdollisimman tarkasti asiakkaasi tulevaa tehdasta ja em. ongelmankuvausta. Aja luotua simulaatiota tarkasteluväleittäin ja muuta halutessasi päätössääntöjä. 3

17 Testitilaisuudenrakenne 1. Käytettävyystesti Liite 2 1 Esittely Ryhmän jäsenten esittely Testattavan käyttöliittymän tarkoituksen esittely Testin esittely; Kuinka edetään jne (esimerkki toimintojen merkitsemisestä). 2 Testitehtävät Testitehtävät annetaan yksitellen kaikille yhtäaikaa. Tehtävä luetaan ääneen sen lisäksi kukin testaaja saa tehtävän paperilla. Uusi tehtävä annetaan kaikille yhtäaikaa. Protolla tehtävät toiminnot kirjoitetaan paperiprotoon. 3 Keskustelua testitehtävistä ja Protosta Käyttäjät kertovat tekemistään ratkaisuista Tarvittaessa kuvataan suunniteltu toimintatapa Mille testi tuntui? Olivatko testi tehtävät ymmärrettäviä? ( Oliko proton käyttö helppoa (arvioi asteikolla 1-3, 1= helppoa, 2=sopiva(ei helppo/ei vaikea), 3= vaikeaa) Jäikö jokin vaivaamaan? Heräsikö kysymyksiä/kommentteja? Oliko käytetty termistö tuttua? Mille asioiden ryhmittely ikkunoissa vaikutti? (arvioi asteikolla 1-3, 1= erittäin hyvä/selkeä, 2=selkeä, 3= ei kovin selkeä) Mille tulosten katseluikkunoissa vaikutti? (arvioi asteikolla 1-3, 1= erittäin hyvä/selkeä, 2=selkeä, 3= ei kovin selkeä) Toiveita? 4

18 Testitilaisuudenrakenne 1. Käytettävyystesti Liite 2 4 Lopetus Lyhyesti mitä tuloksille tehdään, mitä tapahtuu jatkossa Kiitettään osallistumisesta 5

19 Proton kuvat Liite 3 Kuva 1. Systeemin valinta Kuva 2. Työvirran valinta 6

20 Proton kuvat Liite 3 Kuva 3. Kustannusrakenteen valinta Kuva 4. Tarkasteluaikavälin ja tarkistuspisteiden valinta (valikko tarkoituksella avattu) 7

21 Proton kuvat Liite 3 Kuva 5. Flow Shop, päätössäännöt valinta Kuva 6. Tulosikkuna 8

22 Proton kuvat Liite 3 Kuva 7. Flow shop- Flow shop- Job shop, päätössääntöjen valinta Kuva 8. Tulosikkuna 9

23 1. käytettävyystestin tuloksia Liite 4 Kuvat, joihin viitataan ovat liiteessä 3. 1) Systeemin valitseminen (kuva 1) - Yläosan System-> Workfolw-> Costs -> Timeframe, on hyvä ja kuvaava. Hyvä, että näkee ettei tämä ole loputon - Flow Shop ei ole tullut tuttu termi toiselle käyttäjistä, toinen oli kuullut. Mahtuisiko viereen pieni kuva, jossa näkyisi myös se monestako resurssista flow shop koostuu - Supply Chain (two... and...) Ei ole selvä; Mitä tarkoitaa? Tulossivulla erilainen systeemi... - Mitä tapahtuisi Define Own System valinnasta? 2) Työvirran valitseminen (kuva 2) - OK, selvä - Kirjoitusvirhe 3) Kustannusrakenteen valitseminen (kuva 3) - Ok, mutta jäi mietityttämään mitä taphtuu muille arvoille kuin vain valitulle...?? 4) Tarkasteluaikavälin valiseminen (kuva 4) - Kyllä tästä ymmärsi mitä pitää tehdä, mutta olisiko osannut valita jos ei olisi ollut annettua tehtävää, jossa annetaan vinkkiä aikaväleistä? - Hämäävää, mitä tarkoittaa /s -> voisiko lukea vain months? 5) Flow shop Päätössäännönvalinta (kuva 5 ja 7) - Mistä tähän ilmestyi 4 resurssia, en valinnut mistään sellaista? - RUN-nappi mitä siitä tapahtuu? - Scheduling Rule -> Priority Rule - Lyhenteet, ei niitä muista - Mikä on CR+ SPT? - Alareunan Time? Mikä aika? Mitä aikajana kuvaa? Miksi se on 6 kohdalla? Onko tämä simulaatiojakson pituus? 10

24 1. käytettävyystestin tuloksia Liite 4 6) Flow shop tulostentarkastelu (kuva 6 ja 8) - Mitä on PCP ja RPV? - Month 6 aika huomaamaton? Mitä tarkoittaa? Koko ajon pituutta vai tähän mennessä ajettua? Näkyy slideristä paremmin, mutta menee sekaisin, mitä eroa sliderin ja tämän tekstin välillä. - Mihin joutuu jos painaa Back to config? - Start sim...-jatkaako puolesta vuodesta eteenpäin? Miten eroaa End simulation? Ajaako kuukauden kerrallaan - Ilmeisesti sääntöä saa vaihtaa jos tarvitsee? - End simul... -> Finalize? Muita kommentteja - Jotenkin olisi hyvä nähdä pullonkaularesurssit, visuaalisesti (voisiko olla värikoodit?) jos mahdollista. - Painikkeiden (back to config, start simu, end simu) sijainti ei hyvä. Voisiko tulosten katseluikkuna olla ihan omanaan jossa ei ole mitään nappeja ja kaikki mitkä liittyy simulaation ajoon olisi omassaan? - Slider voisi olla vain tulosten tarkastelua varten (miten siitä muuten näkisi mistä kohdasta ajo voi jatkua) - Resursseja ei ilmeisesti voi lisätä kesken ajon (ok)? - Puunnäkymä: siltä varmaan pääsee tarkastelemaan ja muokkaamaan resurssien parametreja - Configuration, on ok, ei tule parempaakaan termiä mieleen - Tulosten esittely graafisesti olisi hyvä juttu - Jos paljon resurseja saisiko niistä listan jota voisi sortata eri tavoin, eli esim. käyttöasteen mukaan? - Proton käyttö: Alku helppoa, loppu osa vaikeampi -> arvio Wizardi-ikkunoiden ryhmittely: Erittäin selkeä -> arvio Tulostenkatseluikkuna: Periaatteessa selvä, lyhenteet ei selviä -> arvio 2, (Testikäyttäjien opiskelut noin puolivälissä 100 ja 130 oparia, kurssi jolle työkalua suunnitellaan on jo suoritettuna). 11

25 Testitilaisuudenrakenne - 2. käytettävyystesti Liite 5 1 Esittely Ryhmän jäsenten esittely Testattavan käyttöliittymän tarkoituksen esittely Testin esittely; Kuinka edetään jne (esimerkki ääneen ajattelusta). 2 Testitehtävät Testitehtävät annetaan testikäyttäjälle kirjallisesti yksitellen Testikäyttäjä lukee tehtävän ensin ääneen Testikäyttäjä kertoo ääneen mitä tekee (ja ajattelee), kun tekee testitehtäviä 3 Haastattelukysymysket Mille testi tuntui? Olivatko t ymmärrettäviä? Millaista ohjelman käyttö oli (arvioi asteikolla 1-3, 1= helppoa, 2= ei helppo/ei vaikea, 3= vaikeaa) Millaista Wizardin käyttö oli? (arvioi asteikolla 1-3, 1= helppoa, 2= ei helppo/ei vaikea, 3= vaikeaa) Mille asioiden/toimintojen ryhmittely Wizardin ikkunoissa vaikutti? (arvioi asteikolla 1-3, 1= erittäin hyvä/selkeä, 2=selkeä, 3= ei kovin selkeä) Mille vaikutti käytetty termistö ja lyhenteet? (arvioi asteikolla 1-3, 1= erittäin hyvä/selkeä, 2=selkeä, 3= ei kovin selkeä) Mille tulosten katseluikkunoissa vaikutti? (arvioi asteikolla 1-3, 1= erittäin hyvä/selkeä, 2=selkeä, 3= ei kovin selkeä) Oliko saadut tulokset ymmärrettäviä? (arvioi asteikolla 1-3, 1= erittäin hyvä/selkeä, 2=selkeä, 3= ei kovin selkeä) Heräsikö kysymyksiä/kommentteja/toiveita? 4 Lopetus Lyhyesti mitä tuloksille tehdään, mitä tapahtuu jatkossa Kiitetään osallistumisesta 12

26 Heuristisen arvion tarkistuslista Liite 6 Heuristisen arvion tarkistuslista Koko ohjelma: 1. Onko Look and Feel sopiva. 1. Pääseekö näppäimistöllä liikkumaan loogisesti (mukaanlukien enter) 2. Onko asemointi ok. a. Fontit b. Kappaleiden sijoittelu c. Nappuloiden sijoittelu d. Nappuloiden toiminta e. Tekstikenttein sijoittelu ym. 3. Ovatko tekstit järkeviä 4. Toimivatko tooltipit oikein 5. Ovatko palautteet riittävät 6. Ovatko poistumiset selkeät 7. Onko käyttäjällä mahdollista tehdä jotain laitonta 8. Puuttuuko jotain olennaista 9. Mitä hyvää ohjelmasta löytyy SimulationFrame: 1. Onko puun rakenne ymmärrettävä 2. Onko Framen rakenne toimiva Koon säätäminen Valikkojen sijoittelu Toiminnallisuuksien löytyminen/sijoittelu 3. Onko system näkymä selkeä 4. Onko report näkymä selkeä Wizard: Voiko käyttäjä hukata Wizard ikkunan 13

27 Nielsenin heuristiikat (1993) Liite 7 Nielsenin kymmenen heuristiikkaa (1993) [1] : 1. Käytä yksinkertaista ja luonnollista dialogia 2. Käytä käyttäjien omaa kieltä 3. Minimoi käyttäjän muistikuormaa 4. Tee käyttöliittymästä kauttaaltaan yhdenmukainen 5. Anna käyttäjälle palautetta toiminnoista 6. Anna selkeä poistumistapa eri tiloista ja toiminnoista 7. Anna käyttäjälle mahdollisuus käyttää oikopolkuja 8. Anna virhetilanteista selkeät virheilmoitukset 9. Vältä virhetilanteita 10. Anna riittävä ja selkeä apu ja dokumentaatio 14