ZEF Arviointikone. Käyttöohje.

Transkriptio

1

2 SISÄLLYS SISÄLLYS JOHDANTO MITEN OPIT KÄYTTÄMÄÄN ZEF EDITORIA ALOITUS KYSYMYKSET Kysymysryhmien luominen Kysymysten luominen Jana Nelikenttä Vapaapalaute Vaihtoehtokysymys Monivalintakysymys Numerokysymys Yhteystiedot Kysymysryhmien ehdollistaminen Arvioinnin kääntäminen muille kielille Kysymysten tallentaminen Word- ja Xml-tiedostoksi Esikatselu ULKOASU ARVIOIJAT Arvioija- ja raporttiryhmät Sähköpostilliset arvioijat Sähköpostittomat arvioijat Arvioijalistan tuominen CSV-tiedoston luominen Excel-ohjelmalla Vastausten tuominen Raporttiryhmät KUTSUT SEURANTA RAPORTOINTI Raportin luominen

3 9.2. Raportin tulkitseminen Raporttien vertailu LOMAKKEEN LUONTI MUULLA TAVOIN HYVÄN ARVIOINTILOMAKKEEN OMINAISUUKSIA Esimerkkiprojekti...47 Projektina asiakastyytyväisyyskysely...47 Vaihe 1: Aloitus...48 Vaihe 2: Kysymykset...49 Vaihe 3: Ulkoasu...52 Vaihe 4: Arvioijat...52 Vaihe 5: Kutsuviestit...53 Vaihe 6: Seuranta...54 Raportti...55 Arviointi on valmis SANASTO

4 1. JOHDANTO ZEF Arviointikone kerää todistetusti korkeimmilla vastausprosenteilla tiedon ja mielipiteet halutuilta ryhmiltä tai henkilöiltä. Se analysoi, jäsentää ja muokkaa tiedon helposti ymmärrettävään visuaaliseen muotoon ja tarjoilee ne sinulle kauniina ja hyödyllisinä raportteina. Sinun tehtäväksesi jää tutkitusti parhaiden tulosten hyödyntäminen käytännön toimenpiteinä. Esimerkkejä toteutetuista sovelluksista ovat asiakastyytyväisyysmittaukset, työhyvinvointikartoitukset, strategiaprosessit sekä innovaatio-, riski-, hanke- ja laatuarvioinnit. Kuva 1. Näin arviointikone toimii ZEF Arviointikone koostuu kolmesta osasta: Editorista, jolla lomake muodostetaan ja arviointiprosessi hallitaan, Player, joka on arvioijan käyttämä sovellus sekä Report, joka analysoi tulokset reaaliaikaisesti ja tulostaa raportit mm. MS Office muodoissa. ZEF Arviointikone on käyttötarpeeseen mukautuva tehokas työkalu, jolla vaativakin selvitys hoituu muutamassa päivässä. Kysymykset valitaan valmiista sisällöistä tai laaditaan itse. Vastaajat kutsutaan joko sähköpostitse tai kutsukortilla tai julkaistaan linkki arviointiin halutuilla nettisivuilla. Arviointikone kerää palautteen ja analysoi tulokset. Käyttö ei edellytä asennuksia koneellesi. ZEF muodostuu sanoista Z-scored Electronic Feedback. Z-scoring on menetelmä, joka poistaa tuloksista asennevääristymät ja tekee tuloksista tarkemmin tulkittavia. Voit tutustua menetelmään tarkemmin raportit-sivulla ladattavana olevasta esitteestä. Hoidat ZEF Arviointikoneella helposti kaikki arviointitarpeesi sähköisesti. Toivotamme iloisia hetkiä ja menestyksellisiä tuloksia käytön parissa. 4

5 2. MITEN OPIT KÄYTTÄMÄÄN ZEF EDITORIA Käyttö aloitetaan kirjautumalla Editoriin. Sisäänkirjautumisosoitteen, käyttäjätunnuksen ja salasanan olet saanut sopimuksen tai koulutuksen yhteydessä. Kuva 2. Sisäänkirjautuminen ZEF-Editoriin. Käyttöliittymän peruslogiikkaan voit tutustua seuraavalla sivulla. On tärkeää, että harjoittelet ZEF Editorissa liikkumista heti aluksi. Seuraavissa luvuissa käymme työvaiheittain läpi arviointilomakkeen luomisen. Suosittelemme, että etenet ensimmäisellä kerralla projektissasi työvaihe kerrallaan seuraten ohjeita. Luvussa 12 käydään läpi esimerkkiprojekti. Apua saat tämän käyttöohjeen lisäksi ZEF Editorista. Siellä jokaiseen toimintoon on sisällytetty ohje, jonka saat auki osoittamalla kysymysmerkki-painiketta. Jos et löydä apua ongelmaasi tästä dokumentista etkä Editorista, ota yhteyttä osoitteeseen Kuvan 3. aloitusikkuna on lähtöpisteesi arviointilomakkeen luontiin. Aluksi sinun on tärkeää oppia, miten liikut, luot ja muokkaat Editorissa. Kokeile ja etsi, mitä ominaisuuksia voit itse hyödyntää! Kuvan mukaiseen tilanteeseen pääset, kun luot ensimmäisen lomakkeen. Tämän opit seuraavassa luvussa. 5

6 Kuva 3. Miten ZEF Editor toimii Arviointilomakkeen luontiprosessi sisältää seitsemän vaihetta: 1. Aloitus-sivulla hallinnoit ja luot lomakkeita ja määrität perustietoja kuten lomakkeen otsikon, kielet ja tiedonkeruun tilan 2. Kysymykset-sivulla luot ja muokkaat kysymysryhmiä ja kysymyksiä sekä määrität vastausalueet 3. Ulkoasu-sivulla säädät vastausnäkymän ulkoasua ja toiminnallisuutta 4. Arvioijat-sivulla hallinnoit ja luot arvioijaryhmiä sekä arvioijia 5. Kutsuviestit-sivulla luot sähköpostiviestit kohderyhmillesi 6. Seurantasivulla lähetät kutsuviestit ja muistutukset kohderyhmillesi sekä seuraat vastausprosentteja ja määriä 7. Raportit-sivulla tarkastelet ja tulostat raportteja Seuraavaksi käymme jokaisen vaiheen läpi omassa luvussaan. 6

7 3. ALOITUS Aloitus-sivulla hallinnoidaan ja luodaan lomakkeita. Lomakkeet järjestetään kansioihin esimerkiksi aihepiirin mukaan. Kansiot ja lomakkeet näkyvät Aloitus-sivulla vasemmalla puolella listana. Uuden kansion luot klikkaamalla Uusi kansio kohtaa vasemmalta. Nimeä kansio ja tallenna se. Voit tarvittaessa muuttaa kansion nimeä klikkaamalla sen aktiiviseksi. Kaikki luodut kansiot näkyvät listana kuvan 4. mukaisesti. Kansion nimeä klikkaamalla tulee näkyviin sen sisältämät lomakkeet. Voit poistaa kansioita ja lomakkeita valitsemalla nimen oikealla puolella olevasta valintaruudusta poistettavat kansiot/lomakkeet ja klikkaamalla sen jälkeen Poista valitut nappia. Lomakkeet siirtyvät poistettaessa roskakoriin, joka sijaitsee kansioiden alapuolella. Roskakorista lomakkeet voi hävittää valitsemalla poistettavat lomakkeet ja klikkaamalla Poista valitut -nappia. Lomakkeen voi palauttaa roskakorista valitsemalla haluttu lomake sekä valitsemalla uusi kohdekansio kansioasetuksista oikealla ja painamalla sen jälkeen Tallenna. Samalla tavalla voit myös siirtää lomakkeita kansioista toiseen. Kuva 4. ZEF-arviointilomakkeen luominen. Uusi lomake -kohdasta pääset luomaan uuden arviointilomakkeen (Kuva 4.). Voit luoda lomakkeen neljän eri perusvaihtoehdon pohjalta. Aluksi käsitellään vaihtoehtoa Aloita tyhjältä pöydältä. Muihin vaihtoehtoihin palataan myöhemmin. Arviointilomakkeen luominen aloitetaan täyttämällä perustiedot (kuva 5.). Ensin arvioinnille annetaan kuvaava otsikko, joka näkyy vastaajille lomakkeessa. Otsikolle voi 7

8 antaa tarkemman kuvauksen, jos haluaa esimerkiksi selventää arvioinnin tarkoitusta. Valitse käytettävät kielet ja oletuskieli. Kysymykset luodaan aina oletuskielellä ja ne voidaan lopuksi kääntää toiselle kielelle. Tästä lisää kohdassa 4.6. Kuva 5. Lomakkeen perustietojen määrittäminen. Tiedonkeruu päällä -kohdasta määrität arvioinnin tilan. Tiedonkeruun täytyy olla päällä silloin, kun arviointi avataan ja/tai lähetetään arvioijille. Tiedon keruun ollessa suljettuna kukaan ei pääse vastaamaan kysymyksiin. Tilan voi vaihtaa jälkikäteen. Salli vastausten muuttaminen jälkikäteen -kohdasta valitaan, voiko vastaaja palata muokkaamaan vastauksiaan myöhemmin, vaikka on jo vastannut kaikkiin kysymyksiin. 8

9 Kävijäseurannat-kohdasta voit lisätä haluamasi seurantapalvelun tunnukset kenttiin, jolloin saat vastaamisesta monipuolisia tilastotietoja (kuva 6.). Palveluista näet mm. kartasta mistä päin maailmaa vastaajat ovat vastanneet tai kuinka kauan vastaaminen on kestänyt. Kuva 6. Kävijäseurannat. Lomakkeelle valitaan vielä kansio, johon se tallennetaan. Jos sopivaa kansiota ei löydy, voidaan lomaketta varten luoda tässä kohdassa uusi kansio kirjoittamalla uuden kansion nimi sille varattuun kenttään. Lopuksi lomake tallennetaan, jolloin se ilmestyy listaan vasemmalle ja valittavaksi ylös. Lomake saa tallennuksen yhteydessä myös ID-numeron tunnistusta varten. Kun lomake on luotu voidaan siirtyä seuraavaan kohtaan eli kysymysten luomiseen. 9

10 4. KYSYMYKSET Kysymykset-sivulla määritellään kysymysryhmät, kysymykset ja vastausalueet. Kysymysten huolellinen suunnittelu ja ryhmittely on arvioinnin onnistumisen kannalta tärkeää Kysymysryhmien luominen Klikkaa Uusi kysymysryhmä kuvaketta (kuva 7.). Oikealle puolelle avautuu tila, jossa kysymysryhmälle annetaan nimi ja halutessa tarkentava kuvaus. Kysymysryhmän nimeksi voit laittaa esimerkiksi arvioitavan kokonaisuuden. Paina lopuksi tallenna. Voit poistaa ryhmän valintaruudusta ja klikkaamalla Poista valitut. Ryhmien järjestystä voit muuttaa siirtämällä niitä ylös/alas -napeista ryhmän nimen vieressä. Kysymysryhmien määrää ei ole rajoitettu. Kuva 7. Kysymysryhmien luominen Kysymysten luominen Klikkaa kysymysryhmän alapuolella olevaa Uusi kysymys kuvaketta (kuva 8.). Kirjoita kysymys sille varattuun nimi-kenttään, anna halutessa tarkentava kuvaus ja valitse kysymystyyppi. Käytettävissä olevat kysymystyypit ovat: jana-, nelikenttä-, vapaapalaute-, vaihtoehto-, monivalinta-, numero- ja yhteystietokysymys. Kysymysryhmässä voi olla erityyppisiä kysymyksiä sekaisin. 10

11 Kuva 8. Kysymyksen nimeäminen. Kun kysymys on tallennettu, se on näkyvissä kysymysryhmän alapuolella. Listasta näkyy minkä tyyppinen kysymys on ja sitä klikkaamalla pääsee muokkaamaan kysymystä. Kysymyksiä voidaan siirtää ja kopioida muihin ryhmiin tai poistaa kokonaan ja kysymysjärjestystä voidaan muuttaa. Alla on selitykset symbolien merkityksistä kysymystyypeistä. Jana: Kysymyksessä vastaus klikataan janalle. Vastausalueeksi määritellään janan otsikko ja päätepisteet (2 kpl). Voit lisätä janalle halutessasi asteikon. Vastausalue on janakysymyksissä kysymysryhmän sisällä kaikilla sama! Hymiötä voit käyttää vastaamisen havainnollistamiseen, ja kommenttiruutua vastauksen tarkentamiseen. Nelikenttä: Kysymyksessä vastaus klikataan nelikenttään. Vastausalueeksi määritellään akselien otsikot (2 kpl) ja päätepisteet (4 kpl). Voit lisätä akseleille halutessasi asteikon. Vastausalue on nelikenttäkysymyksissä kysymysryhmän sisällä kaikilla sama! Hymiötä voit käyttää vastaamisen havainnollistamiseen, ja kommenttiruutua vastauksen tarkentamiseen. Vapaapalaute: Kysymyksessä vastaus kirjoitetaan vastausalueella olevaan tekstitilaan. Tekstitilan voit rajata yhdelle riville (tekstirivi) tai antaa käyttöön koko vastausalue (tekstialue). Vaihtoehto: Vaihtoehtokysymyksessä vastaaja valitsee vaihtoehdoista sopivimman. Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja itse määrittää vaihtoehdon. 11

12 Monivalinta: Monivalinnassa vastaaja valitsee vaihtoehdoista sopivimmat. Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja itse määrittää vaihtoehdon. Numero: Kysymyksessä vastaus kirjoitetaan vastausalueella olevaan tekstitilaan. Numerokysymykseen voi vastata vain numerolla. Yhteystiedot: Kysymyksessä vastaus kirjoitetaan nimettyihin tekstiruutuihin. Tekstiruutuja voi kysymyksessä olla useita. Seuraavaksi voit siirtyä määrittelemään kysymysten vastausalueet Jana Janan vastausalueeksi määritellään otsikko ja päätepisteet (2 kpl). Voit lisätä janalle halutessasi myös numeraalisen asteikon. Asteikossa minimiarvo lisätään vasemman selitteen perässä olevaan pienempään kenttään ja maksimiarvo oikealla olevan selitteen perässä olevaan kenttään. Askel (eli kuinka usein numeroita näytetään) määritellään otsikon perässä olevaan kenttään. Selitteet tulee valita huolellisesti, jotta ne mittaisivat halutun asian ulottuvuuksia parhaalla mahdollisella tavalla. Selite on ryhmäkohtainen, eli samassa ryhmässä oleville janakysymyksille tulee samat selitteet. (kuvat 9. ja 10.) Kuva 9. Editor näkymä. Kuva 10. Player näkymä. Näytä hymiö -kohdasta voit valita hymiön kuvaamaan siirtymistä asteikolla. Kommenttiruutu -kohdasta voit lisätä janakysymyksiin kommentointimahdollisuuden, jolloin arvioija kommentoi vastauksiaan kysymyskohtaisesti. 12

13 Nelikenttä Nelikentän vastausalueeksi määritellään otsikot (2kpl) ja päätepisteet (4 kpl). Voit lisätä nelikenttään halutessasi myös numeraalisen asteikon. Asteikossa minimiarvo lisätään vasemman/alemman selitteen perässä olevaan pienempään kenttään ja maksimiarvo oikealla/ylempänä olevan selitteen perässä olevaan kenttään. Askel (eli kuinka usein numeroita näytetään) määritellään otsikoiden perässä oleviin kenttiin. Nelikentässä voidaan antaa myös tarkentavat selitteet taulun kulma-alueille. Samassa ryhmässä oleville nelikenttäkysymyksien vastausalueisiin tulee samat selitteet. Selitteet tulee valita huolellisesti, jotta ne mittaisivat halutun asian ulottuvuuksia parhaalla mahdollisella tavalla. (kuva 13. ja 14.). Kuva 13. Editor näkymä. Kuva 14. Player näkymä. Tyypillinen valinta x/y-koordinaatistolle nykytilannetta arvioitaessa on suoriutuminen/tärkeys-dimensiopari, jolloin tärkeysarvo määritetään kasvamaan taulussa 13

14 ylöspäin ja suoriutumisarvot oikealle. Oikeaan yläkulmaan seuloutuvat tällöin tärkeät hyvin toimivat asiat, vasempaan yläkulmaan taas ne asiat, jotka ovat tärkeitä, mutta vaativat kehittämistoimenpiteitä. Kommenttiruutu-napista voit lisätä nelikenttäkysymyksiin kommentointimahdollisuuden, jolloin arvioija kommentoi vastauksiaan kysymyskohtaisesti. Näytä hymiö -kohdasta voit valita hymiön kuvaamaan siirtymistä asteikolla Vapaapalaute Vapaapalautekysymyksille voidaan määrittää vastausalueen koko. Tekstiriviin arvioija voi kirjoittaa yhden rivin tekstiä. Tekstialueeseen puolestaan mahtuu useamman rivin vastaus (kuvat 15. ja 16.). Kuva 15. Editor näkymä. Kuva 16. Player näkymä Vaihtoehtokysymys Vaihtoehtokysymyksessä vastaaja valitsee vaihtoehdoista sopivimman. Kysymykselle määritellään haluttu määrä vastausvaihtoehtoja käyttäen Uusi vaihtoehto painiketta. Kenttiin kirjoitetaan vaihtoehtojen nimet ja lopuksi tallennetaan. Vaihtoehtojen esityssuunnan voi myös valita vaihtoehtomäärittelyn yläpuolelta. Voit järjestellä vastausvaihtoehtoja tallentamisen jälkeen. Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja itse määrittää vaihtoehdon. Tekstikentän voit lisätä kentän oikealla puolella olevasta valintaruudusta. Vaihtoehdot voit myös kopioida aiemmin määritetystä kysymyksestä. Tällöin valitaan alasvetovalikosta kysymys, josta kopioidaan ja klikataan Kopioi-nappia. Vaihtoehdon voit poistaa punaisesta rastista. (Kuvat 17. ja 18..) 14

15 Kuva 17. Editor näkymä. Kuva 18. Player näkymä Monivalintakysymys Monivalintakysymyksen vaihtoehdot määritetään samalla tavalla kuin vaihtoehtokysymyksessä. (Kuvat 19. ja 20.) Kuva 19. Editor näkymä. Kuva 20. Player näkymä. 15

16 Numerokysymys Numerokysymykseen käyttäjä vastaa lukuarvolla, eikä sitä määritetä erikseen. (Kuvat 21. ja 22.) Kuva 21. Editor näkymä. Kuva 22. Player näkymä Yhteystiedot Yhteystiedot-kysymyksellä voit kysyä vastaajan yhteystietoja nimetyissä tekstikentissä. Kenttiä lisätään Uusi kenttä -painikkeesta ja poistetaan punaisesta rastista. Kenttiä voi järjestellä tallennuksen jälkeen. (Kuvat 23. ja 24.) Kuva 23. Editor näkymä. Kuva 24. Player näkymä. 16

17 4.3. Kysymysryhmien ehdollistaminen Kysymysryhmien ehdollistamisella voit rajata halutun kysymysryhmän arvioitavaksi vain tietylle joukolle (Kuva 25.). Klikkaamalla kerran kysymysryhmää, avautuu sivun oikealle puolelle kysymysryhmän ehdot. Näitä ehtoja on kaikki arviointilomakkeen monivalinta- ja vaihtoehtokysymykset. Listasta valitaan ehdot, joiden täytyttyä kysymysryhmä näytetään vastaajalle. Käytettävien ehtojen tulee sijaita aiemmissa kysymysryhmissä. Kuvassa 25. on esimerkki ehdollistamisesta. Taustatiedoissa kysytään ensin sukupuoli ja ikä. Seuraava kysymysryhmä on palvelut nuorille. Klikkaamalla ryhmää oikealle tulee ehdot, joista valitaan alle 19-vuotiaat ja vuotiaat. Näin Palvelut nuorille - kysymysryhmä avautuu arvioitavaksi vain sellaisille henkilöille, jotka valitsivat taustatiedoissa iäkseen <19 tai vuotta. Kysymysten välillä ehdot toimivat japeriaatteella. Eli jos ehdoissa asetetaan sukupuoleksi mies ja iäksi <19 ja vuotta niin tällöin kysymys näytetään <19 tai vuotiaille miehille. Kuva 25. Kysymysryhmien ehdollistaminen. 17

18 4.4. Arvioinnin kääntäminen muille kielille Käännä teksti -nappia painamalla pääset tekemään tekstikäännökset muille kielille. Käännä teksti -nappi näkyy Editorin alareunassa kun olet Aloitus-sivulla valinnut useamman kuin yhden kielen. (Kuva 26.) Kuva 26. Käännä tekstit nappi. Nappia painettuasi eteesi avautuu ikkuna, jossa vasemmalla puolella ovat lomakkeen alkuperäiset tekstit ja oikealla puolella tyhjät tilat, joihin voit kirjoittaa käännökset (kuva 27.). Muistaa tallentaa muutoksia tehdessäsi. Kuva 27. Arvioinnin kääntäminen muille kielille. 18

19 4.5. Kysymysten tallentaminen Word- ja Xml-tiedostoksi Kysymykset voidaan tallentaa Word- tai Xml-tiedostoksi kysymyslistan alla olevista napeista Tallenna Word-tiedostona ja Tallenna Xml-tiedostona. (Kuva 28.) Word-tiedostoa voit hyödyntää vastausten keräämiseen paperilla ja XML-tiedostoa lomakkeen kysymysten siirtämiseen toiselle käyttäjälle. Kuva 28. Kysymyksien tallentaminen Esikatselu Esikatseluun voit siirtyä milloin tahansa katsomaan miltä arviointilomakkeesi tällä hetkellä näyttää. Paina sivun alareunassa olevaa Esikatselu-nappia (Kuva 29.). Näet tekemäsi arviointilomakkeen juuri sellaisena, kuin se arvioijille tulee näkymään. Voit samalla testata arviointiin vastaamista. Kuva 29. Esikatselu 19

20 5. ULKOASU Ulkoasu-sivulla voit suunnitella ZEF Playerisi ulkonäköä ja toiminallisuutta. Luo uusi ulkoasu klikkaamalla Uusi ulkoasu tai käytä oletusulkoasua. Oikealle avautuu tila, jossa voit nimetä ja säätää ulkoasua tarpeisiisi sopivaksi. (Kuva 30). Kuva 30. Uuden ulkoasun suunnittelutila. 20

21 Esikatselu tarjoaa Playerin ulkoasusta suppean luonnoksen. Siitä voit esikatsella kysymyslistan asemointia ja logon sijaintia. Lopullista ulkoasua voit tarkastella osoittamalla järjestelmäpalkin Esikatselu-painiketta. Värimaailma-kohdasta voit valita playerissasi käytettävän värimaailman. Kysy räätälöintimahdollisuuksista ZEF asiantuntijaltasi. Voit halutessasi lisätä tiedostosta Logon näkymään playerin vasemmassa ylänurkassa tai käyttää tunnuksesi oletuslogoa. Kysymyslista-kohdassa voit päättää, haluatko näyttää kysymyslistaa vasemmalla vai alhaalla. Voit halutessasi myös laittaa kysymyslistan piiloon. Näytä ohjeruutu kohdasta voit halutessasi piilottaa Playerin yläpuolella näkyvän ohjeruudun. Näytä jatkuva kysymysten numerointi -kohdan ollessa päällä, kysymysryhmästä siirtyessä toiseen numerointi pysyy jatkuvana. Voit halutessasi räätälöidä vastaajille näytettävän Kiitosviestin sisältöä. Kirjoita näkyvään kenttään haluamasi kiitosteksti. Kiitosteksti näkyy vastaajille heti, kun he ovat klikanneet Valmisnappia. Tallenna ulkoasu ja esikatsele sitä klikkaamalla Esikatselu-nappia. Voit halutessasi palata muokkaamaan ulkoasua missä vaiheessa tahansa. Tallennetut ulkoasut ovat tunnuskohtaisia ja samaa ulkoasua voidaan hyödyntää myös eri lomakkeissa. Kuva 31. Oletusulkoasu 21

22 6. ARVIOIJAT Arvioijat-sivulla hallitaan erilaisia tapoja, joilla vastaukset kerätään arvioijilta. Arvioija on mahdollista tavoittaa sähköpostikutsulla, tulostettavalla kutsukortilla tai arvioijaryhmäkohtaisen linkin avulla. Sähköpostilla kutsuttavat arvioijat voi luoda järjestelmään joko yksitellen tai tuoda Excel-taulukkomuodossa CSV-tiedostona. Arvioijat voi tuoda järjestelmään myös vastauksineen, kun halutaan siirtää ZEF Editoriin jo olemassa oleva selvitys tai muu numeromuodossa oleva data. Sähköpostittomille arvioijille voidaan luoda kutsukortit tai käyttää yleistä julkista linkkiä riippuen siitä halutaanko rajata osallistuvien arvioijien määrää. Jokainen arvioija kuuluu ainakin yhteen arvioijaryhmään Arvioija- ja raporttiryhmät Uusi arvioijaryhmä -kohtaa klikkaamalla luot uuden arvioijaryhmän (Kuva 32.). Tämän jälkeen oikealle avautuu tila, jossa voit nimetä ja tallentaa ryhmän. Arviointiryhmiä voivat olla esimerkiksi yrityksen eri osastot (talous, hallinnointi, myynti jne.). Ryhmät mahdollistavat tulosten vertailun eri osallistujien välillä. Jokaisen arvioijan täytyy kuulua vähintään yhteen arvioijaryhmään, joten ryhmiä on luotava ainakin yksi. Lista luoduista arvioijaryhmistä tulee näkyviin vasemmalle. Kuva 32. Arvioijaryhmien luominen Sähköpostilliset arvioijat Lisää arvioija klikkaamalla Uusi arvioija -nappia (kuva 33.) Kutsuttavilla arvioijilla täytyy olla voimassaoleva sähköpostiosoite, johon kutsu lähetetään. Arvioijalle valitaan myös 22

23 kieli ja arvioijaryhmä(t). Mahdolliset kielet on valittu Aloitus-sivulla. Kaikki luodut arvioijat näkyvät listassa sivun vasemmassa laidassa arvioijaryhmän ollessa auki. Kuva 33. Arvioijan lisääminen. Arvioijakuvakkeissa olevat värit vaihtuvat arvioijan statuksen mukaan (kuva 34.). Punainen kuvake tarkoittaa sitä, että arvioijaa ei ole vielä kutsuttu arviointiin. Sininen kuvake kuvaa arvioijaa, joka on saanut kutsun, mutta ei vielä ole aloittanut vastaamista. Vihreä arvioija taas on vastannut kysymyksiin ja päättänyt arvioinnin. Kuva 34. Arvioijien statukset. 23

24 6.3. Sähköpostittomat arvioijat ZEF Arviointikone. Käyttöohje. Sähköpostittomia arvioijia varten voidaan luoda kutsukortteja tai pyytää heitä vastaamaan kysymyksiin julkisen linkin avulla. Sähköpostittomia arvioijia kutsutaan anonyymeiksi arvioijiksi, sillä heistä ei jää järjestelmään tarkempia käyttäjätietoja. Voit ryhmitellä anonyymejä arvioijia tarkemmin raporttiryhmillä. Tulostettavat kutsukortit luodaan arvioijaryhmäkohtaisesti klikkaamalla arvioijaryhmä aktiiviseksi, valitsemalla oikealla näkyvästä valikosta luotavien kutsukorttien määrä ja klikkaamalla Luo kutsukortit nappia (kuva 35.). Kutsukortteja pääsee tarkastelemaan ja tulostamaan klikkaamalla vasemmalla näkyvästä arvioijalistasta Lataa kutsukortit -linkkiä. Arvioijaryhmäkohtainen julkinen linkki näkyy ryhmää klikkaamalla oikealla puolella ryhmän nimen alapuolella. Voit julkaista linkin halutussa paikassa. Jokaisesta linkkiä klikanneesta luodaan anonyymi arvioija kyseiseen ryhmään. Kuva 35. Nimettöminä kutsuttavat arvioijat Arvioijalistan tuominen Arvioijat voidaan myös tuoda taulukkona CSV-muodossa klikkaamalla Tuo Excelistä (kuva 36.). Tällöin oikealle avautuu tila, jossa voit ladata CSV-muotoisena tiedostona esimerkkipohjan arvioijien tuomiseen tai pohjan vastausten tuomiseen. Arvioijalistaa tuotaessa tarkistetaan arvioijien sähköpostiosoite. Vain oikeassa muodossa olevat osoitteet lisätään arvioijiksi. Samasta näkymästä tuodaan myös valmiit listat järjestelmään. 24

25 CSV-muotoisessa arvioijalistassa määritetään arvioijan nimen ja sähköpostiosoitteen lisäksi myös arvioijaryhmät sekä oletuskieli arvioijalle. Myös arvioijakohtaiset tekstit voidaan määrittää arvioijalistassa. CSV-muotoisen rekisterin voi tehdä helposti Exceltaulukosta. Kuva 36. Arvioijalistan tuominen Arvioijalistan tuominen: 1 Lataa Editorista Arvioijat-välilehdeltä CSV-esimerkkipohja. 2 Täytä taulukkolaskentaohjelmalla arvioijien tiedot. 3 Tuo valmis CSV-tiedosto Editoriin. Valitse tuonnin asetukset ja osoita Tuo arvioijat -painiketta. 4 Seuraavaksi saat eteesi esikatselusivun, jossa voit tarkastella kymmentä ensimmäistä tuotavaa arvioijaa varmistaaksesi, että CSV-tiedosto on täytetty oikein. Osoita vielä Tuo arvioijat -painiketta tuodaksesi arvioijalistan. 25

26 6.5. CSV-tiedoston luominen Excel-ohjelmalla CSV-tiedostossa on seuraavat kentät: Name, Address, EvalGroup (arvioijaryhmä) sekä Lang (kieli). (Arvioijakohtaiset tekstit lisätään tarvittaessa kentillä MiscText1, MiscText2, MiscText3, MiscText4 ja MiscText5.) Ensimmäinen rivi määrittää sarakkeet ja niiden sisällön, näiden alle voidaan sitten täyttää arvioijien tietoja (kuva 37.). Kuva 37. Näkymä Excelissä. CSV-tiedoston tallentaminen tapahtuu seuraavasti: Valitse Tiedosto-valikosta Tallenna nimellä kohta. Tallenna tiedosto CSV (luetteloerotin) (*.csv) muodossa (kuva 38.). Kuva 38. Tiedoston tallentaminen. 26

27 Kun olet painanut Tallenna nappia, tulee varmistuspyyntö tallennusmuodosta (kuva 39.). Kuva 39. Varmistuksen hyväksyminen. Klikkaa Kyllä-nappia, jolloin tiedosto tallentuu. Ilmoitus tulee siksi, että CSV-muotoiseen tiedostoon ei voi tallentaa solun muotoilua ja Excel-ohjelma kysyy, haluatko varmasti tallentaa tiedoston tässä muodossa. Tiedosto on valmis tuotavaksi järjestelmään luvun 6.4. mukaisesti. Seuraavassa esimerkki CSV-tiedoston rakenteesta tekstimuodossa: Name; Address;EvalGroup;Lang John Bill Luetteloerotin on edellisessä esimerkissä ;. Se voi olla myös, tai TAB (tabulaattorin lyönti). Tällöin tuontivaiheessa täytyy valita luetteloerottimen tyyppi Vastausten tuominen Klikkaa Lataa CSV-pohja vastausten tuomiseen -linkkiä Arvioijat-sivulta. Saat koneellesi taulukkomuotoisena arviointilomakkeen. Lisää vastaukset arvioijatietoineen riveittäin. Tallenna tiedosto CSV-muodossa ja tuo se järjestelmään Tuo arvioijat kohdasta. Jana- ja nelikenttäkysymyksissä vastaukset tuodaan asteikolla Esimerkiksi asteikolla 1-5 olevat vastaukset täytyy siis muuntaa tälle asteikolle. Vaihtoehtokysymyksissä vastaukset tuodaan numeroilla vaihtoehtojen järjestyksen perusteella. Esimerkiksi, vaihtoehtojen ollessa mies ja nainen siten, että mies-vaihtoehto on ylempänä, on vastausten tuonnissa mies numero 1 ja nainen numero 2. Monivalintakysymyksissä vastaukset tuodaan kirjaamalla valittujen vaihtoehtojen kohdalle numero 1. Vapaapalautteet ja kommentit lisätään omiin kohtiinsa Raporttiryhmät Raportointia varten voidaan arvioijien antaa myös itse määrittää ryhmä, johon kokee kuuluvansa, sisällyttämällä lomakkeeseen monivalinta- tai vaihtoehtokysymyksiä, joiden vaihtoehdoiksi ryhmät laitetaan. Uusi raporttiryhmä -kohdasta luodaan vaihtoehdoista ryhmiä raportointia varten (Kuva 40.). Nimeä ryhmä ja valitse vaihtoehdot, joiden perusteella ryhmä muodostetaan. 27

28 Arvioijien vastatessa kysymyksiin, vastaukset vaihtoehtoihin päivittyvät automaattisesti jo luotuihin raporttiryhmiin. Raporttiryhmät voidaan luoda missä vaiheessa arviointia tahansa - myös jälkikäteen. Kuva 40. Raporttiryhmien luominen. 28

29 7. KUTSUT Kutsuviestit kohdassa määritetään viestipohjat, joilla arvioijat kutsutaan vastaamaan. Kutsuviestit luodaan jokaiseen lomakkeeseen erikseen. Kutsuviestien luominen aloitetaan klikkaamalla Uusi viesti kuvaketta. Kutsu luodaan ikkunan oikealle avautuvassa tilassa (kuva 41.). Kuva 41. Kutsuviestin mallipohja. Viestin pohjana on malliviesti, jota voi käyttää sellaisenaan tai muokata sen halutunlaiseksi. Kutsuviesteissä tavallisen tekstin joukkoon upotetuilla muuttujilla (kuva 42.) voidaan määrittää tekstiin kohdat, joihin tulevia tietoja arvioija tarvitsee päästäkseen vastaamaan arviointiin. 29

30 Viestin sisältö -kohdan kysymysmerkkiä klikkaamalla saadaan esiin lista muuttujista. Muuttujista ainakin #WWW_CLIENT tulee olla jokaisessa kutsuviestissä. Tämä muuttuja sisältää suoran www-osoitteen arviointiin. Kutsut muilla kielillä avautuvat samaan näkymään oletuskielisen kutsun kanssa. Muistathan tallentaa viestisi aina, kun teet siihen muutoksia. Kuva 42. Kutsussa käytettävät muuttujat. 30

31 Kaikki tallennetut kutsuviestit näkyvät ylhäällä listana (kuva 43.). Pääset esikatselemaan kutsua silmä-kuvakkeesta. Kuva 43. Tallennetut kutsuviestit. Kuvassa 44. on esimerkki kutsuviestistä. Muuttujat ovat merkitty punaisella esikatselu näkymään. Kuva 44. Kutsusähköpostin esimerkkimalli. 31

32 8. SEURANTA Seuranta-sivulla lähetetään kutsut ja seurataan arvioijien vastaamistilanteen edistymistä (kuva 45.). Näet vastaamistilanteen aluksi ryhmittäin ja ryhmää klikkaamalla myös arvioijittain. Kuva 45. Vastaamisen seuranta. Tiedonkeruun tulee olla päällä, voidaksesi lähettää kutsuviestejä. Arvioinnin tilaa pääsee muuttamaan Aloitus-kohdasta. Lähettääksesi kutsun valitaan ensiksi alasvetovalikosta lähetettävä kutsuviesti. Tämän jälkeen määritetään kenelle kutsu lähetetään ja lopuksi klikataan Lähetä-nappia. Kutsu kaikki -valinta lähettää kaikille arvioijille kutsusähköpostin. Kutsu valitut -kohdasta lähetetään kutsuviesti halutuille arvioijaryhmille tai arvioijille. Kutsu uudet -valinta lähettää kutsun niille, joille sitä ei vielä ole lähetetty. Muistuta ei aloittaneita -kohdasta lähetetään valittu kutsuviesti kaikille niille arvioijille, jotka eivät ole vielä aloittaneet vastaamista. Muistuta ei lopettaneita -kohdasta voit muistuttaa valittuja arvioijia tai ryhmiä, jotka eivät vielä ole vastanneet kaikkiin kysymyksiin. Voi myös halutessasi muistuttaa vastaajia vastattujen kysymysten määrän perusteella Vastanneet enintään kysymykseen valinnasta. Anonyymien arvioijien tietoja ei näy listassa. Vain vastausprosentista näkee, ovatko he vastanneet vai eivät. Arvioijakuvakkeissa olevat värit vaihtuvat arvioijan statuksen mukaan. Punainen kuvake tarkoittaa sitä, että arvioijaa ei ole vielä kutsuttu. Sininen kuvake kuvaa arvioijaa, joka on saanut kutsun, muttei vielä ole aloittanut vastaamista. Vihreä arvioija on vastannut kysymyksiin. 32

33 9. RAPORTOINTI ZEF Arviointikone. Käyttöohje. Raportit-sivulla tarkastelet ja tulostat raportteja reaaliaikaisesti. Raportit-sivulla on linkit raporttien luontiin ja vertailuun (kuva 46.). Raporttien luonnissa luot normaalisti raportit arvioinneistasi. Raporttien vertailu on puolestaan oiva työkalu erilaisten vertailujen tekemiseen erivärisin palloin. Tässä luvussa käymme ensin läpi raportin luomisen, sen jälkeen opimme jotain raportin tulkinnasta ja lopuksi käsittelemme raporttien vertailua. Kuva 46. Raportit-sivu Raportin luominen Luo raportti -kohtaa klikkaamalla raportti avautuu eteesi uuteen ikkunaan (Kuva 47.). Raportissa ylhäällä sinisellä pohjalla sijaitsevat asetukset ja alhaalla itse raportti. Raportin järjestelmätoiminnot näkyvät koko ajan ylhäällä. Asetuksista valitaan halutut toiminnot päälle ja klikataan yläreunassa näkyvää päivitä raportti nappia, jolloin raportti päivittyy alas näkyviin. Jatkossa asetuksia voi muuttaa ja muutokset päivitetään voimaan samalla tavalla päivitä raportti -napista. Raportin voi myös tallentaa halutussa muodossa. 33

34 Kuva 47. Miten raportti toimii 34

35 Kuva 48. Tarkasteltava raportti. Ylimpänä asetuksissa valitaan halutaanko raportti tulostaa absoluuttisilla ja/tai suhteellisilla arvoilla (kuva 48.). Oletuksena on valittuna absoluuttiset arvot. Absoluuttisessa raportissa vastausten keskiarvot tulostuvat täsmällisten vastauspisteiden mukaan. Suhteellinen raportti laskee tulokset käyttäen z-scoring menetelmää, jolloin keskiarvot asettuvat keskelle tauluja ja pisteet hajoavat tasaisesti tauluihin. Näin tuloksesta saadaan poistetuksi ns. asennevääristymät. Lisätietoa suhteellisesta raportista löydät Raportit-sivulta ladattavasta ZEF-menetelmän esitteestä. Molemmat raporttimuodot valitsemalla saadaan näkyviin absoluuttiset ja suhteelliset taulut allekkain. Kuva 49. Arvioijaryhmät. Arvioijaryhmät-kohdassa valitaan ne arvioijaryhmät, jotka halutaan raporttiin mukaan (kuva 49.). Kaikki arviointilomakkeeseen kuuluvat arvioijaryhmät voidaan tulostaa samaan raporttiin tai jokaisesta voidaan tehdä oma raporttinsa. Kuva 50. Arvioijaryhmäkohtaiset raportit Kun haluat vertailla eri arvioijaryhmien vastauksia, aktivoi kohta Tulosta arvioijaryhmäkohtaiset raportit (Kuva 50.). Kohta on oletuksena aktiivinen. Tällöin saat näkyviin eri arvioijaryhmien taulut allekkain. Pääset tarkastelemaan ryhmäkohtaisia vastauksia klikkaamalla kysymysryhmän alapuolella olevaa Näytä ryhmäkohtaiset taulut linkkiä. Kuva 51. Tekstit. Tekstit -kohdasta valitaan raportissa näytettävät tekstimuotoiset tulokset (kuva 51.). 35