ZEF Arviointikone. Käyttöohje.

Transkriptio

1

2 SISÄLLYS SISÄLLYS JOHDANTO MITEN OPIT KÄYTTÄMÄÄN ZEF EDITORIA ALOITUS KYSYMYKSET Kysymysryhmien luominen Kysymysten luominen Jana Nelikenttä Vapaapalaute Vaihtoehtokysymys Monivalintakysymys Numerokysymys Yhteystietokysymys Liitetiedostokysymys Kysymysryhmien ehdollistaminen Kysymysten tallentaminen Word- ja Xml-tiedostoksi Esikatselu ULKOASU VASTAAJAT Vastaaja- ja raporttiryhmät Sähköpostilliset vastaajat Sähköpostittomat vastaajat Vastaajalistan tuominen CSV-tiedoston luominen Excel-ohjelmalla Vastausten tuominen KUTSUVIESTIT SEURANTA KÄÄNNÖKSET RAPORTOINTI Raporttiryhmät Raportin luominen Raportin status Raportin asetukset Järjestelmätoiminnot

3 Vastaustilastot Nelikenttäraportin tulkitseminen Raporttien vertailu LOMAKKEEN LUONTI MUULLA TAVOIN HYVÄN ARVIOINTILOMAKKEEN OMINAISUUKSIA ESIMERKKIPROJEKTI Projektina asiakastyytyväisyyskysely...62 Vaihe 1: Aloitus Vaihe 2: Kysymykset Vaihe 3: Ulkoasu Vaihe 4: Vastaajat Vaihe 5: Kutsuviestit Vaihe 6: Seuranta Raportti Arviointi on valmis SANASTO

4 1. JOHDANTO ZEF Arviointikone on kyselytyökalu, jonka avulla keräät palautteet ja teet kauniit raportit vaivattomasti ja helposti ymmärrettävinä. Arviointikone kerää kaiken tarvitsemasi tiedon päätöksenteon tueksi. Palautteet voit kerätä niin isolta tai pieneltä vastaajajoukolta kuin tarvitset ja ohjelma laskee puolestasi raportin. Sinun ei tarvitse käyttää aikaa turhaan pohdiskeluun, excel-raportointiin tai esitysten tekemiseen. Arviointikoneessa sinä asetat kysymykset, jotka haluat kysyä tai käytät jotain kymmenistä valmiista kyselymalleistamme; Avaat kyselyn vastaajille ja nappia painamalla näet mahdolliset kehittämiskohteet. Käytössäsi on ZEFin maailmanluokan asiakaspalvelu, koulutusmateriaali, osaaminen ja innovatiiviset palautteenkeruutyökalut. ZEF Arviointikone hoitaa puolestasi kaiken palautteenkeruun! Kuva 1. Näin arviointikone toimii. ZEF Arviointikone koostuu kolmesta osasta: Editorista, jolla lomake muodostetaan ja arviointiprosessi hallitaan, Player, joka on vastaajan käyttämä sovellus sekä Report, joka analysoi tulokset reaaliaikaisesti ja tulostaa raportit mm. MS Office muodoissa. ZEF Arviointikone on käyttötarpeeseen mukautuva tehokas työkalu, jolla vaativakin selvitys hoituu muutamassa päivässä. Kysymykset valitaan valmiista sisällöistä tai laaditaan itse. Vastaajat kutsutaan joko sähköpostitse tai kutsukortilla tai julkaistaan linkki arviointiin halutuilla nettisivuilla. Arviointikone kerää palautteen ja analysoi tulokset. Käyttö ei edellytä asennuksia koneellesi. ZEF muodostuu sanoista Z-scored Electronic Feedback. Z-scoring on menetelmä, joka poistaa tuloksista asennevääristymät ja tekee tuloksista tarkemmin tulkittavia. Voit tutustua menetelmään tarkemmin raportit-sivulla ladattavana olevasta esitteestä. Hoidat ZEF Arviointikoneella helposti kaikki arviointitarpeesi sähköisesti. Toivotamme iloisia hetkiä ja menestyksellisiä tuloksia käytön parissa. 4

5 2. MITEN OPIT KÄYTTÄMÄÄN ZEF EDITORIA Käyttö aloitetaan kirjautumalla Editoriin. Sisäänkirjautumisosoitteen, käyttäjätunnuksen ja salasanan olet saanut sopimuksen tai koulutuksen yhteydessä. Kuva 2. Sisäänkirjautuminen ZEF-Editoriin. Käyttöliittymän peruslogiikkaan voit tutustua seuraavalla sivulla. On tärkeää, että harjoittelet ZEF Editorissa liikkumista heti aluksi. Seuraavissa luvuissa käymme työvaiheittain läpi arviointilomakkeen luomisen. Suosittelemme, että etenet ensimmäisellä kerralla projektissasi työvaihe kerrallaan seuraten ohjeita. Luvussa 13 käydään läpi esimerkkiprojekti. Apua saat tämän käyttöohjeen lisäksi ZEF Editorista. Siellä jokaiseen toimintoon on sisällytetty ohje, jonka saat auki osoittamalla kysymysmerkki-painiketta. Jos et löydä apua ongelmaasi tästä dokumentista etkä Editorista, ota yhteyttä osoitteeseen Voit kysyä neuvoa myös Editorista löytyvästä chatista. Kuvan 3. aloitusikkuna on lähtöpisteesi arviointilomakkeen luontiin. Aluksi sinun on tärkeää oppia, miten liikut, luot ja muokkaat Editorissa. Kokeile ja etsi, mitä ominaisuuksia voit itse hyödyntää! Kuvan mukaiseen tilanteeseen pääset, kun luot ensimmäisen lomakkeen. Tämän opit seuraavassa luvussa. 5

6 Kuva 3. Miten ZEF Editor toimii. Arviointilomakkeen luontiprosessi sisältää kahdeksan vaihetta: 1. Aloitus-sivulla hallinnoit ja luot lomakkeita ja määrität perustietoja kuten lomakkeen otsikon, kielet ja tiedonkeruun tilan 2. Kysymykset-sivulla luot ja muokkaat kysymysryhmiä ja kysymyksiä sekä määrität vastausalueet 3. Ulkoasu-sivulla säädät vastausnäkymän ulkoasua ja toiminnallisuutta 4. Vastaajat-sivulla hallinnoit ja luot vastaajaryhmiä sekä vastaajia 5. Kutsuviestit-sivulla luot sähköpostiviestit kohderyhmillesi 6. Seuranta-sivulla lähetät kutsuviestit ja muistutukset kohderyhmillesi sekä seuraat vastausprosentteja ja -määriä 7. Käännökset sivulla voit kääntää kysymykset ja kutsuviestit haluamillesi kielille 8. Raportit-sivulla tarkastelet ja tulostat raportteja Seuraavaksi käymme jokaisen vaiheen läpi omassa luvussaan. 6

7 3. ALOITUS Aloitus-sivulla hallinnoidaan ja luodaan lomakkeita. Lomakkeet järjestetään kansioihin esimerkiksi aihepiirin mukaan. Kansiot ja lomakkeet näkyvät Aloitus-sivulla vasemmalla puolella Luodut lomakkeet kohdassa listana. Samassa kohdassa on kansioiden ja lomakkeiden yläpuolella valikko, jossa on aloitus-sivulla tarvittavat toiminnallisuudet (ks. Kuva 4). Kuva 4. Aloitus-kohdan toiminnallisuudet. Uuden kansion luot klikkaamalla Uusi ryhmä kohtaa toimintovalikosta. Nimeä kansio ja tallenna se. Voit tarvittaessa muuttaa kansion nimeä klikkaamalla sen aktiiviseksi. Kaikki luodut kansiot näkyvät listana. Kansion vasemmalla puolella olevaa nuolta klikkaamalla tulee näkyviin sen sisältämät lomakkeet. Kansiot avautuvat myös tuplaklikkauksella. 7

8 Kuva 5. Ryhmän luominen/muokkaaminen. Voit poistaa ryhmiä ja lomakkeita valitsemalla nimen oikealla puolella olevasta valintaruudusta poistettavat ryhmät/lomakkeet ja klikkaamalla sen jälkeen Poista valitut nappia. Lomakkeet siirtyvät poistettaessa roskakoriin, joka sijaitsee ryhmien alapuolella. Roskakorista lomakkeet voi hävittää valitsemalla poistettavat lomakkeet ja klikkaamalla Poista valitut -nappia. Lomakkeen voi palauttaa roskakorista valitsemalla haluttu lomake sekä klikkaamalla Palauta-painiketta valikosta, jolloin lomake palautuu kansioiden alapuolelle siirrettäväksi sopivaan kansioon. Voit järjestellä lomakkeita tai siirtää niitä kansiosta toiseen ottamalla kiinni lomakkeesta tai kansiosta ja liikuttamalla se haluttuun kohtaan. 8

9 Kuva 6. ZEF-arviointilomakkeen luominen. Uusi lomake -painikkeesta pääset luomaan uuden arviointilomakkeen (Kuva 6.). Voit luoda lomakkeen kolmen eri perusvaihtoehdon pohjalta. Aluksi käsitellään vaihtoehtoa Aloita tyhjältä pöydältä. Muihin vaihtoehtoihin palataan myöhemmin luvussa 11. Arviointilomakkeen luominen aloitetaan täyttämällä perustiedot (kuva 7.). Ensin arvioinnille annetaan kuvaava nimi, joka näkyy vastaajille lomakkeessa. Nimelle voi antaa tarkemman kuvauksen, jos haluaa esimerkiksi selventää arvioinnin tarkoitusta. 9

10 Kuva 7. Lomakkeen perustietojen määrittäminen. Tiedonkeruu päällä -kohdasta määrität arvioinnin tilan. Tiedonkeruun täytyy olla päällä silloin, kun arviointi avataan ja/tai lähetetään vastaajille. Tiedon keruun ollessa suljettuna kukaan ei pääse vastaamaan kysymyksiin. Tilan voi vaihtaa jälkikäteen. Salli vastausten muuttaminen jälkikäteen -kohdasta valitaan, voiko vastaaja palata muokkaamaan vastauksiaan myöhemmin, vaikka on jo vastannut kaikkiin kysymyksiin. Salli henkilökohtaisen vastauslinkin edelleenlähetys toiminnallisuudella voit sallia vastaajien välittävän omaa vastauslinkkiään eteenpäin. Tällainen tulee kyseeseen esimerkiksi silloin, kun lomakkeeseen liittyy kysymyksiä, johon tarvitaan mahdollisesti 10

11 esimiehen tai vastaavan täyttämiä tietoja. Valitse käytettävät kielet valintalaatikosta ja oletuskieli vihreällä palkilla. Kysymykset luodaan aina oletuskielellä ja ne voidaan lopuksi kääntää toiselle kielelle Käännöksetkohdassa. Kävijäseurannat-kohdasta voit lisätä haluamasi seurantapalvelun tunnukset kenttiin, jolloin saat vastaamisesta monipuolisia tilastotietoja (kuva 8.). Palveluista näet mm. kartasta mistä päin maailmaa vastaajat ovat vastanneet tai kuinka kauan vastaaminen on kestänyt. Kuva 8. Kävijäseurannat. Lopuksi lomake tallennetaan. Kun lomake on luotu voidaan siirtyä seuraavaan vaiheeseen eli kysymysten luomiseen. 11

12 4. KYSYMYKSET Kysymykset-sivulla määritellään kysymysryhmät, kysymykset ja vastausalueet. Kysymysten huolellinen suunnittelu ja ryhmittely on arvioinnin onnistumisen kannalta tärkeää. Kysymykset järjestetään kysymysryhmiin esimerkiksi aihepiirin mukaan. Kysymysryhmät ja kysymykset näkyvät Kysymykset-sivulla vasemmalla puolella Luodut kysymykset kohdassa listana. Samassa kohdassa on kysymysryhmien ja kysymysten yläpuolella valikko, jossa on kysymykset-sivulla tarvittavat toiminnallisuudet (ks. Kuva 4). Kuva 9. Kysymykset-kohdan toiminnallisuudet. 12

13 4.1. Kysymysryhmien luominen ZEF Arviointikone. Käyttöohje. Luo uusi kysymysryhmä klikkaamalla Uusi kysymysryhmä kuvaketta. Oikealle puolelle avautuu tila, jossa kysymysryhmälle annetaan nimi ja halutessa tarkentava kuvaus. Kysymysryhmän nimeksi voit laittaa esimerkiksi arvioitavan kokonaisuuden. Voit poistaa ryhmän valintaruudusta ja klikkaamalla Poista valitut -painiketta. Ryhmien järjestystä voit muuttaa ottamalla kiinni ryhmästä ja siirtämällä sen haluttuun kohtaan. Kysymysryhmien määrää ei ole rajoitettu. Muistathan tallentaa tehdyt muutokset ennen Editorin sulkemista! Kuva 10. Kysymysryhmien luominen. 13

14 4.2. Kysymysten luominen ZEF Arviointikone. Käyttöohje. Luo uusi kysymys klikkaamalla valikosta Uusi kysymys kuvaketta. Kirjoita kysymys sille varattuun nimi-kenttään, anna halutessa tarkentava kuvaus ja valitse kysymystyyppi. Käytettävissä olevat kysymystyypit ovat: jana-, nelikenttä-, vapaapalaute-, vaihtoehto-, monivalinta-, numero-, yhteystieto- ja liitetiedostokysymys. Kysymysryhmässä voi olla erityyppisiä kysymyksiä sekaisin. Kuva 11. Kysymyksen nimeäminen. Luodut kysymykset näkyvät kysymysryhmän alapuolella. Listasta näkyy minkä tyyppinen kysymys on ja sitä klikkaamalla pääsee muokkaamaan kysymystä. Kysymyksiä voidaan siirtää ja kopioida muihin ryhmiin tai poistaa kokonaan ja kysymysjärjestystä voidaan muuttaa. 14

15 Alla on selitykset symbolien merkityksistä kysymystyypeistä. Jana: Kysymyksessä vastaus klikataan janalle. Vastausalueeksi määritellään janan otsikko ja päätepisteet (2 kpl). Voit lisätä janalle halutessasi asteikon. Vastausalue on janakysymyksissä kysymysryhmän sisällä kaikilla sama! Hymiötä voit käyttää vastaamisen havainnollistamiseen, ja kommenttiruutua vastauksen tarkentamiseen. Nelikenttä: Kysymyksessä vastaus klikataan nelikenttään. Vastausalueeksi määritellään akselien otsikot (2 kpl) ja päätepisteet (4 kpl). Voit lisätä akseleille halutessasi asteikon. Vastausalue on nelikenttäkysymyksissä kysymysryhmän sisällä kaikilla sama! Hymiötä voit käyttää vastaamisen havainnollistamiseen, ja kommenttiruutua vastauksen tarkentamiseen. Vapaapalaute: Kysymyksessä vastaus kirjoitetaan vastausalueella olevaan tekstitilaan. Tekstitilan voit rajata yhdelle riville (tekstirivi) tai antaa käyttöön koko vastausalue (tekstialue). Vaihtoehto: Vaihtoehtokysymyksessä vastaaja valitsee vaihtoehdoista sopivimman. Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja itse määrittää vaihtoehdon. Monivalinta: Monivalinnassa vastaaja valitsee vaihtoehdoista sopivimmat. Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja itse määrittää vaihtoehdon. Numero: Kysymyksessä vastaus kirjoitetaan vastausalueella olevaan tekstitilaan. Numerokysymykseen voi vastata vain numerolla. Yhteystiedot: Kysymyksessä vastaus kirjoitetaan nimettyihin tekstiruutuihin. Tekstiruutuja voi kysymyksessä olla useita. Liitetiedosto: Kysymyksessä vastaukseksi ladataan tiedosto. Seuraavaksi siirrytään määrittelemään kysymysten vastausalueet. 15

16 4.2.1 Jana Janan vastausalueeksi määritellään otsikko ja päätepisteet (2 kpl). Voit lisätä janalle halutessasi myös numeraalisen asteikon. Asteikossa minimiarvo lisätään vasemman selitteen perässä olevaan pienempään kenttään ja maksimiarvo oikealla olevan selitteen perässä olevaan kenttään. Askel (eli kuinka usein numeroita näytetään) määritellään otsikon perässä olevaan kenttään. Selitteet tulee valita huolellisesti, jotta ne mittaisivat halutun asian ulottuvuuksia parhaalla mahdollisella tavalla. Selite on ryhmäkohtainen, eli samassa ryhmässä oleville janakysymyksille tulee samat selitteet. (kuvat 12. ja 13.) Kuva 12. Editor näkymä. Kuva 13. Player näkymä. Näytä hymiö -kohdasta voit valita hymiön kuvaamaan siirtymistä asteikolla. Kommenttiruutu-kohdasta voit lisätä janakysymyksiin kommentointimahdollisuuden, jolloin vastaaja kommentoi vastauksiaan kysymyskohtaisesti Nelikenttä Nelikentän vastausalueeksi määritellään otsikot (2kpl) ja päätepisteet (4 kpl). Voit lisätä nelikenttään halutessasi myös numeraalisen asteikon. Asteikossa minimiarvo lisätään vasemman/alemman selitteen perässä olevaan pienempään kenttään ja maksimiarvo oikealla/ylempänä olevan selitteen perässä olevaan kenttään. Askel (eli kuinka usein numeroita näytetään) määritellään otsikoiden perässä oleviin kenttiin. Nelikentässä voidaan antaa myös tarkentavat selitteet taulun kulma-alueille. Samassa ryhmässä oleville nelikenttäkysymyksien vastausalueisiin tulee samat selitteet. Selitteet tulee valita huolellisesti, jotta ne mittaisivat halutun asian ulottuvuuksia parhaalla mahdollisella tavalla. (kuva 14. ja 15.). 16

17 Kuva 14. Editor näkymä. Kuva 15. Player näkymä. Tyypillinen valinta x/y-koordinaatistolle nykytilannetta arvioitaessa on onnistuminen/ merkitys-dimensiopari, jolloin merkitysarvo määritetään kasvamaan taulussa ylöspäin ja onnistumisarvot oikealle. Oikeaan yläkulmaan seuloutuvat tällöin tärkeät hyvin toimivat asiat, vasempaan yläkulmaan taas ne asiat, jotka ovat tärkeitä, mutta vaativat kehittämistoimenpiteitä. Kommenttiruutu-napista voit lisätä nelikenttäkysymyksiin kommentointimahdollisuuden, jolloin vastaaja kommentoi vastauksiaan kysymyskohtaisesti. Näytä hymiö -kohdasta voit valita hymiön kuvaamaan siirtymistä asteikolla. 17

18 Vapaapalaute Vapaapalautekysymykseen käyttäjä vastaa kirjoittamalla tekstimuotoisen palautteen, eikä sitä määritetä Editorissa erikseen. (kuvat 16. ja 17.). Kuva 16. Editor näkymä. Kuva 17. Player näkymä Vaihtoehtokysymys Vaihtoehtokysymyksessä vastaaja valitsee vaihtoehdoista sopivimman. Kysymykselle määritellään haluttu määrä vastausvaihtoehtoja käyttäen Uusi vaihtoehto painiketta. Kenttiin kirjoitetaan vaihtoehtojen nimet ja lopuksi tallennetaan. Vaihtoehtojen esityssuunnan voi myös valita vaihtoehtomäärittelyn yläpuolelta. Voit järjestellä vastausvaihtoehtoja tallentamisen jälkeen. Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja itse määrittää vaihtoehdon. Tekstikentän voit lisätä kentän alapuolella olevasta valintaruudusta. Vaihtoehdon voit poistaa harmaasta rastista. (Kuvat 18. ja 19..) Kuva 18. Editor näkymä. Kuva 19. Player näkymä. 18

19 Monivalintakysymys ZEF Arviointikone. Käyttöohje. Monivalintakysymyksen vaihtoehdot määritetään samalla tavalla kuin vaihtoehtokysymyksessä. Monivalintakysymyksessä voidaan tarvittaessa rajata valintojen maksimimäärää. (Kuvat 20. ja 21.) Kuva 20. Editor näkymä. Kuva 21. Player näkymä Numerokysymys Numerokysymykseen käyttäjä vastaa lukuarvolla, eikä sitä määritetä erikseen. (Kuvat 22. ja 23.) Kuva 22. Editor näkymä. Kuva 23. Player näkymä. 19

20 Yhteystietokysymys ZEF Arviointikone. Käyttöohje. Yhteystiedot-kysymyksellä voit kysyä vastaajan yhteystietoja nimetyissä tekstikentissä. Kenttiä lisätään Uusi kenttä -painikkeesta ja poistetaan harmaasta rastista. Kenttiä voi järjestellä nuolista. (Kuvat 24. ja 25.) Kuva 24. Editor näkymä. Kuva 25. Player näkymä Liitetiedostokysymys Liitetiedostokysymykseen käyttäjä vastaa lataamalla tiedoston järjestelmään. Kysymystä ei määritetä erikseen Editorissa. (Kuvat 26. ja 27.) Kuva 26. Editor näkymä. Kuva 27. Player näkymä. 20

21 4.3. Kysymysryhmien ehdollistaminen Kysymysryhmien ehdollistamisella voit rajata halutun kysymysryhmän arvioitavaksi vain tietylle joukolle (Kuva 28.). Klikkaamalla kysymysryhmää, avautuu sivun oikealle puolelle kysymysryhmän ehdot. Näitä ehtoja on kaikki arviointilomakkeen monivalintaja vaihtoehtokysymykset. Listasta valitaan ehdot, joiden täytyttyä kysymysryhmä näytetään vastaajalle. Käytettävien ehtojen tulee sijaita aiemmissa kysymysryhmissä. Kuvassa 28. on esimerkki ehdollistamisesta. Taustatiedoissa kysytään ensin sukupuoli ja ikä. Seuraava kysymysryhmä on palvelut nuorille. Klikkaamalla ryhmää oikealle tulee ehdot, joista valitaan alle 18-vuotiaat ja vuotiaat. Näin Palvelut nuorille -kysymysryhmä avautuu arvioitavaksi vain sellaisille henkilöille, jotka valitsivat taustatiedoissa iäkseen <18 tai vuotta. Kysymysten välillä ehdot toimivat JAperiaatteella. Eli jos ehdoissa asetetaan sukupuoleksi mies ja iäksi <18 tai vuotta niin tällöin kysymys näytetään <18 tai vuotiaille miehille. Kuva 28. Kysymysryhmien ehdollistaminen. 21

22 4.4. Kysymysten tallentaminen Word- ja Xml-tiedostoksi Kysymykset voidaan tallentaa Word- tai Xml-tiedostoksi kysymyslistan yllä olevista napeista Tallenna Word-tiedostona ja Tallenna Xml-tiedostona. (Kuva 29.) Wordtiedostoa voit hyödyntää vastausten keräämiseen paperilla ja XML-tiedostoa lomakkeen kysymysten siirtämiseen toiselle käyttäjälle. Kuva 29. Kysymyksien tallentaminen. 22

23 4.5. Esikatselu ZEF Arviointikone. Käyttöohje. Esikatseluun voit siirtyä milloin tahansa katsomaan miltä arviointilomakkeesi näyttää. Paina sivun oikeassa yläreunassa olevaa Esikatselu-nappia (Kuva 30.). Näet tekemäsi arviointilomakkeen juuri sellaisena, kuin se vastaajille tulee näkymään. Voit samalla testata arviointiin vastaamista. Palaa takaisin muokkaamaan kysymyksiä Asetuksetkohdasta. Esikatselussa näkyy vain kaikki tallennetut muutokset. Kuva 30. Esikatselu. 23

24 5. ULKOASU Ulkoasu-sivulla voit suunnitella ZEF Playerisi ulkonäköä ja toiminallisuutta. Luo uusi ulkoasu klikkaamalla Uusi ulkoasu painiketta (Kuva 31). Oikealle avautuu tila, jossa voit nimetä ja säätää ulkoasua tarpeisiisi sopivaksi. (Kuva 32). Ulkoasun voi ottaa käyttöön klikkaamalla Valitse ulkoasu -näppäintä Kuva 31. Ulkoasu-kohdan toiminnallisuudet. 24

25 Kuva 32. Uuden ulkoasun suunnittelutila. Värimaailma-kohdasta voit valita playerissasi käytettävän värimaailman. Kysy räätälöintimahdollisuuksista ZEF asiantuntijaltasi. Voit halutessasi lisätä tiedostosta Logon näkymään playerin vasemmassa ylänurkassa tai käyttää tunnuksesi oletuslogoa. Lomakkeen nimi ja kuvaus kohdasta voit valita näytetäänkö vastaajille lomakkeen nimi 25

26 ja kuvaus otsikkona playerin yläpuolella. Ohjetekstit playerin yläpuolella kohdasta voit halutessasi piilottaa vastausalueen yläpuolella näkyvän ohjeruudun. Käytä kysymyslistaa -kohdassa voit päättää, haluatko näyttää kysymyslistan vastaajille. Kysymyslistan sijainti voi olla vasemmalla tai alhaalla. Jatkuva kysymysnumerointi -kohdan ollessa päällä, kysymysryhmästä siirtyessä toiseen numerointi pysyy jatkuvana. Voit halutessasi räätälöidä vastaajille näytettävän Kiitosviestin sisältöä. Kirjoita näkyvään kenttään haluamasi kiitosteksti. Kiitosteksti näkyy vastaajille heti, kun he ovat klikanneet Valmis-nappia. Tallenna ulkoasu ja esikatsele sitä klikkaamalla Esikatselu-nappia. Voit halutessasi palata muokkaamaan ulkoasua missä vaiheessa tahansa. Tallennetut ulkoasut ovat käyttäjätunnuskohtaisia ja samaa ulkoasua voidaan hyödyntää myös eri lomakkeissa. 26

27 6. VASTAAJAT Vastaajat-sivulla hallitaan erilaisia tapoja, joilla vastaukset kerätään vastaajilta. Vastaaja on mahdollista tavoittaa sähköpostikutsulla, tulostettavalla kutsukortilla tai vastaajaryhmäkohtaisen linkin avulla. Sähköpostilla kutsuttavat vastaajat voi luoda järjestelmään joko yksitellen tai tuoda Excel-taulukkomuodossa CSV-tiedostona. Vastaajat voi tuoda järjestelmään myös vastauksineen, kun halutaan siirtää ZEF Editoriin jo olemassa oleva selvitys tai muu numeromuodossa oleva data. Sähköpostittomille vastaajille voidaan luoda kutsukortit tai käyttää yleistä julkista linkkiä riippuen siitä halutaanko rajata osallistuvien vastaajien määrää. Jokainen vastaaja kuuluu ainakin yhteen vastaajaryhmään. Kuva 33. Vastaajat-kohdan toiminnallisuudet Vastaaja- ja raporttiryhmät Uusi vastaajaryhmä -kohtaa klikkaamalla luot uuden vastaajaryhmän (Kuva 34.). Tämän jälkeen oikealle avautuu tila, jossa voit nimetä ryhmän. Vastaajaryhmiä voivat olla esimerkiksi yrityksen eri osastot (talous, hallinnointi, myynti jne.). Ryhmät mahdollistavat tulosten vertailun eri osallistujien välillä. Jokaisen vastaajan täytyy kuulua vähintään yhteen vastaajaryhmään, joten ryhmiä on luotava ainakin yksi. Lista luoduista vastaajaryhmistä tulee näkyviin vasemmalle. 27

28 Kuva 34. Vastaajaryhmien luominen Sähköpostilliset vastaajat Lisää vastaaja klikkaamalla Uusi vastaaja nappia. Kutsuttavilla vastaajilla täytyy olla voimassaoleva sähköpostiosoite, johon kutsu lähetetään. Vastaajalle valitaan myös kieli, vastaajaryhmä(t) ja mahdolliset vaihtoehtoiset tekstit kutsuviestiä varten. Valittavia kieliä hallinnoidaan Aloitus-sivulla. Kaikki luodut vastaajat näkyvät listassa sivun vasemmassa laidassa vastaajaryhmän ollessa auki. 28

29 Kuva 35. Vastaajan lisääminen. Vastaajakuvakkeissa olevat värit vaihtuvat vastaajan statuksen mukaan (kuva 36.). Punainen kuvake tarkoittaa sitä, että vastaajaa ei ole vielä kutsuttu. Sininen kuvake kuvaa vastaajaa, joka on saanut kutsun tai on aloittanut vastaamisen. Vihreä vastaaja taas on vastannut kysymyksiin ja päättänyt arvioinnin. Kuva 36. Vastaajien statukset. 29

30 6.3. Sähköpostittomat vastaajat ZEF Arviointikone. Käyttöohje. Sähköpostittomia vastaajia varten voidaan luoda kutsukortteja tai pyytää heitä vastaamaan kysymyksiin julkisen linkin avulla. Sähköpostittomia vastaajia kutsutaan anonyymeiksi vastaajiksi, sillä heistä ei jää järjestelmään tarkempia käyttäjätietoja. Voit ryhmitellä anonyymejä vastaajia tarkemmin raporttiryhmillä Raportit-kohdassa. Tulostettavat kutsukortit luodaan vastaajaryhmäkohtaisesti klikkaamalla vastaajaryhmä aktiiviseksi, valitsemalla oikealla näkyvästä valikosta luotavien kutsukorttien määrä ja klikkaamalla Luo kutsukortit nappia (kuva 37.). Kutsukortteja pääsee tarkastelemaan ja tulostamaan klikkaamalla vasemmalla näkyvästä vastaajalistasta Lataa kutsukortit -linkkiä. Vastaajaryhmäkohtainen julkinen linkki näkyy ryhmää klikkaamalla oikealla puolella ryhmän nimen alapuolella. Voit julkaista linkin halutussa paikassa. Jokaisesta linkkiä klikanneesta luodaan anonyymi vastaaja kyseiseen ryhmään. Kuva 37. Nimettöminä kutsuttavat vastaajat. 30

31 6.4. Vastaajalistan tuominen ZEF Arviointikone. Käyttöohje. Vastaajat voidaan myös tuoda taulukkona CSV-muodossa klikkaamalla Tuo Excelistä (kuva 38.) -painiketta. Tällöin avautuu ikkuna, jossa voit ladata vastaajat CSV-muotoisena tiedostona järjestelmään. Esimerkkitiedoston voit ladata oikealla puolella olevasta ohjeikkunasta. CSV-muotoisessa vastaajalistassa määritetään vastaajan nimen ja sähköpostiosoitteen lisäksi myös vastaajaryhmät sekä oletuskieli vastaajalle. Myös vastaajakohtaiset tekstit voidaan määrittää vastaajalistassa. CSV-muotoisen rekisterin voi tehdä helposti Exceltaulukosta. Vastaajalistaa tuotaessa tarkistetaan vastaajien sähköpostiosoite. Virheelliset vastaajat lisätään oman ryhmän lisäksi [ERROR] Invalid Address nimiseen ryhmään. Voit korjata osoitteet ja ottaa tämän ryhmävalinnan pois korjatuista osoitteista. Kuva 38. Vastaajalistan tuominen. Vastaajalistan tuominen: 1 Lataa Editorista Vastaajat-välilehdeltä CSV-esimerkkipohja. 2 Täytä taulukkolaskentaohjelmalla vastaajien tiedot. 3 Tuo valmis CSV-tiedosto Editoriin. Valitse tuonnin asetukset ja tiedosto. 4 Vastaajat tuodaan näkyville ryhmiteltyinä. Voit tallentaa vastaajat Tallennanapista. 31

32 6.5. CSV-tiedoston luominen Excel-ohjelmalla CSV-tiedostossa on seuraavat kentät: Name, Address, EvalGroup (vastaajaryhmä) sekä Lang (kieli). EvalGroup-sarakkeita voi tarvittaessa olla useampia, jos vastaajat kuuluvat useampaan ryhmään. Vastaajakohtaiset tekstit lisätään tarvittaessa kentillä MiscText1, MiscText2, MiscText3, MiscText4 ja MiscText5. Ensimmäinen rivi määrittää sarakkeet ja niiden sisällön, näiden alle voidaan sitten täyttää vastaajien tietoja (kuva 39.). Kuva 39. Näkymä Excelissä. CSV-tiedoston tallentaminen tapahtuu seuraavasti: Valitse Tiedosto-valikosta Tallenna nimellä kohta. Tallenna tiedosto CSV (luetteloerotin) (*.csv) muodossa (kuva 40.). Kuva 40. Tiedoston tallentaminen. 32

33 Kun olet painanut Tallenna nappia, tulee varmistuspyyntö tallennusmuodosta (kuva 41.). Kuva 41. Varmistuksen hyväksyminen. Klikkaa Kyllä-nappia, jolloin tiedosto tallentuu. Ilmoitus tulee siksi, että CSV-muotoiseen tiedostoon ei voi tallentaa solun muotoilua ja Excel-ohjelma kysyy, haluatko varmasti tallentaa tiedoston tässä muodossa. Tiedosto on valmis tuotavaksi järjestelmään luvun 6.4. mukaisesti. Seuraavassa esimerkki CSV-tiedoston rakenteesta tekstimuodossa: Name; Address;EvalGroup;Lang John Bill Luetteloerotin on edellisessä esimerkissä ;. Se voi olla myös, tai TAB (tabulaattorin lyönti). Tällöin tuontivaiheessa täytyy valita luetteloerottimen tyyppi Vastausten tuominen Klikkaa Lataa CSV-pohja vastausten tuomiseen -linkkiä Vastaajat-sivulta. Saat koneellesi taulukkomuotoisena arviointilomakkeen. Lisää vastaukset vastaajatietoineen riveittäin. Tallenna tiedosto CSV-muodossa ja tuo se järjestelmään Tuo vastaajat kohdasta. Jana- ja nelikenttäkysymyksissä vastaukset tuodaan asteikolla Esimerkiksi asteikolla 1-5 olevat vastaukset täytyy siis muuntaa tälle asteikolle. Vaihtoehtokysymyksissä vastaukset tuodaan numeroilla vaihtoehtojen järjestyksen perusteella. Esimerkiksi, vaihtoehtojen ollessa mies ja nainen siten, että mies-vaihtoehto on ylempänä, on vastausten tuonnissa mies numero 1 ja nainen numero 2. Monivalintakysymyksissä vastaukset tuodaan kirjaamalla valittujen vaihtoehtojen kohdalle numero 1. Vapaapalautteet ja kommentit lisätään omiin kohtiinsa. 33

34 7. KUTSUVIESTIT Kutsuviestit-kohdassa määritetään viestipohjat, joilla vastaajat kutsutaan vastaamaan. Kutsuviestit luodaan jokaiseen lomakkeeseen erikseen. Kutsuviestien luominen aloitetaan klikkaamalla Uusi viesti kuvaketta (kuva 42). Kutsu luodaan oikealle puolelle avautuvassa tilassa (kuva 43.). Kuva 42. Kutsuviestit-kohdan toiminnallisuudet. 34

35 Kuva 43. Kutsuviestin mallipohja. Viestin pohjana on malliviesti, jota voi käyttää sellaisenaan tai muokata sen halutunlaiseksi. Kutsuviesteissä tavallisen tekstin joukkoon upotetuilla muuttujilla (kuva 44.) voidaan määrittää tekstiin kohdat, joihin tulevia tietoja vastaaja tarvitsee päästäkseen vastaamaan arviointiin. 35

36 Viestin sisältö -kohdan kysymysmerkkiä klikkaamalla saadaan esiin lista muuttujista. Muuttujista ainakin #WWW_CLIENT tulee olla jokaisessa kutsuviestissä. Tämä muuttuja sisältää suoran www-osoitteen arviointiin. Voit kääntää kutsuviestin muille kielille Käännökset-kohdasta. Muistathan tallentaa viestisi aina, kun teet siihen muutoksia. Kuva 44. Kutsussa käytettävät muuttujat. 36

37 Kuvassa 45. on esimerkki kutsuviestistä esikatselu näkymässä. Muuttujat ovat merkitty punaisella. Kuva 45. Kutsusähköpostin esimerkkimalli. 37

38 8. SEURANTA Seuranta-sivulla lähetetään kutsut ja seurataan vastaajien vastaamistilanteen edistymistä (kuva 46.). Näet vastaamistilanteen aluksi ryhmittäin ja ryhmän vasemmalla puolen olevaa nuolta klikkaamalla myös vastaajittain. Kutsuttu-kohdassa näkyy onko vastaaja kutsuttu ja kuinka monta kutsuviestiä on lähetetty. Aloittanut kohdassa näkyy onko vastaaja aloittanut vastaamisen. Lopettanut kohdassa näkyy onko vastaaja vastannut kaikkiin kysymyksiin. Kuva 46. Vastaamisen seuranta. Tiedonkeruun tulee olla päällä, voidaksesi lähettää kutsuviestejä. Arvioinnin tilaa pääsee muuttamaan Aloitus-kohdasta. Kutsua lähetettäessä valitaan ensiksi kenelle kutsu lähetetään, sitten valitaan alhaalta lähetettävä kutsuviesti ja lopuksi klikataan Lähetä-nappia. Kaikki-valinta valitsee kaikki vastaajat. Uudet-valinta valitsee kaikki vastaajat, joille ei ole kutsuviestiä vielä lähetetty. Lopettanut-valinta valitsee kaikki vastaamisen lopettaneet vastaajat. Keskeyttäneet valinta valitsee kaikki aloittaneet, mutta kesken jättäneet vastaajat. Ei aloittaneet valinta valitsee kaikki ei aloittaneet vastaajat. Ei lopettaneet valitsee kaikki ei aloittaneet ja kesken jättäneet vastaajat. Vastauksia enintään valinnassa voit määritellä kuinka monta kysymystä pitää olla vastattuna, jotta välttyy kutsuviestin saamiselta. Anonyymien vastaajien tietoja ei näy listassa. Vain vastausprosentista näkee, ovatko he vastanneet vai eivät. Vastaajakuvakkeissa olevat värit vaihtuvat vastaajan statuksen mukaan. Punainen kuvake tarkoittaa sitä, että vastaajaa ei ole vielä kutsuttu. Sininen 38

39 kuvake kuvaa vastaajaa, joka on saanut kutsun tai on aloittanut vastaamista. Vihreä vastaaja on vastannut kysymyksiin. 9. KÄÄNNÖKSET Käännöksest-välilehdeltä pääset tekemään tekstikäännökset muille kielille. Vasemmalla puolella ovat lomakkeen alkuperäiset tekstit ja oikealla puolella tyhjät tilat, joihin voit kirjoittaa käännökset (kuva 47.). Muista tallentaa lomake muutoksia tehdessäsi. Kuva 47. Arvioinnin kääntäminen muille kielille. 39

40 10. RAPORTOINTI ZEF Arviointikone. Käyttöohje. Raportit-sivulla ryhmittelet vastaajia vastausten mukaan, tarkastelet ja tulostat raportteja reaaliaikaisesti. Aluksi Raportit-sivulla näkyy raporttiryhmien luominen. Samalla sivulla on myös linkit raporttien luontiin ja vertailuun (kuva 48.). Luo raportti -kohdassa luot normaalisti raportit arvioinneistasi. Raporttien vertailu kohta on puolestaan oiva työkalu erilaisten vertailujen tekemiseen erivärisin palloin. Kuva 48. Raportit-sivu. Tässä luvussa käymme ensin läpi raporttiryhmien luomisen, sen jälkeen opimme jotain raportin tulkinnasta ja lopuksi käsittelemme raporttien vertailua. Raporttiryhmien luominen ei ole kaikissa tilanteissa välttämätöntä ja voit tarvittaessa hypätä suoraan Luo raportti kohtaan. 40

41 10.1. Raporttiryhmät ZEF Arviointikone. Käyttöohje. Kuva 49. Raporttiryhmät-kohdan toiminnallisuudet. Uusi raporttiryhmä -kohdasta voit luoda kysymysten vastauksista ryhmittelyjä raportointia varten (Kuva 49.). Nimeä ryhmä ja valitse vaihtoehdot, joiden perusteella ryhmä muodostetaan. Vastaajien vastatessa kysymyksiin, vastaukset vaihtoehtoihin päivittyvät automaattisesti jo luotuihin raporttiryhmiin. Raporttiryhmät voidaan luoda missä vaiheessa arviointia tahansa myös jälkikäteen. 41

42 Kuva 50. Raporttiryhmän luominen Raportin luominen Luo raportti -kohtaa klikkaamalla raportti avautuu eteesi (Kuva 51.). Raportissa vasemmalla sijaitsevat asetukset ja oikealla itse raportti. Raportin järjestelmätoiminnot näkyvät koko ajan ylhäällä. Raportti päivittyy oletusarvoisesti automaattisesti näkyville. Jos vastanneita on yli 1000, automaattinen päivitys kytkeytyy pois päältä. Tämän jälkeen raportin voi päivittää ylhäältä löytyvästä päivitä raportti napista. Asetuksista valitaan halutut toiminnot päälle. Kun sopivat asetukset löytyvät, raportin voi myös tallentaa halutussa muodossa. 42

43 Kuva 51. Miten raportti toimii. Seuraavissa alaluvuissa käydään raportin eri toiminnallisuudet kohta kohdalta läpi Raportin status Vasemmalla ylhäällä oleva raportin status kertoo kulloisenkin tilanteen raportista. Näet siitä mm. onko raportin lataaminen vielä kesken Raportin asetukset Raportin asetukset kohdasta voit säätää näkyvää raporttia. Asetukset on jaoteltu ryhmiin ja ryhmän nimeä klikkaamalla saat ne näkyville. Voit säätää asetuksissa aikaväliä, vastaajia, vastaajaryhmiä, tulostettavia raportteja, numeerisia tilastoja, muita raportteja, tulostettavia tekstejä, tallennettuja raportteja ja kysymysryhmiä/kysymyksiä. 43

44 Aikavälin asettaminen Aikaväli-kohdasta voit ottaa raporttiin mukaan vastauksia vain tietyltä aikaväliltä. Valitse päivämäärät, joiden väliltä haluat vastaukset raporttiin. Voit jättää myös toisen päivämäärän laittamatta, jolloin vastaukset haetaan vain toisen päivämäärän mukaan. Päivämäärän voi valita avautuvasta kalenterista tai sen voi kirjoittaa käsin muodossa vuosi-kuukausi-päivä (esim ). Yksittäisen vastaajan valitseminen Vastaajat-kohta tulee näkyville, vain jos anonymiteettisuoja on purettu tunnukselta. Oletuksena käyttäjätunnuksilla on anonymiteettisuoja päällä, mutta voit pyytää sen poistamista halutessasi. Voit tällä toiminnallisuudella valita raporttiin mukaan vain halutun yksittäisen vastaajan. Valikkoon ilmestyy valittavaksi kaikki yksittäiset nimetyt vastaajat. 44

45 Vastaajaryhmien valitseminen V a s t a a j a r y h m ä t k o h d a s s a valitaan ne vastaajaryhmät, jotka halutaan raporttiin mukaan. Kaikki arviointilomakkeeseen kuuluvat vastaajaryhmät voidaan tulostaa samaan raporttiin tai jokaisesta voidaan tehdä oma raporttinsa. Kun haluat vertailla eri vastaajaryhmien vastauksia, aktivoi kohta Tulosta vastaajaryhmäkohtaiset raportit. Tällöin saat näkyviin eri vastaajaryhmien taulut allekkain. Pääset tarkastelemaan ryhmäkohtaisia vastauksia klikkaamalla kysymysryhmän alapuolella olevaa Näytä ryhmän vastaukset linkkiä. Raporttimuodon valitseminen Tulostettavat raportit -kohdassa valitaan halutaanko raportti tulostaa absoluuttisilla ja/tai suhteellisilla arvoilla. Oletuksena on valittuna absoluuttiset arvot. Absoluuttisessa raportissa vastausten keskiarvot tulostuvat täsmällisten vastauspisteiden mukaan. Suhteellinen raportti laskee tulokset käyttäen z-scoring menetelmää, jolloin keskiarvot asettuvat keskelle tauluja ja pisteet hajoavat tasaisesti tauluihin. Näin tuloksesta saadaan poistetuksi ns. asennevääristymät. Lisätietoa suhteellisesta raportista löydät Raportit-sivulta ladattavasta ZEFmenetelmän esitteestä. Molemmat raporttimuodot valitsemalla saadaan näkyviin absoluuttiset ja suhteelliset taulut allekkain. 45

46 Numeeristen tilastojen valitseminen Numeeriset tilastot kohdasta valitaan raportissa näytettävät tilastoihin ja numeroihin perustuvat ominaisuudet. Aluksi määritellään tilastoinnissa käytetyt arvot halutulle asteikolle. Määritys koskee jana- ja nelikenttäkysymyksiä. Oletuksena on asteikko Esimerkiksi kouluarvosanoissa minimi on 4 ja maksimi 10. Näitä lukuja käytetään raportin keskiarvopisteissä, keskihajonnassa, keskivirheessä, 95% luottamusvälissä, nelikenttä- ja janakysymysten suodattamisessa sekä CSV ja XLS muotoisissa raporteissa. N-kohdasta saat näkyville jokaisen kysymyksen kohdalle vastausten lukumäärän. EOS-kohdasta saat puolestaan näkyville En osaa sanoa vastausten lukumäärät. Keskiarvopisteet kohdasta saat näkyville vastauksien keskiarvopisteet lukuarvoina. Keskiarvopisteet tulostuvat vain jana- ja nelikenttäkysymysten osalta. Keskihajonta kuvaa havaintoarvojen poikkeamaa keskiarvosta. Keskivirhe mittaa tilastollisen satunnaisvaihtelun suuruutta otantatutkimuksessa. Sen avulla lasketaan virhemarginaalit. 95% Luottamusväli tarkoittaa 95 %:n todennäköisyyttä sille, että tutkimustulokset voidaan yleistää tietylle välille. Mitä pienempi luottamusväli, sitä paremmin otoksesta saatu tulos voidaan yleistää koko populaatioon. 46

47 Muiden raporttimuotojen valitseminen Pistepilviraportit-kohdasta voit tulostaa jana- ja nelikenttäkysymysten osalta kysymyskohtaisesti kaikki vastaukset pisteinä tauluun. 2x2 vastausjakauma kohdasta voit tulostaa jana- ja nelikenttäkysymysten osalta kysymyskohtaisesti vastausjakaumat prosenttilukuina nelikentässä neljänneksiin ja janoissa puolikkaisiin. Tulosta numerokysymysten vastaukset näyttää kaikki numerokysymyksen vastaukset allekkain. K o k o n a i s k e s k i a r v o p i s t e e t - kohdasta saat raportin loppuun näkyville kokonaiskeskiarvopisteet kysymysryhmittäin ja koko arvioinnista jana- ja nelikenttäkysymysten osalta. Tulostettavien tekstien valitseminen Tulostettavat tekstit -kohdasta valitaan raportissa näytettävät tekstimuotoiset vastaukset. Jos olet luonut vapaatekstikysymyksiä, voit tulostaa ne raportin loppuun valitsemalla kohdan Vapaapalautteet. Kysymysten kommentit -kohdasta voit sisällyttää raporttiin monivalintaja vaihtoehtokysymyksessä olleiden t e k s t i k o m m e n t t i v a i h t o e h t o j e n tekstit. Samasta kohdasta tulostuvat myös nelikenttä- ja janakysymysten kommentoinnit. Kommentit tulevat näkyviin kysymyksen alapuolelle ryhmiteltynä. Yhteystiedot-kohdasta voit saat kysytyt yhteystiedot kysymysryhmän loppuun näkyville. 47

48 Raportin tallentaminen HTML-muodossa Tallennetut raportit kohdasta voit tallentaa raporttinäkymän html-sivuksi tarkastellaksesi sitä myöhemmin ja jakaaksesi sen muille tarkasteltavaksi. Raporttinäkymä tallentuu annetulla nimellä sellaisenaan ja linkki sinne löytyy tallennuksen jälkeen listasta. Raporttinäkymä tallennetaan erilleen raportointityökalusta ja sitä pääsee tarkastelemaan myös ilman kirjautumista. 48

49 Kysymysten ja kysymysryhmien asetukset Kysymysryhmät-kohdasta voit valita mitä kysymysryhmiä ja kysymyksiä raportissa näytetään. Voit myös halutessasi rajata vastaajia vastausten perusteella. Kysymysten ja kysymysryhmien edessä on valintalaatikko, josta voit valita näytetäänkö sitä raporttitaulussa. Rajaa vastaajia vastausten perusteella -kohta mahdollistaa vastausten suodattamisen, monivalinta- ja vaihtoehtokysymyksillä tai jana- ja nelikenttäkysymyksillä. Monivalintaja vaihtoehtokysymysten vaihtoehdot tulevat näkyviin. Valitse vaihtoehdot, joiden perusteella raportti tulostetaan. Jana- ja nelikenttäkysymyksillä aukeaa liukusäätimet, josta voit määrittää miltä väliltä vastaukset näytetään. 49

50 Järjestelmätoiminnot ZEF Arviointikone. Käyttöohje. Järjestelmätoiminnoissa voit määritellä raportin päivittymiseen liittyviä asetuksia ja tallentaa raporttinäkymän eri muodoissa. Kuva 52. Raportin järjestelmätoiminnot. Raportti päivittyy oletusarvoisesti automaattisesti. Automaattinen päivitys tarkoittaa sitä, että jokainen asetuksista valittu asetus päivittyy heti raporttinäkymään oikealla. Automaattisen päivityksen voi poistaa ottamalla valinnan pois Automaattinen päivitys kohdasta. Automaattinen päivitys toiminto kytketään järjestelmän toimesta pois päältä kun vastanneita vastaajia on yli Aloita alusta kohdasta voit nollata raportin asetukset ja aloittaa alusta. Kuva 53. Raportin tallennusmuodot. Raportin voi tallentaa CSV-, XLS-, XLS-Analyysi-, RTF- ja PPTX- muodossa. CSV-muoto mahdollistaa vastausten siirtämisen tilastonkäsittely- ja taulukkolaskentaohjelmiin (mm. MS Excel ja SPSS). Kaikki yksittäiset vastaukset tallennetaan taulukkoon. XLS-muoto on CSV-muotoa vastaava raportti. XLS-Analyysi muotoisessa raportissa tulostetaan kaikki kysymys- ja kysymysryhmäkohtaiset keskiarvopisteet yhdeksi taulukoksi. RTF-muotoinen raportti avautuu tekstinkäsittelyohjelmilla (mm. MS Word) ja PPTX-muotoinen raportti avautuu PowerPoint-ohjelmassa. 50

51 Vastaustilastot ZEF Arviointikone. Käyttöohje. Vastaustilastoissa näkyy vastaajien lukumäärät ja osallistumisprosentit. Määrä-kohdassa on kaikkien ryhmään kuuluvien vastaajien kokonaismäärä. Aloittaneet-kohdassa on kaikkien vähintään yhteen kysymykseen vastanneiden määrät. Lopettaneet-kohdassa on kaikkiin kysymyksiin vastanneiden vastaajien määrät. Kuva 54. Raportin vastaajatilastot Nelikenttäraportin tulkitseminen Nelikenttäraportti on arviointilomaketta vastaava taulu, jossa on yhteenveto vastauksista. Numerot vastaavat kysymysnumeroa ja numeron ympärillä oleva ellipsi kuvaa vastaushajontaa. Seuraavassa on esimerkki raportissa näkyvistä nelikenttäkysymyksen tauluista (kuva 55.). 51

52 Kuva 55. Raportin taulu. Raportissa tulokset näkyvät kysymysryhmittäin. Vasemmalle tulevat kysymykset ja oikealle raporttitaulut. Esimerkin taulussa on akseleina käytetty Toteutuminen/Merkitys-dimensioparia, joka toimii hyvin silloin, kun arvioidaan nykytilannetta (kuva 56.). Taulun kysymysryhmässä on tässä tapauksessa ollut seitsemän kysymystä. Kysymysten vastaukset näkyvät taulussa palloina, joiden ympärillä on hajontaellipsi. 52

53 Kuva 56. Nelikenttäkysymyksien raporttitaulu suhteellisilla arvoilla. Pieni ellipsi vastauspallon ympärillä kertoo vastausten samankaltaisuudesta, suuri ellipsi suuresta hajonnasta. Myös ellipsin muoto tulee huomioida: hajontaa voi olla toiseen suuntaan enemmän kuin toiseen. Taulusta näkee yleensä ensi silmäyksellä, mikä on asioiden tila. Kunnossa olevat asiat ovat yleensä sijoittuneet oikeaan yläneljännekseen. Vasempaan yläneljännekseen sijoittuneet ovat kehityskohteita: asiat on koettu tärkeiksi, mutta suoriutumisessa on korjattavaa. Oikeaan alakulmaan tulevat asiat, joissa suoriudutaan hyvin, mutta joiden ei katsota olevan tärkeitä. Näiden kohdalla voidaankin pohtia, ovatko kohteet aliarvostettuja tai satsataanko niihin liikaa. Vasempaan alakulmaan sijoittuvat asiat vaativat harkintaa siitä, ovatko ne ylipäätään tarpeellisia kokonaisuudelle. On kuitenkin muistettava, että jokainen määrittää haluamansa akselit tauluihin ja niiden tulkinta voi poiketa esimerkistä. Raportin tulkintaan on hyvä panostaa ja käyttää aikaa, jotta arvioinnista saataisiin täysi hyöty irti. Pelkkä raportin tekeminen ei ratkaise ongelmakohtia. 53

54 10.3. Raporttien vertailu ZEF Arviointikone. Käyttöohje. Raporttien vertailussa vertaillaan nimensä mukaisesti raportteja. Vertailu on mahdollista tehdä jana- ja nelikenttäkysymysten osalta. Raporttien vertailutoiminnossa on jätetty käyttäjälle mahdollisuus itse muodostaa haluamansalaisia raporttitauluja. Esimerkkinä erilaisista vertailuista mainittakoon taulut, joissa käsitellään vain yhtä kysymystä eri vastaajaryhmien näkökulmista. Toinen esimerkki on eri vuosina tehtyjen arviointien tulosten vertaileminen. Kuva 57. Raporttien vertailun asetukset. Raporttien vertailu aloitetaan valitsemalla raportin muoto ja vertailukohteiden määrä (kuva 57.). Tämän jälkeen klikataan Luo uusi uusi nappia, jolloin alas aukeaa asetuslaatikot vertailun luomista varten. Raportin muoto voi olla joko nelikenttä tai jana. Vertailukohteita on mahdollista valita maksimissaan 16 kappaletta. Jokainen vertailukohde esiintyy erivärisenä pallona taulussa. Kuva 58. Lomakkeen ja raportin muodon valinta. Kun raportin muoto ja vertailukohteiden määrä on valittu, valitaan jokaisen vertailukohteen osalta lomake ja raportin muoto (kuva 58.). Tässä kohden on myös mahdollista valita aikaväli, jolta vastaukset poimitaan vertailtavaksi. Kun vertailua tehdään vastaajaryhmittäin, valitaan jokaiseen kohtaan sama lomake. Vertailtaessa eri arviointeja, valitaan kuhunkin kohtaan haluttu lomake. 54

55 Kuva 59. Vastaajaryhmät. Seuraava vaihe on vastaajaryhmien ja kysymysten valinta (kuva 59. ja kuva 60.). Valitse kaikki ruutu helpottaa valitsemista, kun valinnan halutaan koskettavan kaikkia kohtia. Samasta ruudusta voi myös poistaa kaikki valinnat. Kuva 60. Vastaajaryhmien ja kysymysten valinta. 55

56 Kuva 61. Tulostustapa. Raporttien vertailun viimeisessä kohdassa valitaan tulostustapa ja mahdollisten keskiarvopisteiden tulostus (kuva 61.). Tulostustapoja on kaksi: Kaikki pallot yhdessä taulussa ja Kysymyksittäin eri tauluissa. Kaikki pallot yhdessä taulussa tarkoittaa sitä, että kaikki valitut kysymykset eri vertailukohteista tulostuvat samaan tauluun. Jos vertailtavia kohteita on paljon, pallot on järkevää tulostaa kysymyksittäin eri tauluissa. Kuva 62. Vastaajaryhmäkohtainen vertailu. Yllä on esimerkki vastaajaryhmäkohtaisesta vertailusta (kuva 62.). Tässä esimerkissä vertailu tapahtuu siis osastojen työntekijöiden antamien palautteiden osalta. Esimerkissä on vertailukohteiden määrän vähäisyyden vuoksi tulostettu kaikki pallot samaan tauluun. 56

57 Kuva 63. Tulosten vertaaminen vuositasolla. Tuloksia voidaan verrata myös esimerkiksi vuositasolla, jos edellisvuonna on teetetty samanlainen arviointi. Seuraavassa esimerkissä henkilöstölle on teetetty työilmapiirin arviointi vuosina 2008 ja 2007, joiden tuloksia on verrattu toisiinsa (kuva 63.). Tämä mahdollistaa kehityssuuntien tarkastelun. 57

58 11. LOMAKKEEN LUONTI MUULLA TAVOIN Lomakkeen luomista ei tarvitse aina aloittaa alusta. Voit luoda sen myös valmiin, olemassa olevan lomakkeen pohjalta, omasta mallista tai ZEF Solutions Oy:n lomakepohjatietokannasta. Kuva 64. Lomakkeen kopioiminen. Voit kopioida aiemmin luodun lomakkeen valitsemalla halutun lomakkeen aktiiviseksi ja klikkaamalla valikosta Tee kopio -painiketta (kuva 64.). Lomakkeen kysymykset, vastaajatiedot ilman vastauksia ja kutsuviestit kopioituvat uudeksi lomakkeeksi. 58

59 Kuva 65. Lomakkeen luonti omasta mallista. Voit myös luoda lomakkeen lataamalla sen tiedostosta. Tällöin tuot lomakkeen omalta tietokoneeltasi selaimen kautta ZEF-järjestelmään (kuva 65.). Lomake täytyy olla tallennettu XML-tiedostona. Tallentaminen tapahtui Kysymykset-kohdassa olevasta Tallenna XML-tiedostona -painikkeesta. Tästä kerrottiin tarkemmin luvussa 4. Kuva 66. Lomakkeen luonti omasta mallista. Käytä valmiita lomakepohjia -kohdasta valitset pohjaksi valmiin lomakkeen ZEF Solutions Oy:n tietokannasta (kuva 66.). Lomakepohjia voit tiedustella myyjältäsi. 59

60 12. HYVÄN ARVIOINTILOMAKKEEN OMINAISUUKSIA No, sehän nyt on vain yksi kysely Jos kyselyiden ja arviointien laatiminen olisi helppoa kuin heinänteko, meille ei olisi mitään tarvetta. Oletko ikinä vastannut kyselyyn, jonka jälkeen mietit, että kynsien poistattaminen yksi kerrallaan tongilla olisi ollut nautinnollisempi kokemus? Hyvin suunniteltu toden totta on 90-prosenttisesti tehty. Jos on siis hyvät työkalut käytössä. Vuosien varrella olemme nähneet monenlaisia kyselyitä. Sieltä on väkisinkin noussut esiin muutamia kohtia, joita on ihan terveellistä välttää. Mietimme, että voisi nyt jakaa ne sinulle, niin saat parempia kyselyitä aikaiseksi. Eli tässä kolme yleisintä (ja vakavinta) virhettä, jotka välttämällä pääset mukavasti eteenpäin. Virhe numero 1: Liikaa kysymyksiä Tämä on numero 1 listallamme ja olet aivan takuuvarmasti törmännyt tähän itsekin. Eikö niin? Olet napsutellut vastauksia jo 13 minuutin ajan kuin olisit lännen nopein kyselysheriffi. Uskot ei, rukoilet lähestyväsi jo loppua Ja sitten huomaat, että olet tehnyt vähän ajan päästä noin kolmanneksen Nyt, tarkoitus ei ole tietenkään kysyä myöskään liian vähän kysymyksiä, mutta Tässäpä toimiva ratkaisuehdotus: mieti etukäteen mitä oikein haluat selvittää. Sen jälkeen tiivistä kysymykset niin pieneen lukumäärään kuin mahdollista ymmärrystä ja hyötyä tietysti uhraamatta. Usein loputtomat kysymykset ovat vain merkki kyselynlaatijan laiskuudesta. Tyyliin jaa, pitäisköhän tätäkin kysyä? Onkohan tämä vähän niinkuin sama kysymys kuin tuo edellinen? No, laitetaan nyt molemmat, ihan VARMUUDEN VUOKSI mukaan. Vältä. Pidä kyselysi tiiviinä. Virhe numero 2: Epäselvät selitykset Tappion välttäminen on usein tärkeämpää kuin se, että ei sattuisi voittamaan juuri nyt Oletko samaa mieltä vai eri mieltä? Putositko kärryiltä? Ei se mitään, en ymmärrä tuota itsekään Liian pitkien kysymysten, tarpeettomien negaatioiden (kieltomuotojen) ja muiden epäselvyyksien käyttäminen varmistaa vain sen, että vastaaja raapii hetken päätään ja 60

61 menee sen jälkeen tekemään jotain helpompaa, kuten katsomaan tv:tä. Ratkaisuehdotus: Tee kysymyksistä ja väittämistä niin yksinkertaisia, että pieni lapsikin ymmärtää ne. Älykkäät ihmiset eivät paheksu sinua, jos teet yksinkertaisia kysymyksiä. Virhe numero 3: Väärät kysymystyypit Mielipiteiden ja faktojen välillä on ero. Tämä on hyvä muistaa kysymyksiä laatiessa. Jos esimerkiksi kysyt käyttäjän ikää, ei välttämättä kannata valita janakysymystä. Usein on parempi antaa heidän vain täyttää numero vapaapalautekenttään tai antaa heidän valita joku valmiiksi tekemistäsi vaihtoehdoista (kuten vaikkapa vuotta). Toisaalta, jos kysyt heidän tyytyväisyyttään asiakaspalveluusi Hyvin harvat vastaavat, että he ovat joko TÄYSIN tyytymättömiä tai TÄYSIN tyytyväisiä. Eikö niin? Vastauksia löytyy koko skaalalta. Tällöin on parempi tehdä esimerkiksi jana nollasta sataan ja antaa heidän laittaa vastauksensa sopivaan kohtaan. Eli ratkaisuehdotus on samankaltainen kuin kohdassa 1. Mieti etukäteen jälleen mitä olet kysymässä. Kysy sitten itseltäsi, voiko tähän vastata täysin absoluutisesti jonkun arvon, kuten vaikkapa 34 vuotta, vai tarvitaanko enemmän liikkumavaraa? Tuon jälkeen oikeat kysymystyypit tulevat esiin lähes automaattisesti. Muuten, janakysymyksistä puheenollen Yksi mielenkiintoisimpia tekemistämme havainnoista on tämä: suurimmat vastausprosentit saavutetaan helposti ymmärrettävillä kysymyksillä, joihin vastataan janalla joko samaa mieltä tai eri mieltä. Jos siis mahdollista, tee seuraava kyselysi näin ja totea itse tulokset. Ai niin, yksi juttu vielä Koska monilla on melkoisesti ennakkoluuloja kyselyyn vastaamisesta, olisi parempi muotoilla itse kysely houkuttelevan näköiseksi. Eikö niin? Eihän se pelkkä kyselyiden tekeminen ole tietenkään homman pointti, vaan se tieto, jonka niistä saa. Miksi sen pitäisi olla mahdollisimman puuduttava kokemus käyttäjälle? Ei sen tarvitsekaan. 61

62 13. ESIMERKKIPROJEKTI ZEF Arviointikone. Käyttöohje. Tässä luvussa käydään vaihe vaiheelta läpi asiakastyytyväisyysarviointi. Voit käyttää esimerkkiä tukenasi ja poimia siitä ideoita omaan työhösi. Projektina asiakastyytyväisyyskysely Oletetaan, että erään yrityksen palvelua on vastikään uudistettu. Luodaan arviointilomake, joka kohdistetaan yrityksen nykyisille ja entisille asiakkaille. Kuinka yritys on onnistunut uudistuksissa? Onko kehityssuunta oikea? Mihin seuraavassa kehitysprojektissa tulisi panostaa? 62

63 Vaihe 1: Aloitus Ensimmäiseksi luodaan lomake. 1 Luodaan kansio. ZEF Arviointikone. Käyttöohje. 2 Luodaan kansioon uusi lomake tyhjältä pöydältä. 3 Nimetään lomake: Asiakastyytyväisyys. Tarkennetaan kuvauksella arvioinnin perusteita. 4 Valitaan tyypiksi Arviointi. 5 Valitaan kieleksi suomi. 6 Avataan heti tiedonkeruu (=käyttäjä pääsee vastaamaan). Vastauslinkkiä ei ole tarkoitus julkistaa ennen koneen valmistumista. 7 Tallennetaan lomake. 63

64 Vaihe 2: Kysymykset ZEF Arviointikone. Käyttöohje. Panostetaan kysymykset vaiheeseen ja tehdään huolellisesti hyvät kysymykset. 1 Luodaan kysymysryhmät. Jaetaan asiakastyytyväisyyskysymykset kahteen osaalueeseen: Asiakkaiden suhtautuminen tuotteen laatuun sekä asiakaspalveluun ja tuotetukeen. Esimerkissä halutaan huomioida asiakastyytyväisyyden vaihtelut iän ja paikkakunnan mukaan, joten luodaan raportointia varten kysymysryhmä taustatiedoille. Järjestetään lisäksi arvonta palkinnoksi vastaamisesta, joten pyydetään sitä varten vastaajilta yhteystiedot omassa kysymysryhmässään. 2 Luodaan kysymykset kysymysryhmiin. Taustatiedot selvitetään vaihtoehtokysymyksillä jakamalla vastaajat eri ikä- ja alueryhmiin. Varsinaiset asiakastyytyväisyyskysymysryhmät muodostetaan jana- ja nelikenttäkysymyksin. Sanalliset palautteet kerätään vapaapalautekysymyksellä. Yhteystiedot kerätään yhteystietokysymyksellä. 64

65 Yksittäisten kysymysten luonti: Taustatiedot: Ikäsi ZEF Arviointikone. Käyttöohje. Vastaajat halutaan lajitella myöhemmin ikäryhmiin, jolloin ikä kysytään vaihtoehtokysymyksellä. Tuote sopii kaikille työikäisille, joten kiinnostava ikähaarukka on lähtökohtaisesti suuri. Luodaan ikäryhmät n. 10 vuoden välein. Arviointi: Tuotteen laatu Tuotteen laadun arviointi ei ole aina yksiselitteistä. Vaikka tietyssä yksityiskohdassa olisi onnistuttu erinomaisesti, on oleellista tietää myös mikä on asian merkitys asiakkaalle. Luodaan tästä syystä tuotteen laadun eri osa-alueille nelikenttäkysymykset, jossa toisella akselilla on suoriutuminen ja toisella merkitys. Kun pyydetään mielipidettä kokonaisuudesta, jolloin merkitys on joka tapauksessa suuri, on syytä käyttää janakysymystä. Näytetään vastaajille hymiö auttamaan vastauksen hahmottamista. 65

66 Arviointi: Risut ja ruusut Vapaapalaute on hyödyllinen kysymys asiakastyytyväisyyttä selvitettäessä. Siinä asiakas voi kertoa sanallisesti mielipiteensä myös sellaisista asioista, joita ei välttämättä huomata edes kysyä. Lisätään vapaapalautekysymys isolla tekstialueella arviointikysymysryhmiin (tuote ja asiakaspalvelu). Yhteystiedot: Jätä yhteystietosi Yhteystiedoille on oma kysymystyyppinsä. Siinä kysytään tarvittavat yhteystiedot omissa kentissään. 66

67 Vaihe 3: Ulkoasu ZEF Arviointikone. Käyttöohje. Luodaan asiakastyytyväisyyskysely oletusulkoasulla. Oletusulkoasussa kysymykset näkyvät vasemmalla ja vastausalue oikealla. Vaihe 4: Vastaajat Esimerkin yritys on arkistoinut asiakkaidensa yhteystietoja ja tällöin helpointa on tuoda taulukkomuodossa kaikkien asiakkaiden tiedot kerralla Editoriin. Vastaajan luomiseen tarvitaan nimi, sähköpostiosoite, kieli ja ryhmä. Ladataan ZEF Editorista pelkkä esimerkkipohja (nyt ei tuoda vastauksia). Jaetaan vastaajat kahteen ryhmään: asiakkaisiin ja ex-asiakkaisiin. Huomioidaan ex-asiakkaisiin vain ne, jotka ovat olleet sopimuksen alaisia myös palvelun uudistumisen jälkeen. 1 Asiakkaiden tietojen syöttäminen CSV-tiedostoon: 2 Tuodaan kohteet. 67

68 Vaihe 5: Kutsuviestit ZEF Arviointikone. Käyttöohje. Vastaajat kutsutaan sähköpostitse antamaan palautetta, joten luodaan kutsuviesti tätä varten. Oletettavasti osa asiakkaista ei ehdi heti vastaamaan kysymyksiin saatuaan ensimmäisen kutsun. Luodaan myös muistutusviesti, jonka voi myöhemmin lähettää vastaamatta jättäneille asiakkaille. 68

69 Vaihe 6: Seuranta ZEF Arviointikone. Käyttöohje. Asiakastyytyväisyyskysely on nyt valmis suoritettavaksi. Pyritään mahdollisimman korkeaan vastausprosenttiin kutsu- ja muistutusviesteillä. 1 Lähetetään ensimmäinen kutsuviesti vastaajille valitsemalla valikosta oikea kutsuviesti, valitse Kutsu kaikki ja klikkaa Lähetä-nappia. Viesti lähetetään kaikille 25 vastaajalle. 2 Esimerkissä ensimmäisen kierros tuotti kohtuullisen vastausprosentin (48 %). Lähetetään muistutus vastaamatta jättäneille vastaajille valitsemalla valikosta viestiksi Muistutus ja valitsemalla Muistuta ei lopettaneita ja klikkaamalla Lähetä-nappia. Viesti lähetetään kaikkiaan 13 vastaajalle. 3 Muistutuskierros tuotti 6 uutta vastaajaa. Vastausprosentti (72 %) tyydyttää. 69