Lomake tiedonkeruuvälineenä. Marjaana Järvensivu Metodifestivaali 2015,

Transkriptio

1 Lomake tiedonkeruuvälineenä Marjaana Järvensivu Metodifestivaali 2015,

2 Lomake on kommunikaatiota - Surveytiedonkeruun lähtökohtana on kerätä tietoja, jotka ovat: Relevantteja Tulkittavissa Vertailukelpoisia - Surveytiedonkeruussa lomake on väline, jolla tieto saadaan kerättyä ja jolla kommunikoidaan vastaajan kanssa. - Vastausten tulkittavuus ja vertailtavuus edellyttävät: Kysyjä määrittelee näkökulman, josta toivoo vastaajan tarkastelevan kysymystä Kaikilla vastaajilla sama käsitys asiasta; he määrittelevät asian samalla tavalla Vastaajalla on kysymysten vaatima tieto 2

3 Lomakesuunnittelu keskeinen osa tiedonkeruuta - Lomakesuunnittelun vaiheita: Sisällön suunnittelu ( Tutkitaanko sitä on tarkoitus tutkia? Tietotarpeiden määrittely) Kysymysten muotoilu ( Mitataanko sitä mitä on tarkoitus mitata? Operationalisointi) Lomakekokonaisuuden rakentaminen (Kysymysjärjestys, vastaamisohjeet, ulkoasun suunnittelu) - Lomake ei ole kasvoton (kysyjänä aina jokin taho) ja vastaaja tekee aina tulkintoja kysyjästä ja kyselyn tarkoituksesta (myös muunkin kuin lomakkeen perusteella) - Hyvin suunniteltu lomake vähentää kysymyskohtaista virhettä Hyvin suunnitellulla lomakkeella vastaaja huomaa kaikki kysymykset ja vastaaminen on sujuvaa - Hyvä suunnittelu vähentää katoa Vastausosuus nousee etenkin alhaisen osallistumisprosentin vastaajaryhmissä Tavoitteena saada vastaaja kiinnittämään huomionsa kysymyksien sisältöön eikä lomakkeella etenemisen selvittämiseen 3

4 Esimerkki: Teorian operationalisointi tiedonkeruukysymyksiksi 1. Teoria 2. Operationali sointi 3. Kysymykset 1) Teoria: Puolison kontrollikäyttäytyminen lisää parisuhdeväkivaltaa 2) Operationalisointi: Kontrollikäyttäytymisen muotojen määrittely; puolison tilannekontrolli, taloudellinen kontrolli, itsensä tai omaisuuden vahingoittaminen 3) Kysymykset: Yhdeksän väittämän kysymyssarja Lähde: Piispa, M. ym. (2006) Naisiin kohdistunut väkivalta

5 5

6 Kysymyksiä muotoillessa aloita pohtimalla: - Mitä olet tutkimassa/mittaamassa? Kirjoita auki kysymyksen tarkoitus. - Miksi kysyt juuri tämän kysymyksen? Mihin tarvitset sitä (huom. analyysivaihe)? Taustakysymykset, sisältökysymykset, apukysymykset - Keneltä juuri tämä kysymys on tarkoitus kysyä (kaikilta vastaajilta, osajoukolta )? - Jos käytät aiempien tutkimusten kysymyksiä tai valmiita kysymyspatteristoja, harkitse ovatko ne sopivia juuri sinun tutkimukseesi! 6

7 Kysymystyypit: Avokysymykset Huom. Analyysivaihe: Miten analysoit avovastaukset? Mitkä seikat saisivat sinut tulevaisuudessa jatkamaan työelämässä ja siirtämään eläkkeelle lähtemistä tuonnemmaksi? 7

8 Kysymystyypit: Suljetut kysymykset (1) Vaihtoehdot, joiden järjestys ei ole määrätty Mitä kautta vuokrasitte tai saitte asunnon? Vapailta markkinoilta... 1 Työsuhteen perusteella... 2 Kunnalta... 3 Opiskelija-asuntoja ylläpitävältä säätiöltä. 4 Yleishyödylliseltä yhteisöltä... 5 Toiselta kotitaloudelta ilmaiseksi tai käypää vuokraa selvästi halvemmalla

9 Kysymystyypit: Suljetut kysymykset (2) Vaihtoehdot, jotka muodostavat vastausskaalan 9

10 Kysymyksistä lomakkeeksi - Lomake ei ole vain kokoelma irrallisia kysymyksiä Vastaajalle mielekäs kokonaisuus, jossa selkeä alku ja loppu - Kysymysjärjestys Huom! Vastaajalle selkein järjestys ei välttämättä sama kuin tutkijan jäsennys aiheesta - Ohjeet, johdannot - Hyppyrakenne - Lomakkeen pituus: Huomioi kohderyhmä, aihe, vastaamistilanne Verkkolomake 5-20 min, paperilomake max sivua - Lomakkeen ulkoasu Visuaaliset tekijät vaikuttavat niin kysymysten ymmärtämiseen kuin vastausmotivaatioonkin - Lomakekokonaisuus Verkkolomake: Kirjautuminen, (etusivu), kysymyssivut, (keskeytyssivu), lopetussivu Paperilomake: (saatekirje), kansilehti, kysymyssivut, takasivu - Kun lomake on suunniteltu: testaa, testaa, testaa 10

11 Lisämateriaalia: Hyvä muistaa lomakesuunnittelussa (1) Kysymysten muotoilu - Käytä ymmärrettäviä käsitteitä (ei asiantuntijakieltä, määrittelyt, täsmennykset ) - Kysy vain yhtä asiaa yhdessä kysymyksessä - Vältä negaatioita kysymysmuotoilussa (Kyllä/ei-vaihtoehtojen merkitys sekoittuu helposti) - Määrittele viiteperiodi (esim. viim. 12 kk aikana, tällä hetkellä ) - Vastausvaihtoehdot: Kattavat ja tarkoituksenmukaiset Ei päällekkäisiä vastausvaihtoehtoja Käytä symmetristä skaalaa Määrittele mittayksiköt selvästi (min, tuntia, euroa jne ) Ohjeet, määritelmät yms. - Sijoita juuri siihen kohtaan lomaketta, missä vastaaja niitä tarvitsee (ei esim. lomakkeen alkuun tai erilliselle ohjesivulle) 11

12 Lisämateriaalia: Esimerkkejä vastausskaaloista Täysin samaa mieltä Jokseenkin samaa mieltä En samaa enkä eri mieltä Jokseenkin eri mieltä Täysin eri mieltä Erittäin tyytyväinen Melko tyytyväinen En tyytyväinen enkä tyytymätön Melko tyytymätön Erittäin tyytymätön Erittäin hyvä Hyvä Kohtalainen Huono Erittäin huono Usein Päivittäin Ei kertaakaan Alle 3 kuukautta sitten Silloin tällöin Muutamia kertoja viikossa Harvemmin kuin kerran kuussa 3 6 kuukautta sitten Ei koskaan Kerran viikossa Noin 1-3 kertaa kuussa Yli 6 kuukautta sitten Ei koskaan Noin kerran viikossa Päivittäin tai useita kertoja viikossa Arvosana: Marjaana Järvensivu

13 Lisämateriaalia: Hyvä muistaa lomakesuunnittelussa (2) En osaa sanoa -vaihtoehto - Tee valinta, tarjoatko EOS-vastausmahdollisuuden vai et - Käytä EOS-vaihtoehtoa, jos ei ole erityistä syytä jättää sitä pois Onko vastaajalla tietoa/mielipidettä/arviota kysymästäsi asiasta? Haluaako vastaaja vastata kysymykseen? - Mielipide/arviointikysymyksissä EOS eri asia kuin skaalan neutraali keskikohta (ei samaa eikä eri mieltä) Jos mahdollista, erota EOS lomakkeella visuaalisesti (muuten vaarana, että muuttaa esim. 5-portaisen skaalan 6-portaiseksi) Kysymysjärjestys - Ei ole yhdentekevää! (kontekstivaikutukset) - Ensimmäinen kysymys tärkeä (sovelluttava kaikille, helppo, motivointi ), mieti myös lopetus - Ryhmittely aihealueittain helpottaa vastaamista. Huom! Vastaajalle selkein järjestys ei välttämättä sama kuin tutkijan jäsennys aiheesta 13

14 Lisämateriaalia: Hyvä muistaa lomakesuunnittelussa (3) Lomakkeen kokoaminen - Suunnittele selkeä ja looginen navigaatiopolku Vastaaja oppii kyseisen lomakkeen logiikan heti lomakkeen alussa Tue opittua läpi lomakkeen Systemaattisuus!! (merkitse samoja asioita samalla tavalla läpi lomakkeen) - Kirjoita kysymykset niin, ettei niissä ole turhaa toistoa (kevyempi lukea, esim. vaihtoehtoja ei kannata sisällyttää varsinaiseen kysymykseen) - Sijoita samoja vaihtoehtoja sisältävät osakysymykset yhdeksi sarjaksi/taulukoksi (vähentää toistoa, säästää tilaa lomakkeella) - Pidä skaalojen suunta samana läpi koko lomakkeen - Vastaustila systemaattisesti joko vaihtoehtojen vasemmalle tai oikealle puolelle - Sijoita vaihtoehdot mieluummin vertikaalisesti, ei horisontaalisesti - Sijoita vaihtoehdot visuaalisesti tasavälein, jotta vaihtoehtojen keskinäiset suhteet tulkitaan oikein - Hyödynnä sitä, että katse kohdistuu luontaisesti vasempaan yläkulmaan (vastaajalle vähemmän tärkeä/epäolennainen tieto oikeaan alaneljännekseen) 14

15 Lisämateriaalia: Hyvä muistaa lomakesuunnittelussa (4) Hyppyrakenne (jos lomakkeella kysymyksiä vain osalle vastaajista) - Paperilomake: Vastaaja navigoi lomakkeella Hyppyohjeiden oltava erittäin selkeät, jotta vastajaa osaa noudattaa niitä - Verkkolomake: Hyppyrakenne ei näy vastaajalle (ohjelmoitu etukäteen) Testaa, että hyppyrakenne toimii Visuaalisten tehosteiden käyttö (värit, symbolit) - Tarvitaan vain jos halutaan erityisesti kiinnittää vastaajan huomio johonkin kohtaan - Sanat tai lauseen osat, jotka ovat erityiset tärkeitä, voidaan korostaa visuaalisesti (esim. lihavointi, alleviivaus) - Korostetaan esim. poikkeamaa navigaatiopolusta (esim. hyppyrakenne postikyselyssä) Käytä hyppyohjeissa merkittävää visuaalista muutosta, jotta ne huomataan (erilaiset symbolit, nuolet tms., taustaväri, suurempi fontti ) - Käytä visuaalisia korostuskeinoja harkiten! (älä turhaan koristele lomaketta) 15

16 Lisämateriaalia: Hyvä muistaa lomakesuunnittelussa (5) Verkkolomakkeista - Kysymysrakenteissa ja asetusten määrittelyssä huomioi ohjelmiston ominaisuudet - Määrittele, onko jokaiseen kysymykseen pakko vastata Älä pakota vastaaja, ellei erityistä syytä (tai lisää vähintään EOS-vaihtoehto) - Keskeytysmahdollisuus Voiko lomakkeelle palata? Jos voi: Miten lomakkeelle palataan? - Virheilmoitukset Useimmissa ohjelmistoissa pystyy (ainakin jossain määrin) määrittelemään raja-arvoja hyväksyttäville vastauksille, avokenttien merkkimäärää jne. Kerro virheilmoituksessa, mikä on vialla ja miten kysymyksestä pääsee eteenpäin (miten vastaajan täytyy muuttaa vastaustaan, jotta lomakkeella pääsee eteenpäin)? Pelkkä error -ilmoitus ei auta vastaajaa - Varmista lomakkeen toimivuus eri laitteilla ja selaimilla (tabletit, älypuhelimet ) 16

17 Miksi lomaketestaus on tärkeää? - Selvitetään vastaajien näkökulmaa ja jäsennystä tutkimusaiheesta - Tutkitaan kysely-vastaamisprosessia vastausten laadun kehittämiseksi - Pienennetään katoa tekemällä vastaajaystävällisempiä kysymyksiä ja lomakkeita - Auttaa ymmärtämään syvemmin kysely- ja haastatteluaineistojen luonnetta - Auttaa tulkitsemaan aineistoja monipuolisemmin 17

18 Lomakkeiden käyttäytymistieteellinen tutkimus ja testaaminen Tilastokeskuksessa - Sovelletaan käyttäytymistieteellistä tietopohjaa ja erilaisia esitestausmenetelmiä lomakkeiden kehittämistyössä - Uutena lähestymistapana käytettävyystutkimuksen tarjoama tieto (verkkolomakkeet) Yleisimmät menetelmät: - Kognitiiviset haastattelut - Käytettävyystestaus - Lomakearviointi - Fokusryhmähaastattelu - Vuorovaikutuskoodaus (haast.lomakkeiden testaus, aineistona haastattelutilanteissa käyty keskustelu) - Koeasetelmat (split ballot/panel/sample experiments) 18

19 Kognitiiviset haastattelut - Kognitiivisilla haastatteluilla testataan lomakeluonnoksia tai yksittäisiä kysymyksiä ja käsitteitä - Verkkolomakkeiden testauksessa yhdistetään käytettävyystestaukseen - Selvitetään mm.: Kuinka vastaaja on ymmärtänyt kysymyksen? Mitä yksittäiset termit ja käsitteet merkitsevät? Minkä tyyppistä informaation mieleen palauttamista vastaajalta edellytetään? Millä perusteella vastaaja valitsee vastauksensa? - Vastausprosessia selvitetään ns. ääneenajattelulla Pyydetään vastaaja kertomaan: mitä ajattelet juuri nyt, miten päädyit vastaukseesi - Saadaan tietoa, miten vastaaja tulkitsee kysymyksen ja onko vastaajalla vastaamisvaikeuksia Tulosten perusteella voidaan muokata kysymyksiä tarkoituksenmukaisemmiksi 19

20 Esimerkki: Työyhteisö-käsitteen eri tulkinnat Kuinka tyytyväinen olet työyhteisösi avoimuuteen asioiden valmistelussa ja päätöksenteossa? - 15 kognitiivista haastattelua tiedonkeruun kohteena olevassa työyhteisössä - Työyhteisö tulkittiin seuraavilla tavoilla: Tiimi 1 Vastuualue 1 Vastuualue/tulosyksikkö 5 Tulosyksikkö 2 Tulosyksikkö/koko organisaatio 1 Koko organisaatio 3 Muu 1 Ei tarkkaa määrittelyä 1 20

21 Kiitos! Marjaana Järvensivu