Survey - luennon teemat Survey viestinnän tutkimusmenetelmänä Jouni Kivikoski 19.11.2008 1. Surveyn käyttöön liittyviä haasteita 2. Otanta 3. Kyselylomake 4. Survey-kenttätyön vaiheet 5. Aineiston haltuunotto ja analyysi 1 2 Se kyselytutkimuksista... Kritiikkiä survey-tutkimuksia kohtaan Tukholman alueella tehdyssä kyselyssä yli 60 prosenttia talouksista ilmoitti lajittelevansa pakkausjätteet. Todellisuudessa vain 15-20 % teki näin! Australialaisessa mainonnan tutkimuksessa 23 prosenttia vastanneista väitti saaneensa erään tavaratalon myyntiluettelon viimeisen viikon aikana. Ne nostavat esiin enemmän kysymyksiä kuin antavat vastauksia. Ne ovat avoimia moninaisille virhetulkinnoille. Ne lupaavat paljon, mutta kertovat loppujen lopuksi varsin vähän todellisuudesta. Siksi niiden perusteella on usein vaikeata tehdä selkeitä johtopäätöksiä. Todellisuudessa kyseinen tavaratalo ei ollut lähettänyt mitään materiaalia 6 kuukauteen! 3 4 Lisää kritiikkiä Kyselyn keinoin on äärimmäisen vaikea kehittää uusia näkökulmia tai löytää uusia tapoja tulkita tutkittavia ilmiöitä. Tämä johtuu siitä, että hypoteesit ja vastausvaihtoehdot on pääosin tiedettävä ennen ensimmäistäkään haastattelua. Survey julkisuudessa Pertti Suhonen 1991 1) Käytetyt kysymykset eivät ole yksiselitteisiä. 2) Aineiston edustavuuteen ja tulosten luotettavuuteen ei ole riittävästi paneuduttu. 3) Tutkimustuloksista tehdään herkästi ylitulkintoja. Pertti Alasuutari (2000) 5 6 1
Yleisiä haasteita tutkijalle Tutkimusmenetelmien hierarkia (Tom Wilson, University of Sheffield 1995) Pyri ensikäden tietoon, käytä suoraa havainnointia, jos vain voit. Rakenna vertailuasetelmia. Pyri asiakaslähtöisyyteen myös tutkimuksessa. Käytä määrällistä ja laadullista menetelmää rinnakkain. Havainnointi Suora havainnointi Epäsuora havainnointi Osallistuva havainnointi Strukturoitu havainnointi Vapaamuotoiset haastattelut Dokumentit Elämänkerrat Kyselyt Strukturoidut haastattelut Päiväkirjat 7 8 Esimerkki toisenlaisista mittareista: Liikenneturvan käyttk yttäytymisindeksitytymisindeksit Kuinka moni käyttää pyöräilykypärää? Turvavöiden käyttö Heijastimen käyttö Miten autoilijat ja jalankulkijat noudattavat liikennevaloja? Miten kovaa ajetaan? Miten lähellä edellä ajavaa? Suuntamerkin käyttö Liikenteen ilmapiiri (Liikenneturva) Onko ilmapiiri parantunut / heikentynyt / pysynyt ennallaan? Onko yleistynyt: kaahaaminen, malttamattomuus ruuhkissa, riskinotto ohituksissa, piittaamattomuus säännöistä? Entä myönteiset piirteet: Sääntöjen noudattaminen, harkitsevuus ohituksissa, kohteliaisuus, joustavuus? 9 10 Kuinka syvälle survey pääsee? Mitkä seikat selittävät parhaiten viestintätyytyväisyyttä? Wiio kokosi 22 organisaation viestintäilmastotutkimuksen tulokset yhteen. Regressioanalyysin pohjana oli 25 OCD-lomakkeen muuttujaa. Saatiin malli, joka selitti 38 % viestintätyytyväisyyden vaihteluista. Vastaava tilanne asiakastyytyväisyystutkimuksissa! Survey-tutkimusten haasteita Selitysasteet heikkoja, suuri osa ilmiöstä jää selittämättä. Tieto-asenne-käyttäytyminen -ketju ei toteudu oletusten mukaan. Vaikutusten mosaiikkimaisuus. Eri kanavien ja sanomien tulosten erottaminen mahdotonta. Jatkuva gallupien tekeminen kallista, mielikuvat kehittyvät hitaasti. 11 12 2
Hyvän n tutkimuksen ominaisuuksia (1) Selkeät tutkimuskysymykset ja vastaukset niihin tutkittavan ilmiön tuntemus käsitteiden määrittely raportin rakenne määräytyy tutkimusongelmasta Tutkimuksen tavoitteet realistiset, selkeät, riittävän harvalukuiset Hyvän n tutkimuksen ominaisuuksia (2) Tutkimusmenetelmän hallinta tulosten reliabiliteetti (mittaako oikein) systemaattisuus laadullisessa erittelyssä lähestymistavan validiteetti (mittaako oikeita asioita) Tutkimusaineiston hallinta edustavuus selvitetty laajuus sopiva, rajaukset perusteltuja 13 14 Hyvän n tutkimuksen ominaisuuksia (3) Tutkimusasetelma (lähestymistapa) mielenkiintoinen kaavio kertoo eri ilmiöiden väliset yhteydet, vertailuasetelmat ym. koeasetelma kuvaileva / selittävä poikkileikkaus / ajallinen perspektiivi VALMIIDEN AINEISTOJEN HYÖDYNT DYNTÄMINEN 15 16 Sekundää äärianalyysi Yhteiskuntatieteellinen tietoarkisto sisältää erilaisia survey-datoja kyselylomakkeineen. http://www.fsd.uta.fi/ 17 18 3
Tutkimuksen perusjoukko ja otos OTANTA Määrittele ensin se perusjoukko, jota koskevaksi tulokset haluat yleistää. Otoksen koko ei kuitenkaan riipu suoraan perusjoukon koosta. Otoksen on oltava sitä suurempi, mitä 1. enemmän on hajontaa, 2. pienempi riskitaso halutaan, 3. enemmän on alaryhmiä, joita halutaan vertailla. 19 20 PERUSJOUKKO 55 % Otantavirhe Samasta perusjoukosta poimitut otannat antavat erilaisia tuloksia. Tämä johtuu sattumasta. otos 1 57 % otos 2 59 % Kuinka suuri otos? 100 vastausta kertoo jo yleispalautteen. Usein riittää noin 200 300 vastausta. Kasvata otosta, jos haluat lisätä tulosten luotettavuutta. Alle 30:n osaryhmiä ei pitäisi tarkastella. otos 3 49 % 21 22 Otantamenetelmiä Otos Excel-tiedostosta satunnaisotanta yksinkertainen systemaattinen ositettu ei- satunnaisotanta lumipallo harkinta Tavallisesti paras otantatapa on ositettu satunnaisotanta. Määritellään, montako henkeä (esim. 100) kustakin kohderyhmästä tarvitaan otokseen. Lasketaan Excelillä satunnaisluku kullekin kohderyhmään kuluvalle ja järjestetään rekisteri satunnaisluvun mukaan. Valitaan tarvittava määrä vastaajia (esim. 100) listan alusta lähtien. 23 24 4
Ei-satunnainen otanta (=näyte) Teoreettisesti huonompi, valitaan käytännön syistä. Jos ei tavoitella tilastollista yleistettävyyttä. Lumipallo, kun vastaajia on vaikea löytää. KYSYMYSTEN LAADINTA 25 26 Mitä kannattaa kysyä?? Mitä ei? Kysy vastaajien omista kokemuksista, mitä he ovat tehneet, mikä on heidän tilanteensa. Vältä: kysymästä tietoja, jotka on voinut saada vain toissijaisesta lähteestä hypoteettisia kysymyksiä käsityksiä syy-seuraussuhteista ratkaisuja monimutkaisiin ongelmiin Mitä kysymme? (Sudman & Bradburn,, 1982) 1. Älä muotoile yksittäisiä kysymyksiä ennen kuin olet ajatellut perusteellisesti, mitä haluat tutkia. 2. Kirjoita tutkimusongelmasi auki ja pidä se käsillä kun muotoilet kysymyksiä. 3. Kysy jatkuvasti: Miksi haluan tämän tietää? 27 28 Arvioi vastausvaihtoehtoja: Vastaajilla on taipumusta... Ovatko vaihtoehdot kattavia? Ovatko ne toisensa poissulkevia? Ovatko ilmaisut yksiselitteisiä? Onko vaihtoehtojen järjestys perusteltu? Vaihtoehto Muu, mikä auttaa kattavuuteen, mutta saa harvoin vastauksia. olla samaa mieltä tutkijan kanssa, miellyttää tutkimuksen teettäjää, antaa yleisesti suotaviksi oletettuja vastauksia (esittää todellista halukkaampaa tai aktiivisempaa), olla mieluummin vastaamatta kuin antaa kritiikkiä, välttää asteikon ääripäitä (en osaa sanoa -taipumus). 29 30 5
50 40 30 20 10 0 Kysymysten kehystys vaikuttaa! % (n=1117) 60 Täysin samaa mieltä Osittain samaa mieltä Osittain eri mieltä Veroja on alennettava Veroja on alennettava, vaikka se johtaisi sosiaaliturvan leikkauksiin Täysin eri mieltä Olli Kangas 1993 Mitta-asteikko asteikko Kyllä-ei-kysymyssarja tai monivalintakysymys (checklist), tuottaa luokitteluasteikollista tietoa. 31 32 Asteikko Laatueroasteikko Järjestysasteikko Laadullisten ominaisuuksien kvantifiointia. Useimmiten 5- tai 7-portainen välimatkaasteikko. Välimatkaasteikko Mitta-asteikot asteikot Esimerkki Merkitse itsellesi tärkeät kanavat: 1 intranet 2 sisäinen lehti 3 infotilaisuudet Aseta tärkeysjärjestykseen yhdestä kolmeen: Intranet Sisäinen lehti Infotilaisuudet 4 erittäin tärkeä 3 tärkeä 2 ei kovinkaan tärkeä 1 ei lainkaan tärkeä Sallitut menetelmät prosenttijakauma, ristiintaulukot, khiin neliö testit edellisten lisäksi järjestyskorrelaatiot, mediaani keskiarvo, t-testit, korrelaatiot 33 Mieti jo kysymystä laatiessasi, miten aiot tulkita tuloksia EI NÄIN: Esimies-alaisviestintä on parantunut viime vuoden aikana. VAAN MIELUUMMIN NÄIN: Viime vuoden aikana esimies-alaisviestintä on Samaa mieltä. eri mieltä Parantunut / heikentynyt / ennallaan 34 Hyvä lomake Lomakkeen pituus Yksi asia kerrallaan. Kysy olennaisia asioita useammalla eri tavalla. Kysy sekä myönteisiä että kielteisiä seikkoja. Etene loogisesti, aloita helpolla kysymyksellä. Sinuttele tai teitittele johdonmukaisesti. Esitestaa lomake Laske jokainen kohta, jonka vastaaja joutuu täyttämään (muuttujien määrä): 20-40 kohtaa = kevyt lomake 41-100 kohtaa = normaali lomake Yli 100 kohtaa = vaativa lomake 35 36 6
Tiedonkeruutavat KENTTÄTY TYÖ henkilökohtainen haastattelu puhelinhaastattelu postikysely telefaksi nettikysely /sähköposti ennakkoinformoitu kysely 37 38 Posti- tai nettikysely Kyselyn rajoituksia: ETUJA Suhteellisen edullinen tapa koota yleistä tietoa laajalta joukolta. Kysymykset esitetään kaikille samassa muodossa. Tulokset yleistettävissä koko kohderyhmään. Palautus kestää viikkoja. Kysymysten oltava yksinkertaisia. Vain vähän avokysymyksiä. Virheellinen postituslista vääristää tulokset. Ei tiedetä tarkoin, kuka on vastannut kyselyyn. 39 40 Nettikysely Tutkimukseen valituille lähetetään sähköpostilla kutsu tutkimukseen ja linkki + salasana tutkimuslomakkeeseen. Edellyttää rekisteriä sähköpostiosoitteista tai ennakkokontaktia puhelimitse. Markkinoilla on useita kaupallisia nettikyselypalvelua tarjoavia yrityksiä. Vaihtoehtona verkkosivustolla oleva linkki kyselylomakkeeseen. Tutkimusaika esim. kuukausi, jona aikana vierailleiden vastaukset kootaan yhteen. Ei otos vaan profiili sivustolla kävijöistä Nettikysely ETUJA: Hyvä tapa saada palautetta jo päivässä-parissa. Nopeuttaa etenkin kansainvälisiä tutkimuksia. Avoimet vastaukset rikkaampia kuin kirjekyselyssä. Vastaukset tallentuvat suoraan tietokantaan, tämä säästää posti- ja tallennuskuluissa. HAASTEITA / PUUTTEITA: Vastaaja väsyy herkemmin, lomakkeen oltava lyhyt. Kasvoton, ei yhtä virallisen tuntuinen kuin kirjekysely. 41 42 7
Puhelinhaastattelut ja puhelininformoitu kysely ETUJA Puhelinkontaktien avulla vastausten kato pystytään paremmin hallitsemaan. Tarjoavat tarkkaa tietoa esim. kanavien tavoittavuudesta. Ennakkoinformointi tärkeää pitkissä kyselyissä. Hyvä puhelinhaastattelu vastaa anniltaan esim. ryhmäkeskustelusta saatua antia. Miksi kyselyyn ei vastata? Kiire. Aihepiiri vieras, ei kiinnostava. Ei uskota kyselyn muuttavan mitään. Yleinen periaate: ei vastaile mihinkään. Pelko vastaamisen seurauksista. PUUTTEITA Puhelinhaastattelutuloksia ei voi suoraan verrata postikyselyn tuloksiin. Puhelinnumeroiden hankintakulut nostavat hintaa. 43 44 Yhteisölehtien lukijatutkimusten palautusprosentteja Postikyselyt 44 % Ennakkoinformoidut kyselyt 66 % Lehden välissä lähetetyt kyselyt 5 % Puhelinhaastattelut n.60 % Vastausprosenttia parantavia tekijöit itä Ennakkoilmoitus sähköpostitse / postitse / puhelimitse Muistutusten määrä Lomakkeen pituus (kun mennään yli 100 muuttujan) Viimeistelty lomake Yhteystiedot ovat ajan tasalla Kysely on henkilökohtainen (nimellä) 45 46 Muistutusten merkitys Postikyselyissä ensimmäinen muistutus (kortti) lisää vastausprosenttia noin 10 %-yksiköllä. Toinen muistutus & lomake noin + 10 %-yksikköä Nettikyselyissä vastausprosentit ovat parantuneet +5 15 %-yksikköä muistutusten ansiosta Vastaamattomuuden käsittelytavat: Painotetaan tilastollisesti aliedustettuja osaryhmiä. Toisen aallon vastaajien vertaaminen ensimmäisen aallon vastaajiin (taustat, vastausten luonne). Näyte vastaamattomista (haastatellaan 20-30 puhelimitse). 47 48 8
Aineiston analyysi AINEISTON ANALYYSI alustava tarkastelu ja luokittelu muuttujamuunnokset kuvailu: prosenttijakauma, ristiintaulukointi, graafit tiivistäminen: keskiarvo, hajonta hypoteesien testaus: tilastolliset testit, monimuuttuja-analyysit johtopäätökset ja suositukset 49 50 Muuttujamuunnokset Saattavat viedä paljonkin aikaa! Epäjohdonmukaisten vastausten tarkistaminen Avointen vastausten luokitteleminen (tarvittaessa) Jatkuvien muuttujien luokittelu (tarvittaessa) Väittämien suunnan kääntäminen (tarvittaessa) Yhdistettyjen mittarien laskeminen (summamuuttujat) Tilastollinen analyysi ja testaaminen Miten eri ryhmät poikkeavat toisistaan? Onko muutos todellinen? Miten eri tekijät vaikuttavat toisiinsa (onko muuttujien välillä yhteys)? Käytetyimmät testit ja menetelmät khiin neliö testi korrelaatiot t-testi / varianssianalyysi regressioanalyysi monimuuttujamenetelmät 51 52 Käyttämällä merkitsevyystestejä Khiin neliötesti netin kautta Estyt tekemästä liian rohkeita johtopäätöksiä liian pienten erojen pohjalta. 95 %:n riskitaso on oireellinen 99 %:n merkitsevä 99,9 %:n erittäin merkitsevä Tilastollinen merkitys ja käytännöllinen merkitys ovat kaksi eri asiaa. Khiin neliötestin voi tehdä Kristopher J. Preacherin (University of Kansas) sivuilla: http://www.psych.ku.edu/preacher/chisq/chisq.htm Näppäile taulukkoon havaintomäärät ja ohjelma laskee testin arvon, jonka tulee jäädä alle 0.05:n, jotta erot olisivat tilastollisesti edes melkein merkitseviä. Muista myös khiin neliötestin muut vaatimukset (havaintoja tulee olla riittävästi taulukon joka osassa)! 53 54 9
Kaksi tärkeintt rkeintä asiaa tutkimusraportissa SURVEY-RAPORTTI RAPORTTI Luotettavuus: Käsittele tulosten luotettavuutta 1. tutkimusasetelman, 2. muuttujien operationalisoinnin ja 3. aineiston keruun yhteydessä. Kerro, mitä kaikkea teit (tai et huomannut tehdä) luotettavien tutkimustulosten saamiseksi. 55 56 Kaksi tärkeintt rkeintä asiaa raportissa Selkeys: Mieti, millä tavalla aineistoa tulisi ryhmitellä uudelleen, jotta tulokset tulisivat vieläkin selvemmiksi? Havainnollista olennaisimpia tuloksia graafeilla! Mieti etenemisjärjestys: voitko irrottautua lomakkeen järjestyksestä? 57 10