MODULAR SURVEYS AND CHUNKING Esomar aamiainen 27.10.2015 Cafe Ekberg Jari Pajunen Taloustutkimus Oy
Modular Surveys for Agile Research Solutions John Crockett, David Jamieson, Grand Miller Lähtökohta: Miten toteuttaa laaja (=liian pitkä) tutkimus (online) kohderyhmää edustavasti näännyttämättä vastaajaa. Oletus: Liian pitkät lomakkeet heikentävät vastausten laatua. 2
Modular Surveys for Agile Research Solutions John Crockett, David Jamieson, Grand Miller Esimerkkitutkimus: The Canadian Social Values Toteutettu vuosittain vuodesta 1983 lähtien 149 strukturoitua kysymystä 20 muuta maata Tavoitteena edustava otos Pyritään ymmärtämään motivaatioita jotka vaikuttavat asenteisiin ja käyttäytymiseen; sovelletaan markkinatalouden ilmiöihin Tuotteiden/palvelujen kiinnostavuuteen Kaupallisten viestien omaksumiseen Toteutus joulukuu 2014-helmikuu 2015 3
Haaste 1: Otoksen muodostaminen Miten korjata otoksen muodostamisessa Access paneelien vinoumat, esim. nuorten miesten puuttuminen VASTAUS: Random Domain Intercept Technology (RDIT) Ns. Dynacmic source sampling RDIT altistaa netissä surfaajat IP osoitteiden avulla vastaamaan kyselyihin. IP osoitteiden arvonta voidaan kohdistaa haluttuihin sivustoihin Lopullinen näyte muodostettiin Access paneelien ja RDIT:n avulla rekrytoiduista vastaajista. 4
Haaste 2: Miten saada vastaajat vastaamaan (liian) pitkään lomakkeeseen turhautumatta Liian pitkät lomakkeet vaikeuttavat suurten otosten keräämistä ja heikentävät vastausten laatua turhautumisen takia. VASTAUS: Modulaarinen tutkimuslomake, jonka vastaaja itse päättää kuinka kauan haluaa vastata. 5
Moduulien muodostaminen Lähtökohta: 149 kysymystä Pohdittava: Mitkä kysymykset muodostavat analyysin kannalta kokonaisuuden Mitkä ovat kysymyksiä, jotka pitää vastaamisen kannalta esittää lähekkäin tai ylipäätään samalle vastaajalle tutkimuksessa Esimerkiksi: Immigrants of different races and ethnic groups should set aside their cultural backgrounds and try to blend into the Canadian culture. Overall, there is too much immigration. It threatens the purity of the country 5-portainen asteikko:.totally agree.totally disagree Köntit muodostettiin niistä kysymyksistä, joista oli tarkoitus tehdä korrelaatioanalyysi. 6
Moduulien muodostaminen: Items Chunks Battery Statement 1 Statement 1 Statement 1 Statement 2 Statement 14 Statement 14 Statement 3 Statement 11 Statement 11 Statement 4 Statement 2 Statement 2 Statement 5 Statement 4 Statement 4 Statement 6 Statement 7 Statement 7 Statement 7 Statement 12 Statement 12 Statement 8 Statement 13 Statement 13 Statement 9 Statement 5 Statement 5 Statement 10 Statement 3 Statement 3 Statement 11 Statement 8 Statement 8 Statement 12 Statement 9 Statement 9 Statement 13 Statement 6 Statement 6 Statement 14 Statement 10 Statement 10 Lopputulos: 34 erilaista kysymyspatteria, joista jokaiseen kuului 3-6 väittämää. 7
Tutkimuksen toteutus: 34 erilaista kysymyspatteria, joista jokaiseen kuului 3-6 väittämää Vastaus hyväksyttiin, kun vastaaja vastasi vähintään kahteen patteristoon (eli 10-12 kysymykseen) ei riittävästi haluttuun vastaajamäärään. Tavoite normaalitilanteessa n=2000 (koko lomake) Vastaajalle arvottiin seuraavaksi vastattava patteristo Vastaaja sai valita kuinka kauan jatkaa vastaamista haluatteko vastata vielä yhteen kysymyspatteriin. 8
Oletus: Loppuunviedyt moduulit Vastaaja 1 Vastaaja 2 Vastaaja 3 Vastaaja 4 Vastaaja 5 Vastaaja 6 Vastaaja 7 Vastaaja 8 Vastaaja 9 Vastaaja 10 Q1-5 Q6-10 Q11-15 Q16-20 Otos per moduuli 5 6 5 4 9
Kuinka pitkään vastattiin.. Jakauma vastausten pituuden mukaan 8-12 kys / > 5 min 19% 13-25 kys / 6-10 min 9% 31% 29% 26-37 kys / 11-15 min 38-50 kys / 16-20 min 13% >50 kys / > 20 min Kokonaisvastaajamäärä 4 444 vastaajaa 10
Vastaaprofiili ja lomakkeen pituus 11
Loppupäätelmiä: RDIT vastaajat eroavat jonkin verran Access panel -vastaajista Optimistisempia Avoimempia uusille kokemuksille Uutuuksien ja riskien metsästäjiä Uskovat markkinatalouteen Sitoutuvat brändeihin; erityisesti uniikkeihin ja esteettisesti vetovoimaisiin Sosiaalisesti avoimempia Hylkivät auktoriteetteja Könttäys ja modulointi Vastaamishalukkuus myönteinen yllätys Sopii tutkimuksiin, joissa köntit ja tutkimuksen tavoitteet ovat yhteneväiset Etu tulee lähinnä vastausten laadusta, kustannukset todennäköisesti jonkin verran edullisemmat RDITin avulla tavoitettiin paremmin nuoria miehiä 12