Helsingin yliopisto, Syksy 2009 Seppo Laaksonen

Transkriptio

1 Surveymetodiikka Helsingin yliopisto, Syksy 2009 Seppo Laaksonen Tämän materiaalin copyright on tekijän. Sitä voi käyttää asianmukaisella viittauksella (sivut jos tarkempi viittaus on tarpeen): Laaksonen, Seppo (2009). Surveymetodiikka. Kurssimateriaali. Matematiikan ja tilastotieteen t t laitos, Helsingin i yliopisto. i Saatavana tekijältä. 1

2 Surveymetodiikka Helsingin yliopisto, Syksy 2009 Seppo Laaksonen Luennot joihin sisältyy keskustelua, pieniä ryhmätöitä ja kysymyksiä: TI :00-19:00 19:00 PÄÄRAKENNUS AUD XIV TI :00-19:00 PÄÄRAKENNUS AUD XV TO :00-19:00 PÄÄRAKENNUS AUD XIII TI :00-19:00 PÄÄRAKENNUS AUD XV TO :00-19:00 PÄÄRAKENNUS AUD XIII TI :00-19:00 PÄÄRAKENNUS AUD XV TO :00-19:00 PÄÄRAKENNUS AUD XIII TI :00-19:00 PÄÄRAKENNUS AUD XV TO :00-19:00 PÄÄRAKENNUS AUD XIII Luennot pidetään suurin piirtein yhteen menoon, tarvittaessa pieni hengähdystauko. Istunto päättyy siten hieman yli puoli seitsemän. 2

3 Atk-luokka Kumpulan ekakerroksessa (C128) on varattu ke klo sekä ke klo ja ma klo sekä ma klo Tällöin on mahdollisuus harjoitella muutamia kurssin aiheita ohjelmiston avulla. Ensimmäisellä kerralla tutustutaan ohjelmistoihin eli SAS:iin ja SPSS:ään (mahdollisesti hieman Exceliä). Sellaiset jotka jo hallitsevat perusteet, voivat jättää sen väliin. Tarkoitus on, että osanottaja osallistuu ainakin neljään-viiteen harjoituskertaan tai toteuttaa vastaavia asioita omina aikoinaan mutta raportoi tulokset Sepolle. 3

4 2009 Sulkava Mahtaisiko surveyllä ja kirkkovenesoudulla olla jotain yhteistä? 4

5 Surveymetodiikka - aihepiirit 1 : Johdantoa, surveyn käsite, lomake, tapausesimerkkien esittely (niitä jatketaan myöhemmissä osioissa) 2 : Surveyaineiston käsitteet, otanta, ryvästyminen ja otanta, perusestimointia 5 : Data-analyysiä, keskiarvoja, taulukoita ja malleja, 3 : Puuttuneisuus ja sen seuraukset, otoskoko 4 : Datan editointi ja imputointi, painotusmenetelmiä lisää Liite: Skaalat, muunnokset, suhteellisuus ja indikaattorit Esimerkit lähinnä: EU-uhritutkimuksen pilotti (lomake, otanta), Historiatietoisuus Suomessa (lomake, otanta), European Social Survey (Otanta, datan luonne, analyysi), PISA 2006 (otanta, analyysi), Irakin kuolleisuustutkimus (laatu, analyysi) Kuvat: mielikuvitusta virittämään 5

6 Mikä on survey? 1 Surveytutkimuksella tai surveyllä tarkoitan kyselyä tai tiedustelua, jossa tiedon antaa tai siitä vastaa ihminen. Se ei tule siis suoraan esimerkiksi koneesta. Tiedon ei toki tarvitse koskea ihmistä itseään, vaan kysymykseen tulevat esimerkiksi yritys, kunta, jokin muu maantieteellinen alue tai ihmisten muodostama kokonaisuus kuten kotitalous tai perhe sekä myös ihmisen jokin osa. Tämä on varmaankin hieman epämääräinen määritelmä, mutta selkenee kurssin aikana. Yleisesti ottaen oma määritelmäni on laaja, laajempi kuin monen muun. Siten esimerkiksi väestörekisteri on minusta surveytietoa, sillä se kerätään ihmisten itsensä (vaikkapa muuttoilmoitus) tai heidän edustajiensa (syntymän tai kuoleman tai avioliiton vahvistaja) kautta. Kun se on rekisterissä, se ei ehkä enää näytä surveytiedolta mutta on sitä. Tällainen rekisteritieto on periaatteessa täysin oikeata mutta takeita ei ole onko se päivitetty ajan tasalle. Asenteita tai muuta ei-faktatietoa sen sijaan ei rekisteröidä eikä vastaaja itse aina muistane jälkeenpäin äi mitä on kertonut t kyselijälle esimerkiksi koskien sitä, kuinka kauan aikaa on käyttänyt television ajankohtaisohjelmien katseluun viime aikoina? 6

7 Alphabetic List of Variables and Attributes # Variable Type Len Format Informat Label 42 AALUE Char 4 Äänestysalue 57 AEPV Char 8 Avioeropäivä 14 AMMS Char 35 Ammattinimike 53 BLKM Char 2 Biol. lasten lkm 9 EDKANS Char 3 Edellinen kansalaisuus 50 EKATUOS Char 50 Edell. katuosoite 51 EKATUOSN Char 7 Edell. osoitenumero 17 EN Char 50 Etunimet 52 EPOSNO Char 5 Edell. postinumero 16 ESN Char 20 Entinen sukunimi 2 HT Char 11 Henkilötunnus 28 HUKO Char 2 Huoneiston käytössäolo 31 HUONEL Char 2 Huoneluku 29 HUPA Char 3 Huoneiston pinta-ala 27 HUPE Char 1 Huoneistotiet. peruste 40 HUTIVAR Char 5 Huoneiston varusteet 30 HUTY Char 1 Huoneistotyyppi 35 IKOORD Char 6 I-koordinaatti 6 KANS1 Char 3 Kansalaisuus 7 KANS2 Char 3 Kansalaisuus KANS3 Char 3 Kansalaisuus KANSS Char 10 Kansalais. selväkielisenä Alkuosa Väestöres kisterin muuttujist ta 7

8 Mikä on survey? 2 Survey-aineiston kuten monen muunkin tilastoaineiston keruussa hyödynnetään yleisesti otantaa. Tämä merkitsee sitä, että ainakin osa aineiston tilastoyksiköistä on poimittu otannalla. Otannan käytön luonnollisia syitä ovat kustannusten pienentäminen ja tietojen nopeampi käyttöönotto sekä myös, että tutkittava joukko eli perusjoukko on usein epätarkasti etukäteen hahmotettavissa,,ja tiedot siitä kerättävissä. Kaikissa tilanteissa kuitenkin tavoitteena on tuottaa tuloksia jonkin perusjoukon tasolle. Tilastotieteen näkökulmasta tässä on kysymys estimoinnista. Estimointi pitää olennaisena osana sisällään myös tuloksen eli estimaatin epävarmuuden mittaamisen (keskivirhe, luottamusväli, ). Kysely tai tiedustelu voidaan toteuttaa vaihtelevin välinein, kuten postitse, puhelimitse (sekä kiinteällä että kuljetettavalla), käyntihaastatteluin tai sähköisen viestimen kuten netin/webin avulla. Kaikissa tapauksissa vastaus pyrkii kuvaamaan halutun tilastoyksikön ominaisuuksia. Toki on kyselyjä, joissa ei ole erityisiä i iä estimointitavoitteita i tit itt it mutta niistä en juurikaan puhu tällä kurssilla, ehkä joskus moitin. 8

9 Surveymetodiikka Keskeiset aineistot joita on ajateltu käytettävän (tilanne voi muuttuakin): -Irakin kuolleisuustutkimus (Iraq Mortality Survey) jonka kahden tiedoston kuvaus on erillisessä liitteessä. Harjoituksissa katsellaan datoja heti ensi kerralla. -Eurooppalaisen uhritutkimuksen pilotti jota Suomessa toteuttavat Heuni, Tilastokeskus ja HY (minä) jännittävällä otannalla. Tämä on monitahoinen myös siksi että kokeillaan sekä käyntihaastattelua että puhelinhaastattelua että nettiä. Ensi vaiheen harjoittelua varten toivon kaikkien lähtevän katsomaan nettikyselyn lomaketta kohteesta: Tästä tulee kaksi tehtävää: (i) Mainitse ainakin 3 kysymystä joihin on hankala vastata ja perustelu, (ii) Mainitse kaksi kysymystä joissa on huono kysymyksenasettelu ja kerro miten olisi parempi kysyä. LÄHETÄ vastaus s-postilla minulle mielellään ennen ensi viikon luentoa. -Historia-tietoisuus Suomessa projektin alkuvaihe - helsinki 9

10 Surveymetodiikka Keskeiset aineistot (jatkoa): - Kulutustutkimus jossa tiedot kerätään skannerilla ja lähetetään enemmän tai vähemmän automaattisesti aineiston käyttäjälle. Otoksessa mukana olevaa kutsutaan panelistiksi. Alkuosa tarinasta erillisenä liitteenä. - European Social Survey (ESS), ks. org: Lomakkeen tutkimiseen, otannan tarkasteluun, tiedoston luontiin ja analyysiin. Uudet tiedot tulevat nettiin syyskuun lopussa. -PISA (Programme for International Student Assessment of the OECD), ks. Otantakin käydään läpi mutta painotus on analyysissä. Lisäksi esille otetaan sopiva yritysaineisto mikäli kiinnostusta ilmenee. 10

11 Surveymetodiikka Mahdollisia nettikyselytekniikkoja: - Edellä esitelty Uhritutkimuksen ohjelma Digium - Survey Monkey on vapaa väline lomakkeiden tekoon ja kyselyn toteuttamiseen. Katso netistä lisää. -Yliopistossa on ns. E-lomake jota on helppo käyttää myös nettikyselyissä ja käytetään mm. kurssien arvioinneissa. - h l li k/

12 Tiedonkeruu ja lomakesuunnittelu 1 Lomakkeella tarkoitetaan sen kaikkia muotoja, joita ovat: - paperinen postitiedustelussa käytetty itse täytettävä lomake, - paperinen haastattelijan kokonaan tai osittain täyttämä lomake (herkät kysymykset on usein hyvä pyytää täyttämään itse haastattelutilanteessakin tai lähettämään erikseen survey-organisaatiolle), - elektroninen haastattelijan täyttämä lomake (tässä haastattelija voi olla lähellä tai kaukana esimerkiksi puhelimen päässä), -vastaajan täyttämä ttä ä elektroninen lomake kannettavalle tietokoneelle t tms., josta se toimitetaan netitse ja postitsekin (vähenemään päin oltuaan varsin yleinen) survey-organisaatiolle, - nettilomake jonka vastaaja täyttää (tämä voi olla täysin avoin tai pääsy on vain otokseen valituille mikä on tietysti ainoa vaihtoehto laadukkaalle surveylle), - lomakkeen tiedot imuroidaan vastaajan tiedostoista automaattisesti (tietysti tähän on annettu lupa). 12

13 Tiedonkeruu ja lomakesuunnittelu 2 (engl. termejä) PAPI = Paper and Pencil Interview = Perinteinen haastattelu jossa haastattelija täyttää lomakkeen kirjoittamalla (ei enää Suomessa yleinen); kehitysmaissa lähes ainoa vaihtoehto. CAPI = Computer Assisted Personal Interview = Tässä haastattelija täyttää lomakkeen suoraan tietokoneelle, tietokoneohjelmassa voi olla esieditointi valmiina jolloinvastaukset t ovat tiettyyntt tasoon asti jo tarkistettuja. t tt Face to Face Interview (f2f)= Käyntihaastattelu joka voi olla toteutettu PAPI:lla tai CAPI:lla ja jatkettu vaikka netillä tai postilla. CASI = Computer Assisted Self Interview = Itse täytettävä lomake jota tietokoneohjelma ohjaa; osin tarkistettu data; tämä voi olla toteutettu netissä tai omalla tietokoneella ja täyttämisen jälkeen lähetetty sähköpostina tai muuna elektronisena lähetteenä survey-insituuttiin. CATI = Computer Assisted Telephone Interview = Puhelimitse toteutettu kysely jossa haastattelija esittää kysymykset ja merkitsee vastaukset saman tien tiedostoon josta tulee osin tarkistettu. Tässä kyselyssä on usein valmiina myös automatiikka vastaajan valitsemiseksi. 13

14 Tiedonkeruu ja lomakesuunnittelu 3 (kv. termejä) TSI = Telephone Self Interview = Vastaaja soittaa pyydettyyn numeroon jossa automaatti esittää kysymyksen ja pyytää vastaamaan esimerkiksi numeroilla joiden ilmaisin ilmoitetaan sitä ennen. Tällaiset kyselyt eivät voi olla kovin laajoja. Tämä toteutetaan myös siten että annetaan eri numeroita eri vaihtoehdoille, jolloin riittää vain soittaa tähän numeroon. Suorissa TVohjelmissa näitä käytetään paljon ja annetaan ymmärtää että tästä saataisiin jotenkin luotettava kuva. Luotettavuus jää tosiasiassa täysin ilmaan. Postal Survey = Postikysely jossa lomake täytetään itse tavallisesti paperille tai vaihtoehtoisesti annetaan nettiosoite josta löytyy yyysama lomake. Mukana on myös kirjoittautumistunnus jotta tiedetään kuka vastaa ja vastaa vain kerran. Postikyselyssä on mukana kirjekuori johon vastaukset sijoitetaan. Web/Internet Survey = yleensä itse täytettävä lomake. Tässä voi olla otos annettuna etukäteen mutta sen kattavuus ei vielä tätä nykyä ole kovin hyvä edes Suomessa. Useat websurveyt siis eivät täytä yksistään kovin korkeita laatukriteerejä. Vielä epäselvempiä edustavuudeltaan ovat surveyt joihin websurfaajat vastaavat omasta tahdostaan yhden tai useamman kerran. CAI = Computer Assisted Interview joka siis kattaa useita edellisistä. 14

15 Tiedonkeruu ja lomakesuunnittelu 4 Peruskysymyksiä joihin on hyödyllistä vastata lomaketta laadittaessa: 1. Vastaako kysymys haluttuun tutkimusongelmaan? 2. Tuottaako kysymys hyödyllistä informaatiota kokonaisuutena, ottaen siis huomioon muut kysymykset ja analyysitarpeet? 3. Mahtavatko vastaajat ymmärtää kysymyksen siten kuin on tarkoitettu? 4. Onko vastaajilla riittävästi tietoa vastatakseen kysymykseen? 5. Ovatko vastaajat halukkaita vastaamaan annettuun kysymykseen? 6. Pitäisikö kysymys olla esitetty kaikille vain osalle kohdejoukkoa? 7. Onko olemassa muuta tietoa, joka auttaisi analysoimaan kysymykseen yy y annettuja vastauksia (siis myös kysymyksen luotettavuutta)? Lähestymistapa tai tyyli on myös erinomaisen tärkeä. Jos esimerkiksi käytät postitiedustelua, on lähetekirjeeseen kiinnitettävä suuri huomio. Erityyppisille vastaajaryhmille voidaan käyttää myös erilaisia lähetekirjeitä. Jos kysely on suoraan kontaktiin perustuva, on myös huolella selvitettävä paras lähestymistapa. Käyntihaastattelussa on myös pukeutuminen tärkeätä. Vastausohjeistot itse vastattaviin kysymyksiin on tehtävä selkeiksi ja helposti löydettäviksi. Harva esimerkiksi rakastaa ohjeiden etsimistä liitteistä tai netistä. 15

16 Tiedonkeruu ja lomakesuunnittelu 5 Lomakkeen laajuus on eräs iso kysymys. Sen ei tule olla liian laaja eikä niin suppea ettei olennaista informaatiota saada käyttöön. Siis ota huomioon muun muassa seuraavia seikkoja: 1. Valitse mahdollisia kysymyksiä ja kysymyksen sisäisiä vaihtoehtoja huolellisesti. lli 2. Päätä myös huolellisesti mitkä kysymykset lopulta sisällytät kyselyyn. 3. Vastaako kysymys siihen mihin se on tarkoitettu vastaamaan (validiteetti)? 4. Sisällytä sopiva määrä kysymyksiä kuhunkin aihealueeseen ottaen huomioon myös reliabiliteettin (varmistusta siitä että vastaus on uskottava eli kysymys on oikein ymmärretty ja vastaukset annettu vakavuudella). 5. Kuinka kauan lomakkeen täyttämiseen menee, olkoon se haastattelijan tai vastaajan itsensä täyttämä? - Vastaajalle on syytä kertoa etukäteen täytöstä johtuva vastausrasite. Mutta on myös otettava huomioon tiedon keruusta johtuva vastausrasite, mikä voi olla suurempi kuin lomakkeen täyttämisestä johtuva edellyttäen että annetaan mahdollisimman totuuden mukaista tietoa (koskee siis faktatietoja kuten tuloja ja kuluja). uja) 16

17 Tiedonkeruu ja lomakesuunnittelu 6 Kysymysten järjestys on olennainen. Ota huomioon muun muassa: 1. Että ensimmäinen kysymys on hyvin tärkeä. Usein on hyvä, jos se on jo läheisesti itse tutkimuksen pääaiheeseen liittyvä, kiinnostava kysymys tai kysymyspatteristo. Aloituskysymyksen ei tulisi olla hankalasti vastattava. Luonnollisesti sen tulisi iolla myös sellainen, että se koskeek kaikkia eikä vain osaa kohdejoukosta. 2. Missä on sopiva taustakysymysten (sukupuoli ja ikä jolleivät ole muuten tiedettyjä, koulutus, ammatti) paikka? Joskus ne ovat heti aluksi, mutta hyvin usein varsin lopussa. Joskus on hyvä sijoittaa osa alkuun (kuten hyvin helposti vastattavat eivätkä herkät) ja osa loppuun (herkemmät kuten tulot). 3. Kussakin surveyssä tietyt asiat ovat keskeisessä roolissa, ainakin pitäisi olla. Siksi on erikseen tutkittava mikä olisi paras paikka näiden kysymiseksi. Väärä konteksti voi harhaistaa tuloksia. 17

18 Tiedonkeruu ja lomakesuunnittelu 7 Kysymyksiähän voi olla eri tyyppejä, mutta voidaan jakaa vain kahteenkin pääryhmään: 1. Tosiasioita, faktoja koskevat kysymykset. Näitä ovat mm. taustamuuttujat sekä kvantitatiivisia mittoja kuten tuloja ja liikevaihtoa koskevat tiedot. 2. Subjektiivisia näkökohtia koskevat kysymykset: asenteet, mielipiteet, arvioinnit ja tarkoitukset. Tosiasiakysymysten tarkistaminen on periaatteessa helpompaa, jollei täysin, niin ainakin suuruusluokan tasolla. Subjektiiviset tekijät voivat joskus muuttua nopeastikin ja siksi vastaustiedon tarkistaminen jonkin aikaa kyselyn jälkeen voi olla mahdotonta. Koska subjektiivisiin kysymyksiin liittyy suurempi epävarmuus, on hyvä laatia samasta aihepiiristä useampi kysymys. Tällöin puhutaan kysymyspatteristoista. Jatkossa tällaisesta patteristosta etsitään usein perusulottuvuudet, piilevät muuttujat, vaikkapa faktorianalyysillä, ja näin taas vähennetään varsinaisten analysoitavien muuttujien uj määrää. 18

19 Tiedonkeruu ja lomakesuunnittelu 8 Lomakkeissa voi olla vastausvaihtoehdot valmiina (ns. suljettu kysymys) tai vastaukset annetaan vapaassa muodossa (avoin kysymys) tekstinä tai numerona. Jatkuvatkin muuttujat kuten tulot kysytään joskus suuruusluokittain, ei siis antaen yhden vapaan mutta määrätyn ät mittaisen i tilan vastattavaksi. tt Edellinen vaihtoehto voi herkän muuttujan (tulot, varallisuus) tapauksessa tuottaa paremmin vastauksia mutta toisaalta tietojen tarkkuustaso voi olla liian huono jatkoanalyyseihin. Näin on erityisesti jos viimeisellä vaihtoehdolla ei ole ylärajaa. Tämä siis aiheuttaa osittaisen puuttuvuuden aineistoon. Jos on kyse isoista luvuista, vaikkapa miljoonista, voi vastaajilla olla vaikeuksia hahmottaa suuruusluokkaa oikein. Eräs tapa on pyytää tietoa lyhyempänä, esimerkiksi tuhansina. Kummassakin tapauksessa voi tulla suuruusluokkavirhe. Lomakkeen tulee olla äärimmäisen selkeä tämän välttämiseksi. Jos tietoa kysytään hyvin tarkasti, esimerkiksi sadasosina (sentteinä), voidaan tämäkin ymmärtää väärin. Jollei tämä tarkkuus ole erityisen olennainen, on siitä paras luopua. 19

20 Tiedonkeruu ja lomakesuunnittelu 9 Valmiiden vastausvaihtoehtojen antaminen on luonnollisinta subjektiivisten kysymysten yhteydessä, edellyttäen että kysymys on validoitu niin hyvin että vaihtoehdot kuvaavat mahdollisia vastauksia riittävästi. Tällöin voidaan muuttuja ja siis kysymys muodostaa enemmän tai vähemmän yksityiskohtaisena. Joihinkin kysymyksiin riittää kaksi vaihtoehtoa kuten 1=kyllä ja 0=ei, mutta moniin asennetyyppisiin on hyvä käyttää järjestysasteikollista skaalaa. Ehkä yleisin käytetty on viisiluokkainen (1=erittäin huono, 2=huono, 3=tyydyttävä, 4=hyvä, 5=erittäin hyvä), mutta jotkut tutkijat pitävät 7-luokkaista optimaalisimpana. Ja ESS:ssä on menty yleisesti skaalaan 0-10; tässä tekstimuodossa ilmaistaan vain äärivaihtoehdot. Olen nähnyt myös skaalan On kiinnostavaa ja ymmärrettävää huomata, että epäsymmetrinen skaala (esim. edellisen sijasta seuraava: 1=huono, 2=tyydyttävä, 3=hyvä, 4=erittäin hyvä ja 5=kiitettävä) toimii varsin symmetrisesti ainakin jos kyselyssä on numerot 1:stä 5:een kuten edellä. Suurin osa vastaajista ei siis katso tekstiä vaan skaalaa. Symmetrinen skaala on luonnollisesti reilumpi sekä tekstien että numeroiden osalta. Huomattakoon, että jotkut haluavat tehdä sellaisen symmetrisen vaihtoehdon jossa keskimmäinen neutraali vaihtoehto puuttuu. Tämä saattaa lisätä puuttuvien vastausten määrää. 20

21 Tiedonkeruu ja lomakesuunnittelu 10 Erityiskysymys on kuinka vastaamattomuus on sallittu: lomakkeissa voi olla tai sitten ei vaihtoehto en osaa tai olennaisesti eri asiana en halua sanoa tai tieto ei ole käytettävissä, jolloin rima on korkeammalla vastata puuttuvasti. Lisäksi tulokseen voi vaikuttaa se miten vaihtoehdot on merkitty lomakkeelle. ESS:n lomakkeessa on yleensä yksi koodi vastaamattomuudelle mutta lopullisessa lli aineistossa i koodeja on usein kolme. Edellisen lisäksi i kieltäytyneet sekä ei osaa sanoa, jotka haastattelija merkitsee. Lisäksihän monesti lomake on strukturoitu siten, että vastaamisesta tiettyyn kysymykseen esimerkiksi EI seuraa ettei toiseen kysymykseen saa tulla vastauksia. Tämä on tyypillistä ja ongelmakin, kun arvioidaan vaikkapa kunnallisen palvelun hyvyyttä. Jollei ole käyttänyt palvelua, voi toki vastata sen hyvyyteen kuulopuheiden pohjalta muttei omakohtaisen kokemuksen mukaan. The Economist näyttää lukijatutkimuksissaan minimoivan tätä lähettämällä tietyn lehden uudelleen,,jotta vastaaja voi katsoa lukiko artikkelin vain ei. Tosin itse vasta tällöin katson, että tuon olisin lukenut huolella, tuota en ollenkaan. 21

22 Tiedonkeruu ja lomakesuunnittelu 11 (Monikansalliset) Monikansalliset surveyt on laajeneva alue, ja niissä on oltava vielä huolellisempia lomakesuunnittelun kanssa. Niiden suunnittelu on kansainvälisen ryhmän tehtävänä, jonka pitää myös arvioida kysymysten validiteetti ja reliabiliteetti siten että nämä toimivat yhtä hyvin kaikissa osallistujamaissa. On hyvin mahdollista, että kysymyksissä yy y painottuvat vahvojen maiden näkökohdat. Toisaalta vaikeaksi tehtäväksi muodostuu kielikysymys. On luonnollisesti myös selvä, että on kysymysaiheita, erityisesti tosiasioita koskevia, jotka on syytä muotoilla eri tavoin eri maissa joten aikanaan aineistoa käytettäessä kunkin tutkijan on syytä miettiä huolella miten tehdä yhdenmukainen muuttuja. Tyypillinen esimerkki on puolue jota kannattaa tai äänesti edellisissä vaaleissa; nehän eivät ole samat kaikissa maissa. Myös maantieteeseen ja elinkeinoihin sekä etniseen ja uskonnolliseen taustaan t liittyvät kysymykset k on hyvä muotoilla kuhunkin ki maahan sopivasti. Keksi oma esimerkki! 22

23 Tiedonkeruu ja lomakesuunnittelu 12 (Monikansalliset 2) Esimerkiksi PISA:ssa ja Eurobarometrissa lomake tehdään aluksi sekä englanniksi että ranskaksi. Siten lomakesuunnitteluryhmässä on riittävän hyvä osaaminen molemmista kielistä. Tämän jälkeen lomake on käännettävä kaikille kielille joita osallistujamaissa on. Tämä ei ole ollenkaan niin helppo tehtävä kuin voisi kuvitella. Tavallisin tapa on käyttää kahta riippumatonta kääntäjää ja verrata näiden käännöksiä keskenään sekä löytää kompromissi. Tämä käännetään mahdollisesti vielä alkuperäisille kielille eri ammattilaisten toimesta ja katsotaan kuinka hyvä oli tulos. Tämä näyttää jonkin verran vaihtelevan monikansallisesta surveystä toiseen. Vaativimmissa tiedusteluissa esimerkiksi suomenruotsi ja ruotsinruotsi tai ranskanranska, belgianranska ja sveitsinranska ovat eri kieliä, mutta joissain kelpuutetaan nämä samaksi. ESS:ssä peruslomake on englanniksi ja kaikkien tutkittavissa netistä. Kussakin maassa suoritetaan sen kääntäminen parhaalla mahdollisella tavalla. Tämä voi tuottaa virheitä kuten Suomen lomakkeessa jossa kysymys joutumisesta murtovarkauden tai väkivallan uhriksi alkuperäislomakkeessa burglary or assault ) murtovarkaus käännettiin kolmella kierroksella virheellisesti sanalla varkaus. Tämän seurauksena Suomen kohdalla kyllä-vastauksia voidaan arvioida olevan tarkoitettua enemmän kuin jos olisi kysytty murtovarkaudesta. 23

24 Haastattelijan roolista Haastattelija on tässä henkilö, joka tiedon keruun hoitaa joko suoraan tai epäsuorasti. Haastattelijoita yhdessä surveyssä voi olla vain muutama mutta myös hyvin huomattava määrä. Jokin suhde otoskokoon haastattelijoiden määrällä kuitenkin on. Isommissa survey-instituuteissa on käyntihaastattelijaa ja jos otoskoko on esimerkiksi 10000, niin kullekin tulisi silloin haastateltavaa. Puhelin- tai muu kaukohaastattelu vie yleensä vähemmän aikaa haastateltavaa kohti kuin käyntihaastattelu. Haastattelijalla ei pitäisi olla vaikutusta itse tietoon, mutta tätä ei voi estää. Useissa survey-aineistoissa onkin haastattelijan koodi käytettävissä, joten voidaan myös analysoida ns. haastattelijavaikutusta. Suosittelen sen tutkimista mikäli tieto on käytettävissä. Joskus koodin takaa löytyy myös haastattelijan taustatietoa, kuten sukupuoli, ikä ja vaikkapa kokemus haastattelijana. Haastattelijoiden enemmistö useimmissa teollisuusmaissa on naisia, mutta on kulttuureja joissa nainen ei voi haastatella miestä ja toisaalta nainenkaan ei helposti voi mennä haastattelemaan naista, koska tämä ei ole perheen pää. Perheen pään kautta taas joissain i kulttuureissa vastaukset t vain annetaan. Surveyn onnistuminen vaatiikin näissä oloissa hyvin monitahoisen haastattelija- ja vastaajakokoonpanon eikä mitä tahansa kysymyksiä ksiä kannata edes harkita esitettävän. än 24

25 Lomake-esimerkki Oheinen taulukko on kopio F.M.. Orkinin i esitelmäkalvosta ISI:n (International Statistical Instituten) konferenssista Durbanissa Tulokset koskevat kahdella eri tavalla muotoiltuja kysymyksiä eli onko kaksi (puolesta tai vastaan) vai kolme (puolesta, vastaan ja siltä väliltä) vaihtoehtoa kysymyksessä? 25

26 Lomakkeen testaus ja vaikutus, Historiatietoisuus Suomessa esimerkki Kyösti Knuuttila (2009) Historiatietoisuus Suomessa -tutkimushankkeen esitutkimus toteutettiin lomakekyselynä. y Kyselylomake y postitettiin 1000 väestörekisteristä satunnaisesti poimitulle vuotiaalle Manner-Suomessa asuvalle vastaajalle viikolla 13 ( ). Ruotsinkielen äidinkielekseen ilmoittaneille (40 kpl) p) lähetettiin ruotsinkielinen kyselylomake y ja muille suomenkielinen (960 kpl). Esitutkimuksen otoskoko valikoitui kompromissina aikataulun, tulosten tarkkuuden ja kustannusten välillä. Esitutkimuksen tavoitteena oli saada 200 vastausta eli 20 % vastausprosentti. Kyselylomakkeen palautti yhteensä 148 vastaajaa mennessä. Palautuneista lomakkeista 5 oli kokonaan tyhjiä ja yhden oli täyttänyt otokseen valitun henkilön puoliso. Nämä 6 lomaketta jätettiin pois kyselystä. Täten vastauksia kertyi yhteensä 142 eli todelliseksi vastausprosentiksi muodostui 14,2 %. 26

27 Lomakkeen testaus ja vaikutus, Historiatietoisuus Suomessa esimerkki 2 Kohdassa 1 "Mikä on historian i merkitys Teille?" kysymys e. "tietoa, t joka auttaa minua elämän ja muutoksien hallinnassa." osoittautui hankalaksi vastata. Vastaajista 35 % oli vastannut "ei samaa eikä eri mieltä" ja 8 % vastaajista ei ollut vastannut kohtaan lainkaan. Kysymystä tarkennettiin yksiselitteisemmäksi muotoon "Tietoa, joka auttaa minua ymmärtämään yhteiskunnan muutoksia. Kohdan 3 muotoilu "Juhlitteko Suomen itsenäisyyspäivää?" muutettiin muotoon "Vietättekö Suomen itsenäisyyspäivää?". Useampi vastaaja oli kommentoinut, että he eivät koe juhlivansa itsenäisyyspäivää, mutta katsovat esimerkiksi televisiosta Linnan juhlat ja polttavat kynttilät. Tämä muotoilu tavoittanee suuremman joukon vastaajia. Itsenäisyyspäivän viettoa koskeva kysymys siirrettiin järjestyksessä neljänneksi. 27

28 Lomakkeen testaus ja vaikutus, Historiatietoisuus Suomessa esimerkki 3 Kohdassa 2 "Oletteko k viimeisen i noin vuoden aikana pohdittiin vastausasteikon toimivuutta. Viisiasteinen vastausasteikko "en kertaakaan, kerran, 2-3 kertaa, 4-5 kertaa ja yli 5 kertaa" arvioitiin turhan tarkaksi ja hankalaksi vastata huomioiden kysymyksen aikarajauksen. Tämän johdosta kysymyksessä päätettiin käyttää neliportaista vastausasteikkoa "en kertaakaan, kerran, muutaman kerran, usein". Uusi vastausasteikko on lähempänä arkista tapaa ajatella viimeisen vuoden aikana tehtyä. Tulosten tulkinnan kannalta vastausten tarkkuus ymmärrettävästi hiukan laskee, mutta toisaalta voidaan pohtia kuinka luotettavia ovat tarkan lukumäärän ilmoittavat vastaukset tämäntapaisessa kysymyksessä. Kysymys h. "Presidentti Kekkosen suhteet Neuvostoliittoon olivat tarpeettoman läheiset." poistettiin päällekkäisenä kysymyksen g. "Presidentti Urho Kekkonen oli liian itsevaltainen" kanssa. Vahva korrelaatio muuttujien välillä vahvisti tulkinnan (korrelaatio=0,63). 28

29 Lomakkeen testaus ja vaikutus, Historiatietoisuus Suomessa esimerkki 4 Kysymys g. "Maahanmuuttajat t ovat talouden kannalta ongelmallisia, lli i koska heistä koituu tuntuvia menoja sosiaaliturvamäärärahoihin" muotoiltiin uudelleen "Maahanmuuttajista koituu liikaa menoja sosiaaliturvamäärärahoihin". Entinen kohta 14 "Mitä yksittäistä tapahtumaa tai kehityskulkua pidätte oman ikäluokkanne / sukupolvenne kannalta merkittävimpänä?" keräsi hyvin vastauksia, mutta useat vastaajat olivat luetelleet pitkähköjä listoja heidän mielestään merkittävistä tapahtumista. Kysymys ei myöskään tavoittanut parhaalla mahdollisella tavalla sukupolvien avainkokemuksia. Tämän johdosta kysymystä terävöitettiin muotoon "Nuoruusvuosien yhteiskunnallisten kokemusten ajatellaan vaikuttavan sukupolvien muotoutumiseen. Mitä yksittäistä tapahtumaa tai kehityskulkua pidätte oman sukupolvenne kannalta merkittävimpänä? Mainitkaa jokaiseen ainoastaan yksi tapahtuma." Vastausvaihtoehdot rajattiin a. "Suomessa" ja b. "muualla maailmassa" 29

30 Lomakenäkökohtia lisää Lomaketta suunniteltaessa on hyvä tehdä yleinen hahmotelma sen kokonaisuudesta. Kahdella seuraavalla sivulla on hahmotelma jonka teimme Eurooppalaisen uhritutkimuksen yleissuunnitteluvaiheessa. Siitä ilmenevät eri teemat ja niiden esitysjärjestys lomakkeessa. Voit tutkia onko nettilomakkeessa noudatettu tätä suunnitelmaa. Tuo hahmotelmahan tehtiin kaksi vuotta sitten. Toiseksi: ESS:n lomakkeessa on heti alkusivuilla kuvaus sen rakenteesta. Katso(taan) vaikkapa uusinta kierroksen 4 lomaketta; siitä myös tehtävä hetken kuluttua. 30

31 Draft Questionnaire 0_a 31

32 Draft Questionnaire 0_ b 32

33 Surveyaineiston Peruskäsitteistö 1 Aluksi otan käsitteen perusjoukko. Vaikka joskus se esitetään yksikäsitteisenä, sitä se ei ole. Mielestäni viisi eri perusjoukon käsitettä on jo poikkileikkaustutkimuksessa tarpeen: 1. Kiinnostusperusjoukko on karkea hahmotus tutkijan mielessä alkuvaiheessa olevasta perusjoukosta. Harvoin (paitsi jos joku on määritellyt t sen) se on aluksi täsmällinen, älli mutta kun se on sitä, voimmekin määritellä 2.Tavoiteperusjoukon (joskus kohdeperusjoukko) mikä on jo tarkasti määritelty ja aikaan sidottu (vaikkapa kuun alku, vuoden loppu tai aikaväli) sekä realistinen. ESS:lle tämä on 15+ -vuotiaat, PISA:lle hieman 15 vuotta (tarkan vuoden aikana syntyneiden) täyttäneiden koululaisten joukko, Uhritutkimuksen pilotissa vuotiaat mutta varsinaisessa ei kuuluisi olla ylärajaa, Historiatutkimuksessa vuotiaat. Ikä on määriteltynä kenttätyön alun mukaan. Muut rajaukset hieman vaihtelevat. ESS:ssä ja Uhritutkimuksessa mukana ovat maassa asuvat kansalaisuudesta riippumatta. PISA:ssa suomenkieliset ja ruotsinkieliset koulut ovat mukana. Historiatutkimuksessa päädyttäneen jättämään muut kuin suomen- ja ruotsinkieliset pois.. Miksihän?. 33

34 Surveyaineiston Peruskäsitteistö 2 Jotta tavoiteperusjoukko saataisiin koottua, on oltava 3. Kehikkoperusjoukko, josta poimitaan kaikki tai osa haluttua tiedustelua varten. Jos käytetään otosta, puhutaan myös otantakehikosta. Kehikkoperusjoukon yksikkö voi olla esimerkiksi henkilö, yritys, kunta, muu alue, kotitalous tai aikaväli. Se ei aina ole saatavissa tiedustelun ajankohdalta, vaan jossain määrin aikaisemmalta mistä aiheutuu kiusaa (katsotaan myöhemmin). Kehikkoja voi olla useitakin, kuten PISA:ssa jossa ensin tarvitaan koulujen kehikko ja myöhemmin oppilaiden kehikko. Koulutietojen (ml. oppilasmäärätiedot) pieni epätarkkuus ei haittaa paljoa mutta jollei valittujen koulujen oppilastietoja saada kunnolla, tilanne on hankala. Näin ei yleensä ole ja voidaankin uskoa että oppilaskehikko on ainakin Suomessa hyvin ajantasainen. Uhritutkimuksessa kehikkoperusjoukko luodaan Väestörekisteristä heinäkuun 2009 lopun mukaisena. Se ei takaa että kaikki väestötieto olisi harhatonta. Historiatutkimuksen kehikko luodaan samasta pohjasta. ESS-otosten perusidea on sama Suomessa mutta monessa maassa käytetään ää aluekehikkoja aluksi ja henkilöiden valinnassa paikallisia i tietoja. 34

35 Surveyaineiston Peruskäsitteistö 3 Koska kehikko usein muuttuu tiedustelun ajankohtaan mennessä, tarvitaan 4. Päivitetty kehikkoperusjoukko, jota käytetään estimoinnissa. Valitettavan harvoin tutkija muodostaa tällaisen perusjoukon. Pääsyy on luonnollinen: sellaisen hankkiminen on monesti vaikeata, jopa mahdotonta. Toisaalta tämän puuttuminen ei aina haittaa yhtä paljon, ei ainakaan ihmisiä koskevissa tutkimuksissa; yritystiedusteluissa tämän perusjoukon puuttuminen voi vaikuttaa tuloksiin paljon. Vaikkei kehikkoa päivitettäisi, on tutkijan syytä arvioida mitä harhaa vanha kehikko voi tuloksiin aiheuttaa. Lopulta keräämme itse aineiston ja saamme toivon mukaan mahdollisimman paljon tavoiteperusjoukkoa muistuttavan 5. Tutkimusperusjoukon. 35

36 Surveyaineiston Peruskäsitteistö 4 On hyvä huomata, että jos kehikon ja tavoiteperusjoukon yksiköt ovat samoja tilanne on helpompi kuin tilanteessa jossa ne eivät ole samoja. PISA:ssa ensimmäisen asteen kehikkoyksiköt k ikö = koulut eivät ole oppilasaineistossa siis tutkittavia yksiköitä eli oppilaita, mutta PISA:n koulututkimuksessa ne ovat. Suomen ESS:ssä kehikossa on saatavissa 15+ -vuotiaat Suomessa asuvat, mutta useimmissa muissa maissa ensimmäisenä kehikkona ovat maantieteelliset pienalueet. Vasta näistä sopivien tultua valituksi lähestytään itse vastaajakandidaatteja. Muutamissa maissa tämä tapahtuu suoraan mutta hyvin monissa seuraavana kehikkona ovat valittujen pienalueiden osoitteet tai kotitaloudet. Kolmas kehikko on sitten periaatteessa helppo koska se koskee valitun osoitteen tai kotitalouden 15+ -vuotiaita henkilöitä. Irakin kuolleisuustutkimuskin vastaa viimeksi mainittua mutta kotitalouden sisältä ei valita enää kehikkoa vaan tutkimus koskee kaikkia kotitalouden jäseniä tutkimusajanjaksolta (katso datasta mikä on aikaväli). 36

37 Surveyaineiston Peruskäsitteistö 5 Mikäli kaikki periaatteessa täsmälliset perusjoukot eli neljä viimeistä kattavat saman joukon, ei kehikko-ongelmia esiinny. Mutta huonommassa tilanteessa voimme vertailemalla ll eritellä erilaisia i i virhetekijöitä: - alipeittävyys (alipeitto): yksiköt jotka kuuluvat tavoiteperusjoukkoon mutta joita ei tavoiteta - ylipeittävyys (ylipeitto): yksiköt jotka eivät kuulu tavoiteperusjoukkoon mutta jotka on poimittu aineistoon. - luokitteluvirheet kehikon osalta: voivat aiheuttaa ylipeittoa ja alipeittoa ja virheitä aineistoon (voidaan havaita ja korjatakin). Jos tutkimus(perus)joukko ei sisällä kaikkia tavoiteperusjoukkoon kuuluvia poimittuja yksiköitä, on kyse yksikkövastauskadosta, mikä on hyvin hankala ongelma nykypäivän surveyssä. Tämä on osa puuttuvuutta. Myös alipeitto on puuttuvuutta. Osittainen vastauksen puuttuminen (muuttujakohtainen puuttuvuus) on erävastauskatoa mikäli tieto t halutaan. On myös hyväksyttävää ää puuttuvuutta. Mitä? 37

38 Surveyaineiston Peruskäsitteistö 6 Alipeittoa eli syntyneitä tai muuten uusia tapauksia tai luokitteluvirheellisiä tapauksia ei normaalitilanteessa voida yksikkötasolla havaita tiedustelun kehikkoa muodostettaessa, muutenhan nämä yksiköt sisällytettäisiin kehikkoperusjoukkoon. Ylipeitto voidaan havaita tiedusteluun valittujen yksiköiden osalta jos nämä tapaukset tavoitetaan tai saadaan tieto niistä muuta kautta, vaikkapa rekistereistä. Kyseessä ovat siis kuolleet tai toimintansa lopettaneet yksiköt, toiseen perusjoukkoon muuttaneet tai luokitteluvirheelliset kehikkoperusjoukon tapaukset. Otokseen sisällytettyjen osalta ylipeitto pitäisi voida aina saada selville (havaittu ylipeitto). Sen sijaan kehikkotason tai tiedustelussa tavoittamattomien osalta ylipeitto voi jäädä havaitsemattomaksi. Tässäkin tapauksessa sen laajuus pitäisi jälkikäteen arvioida ja vastaavasti sen vaikutukset itse tuloksiin. Jos kaikkia tiedusteluun valittuja ei tavoiteta, eikä muuta ulkopuolista tietoa ole käytettävissä, jääkin epäselväksi ovatko nämä tapaukset ylipeittoa vai vastauskatoa. 38

39 Surveyaineiston Peruskäsitteistö 6 Kehikko- ja tavoiteperusjoukko sekä otos Kehikkoperusjoukko Ylipeitto Alipeitto Tavoiteperusjoukko Otos Tästä puuttuu kiinnostusperusjoukko, jonka koko voi olla isompi kuin mikään yllä olevista tai suppeampi. 39

40 Surveyaineiston Peruskäsitteistö 7 Edellä survey oli yksitasoinen. Jos tiedustelu on useampitasoinen eli tutkimusyksiköitä on hierarkkisesti useampia, voi hyvinkin olla niin, että vastaus saadaan ylemmältä tasolta, esimerkiksi perheen tai palvelusyksikön tasolta, mutta yksi tai useampi vastaus jää puuttumaan seuraavaksi alemmalta tasolta, esimerkiksi koskien perheen jäseniä tai palveluyksikön työntekijöitä tai asiakkaita. Vastaavasti voidaan puhua ensimmäisen ja toisen asteen tai tason vastauskadosta. Vielä erityisempi on tilanne jos vastauskadon tarkemmaksi tutkimiseksi on päätetty ottaa (osa)otos vastaamattomista ja tiedustella näiltä joitakin avainkysymyksiä tai kenties koko lomakkeisto mutta käyttäen parempaa tiedustelumenetelmää kuin aikaisemmassa vaiheessa (esim. jos perustiedustelu on postitiedustelu, tämä erityistiedustelu voidaan hoitaa käyntihaastatteluin). Tällöin on kyseessä kaksivaiheinen surveytutkimus. Kaksivaiheinen tutkimus voidaan tehdä myös muista syistä, esimerkiksi tekemällä suppea tiedustelu isolle joukolle ja samalla kartoittaa ilmiötä karkeasti, k ja toisessa vaiheessa laajempi tiedustelu suppealle joukolle, jonka otos voi olla kohdennettu tutkimuksen päätavoitteiden mukaan. 40

41 Otospohjaisen surveyaineiston kuvaus 1 Esitän kuviosarjan, joka havainnollistaa poikkileikkausaineistoa, ns. mikrotiedostoa eli poimintatason yksiköihin perustuvaa tiedostoa. Tämä tiedosto tai havaintomatriisi on myös vain yksitasoinen eli tältäkin osin yksinkertaistettu. Mittasuhteet eivät vastaa todellisuutta esimerkiksi siinä mielessä, että poimittu otos olisi kuvion mukaisen suuri. Tämä kuvasarja on tietynlainen yhteenveto käsitteistä joita datan luomisessa ja puhdistamisessa tarvitaan. Tarkempi kuvaus useimmista niistä tulee kuitenkin esille vasta kurssin muissa osissa. Katso siinä vaiheessa aina välillä näitä kohtia. 41

42 Otospohjaisen surveyaineiston kuvaus 2 Aloitan yksinkertaisimmasta mahdollisesta tiedostotyypistä, jossa on onnistuttu keräämään koko perusjoukon tiedot kaikille muuttujille. Mahdollisesti on myös muista lähteistä kerätty lisämuuttujia X. Tilastollisen poikkileikkausmikrotiedoston yleinen hahmo Tunnistimet Tilasto- X -Muuttujat - poikittainen yk- Muualta - pitkittäinen kerätyt köt - suojattu 1 i N muuttujat Y -Muuttujat (tulosmuuttujat) Monia tyyppejä ml. - erot skaalauksessa - avainmuuttujat ja muut Esimerkiksi: väestö rekisteristä heinäkuun lopussa. Lisämuuttuja koulutus poimittu tutkintorekisteristä ja verorekisteristä verotettu tulo. Symbolit: N = perusjoukon koko 42

43 Otospohjaisen surveyaineiston kuvaus 3 Jos kuitenkin on toteutettu otossurvey (joistakin osista voi olla otettu kaikkikin mukaan) ja vastausten saamisen jälkeen on vastanneet ja ylipeitto määritelty, saadaan seuraavan kaavion mukainen tiedosto. Tähän on luotu käytettyyn otanta-asetelmaan t t perustuva ns. asetelmapaino brutto-otokselle. t Tilastollisen poikkileikkausmikrotiedoston yleinen hahmo Tunnistimet Tilasto- X -Muuttujat Y -Muuttujat (tulosmuuttujat) - poikittainen Monia tyyppejä ml. yk- -otoksen - muut -erot skaalauksessa k - pitkittäinen poimintaan ulkoiset - avainmuuttujat ja muut köt - suojattu apumuuttujat -N(D) -n(d) 1 Kehikko- Ylipeitto Otosylipeitto Otos- ja muut Painot - asetelmapaino i r n Yksikkövastauskato N Symbolit: Ei sisällytetty otossurveyhin r = vastaajien määrä; N(D) ja n(d) = ylipeiton suuruus kehikossa ja poimitussa otoksessa n = lopullinen hyväksytty y y otoskoko (ilman ylipeittoa), 43

44 Otospohjaisen surveyaineiston kuvaus 4 Tämän jälkeen aineistoa tutkitaan lisää ja muun muassa määritellään erävastauskato sekä pyritään löytämään tilastollisella editoinnilla virheet. Lisäksi vastaajille lasketaan ns. peruspaino, jossa on otanta-asetelman lisäksi i huomioitu it puuttuvuus eli ylipeitto, itt vastauskato t ja muu puuttuvuus. Tilastollisen poikkileikkausmikrotiedoston yleinen hahmo Tunnistimet Tilasto- X -Muuttujat - poikittainen ykköt - suojattu apu- -otoksen - muut - pitkittäinen poimintaan ulkoiset muuttujat -N(D) 1 Ylipeitto Y -Muuttujat (tulosmuuttujat) Monia tyyppejä ml. - erot skaalauksessa - avainmuuttujat ja muut Otosylipeitto Otos- ja muut Painot - asetelmapaino - peruspaino n i r Kehikko- -n(d) Erävastauskato Virheitä löydetty Yksikkövastauskato N Ei sisällytetty otossurveyhin 44

45 Otospohjaisen surveyaineiston kuvaus 5 Tässä vaiheessa on kehikkoperusjoukko päivitetty ja joitakin tietojakin alipeitosta saatu kasaan. Tämä ei ole ehkä kovin realistinen mutta ainakin on hahmotettu alipeiton suuruutta jossain määrin. Samaan aikaan on tehty kaikki voitava a virheiden poistamiseksi se s sekä erävastauskadon aus ado ja muun puuttuvuuden imputoimiseksi ja lisäksi on luotu aikaisempaa paremmat otospainot, joita kutsutaan adjustoiduiksi painoiksi. Tilastollisen poikkileikkausmikrotiedoston yleinen hahmo Tilastoykköt -N(D) -n(d) 1 Tunnistimet - poikittainen - pitkittäinen - suojattu X -Muuttujat -otoksen poimintaan Y -Muuttujat (tulosmuuttujat) Monia tyyppejä ml. - erot skaalauksessa - avainmuuttujat ja muut - lippumuuttujat (luonne, imputoitu, tietosuojattu, alustava, lopullinen,...) Otosylipeitto Otos- ja muut Painot -asetelmapaino - peruspaino - adjustoitu paino -vertailupaino i i - muut ulkoiset apumuuttujat Kehikko- Ylipeitto Impu- toituja r n Yksikkövastauskato N(real) N(true) Symbolit: Ei sisällytetty otossurveyhin Alipeitto r = vastaajien määrä; N(D) ja n(d) = ylipeiton suuruus kehikossa ja poimitussa otoksessa Symbolit: n = lopullinen hyväksytty otoskoko (ilman ylipeittoa), N = perusjoukon koko (true = tavoiteperusjoukolle, real = kehikkoperusjoukolle); 45

46 Otospohjaisen surveyaineiston kuvaus 6 Tiedostoa voidaan laajentaa erityistilanteisiin, kuten jos - on poimittu otos vastaamattomista laadun tutkimiseksi ja painotuksen parantamiseksi - jos otos on jaettu osiin, kuten uhritutkimuksessa jossa on kolme otosta eli puhelin-, käynti- ja nettikysely - jos on toteutettu kaksivaiheinen kysely y vaikkapa siten että vastanneilta on toisessa vaiheessa kyselty uusia asioita. Kokeile muodostaa kuvio jostakin tällaisesta tilanteesta. Seuraavalla sivulla on uusin kehitelmäni ihanteellisesta tiedostosta jossa eivät ole mukana Y-muuttujat (mutta ne siis liitetään tähän aineistoon) eivätkä painot. Tätä kutsun otantatiedostoksi. Esimerkki on höystetty konkreettisilla muuttujilla. Käyttötiedostona edellinen tai sen muunnelma ei ole paras mutta toki voidaan tuotakin käyttää. Mikä olisi sopiva käyttötiedosto? 46

47 Exemplary sampling data SAS file for a survey of peoples Identity Sampling design variables Fieldwork Other Auxiliary variables Mode and outcome External Internal 47 47

48 Käsitteiden lisätarkasteluja 1 Tunnisteet: Perustunnus (henkilötunnus, yritystunnus, organisaatiotunnus, kuntatunnus), t jota käytetään tää tiedonkeruussa, on joskus herkkä tieto t eikä sitä anneta kenelle tahansa. Sen vuoksi voidaan muodostaa uusi, tietosuojattu tunnus, esimerkiksi sopivan satunnaisprosessin kautta. Pitkittäis- ja paneliaineistoissa i i i tarvitaan myös pitkittäistunnus t (ll (ellei aikaisempi tunnus riitä), mikä on erityisesti yritys- ja muiden ryväsyksiköiden yhteydessä hyvinkin hankala eikä yksikäsitteinen. Varsinaisia muuttujia tilastoaineistossa on kahta tyyppiä, ns. X- muuttujia eli apu- tai lisämuuttujia ja Y-muuttujia eli tulos- tai tutkimusmuuttujia Toki X-muuttujiakin voi käyttää ää tulosmuuttujina. Y-muuttujien erikoistapauksina ovat kuviossa ns. lippumuuttujat joilla kerrotaan aineiston ja eri muuttujien ominaisuuksista, jolleivät ne muuten ilmene valistuneelle ll lukijalle. ll Esimerkiksi, k että arvo on imputoitu, epävarma, korjattu, ennustettu tai karkea arvio. 48

49 Käsitteiden lisätarkasteluja 2 Painomuuttujien osasto, joiden rakentamisen vaihe (tavallisin) esitettiin edellä olevissa kuvioissa. Tätä ei tarvita jos koko perusjoukko on mukana aineistossa (tai voidaan ajatella että painot ovat =1). Painomuuttuja on tietysti välttämätön kaikissa otossurveyssä, jossa tapauksessa voidaan muodostaa aineistoon yksi tai useampia (huonompia ja parempia) ns. otospainoja. Niitä käytetään kaikessa analyysissä. Kehikkotietoja käyttäen luodaan ensimmäinen otospaino, asetelmapaino, mitä voi käyttää estimoitaessa brutto-otoksen tietoja eli X-muuttujia. Kun aineisto saadaan koottua, on mahdollista luoda ensiksi otanta-asetelman ja saatuun aineistoon perustuva uusi paino, jota kutsun peruspainoksi tai perusotospainoksi, mitä käytetään estimoitaessa vastaajien tiedoista. Jos on käytettävissä muutakin tietoa kuin alkuperäisen kehikon tiedot (katso esittämääni huipputason tiedostoa otantatiedostosta), niin mahdollista luoda parempia, oikaistuja tai adjustoituja otospainoja. Toki näin tulisi aina tehdäkin vaikkei niiden vaikutus tuloksiin olisikaan olennainen. 49

50 Käsitteiden lisätarkasteluja 3 Aineisto on jokseenkin hyödytön ilman pätevää metadataa ja sen hyötyä lisää myös hyvä paradata. Metadata (lippumuuttujat oli jo edellä esimerkki tästä) kertoo mitä data on, kattaen tiedon kaikista datan keruuvaiheista (lomake, sen laatutestaukset, otanta, aineiston muokkaus jne.) siihen miten muuttujat on nimetty ja koodattu. Paradata antaa lisätietoa esimerkiksi aineiston keruusta, kuten tietoa haastattelijasta, haastattelun ajasta ja kestosta ja haastattelijan merkinnöistä haastattelusta. Tätä voi myös analysoida. Katso ESS:n tiedostosta minkälaista paradataa sieltä löytyy. Samalla katso myös sen metadatan piirteet. Ja arvioi niiden laatua. Omasta mielestäni laatu on korkea. Hyvin toteutetuissa surveyssä on lisäksi taustadataa, koskien esimerkiksi surveyn kenttätyöajan tapahtumia tai ilmapiiriä, jopa sääoloja. 50

51 Miltä surveynäkymät vai käsiteosan jälkeen? ikuttavatt alun ja 51

52 Tehtäväosio edeltävästä aineistosta: Tehdään ohjatusti harjoituksissa mutta voit tehdä omissa oloissasi missä tapauksessa toimitat vastauksesi sähköpostilla. Kurssin nettisivulla on kaksi Irakin kuolleisuustutkimuksen dataa sekä osa Suomen PISA 2006 dataa. (i) Selosta kaikkien datojen muuttujien luonne edellä esitetyillä käsitteillä. illä (ii) Minkälaisia parannuksia ehdottaisit datojen kuvaukseen? (iii) Tutki ESS4:n lomaketta (hae netistä) ja etsi sieltä ainakin neljä kiinnostavaa kysymystä yy y siten että kiinnostus on määritelty kysymyksen muotoilun ja/tai aiheen mukaan. Kiinnostavista aiheista ajetaan kun data tulevat syyskuun lopulla tuloksia. 52

53 Käsitteiden lisätarkasteluja: Paneliaineisto 1 (i) Retrospektiivinen tutkimus (paneli) Tässä aineisto tuotetaan jälkikäteen kysymällä tietoja vastaajien menneestä historiasta, yleensä määrävälein kuten vuosittain. Ongelmana on muun muassa muistin pettäminen, josta syystä menneitä muistoja voidaan kullata tai päinvastoin mustamaalata. Retrospektiivinen näkökulma on kuitenkin erittäin yleinen, koska surveyllä on käyttökelpoista kysellä edeltävistä ajoista. Esimerkiksi uhritutkimuksissa kysytään uhriksi joutumisesta hyvinkin erilaisilla taaksepäin suuntautuvilla ajanjaksoilla. Joissain muissa kysytään vain yhdeltä periodilta, kuten viikolta, kuukaudelta, vuodelta. Kysymyslomakkeiden yy y suunnittelijan olisi hyvä löytää mahdollisimman oikean pituinen edeltävä periodi (viiteaikaväli) siten, että estimaatti itse olisi luotettava ja että muistivirhe olisi mahdollisimman pieni. 53

54 Käsitteiden lisätarkasteluja: Paneliaineisto 2 Vaikka retrospektiivisen tutkimusasetelman viiteaikavälit onnistuttaisiinkin saamaan hyviksi tai vaikka vieläpä tutkimus käyttäisi faktatietoa esimerkiksi rekistereistä, tämä lähestymistapa ei ole ongelmaton. Syynä on, että alkuperusjoukko voi olla harhainen tutkimusasetelman kannalta, sillä retrospektiivisessa tutkimuksessa on myös aineisto harhautunut, koska se kerätään joukosta jotka ovat eräänä ajankohtana käytettävissä. Siten kiinnostavia ja ilmiön kannalta tärkeitä yksiköitä voi olla mukana epäedustavasti. (ii) Prospektiivinen eli eteenpäin suuntautuva paneli eli seurantatutkimus Puhdas tai jatkuva paneli tai kohorttitutkimus, jolloin tiettyä aluksi valittua joukkoa seurataan tietty aika. Aineisto yleensä supistuu joko ylipeiton (panelikuoleman) tai vastauskadon johdosta. Tämä johtaa sitä jännittävämpiin tilanteisiin mitä monimutkaisempi on tutkittava ja seurattava yksikkö. 54

55 Käsitteiden lisätarkasteluja: Paneliaineisto 2 Rotatoiva paneli, jolloin aineistoa täydennetään määrävälein ja osa alkuperäisistä vapautetaan. Tämän strategian tarkoitus on että aineistosta voitaisiin kohtuullisesti estimoida sekä poikkileikkaus- että muutostietoja. Edellisten sekoitus (sekapaneli), jolloin toisaalta seurataan tiettyä joukkoa ja toisaalta poimitaan riippumaton rinnakkaisaineisto, jolloin jälkimmäisestä saadaan poikkileikkaustiedot luotettavasti ja edellisestä muutostiedot. Kaikista näistä voidaan muodostaa tasapainotettu paneli, jolloin mukaan hyväksytään vain ne joista on tietoja jokaiselta ajankohdalta. Vastaavasti muut panelit ovat tasapainottamattomia. 55

56 Nämä kuvaavat paneleja. Selosta minkälaisia. 56

57 Otantamenetelmät Hieman historiaa Anders Kiaer (norjalainen) 1895, edustava otos Arthur Bowley (britti) 1906, yksinkertainen satunnaisotanta Jerzy Neyman (puolalainen l alun perin) 1934, ryväsotanta t Edward Hurja (suomalaisjuuria) 30-luvun alku, opinion polls:ien uranuurtaja, George Gallup (usalainen), 1940: kiintiöpoiminnan suurhyödyntäjä ja businessmies jonka nimeä kantava firma Suomeen 1940-luvulla (Artturi Raula). Morris Hansen (usalainen) ym. 30-luku, ensimmäinen kattava kaksiasteinen ryväsotantaan perustuva survey, mm. kirjan Hurwitzin kanssa 1953 Fredericks Deming (usalainen), , alun perin otantaa ml. ensimmäiset kalibroinnit, i it myöhemmin suuri laatuguru (ml. Japanin autoteollisuuden t nostaja) Leslie Kish (unkarilaistausta), ansiokas todennäköisyysotannan sovellus presidentin vaalien voittajan ennustamiseen 1948, myöhemmin mm. DEFF, panelisurveyden kehittäminen, oppikirja 1965 William Cochran (skottitausta), monia kehitelmiä ja kirja 1977 Carl-Erik Särndal (ruotsalais-kanadalainen), model assisted survey sampling, kirja 1992 yhdessä Swenssonin ja Wretmanin kanssa; JNK J.N.K. Rao (intialais-kanadalainen), i l i mm. Jackknife ja muita varianssiestimaattoreita i tt it sekä small area estimation -kirja Jean-Claude Deville (ranskalainen), kalibrointimenetelmiä ym; Sharon Lohr (usalainen): Perusoppikirja otannasta

58 Otantamenetelmien kompakti k ikuvaus 1 Jos kehikosta poimitaan harkinnalla tai epäselvin periaattein osajoukko, sitä on tapana kutsua näytteeksi. Jos poiminnalle kyetään asettamaan todennäköisyysperiaatteisiin nojautuvat täsmälliset säännöt, voidaan käyttää nimikkeitä otos ja otanta. Tästä käytetään nimeä (a) Todennäköisyysotanta, jonka luonnollinen vastapooli on (b) Ei-Todennäköisyysotanta. Vaihtoehto (a) siis vain voi tuottaa aidon otoksen. Mutta on myös niin, että harvoin otanta on puhtaasti (b):n mukainen, vaan tällöinkin osin käytetään (a):n oppeja. Puhdas (b) olisi harkintaotanta jolloin tutkija valitsee aineistoonsa sellaisia yksiköitä jotka ovat joltakin kannalta käyttökelpoisia, esimerkiksi että tulos saadaan sopivaksi tai että työ on helppo toteuttaa. Sellaiseen ei kunnon tutkija alennu. Tavallisin osin molempia vaihtoehtoja hyödyntävä poimintamenetelmä on ns. kiintiöpoiminta (quota sampling), joka on yleinen markkinatutkimuksissa. Tämä menetelmä sinänsä ei ole ongelmallinen, vaan se, että kiintiöt täytetään korvaamalla kieltäytyjät ja kohtaamattomat toisilla samaan kiintiöön kuuluvilla. On myös muita ei-todennäköisyysotantoja joita käytetään kun parempia vaihtoehtoja ei yksinkertaisesti ole mahdollista käyttää kohtuullisen ajan puitteissa. Tällaisia ovat mm. - adaptiivinen otanta lumipallo-otanta ll t - verkosto-otanta ja - vastaajapohjainen otanta. Huomaa että näillä kaikilla on yhtymäkohtia; nimierot johtuvat osin siitä että eri kehittäjät ovat antaneet ratkaisulleen oman nimen. 58

59 Otantamenetelmien kompakti k ikuvaus 2 Muutama käsite seuraavan osan paremmin ymmärtämiseksi: Ryväs = laajempi tai suppeampi joukko yksiköitä Esim.: koulu jossa oppilaita, pienalue jossa asukkaita, kotitalous jossa sen jäseniä, osoite jossa asujia, yritys jossa työntekijöitä Ensisijainen poimintayksikkö (primary sampling unit = psu): todennäköisyysperiaatteilla poimittava ensimmäinen asteen yksikkö kuten tutkimusyksikkö itse tai vaikkapa ryväs. Vastaavasti toissijainen poimintayksikkö jos on toisessa asteessa tai vaiheessa todennäköisyyspoiminta. Sisältymistodennäköisyys: todennäköisyys jolla poimittava otosyksikkö sisältyy otokseen, on poimintatodennäköisyyden ja otoskoon tulo. Apumuuttuja: otannan toteuttamisessa käytettävät muuttujat (psu tai muu alue, sukupuoli, ikäryhmä, toimiala, oppilaitostyyppi, ), sekä myöhemmin estimointia edistävät lisämuuttujat (edellisten lisäksi rekistereistä, muista tutkimuksista, tilastoista jne saatavat tiedot). Muistanet nämä edeltäkin. Seuraavaksi esitettävä otantamenetelmien kuvaus kumoaa sellaisten oppikirjojen tai vastaavien sanoman, joita minullekin tyrkytettiin tettiin tilastotieteen peruskurssilla eli otannan päämenetelmät eivät ole seuraavat: Satunnaisotanta, Systemaattinen otanta, Ryväsotanta ja Ositettu otanta. 59