Otantamenetelmät SurveyMetodiikka 2009 Seppo

Transkriptio

1 Otantamenetelmät Hieman historiaa Anders Kiaer (norjalainen) 1895, edustava otos Arthur Bowley (britti) 1906, yksinkertainen satunnaisotanta Jerzy Neyman (puolalainen l alun perin) 1934, ryväsotanta t Edward Hurja (suomalaisjuuria) 30-luvun alku, opinion polls:ien uranuurtaja, George Gallup (usalainen), 1940: kiintiöpoiminnan suurhyödyntäjä ja businessmies jonka nimeä kantava firma Suomeen 1940-luvulla (Artturi Raula). Morris Hansen (usalainen) ym. 30-luku, ensimmäinen kattava kaksiasteinen ryväsotantaan perustuva survey, mm. kirjan Hurwitzin kanssa 1953 Fredericks Deming (usalainen), , alun perin otantaa ml. ensimmäiset kalibroinnit, i it myöhemmin suuri laatuguru (ml. Japanin autoteollisuuden t nostaja) Leslie Kish (unkarilaistausta), ansiokas todennäköisyysotannan sovellus presidentin vaalien voittajan ennustamiseen 1948, myöhemmin mm. DEFF, panelisurveyden kehittäminen, oppikirja 1965 William Cochran (skottitausta), monia kehitelmiä ja kirja 1977 Carl-Erik Särndal (ruotsalais-kanadalainen), model assisted survey sampling, kirja 1992 yhdessä Swenssonin ja Wretmanin kanssa; JNK J.N.K. Rao (intialais-kanadalainen), i l i mm. Jackknife ja muita varianssiestimaattoreita i tt it sekä small area estimation -kirja Jean-Claude Deville (ranskalainen), kalibrointimenetelmiä ym; Sharon Lohr (usalainen): Perusoppikirja otannasta SurveyMetodiikka 2009 Seppo 57

2 Otantamenetelmien kompakti k ikuvaus 1 Jos kehikosta poimitaan harkinnalla tai epäselvin periaattein osajoukko, sitä on tapana kutsua näytteeksi. Jos poiminnalle kyetään asettamaan todennäköisyysperiaatteisiin nojautuvat täsmälliset säännöt, voidaan käyttää nimikkeitä otos ja otanta. Tästä käytetään nimeä (a) Todennäköisyysotanta, jonka luonnollinen vastapooli on (b) Ei-Todennäköisyysotanta. Vaihtoehto (a) siis vain voi tuottaa aidon otoksen. Mutta on myös niin, että harvoin otanta on puhtaasti (b):n mukainen, vaan tällöinkin osin käytetään (a):n oppeja. Puhdas (b) olisi harkintaotanta jolloin tutkija valitsee aineistoonsa sellaisia yksiköitä jotka ovat joltakin kannalta käyttökelpoisia, esimerkiksi että tulos saadaan sopivaksi tai että työ on helppo toteuttaa. Sellaiseen ei kunnon tutkija alennu. Tavallisin osin molempia vaihtoehtoja hyödyntävä poimintamenetelmä on ns. kiintiöpoiminta (quota sampling), joka on yleinen markkinatutkimuksissa. Tämä menetelmä sinänsä ei ole ongelmallinen, vaan se, että kiintiöt täytetään korvaamalla kieltäytyjät ja kohtaamattomat toisilla samaan kiintiöön kuuluvilla. On myös muita ei-todennäköisyysotantoja joita käytetään kun parempia vaihtoehtoja ei yksinkertaisesti ole mahdollista käyttää kohtuullisen ajan puitteissa. Tällaisia ovat mm. - adaptiivinen otanta lumipallo-otanta ll t - verkosto-otanta ja - vastaajapohjainen otanta. Huomaa että näillä kaikilla on yhtymäkohtia; nimierot johtuvat osin siitä että eri kehittäjät ovat antaneet ratkaisulleen oman nimen SurveyMetodiikka 2009 Seppo 58

3 Otantamenetelmien kompakti k ikuvaus 2 Muutama käsite seuraavan osan paremmin ymmärtämiseksi: Ryväs = laajempi tai suppeampi joukko yksiköitä Esim.: koulu jossa oppilaita, pienalue jossa asukkaita, kotitalous jossa sen jäseniä, osoite jossa asujia, yritys jossa työntekijöitä Ensisijainen poimintayksikkö (primary sampling unit = psu): todennäköisyysperiaatteilla poimittava ensimmäinen asteen yksikkö kuten tutkimusyksikkö itse tai vaikkapa ryväs. Vastaavasti toissijainen poimintayksikkö jos on toisessa asteessa tai vaiheessa todennäköisyyspoiminta. Sisältymistodennäköisyys: todennäköisyys jolla poimittava otosyksikkö sisältyy otokseen, on poimintatodennäköisyyden ja otoskoon tulo. Apumuuttuja: otannan toteuttamisessa käytettävät muuttujat (psu tai muu alue, sukupuoli, ikäryhmä, toimiala, oppilaitostyyppi, ), sekä myöhemmin estimointia edistävät lisämuuttujat (edellisten lisäksi rekistereistä, muista tutkimuksista, tilastoista jne saatavat tiedot). Muistanet nämä edeltäkin. Seuraavaksi esitettävä otantamenetelmien kuvaus kumoaa sellaisten oppikirjojen tai vastaavien sanoman, joita minullekin tyrkytettiin tettiin tilastotieteen peruskurssilla eli otannan päämenetelmät eivät ole seuraavat: Satunnaisotanta, Systemaattinen otanta, Ryväsotanta ja Ositettu otanta SurveyMetodiikka 2009 Seppo 59

4 Ryppäistä lisää mutta asiaan palataan vielä Ryväs voi siis olla erikokoinen jäsenten määrällä mitattuna. Toki jopa yhden jäsenen ryhmää voi kutsu ryppääksi yhtä hyvin kuin yhden hengen perhettä perheeksi (jotkut eivät hyväksi tätä kuten perhetilasto joka edellyttää vähintään kahden hengen ryhmää). Otannassa on selvä että yhden hengen talous tai yritys y on tärkeä jos nämä kuuluvat tavoiteperusjoukkoon. Muuten nämä jäisivät alipeittoon. Sekä otannan että tutkimuksen kannalta on hyvä ottaa huomioon ryppäiden samanlaisuus vs. erilaisuus eli kuinka homogeenisia ryppäät ovat sisäisesti. Tätä mitataan tavallisesti ns. sisäkorrelaatiolla rho, mikä yleisellä tasolla tarkoittaa suhdetta rho= ryppäiden_ välinen_ varianssi kokonais_ varianssi On hyvä huomata että kokonaisvarianssi on sisäisen ja välisen varianssin summa SurveyMetodiikka 2009 Seppo 60

5 Ryppäitä konkreettisessa muodossa. Selvitä itsellesi mitä ryppäitä tässä on ja minkälaisia eli mitä muuttujia tästää löytyy sekä tietysti myös kuinka homogeenisia nämää ovat muuttujiesi näkökulmasta. Voit jakaa ryppäitä ositteisiin jolloin homogeenisuus voi noustakin SurveyMetodiikka 2009 Seppo 61

6 Otantamenetelmien kompakti kuvaus 3 Todennäköisyysotannan perussäännöt esitetään soveltaen luovasti Kishin taksonomiaa, jonka periaatteet ilmenevät oheisesta taulukosta. Käytän tästä kokonaisuudesta nimikettä OTANTA- ASETELMA (sampling design). Yleensä tämä käsite esitetään suppeampana. Idea on, että otantasuunnitelman laatijan tehtävänä on valita kustakin kohdasta jokin (mieluiten paras) vaihtoehto. Otanta-asetelman osatekijä Vaihtoehtoja A. Kehikon luonne Kehikosta löytyy eksplisiittisesti jokin tutkimusyksikkö tai vaihtoehtoisesti se löydetään implisiittisesti B. Poimintayksikön (otosyksikön) luonne Poimittu yksikkö on suoraan keskeinen tutkimusyksikkö, tai poimitun yksikön kautta löydetään tutkimusyksikkö. Tässä on kaksi päävaihtoehtoa: poimitaan ryväs mutta tutkimusyksikkö on ryppään jäsen tai poimitaan ryppään jäsen mutta tutkimusyksikkö tki k ikkö on ryväs. C. Asteisuus (stage) Kuvastaa hierarkiatasoja, joilla asteittain lähestytään varsinaisten tutkimusyksiköiden valintaa. Asteita voi olla useita, ehkä maksimissaan neljä. D. Vaiheisuus (phase) Poimittu otos käytetään sellaisenaan (yksivaiheinen survey) tai tästä poimitaan uusi otos (kaksivaiheinen survey). Puhutaan myös osaotoksesta. Harvemmin useampia kuin kaksi vaihetta. Paneli on erikoistapaus tästä SurveyMetodiikka 2009 Seppo 62

7 Otantamenetelmien kompakti kuvaus 4 E. Osittaminen (stratification) Otos poimitaan suoraan koko kehikosta tai sen kustakin osajoukosta riippumattomasti. Osajoukkoja kutsutaan ositteiksi. FO F. Otoksen allokointi llki ieli likiintiöintiiöi i Miten otos jaetaan eli kiintiöidään iöidää eli allokoidaan ositteisiin. Ennen tätä on kokonaisotos määritelty. G. Paneli vs. poikkileikkaustutkimus Ajallisesti peräkkäiset otokset voivat olla otosyksiköiden osalta enemmän tai vähemmän päällekkäisiä (overlapping rate), siis johtaa rotatointiin. ii H. Poiminta-menetelmä Tapa miten tutkimusyksiköt lopulta valitaan. Perusvaihtoehdot ovat: - poimintatodennäköisyys on sama kaikille - poimintatodennäköisyys vaihtelee, mutta riippuu joistakin tunnetuista tekijöistä (muuttujista) I. Vastauskadon ja muun puuttuneisuuden ennakointi Kun edellä olevat periaatteet on määritelty, mukaan lukien otoskokotavoite (sekä netto-otoskoko että efektiivinen otoskoko), on vielä selvitettävä, miten realistinen tämä on. Aina aineistoa jää puuttumaan mutta sen määrä voidaan ennakoida aikaisemman kokemuksen mukaan. Vastaavasti edetään tavoiteotoskoosta bruttootoskokoon, joka määritellään sekä koko aineistolle että sen osajoukoille SurveyMetodiikka 2009 Seppo 63

8 Otantamenetelmät - Tekniikkaa 1 Otanta-aineistosta siis aina pyritään tuottamaan sekä piste-estimaatti että väliestimaatti (tästä käytetään termejä: varianssiestimaatti, keskivirhe, luottamusväli ja virhemarginaali) mahdollisimman harhattomasti. Tässä vaiheessa meillä ei ole aineistossa puuttuvuutta vaan kaikki otokseen valitut saadaan estimointiin mukaan. Tällöin voisi i uskoa että harhattomuuskin h on helpompi saavuttaa, ja näinhän asianlaita onkin, edellyttäen että löytää harhattoman estimaattorin laskemista auttamaan. Unohdan hetkeksi myös kokonaan osituksen eli tarkastelemme asioita joko osittamattomassa aineistossa tai kussakin ositteessa itsenäisesti. Ositetusta aineistostahan piste-estimaatit tuotetaan samoin kuin muustakin mutta varianssiestimaatti ositteiden varianssien summana (keskivirhe on varianssiestimaatin neliöjuuri), mikä ei ole hetkessä tehty itse ohjelmoimalla. Onneksi sekä SAS:ssa että SPSS:ssä että Statassa on tällainen optio valmiina perustilanteisiin SurveyMetodiikka 2009 Seppo 64

9 Otantamenetelmät - Tekniikkaa 2 Jos lisäksi siirrymme katsomaan tilannetta joltakin asteelta tai vaiheesta, niin otanta on teknisesti hyvin yksinkertaista. Tarvitsemme kaksi asiaa: - poimintatodennäköisyyden p k, mikä määräytyy valitusta poimintamenetelmästä - halutun otoskoon n. Näiden pohjalta voimme muodostaa -ensimmäisen kertaluvun (yhden yksikön) sisältymistodennäköisyys π k = n p k Tämä tarkoittaa todennäköisyyttä että tutkimusyksikkö k sisältyy otokseen. Jokaisen tavoiteperusjoukon jäsenelle olisi hyvä päteä: π k >0. (mutta päteekö tämä käytännössä?) Väli- eli varianssiestimointia varten tarvitsemme lisäksi todennäköisyyden d että kaksi k tutkimusyksikköä tki k ikköä k ja l yhtäaikaisesti i ti sisältyvät otokseen. On helppo nähdä, että jälkimmäinen on pienempi kuin edellinen. Tätä kutsutaan toisen kertaluvun (kahden yksikön) sisältymistodennäköisyydeksi SurveyMetodiikka 2009 Seppo 65

10 Otantamenetelmät - Tekniikkaa 3 Jos otanta-asetelmassa on useita asteita tai vaiheita, on kussakin niistä omat sisältymistodennäköisyydet ja kokonaissisältymistodennäköisyys saadaan näiden agregaattina mikä monessa asetelmassa on ensimmäisen kertaluvun osalta eri sisältymistodennäköisyyksien tulo (eli jos eri todennäköisyydet d ovat riippumattomia). i Kun ensimmäisen kertaluvun sisältymistodennäköisyys on saatu aikaan, niin on yksinkertaista tuottaa seuraava keskeinen käsite kussakin ositteessa eli Asetelmapaino a k = 1/ π k (design weight) eli kyseessä on sisältymistodennäköisyyden yy käänteisluku. Tämä taas tarkoittaa kuinka montaa yksikköä otostutkimusyksikkö k edustaa tutkimusperusjoukossa ja samalla tavoiteperusjoukossa (koska datassa ei oleteta olevan puutteita), käytännössä tämä koskee bruttotason perusjoukkoa SurveyMetodiikka 2009 Seppo 66

11 Otantamenetelmät - Tekniikkaa 4 Näin ollen aineiston käsittelijällä on käytössä otospaino jota voi käyttää painona analyysissä. Asetelmapainojen summa on tavoiteperusjoukon koko (tutkimusyksiköiden määrä), mikä on luonteeltaan estimaatti. Usein muodostetaan myös toisenlainen paino, jota Suomessa kutsutaan analyysipainoksi, jolloin kukin asetelmapaino jaetaan kaikkien painojen keskiarvolla, jolloin siis keskipaino = 1. Niiden summa on siis brutto-otoskoko. t k ESS-datassa on juuri tämä paino, ei edellä esitettyä asetelmapainoa, mutta nimike on silti DWEIGHT (design weight), mutta periaatteessa ne ovat samat. Analyysipainot on kivempia aineiston tavallisessa käsittelyssä, kuten huomaamme myöhemmin. Huomaa että analyysipaino on hyvä muodostaa kaikille myöhemmin esille tuleville paremmille painoille myös ja ihan samalla tavalla. Niinpä jos se lasketaan netolle, niiden summa on vastaajien määrä SurveyMetodiikka 2009 Seppo 67

12 Otantamenetelmät - Tekniikkaa 5 Tyypillisiä esimerkkejä ensimmäisen kertaluvun sisältymistodennäköisyyksistä eri poimintamenetelmillä (siis jossakin asteessa tai vaiheessa tai ositteessa): 1. Satunnaispoiminta N N π n 1 k = = n 2. Yksinkertainen tasavälipoiminta π k = 1 l Jolloin l = poimintaväli, mikä johtaa samannäköiseen laskulausekkeeseen kuin satunnaispoiminnalla, mutta symboli on eri. 3. Satunnaispoiminta siten että tutkimusyksikkö on ryväs ja poimintayksikkö (kehikkoyksikkö) n m ryppään jäsen. π = k k N Nyt m k tarkoittaa otosyksikön k ympärille muodostuneen ryppään kokoa sillä tavalla kuin tämä informaatio löytyy kehikosta SurveyMetodiikka 2009 Seppo 68

13 Otantamenetelmät - Tekniikkaa 6 Edellisen sivun kaavassa kaikkien ryppäiden (niille voidaan asettaa kaavaan oma alaindeksikin) jäsenten yhteismäärä = N. Kussakin ryppäässä voi olla hyvinkin erilainen määrä jäseniä. Suomen kotitaloustiedusteluissa tämä poiminta on ositteiden sisällä yleinen koska jäsen on helppo poimia väestörekisteristä ja tämän jälkeen katsoa muiden tietojen perusteella keitä muita asuu samassa osoitteessa ja missä suhteessa nämä ovat poimitun jäsenen kanssa. Tosiasiassa kaikki rekisterin mukaiset jäsenet eivät enää asu samassa paikassa ja siksi vastaajien osalta tehdään tarpeellinen korjaus. Vastaamattomien osalta tämä on vaikeampi tehdä. Kiinnostava kysymys tässä ratkaisussa on myös se, että poimituksi voi tulla useampikin jäsen samasta ryppäästä (taloudesta) jollei käytetä aidosti otantaa ilman takaisinpainoa eli tavallaan sama ryväs tulisi tutkimukseen useamman kerran. Tästä seuraa pientä harhaa kun ryväs otetaan mukaan vain kerran. Uhritutkimuksessa tuli otokseen muutamia otoshenkilöitä samasta taloudesta. Tilastokeskuksen linjana oli hyväksyä vain yksi heistä puhelintiedustelussa (netissä otettiin kaikki mukaan); siksi kahdesta avioparista yksi jäsen poistettiin satunnaisesti SurveyMetodiikka 2009 Seppo 69

14 Otantamenetelmät - Tekniikkaa 6 4. Satunnaispoiminta siten että poimintayksikkö on ryväs ja tutkimusyksikkö on ryppään jäsen. π k = n m N Tämä ä on päinvastainen i edelliseen nähden. Pienemmän ryppään jäsen tulee suuremmalla todennäköisyydellä tutkimusyksiköksi kuin suuremman ryppään jäsen. Monessa käytännön tilanteessa tämä poiminta ei tapahdu yhdessä asteessa vaan ensin on yksinkertainen satunnaispoiminta eli n/n ja sitten jäsenen poiminta ryppään sisältä. Tästä on ESS-esimerkki pian. k SurveyMetodiikka 2009 Seppo 70

15 Otantamenetelmät - Tekniikkaa 6 5. Pps takaisinpanolla i π k = nxk x U k Tässä x k viittaa kokomuuttujaan (voi koostua useiden muuttujien koonnelmasta). Sen olisi hyvä olla korreloitunut tärkeimpien y- muuttujien kanssa. Summa nimittäjässä lasketaan koko perusjoukon U yli. Käytännössä perusjoukkona on luonnollisestikin viimeisin kehikko yksilötasolla. Tämän voi tulkita myös yleistykseksi kahdesta edellisestä kaavasta mutta niissä on kuitenkin perustavoitteena ollut otanta ilman takaisinpanoa mutta tässä siis takaisinpainolla. Katso lisää seuraavalta sivulta SurveyMetodiikka 2009 Seppo 71

16 Otantamenetelmät - Tekniikkaa 7 Ammattilaiset kutsuvat pps:ää ilman takaisinpanoa πps :ksi (lausutaan suomeksi pii-pee-es) p Tämä on teknisesti hankalampi toteuttaa koska edellisen sivun kaava tehdään aina uudelleen kunkin poiminnan jälkeen. Tavallinen pps, siis takaisinpanolla, on helppo toteuttaa esimerkiksi asettamalla kehikon jäsenet suuruusjärjestykseen [0,1] janalle tai vastaavalle prosenttijanalle siten että kunkin kehikkoyksikön osuus janalla on koon mukainen. Nyt voidaan soveltaa tasavälipoimintaa aloittamalla sopivasta satunnaiskohdasta janalla ja käymällä koko jana läpi. Jos kehikkoyksikön k ikö koko k on riittävän ä suuri (tutki tki miten suuri?), niin sen sisältymistodennäköisyys on suurempi kuin yksi ja yksikkö voi tulla valituksi kaksikin kertaa otokseen. Miten selvittäisit tällaisen ongelman jollet siirry ilman takaisinpanoa - menetelmään? SurveyMetodiikka 2009 Seppo 72

17 Otantamenetelmät - Tekniikkaa 8 Kuten todettu, kaikkiin kaavoihin voidaan lisätä osite h = 1,, H jossa H on ositteiden määrä. Tee tällainen lisäys johonkin kaavaan. Toisaalta useampiasteisessa ja vaiheisessa otannassa sisältymistodennäköisyyksiä on peräkkäin useampi, jotka riippumattomassa tilan- teessa kerrotaan keskenään jotta saataisiin ensimmäisen kertaluvun kokonaissisältymistodennäköisyys. Esimerkki: 1. aste pps tkii takaisinpanolla, jlli jolloin valitaan ensisijaisia iijii poiminta- i yksiköitä psu riittävä määrä n 1. Jos merkitään j:llä psu-ita, niin saadaan (summa nimittäjässä yli kaikkien kehikon psu:uiden): π 1 = n 1 x U j x j SurveyMetodiikka 2009 Seppo 73

18 Otantamenetelmät - Tekniikkaa 9 ESS:ssä ensimmäisen asteen ryppäät (ositteiden sisällä) ovat ovat usein pienalueita, joita pitäisi olla ainakin 100. PISA:ssa psu on koulu, joita edellytetään olevan minimissään 150, ehdoton vaatimus). Kokomuuttujan x kuuluu olla yhteydessä tavoiteperusjoukon kokoon, mieluiten koskea sen jäseniä kussakin ki psu:ssa. Pieniä iä vaikeuksia k i on käytännössä ä ä koska k vastaavaa tilastotietoa ei aina luotettavana saada. Niinpä ESS:ssä psu-tason kokotiedot (15+ -ikäisten määrät) voivat olla hieman vanhoja ja joskus koskevat hieman eri ikäluokkia kuten ikäisiä. PISA:ssakin on varmasti hieman karkeata tietoa monissa maissa PISA-ikäisten koululaisten määristä. Koska nyt valitaan vasta psu:t, ei pieni karkeustaso ole ratkaisevaa kokonaislaadun kannalta. Psu-koot voivat vaihdella surveystä toiseen, joskus liikaakin mikä haittaa otannan hyvää poimintaa. Huono esimerkki ESS:ssä on ollut Saksa jossa isoimmissa psu:issa on ollut pari miljoonaa, pienimmissä muutama sata 15+ -ikäistä. Tällöin pps ei toimi kunnnolla SurveyMetodiikka 2009 Seppo 74

19 Otantamenetelmät - Tekniikkaa 10 Historiatutkimuksessa psu:t ovat suoraan tutkimusyksiköitä eli vuotiaita. Tässä tutkimuksessa muodostettiin neljä ositetta siten että muuttujina olivat suomenkieliset = Fi ja ruotsinkieliset = Se sekä alle 25 vuotiaat = Young ja sen iän täyttäneet. Ohessa Excel-tiedosto josta ilmenevät perustiedot. Selvitä iämitä iämikin tarkoittaa ja mieti imikä voisi iiolla ollut tavoitteena otoksen allokoinnissa = kiintiöinnissä eli sovitun kokonaisotoskoon =3430 jakamisessa ositteisiin. Historiatietoisuus Suomessa, brutto-otos Väestö Väestö Suhteellinen Osite määrä suhteet otoskoko Brutto- otoskoko Suhteessa Fi_Other ,2 2682, , Fi_Young ,35 560, , Se_Other ,49 154, , Se_Young ,9 30, , SurveyMetodiikka 2009 Seppo 75

20 Otantamenetelmät - Tekniikkaa 11 Tässä on tämänhetkisen otantatiedoston osa. Jatkossahan otantatiedosto laajenee kun tiedetään ketä vastaavat, ketkä ovat ylipeittoa ym. Myös uusia X-muuttujia lisätään. Ehdota mitä voisi? SurveyMetodiikka 2009 Seppo 76

21 Otantamenetelmät - Tekniikkaa 12 Uhritutkimukseen laitoin tarkoituksella ryppäitä psu:iksi jotta samalla voitaisiin tutkia sitä onko uhriksi joutumisessa lähialuepiirteitä eli kasautuuko uhriutuminen. Psu:ita kehitin kuntien ja postinumeroiden avulla noin 450 joista pps:llä poimin tasan sata otokseen (mukava luku). Psu:iden minimikooksi asetin noin 1000 ja suurimmat olivat noin Näillä ehdoilla ei mikään psu tullut kahta kertaa otokseen (aluksi minulla oli liian suuria eikä SAS suostunut tekemään poimintaa, koska sisältymistodennäköisyyden täytyy olla loogisestikin alle yksi). Seuraavalla sivulla tilannetta valaisevia tuloksia. Tässä SAS-ohjelma jossa ositteet ovat neljä aluetta. proc sort data=psu2; by strata2; proc surveyselect data= psu2 out=otos_psu seed=5191 method=pps sampsize=( ); size Popu_psu; where strata2 ne ' '; by strata2; run; SurveyMetodiikka 2009 Seppo 77

22 Tässä on huvin vuoksi tehty edellisen sivun ohjelman dataan yksi osite lisää. Katsopa virheilmoituksia ja opi niistä. ERROR: The sample size, 19, is larger than the number of sampling units, 1. NOTE: The above message was for the following stratum: strata2= Koe '. ERROR: For METHOD=PPS, the relative size of each sampling unit must not exceed (1/SAMPSIZE). NOTE: The above message was for the following stratum: strata2=kauppo. ERROR: The number of values listed for SAMPSIZE= must equal the number of strata. There are more strata than SAMPSIZE= values. NOTE: The SAS System stopped processing this step because of errors. WARNING: The data set WORK.OTOS_PSU may be incomplete. When this step was stopped there were 36 observations and 6 variables. WARNING: Data set WORK.OTOS_PSU was not replaced because this step was stopped SurveyMetodiikka 2009 Seppo 78

23 Uhritutkimuksen 2009 ensimmäisen asteen sisältymisto- i dennäköisyyksien jakauma SurveyMetodiikka 2009 Seppo 79

24 Otantamenetelmät - Tekniikkaa aste Satunnaispoiminta siten että poimintayksikkö on suoraan tai epäsuorasti poimittu haluttu tutkimusyksikkö. π = n 2 2 N 2 Tässä n 2 on tässä vaiheessa sopivaksi määritelty otoskoko. N 2 on siis psu:n kiinnostuksen alaisten tutkimusyksiköiden lukumäärä. PISA:ssa tässä asteessa valitaan siis itse oppilaat (joskus voi olla vielä jokin muu valinta ensin jos koulu on iso ja hajallaan). Heitä poimitaan maksimissaan 35. Tämän kokoisista ja pienemmistä i kouluista siis valitaan kaikki. ESS:ssä on muutamissa maissa suoraan psu:n sisältä 15+ -ikäisen henkilön poiminta satunnaisesti, mutta monissa muissa valitaan ensin kotitalous tai osoite ja sitten sovelias tutkimushenkilö (esim. viimeisimmäksi syntymäpäivää viettänyt) SurveyMetodiikka 2009 Seppo 80

25 Otantamenetelmät - Tekniikkaa aste Jos molempien asteiden sisältymistodennäköisyys otetaan huomioon saadaan siis kummankin ki tulo. Laske itse mitä tulee ja erityisesti i ti selvitä itsellesi mikä on lopputulos, jos N 2 on sama kuin 1. asteessa esillä ollut kokomuuttuja siinä tapauksesssa että n 2 on vakio, kuten on hyvin usein tapana tehdä. Näet kiintoisasti että sisältymistodennäköisyys on vakio kussakin ositteessa ja voi olla kaikissakin ositteissa jos niissä on kaikissa samat poimintasuhteet ja muut poimintaehdot. Tästä siis seuraa että asetelmapainot ovat yhtä suuria, siis brutto-otokselle. Vastauskato toki käytännössä muuttaa tilannetta. Uhritutkimuksessakin tähtäsin siihen että tuo etu säilyisi mahdollisimman pitkälle eli kustakin alueryppäästä valittiin lähes sama määrä henkilöitä (keskimäärin 78). Kuitenkin otin hieman enemmän alueilta joissa on odotettavissa suurempi vastauskato ja vastaavasti vähensin muista. Saa nähdä kuinka lähellä toisiaan ovat netto-otoskoot otoskoot ryppäissä SurveyMetodiikka 2009 Seppo 81

26 Otantamenetelmät - Tekniikkaa 13 Jos 2. asteessa valitaan kotitaloudet ja ne ovat myös tutkimusyksiköitä, edellisellä llä sivulla oleva tilanne (yhtä suuret sisältymistodennäköisyydet i äköi d ja asetelmapainot) ei päde, ellei 1. asteessa painomuuttujana ole myös kotitalouksien määrä. Mieti tilannetta Irakin kuolleiuustutkimuksen kannalta jossa oli sellainen tilanne. Usein tarvitaan siis 3. aste jossa satunnaispoiminta toteutetaan edellisen asteen yksikön sisällä. Jos valitaan vain yksi kuten ESS:ssä, niin saadaan (m k = kehikkoon kuuluvien tavoiteperusjoukon jäsenten määrä 2. asteen otokseen tulleessa yksikössä) 1 Tyypillinen tilanne ESS:ssä on että 2. asteessa on poimittu otokseen osoite tai kotitalous jossa on m k 15+ -vuotiasta (huom. ei siis talouden jäsentä). Koska vain yksi heistä otetaan haastateltavaksi, suoritetaan satunnaispoiminta SurveyMetodiikka 2009 Seppo 82 π 3 = m k

27 Otantamenetelmät - Tekniikkaa 14 Edellä esitetyt kaavat ovat siis brutto-otokselle jota olen koko otostasolla merkinnyt n:llä, vastaavasti vaikka ositteissa n h :lla. Kun kaikki eivät vastaa, niin tämä määrä pienenee. Olen merkinnyt vastanneiden määriä r:llä, koskien siis yksikkötason vastanneita (kuten kerroin ESS4:ssa Norjan arkisto joka tarkistaa saamiaan datoja, oli siirtänyt muutamia vastaajia vastaamattomien ryhmään koska vastausten laatutaso oli huono; näin voidaan tehdä). Jatkan samalla linjalla. On tarpeen muodostaa edellä esitetyt kaavat tältä pohjalta uudelleen koskemaan vastaajia. Tee tämänmukaiset muunnokset kaavoihin. Älä kuitenkaan ihan suoraviivaisesti vaan mieti missä se on tarpeen, missä taas ei välttämättä. Tuloksena sinulla on myös uusi otospaino jota kutsun peruspainoksi. Sen idea on sama kuin asetelmapainon siten vastaajat eivät poikkea vastaamattomista eli vastaamattomuus on satunnaista ja että otoskoko on pienempi. Myöhemmin teemme parempia painoja SurveyMetodiikka 2009 Seppo 83

28 Otantamenetelmät - Täydennystä y 1 Jo edeltä on käynyt ilmi että ositus ja psu voivat sotkeutua mielissä. Molemmathan kattavat (tai niiden tulisi kattaa) koko tavoiteperusjoukon (tietysti kehikon kautta). Ero näissä on siinä, että ositteet valitaan otokseen 100%:sti eli ositteet jakavat perusjoukon osiin, joiden sisältä siis poimitaan otosyksiköt. Psu:ita sen sijaan valitaan alle 100%:sti, mutta siis yli 0%:sti. Jos psu valitaan 100%:sti, kyse on siis myös ositteesta. Käytännön ratkaisu tilanteessa jolloin sisältymistodennäköisyys psu:lle on 100% tai yli, on joko -pienentää tällaisen psu:n kokoa sopivalla jaolla tai -muodostaa tästä psu:sta osite SurveyMetodiikka 2009 Seppo 84

29 Otantamenetelmät - Täydennystä y 2 Osittaminen on hyvin yleinen tapa otannassa ja on myös hyödyllinen hyvin toteutettuna. Itse olen jopa sitä mieltä, että aina jokin ositus on tarpeen. Tässä mielessä olen vastustanut ainakin Suomen, Ruotsin, Viron, Tanskan ja Norjan ESS:ssä käyttämää yksinkertaista satunnaisotantaa mikä ei useimmissa maissa olisi mahdollistakaan. Rekisterien avulla tehtävä onnistuu teknisesti toki. Tässä strategiassa ei ajatella kenttätyön jälkeiseen aikaan asti sillä vastaaminen vaihtelee tosiasiassa huomattavasti kaikissa näissä maissa, ja sitä voidaan myös tutkia taustamuuttujittain. Jos taustamuuttuja voidaan asettaa ositteeksi, voidaan brutto-otoskokoa allokoida myös odotettavissa olevan vastaamisen mukaan. Siis ottaa suhteellisesti isompi otos ositteesta jossa odotetaan isompaa vastauskatoa. Tämä on ollut yksi tekijä uhri- ja historiatutkimuksen allokoinnissa, i muttei ainoa eli toinen tekijä on liittynyt tutkimustavoitteisiin SurveyMetodiikka 2009 Seppo 85

30 Otantamenetelmät - Täydennystä y 3 Otannan suunnitteluvaiheessa ryvästyminen otetaan huomioon ryvästymisestä y johtuvalla otanta-asetelmakertoimella jonka Leslie Kish kehitti 1960-luvulla: DEFFc = 1+ (b-1)rho jossa b = keskimääräinen nettoryväskoko. Jos sisäkorrelaatio on nolla, kerroin =1 mutta mitä isompi se on eli mitä homogeenisempia ryppäät eli psu:t ovat, sitä isompi on DEFFc. Toisaalta havaitset että jos DEFFc pienee keskiryväskoon pienetessä. ESS:ssä nämä vaihtelevat at melko paljon, bruttotasolla noin 6:sta 25:een. Jos ja kun psu-ryväs on pienalue, on käyntihaastattelu halvahkoa tehdä tällä tasolla. PISA:ssa ei kovin pieniä ryppäitä haluttu, koska k tentit ja haastattelut olisivat i hyvin kalliita pienissä i ryhmissä. Tämä toisaalta siis nostaa DEFFc:n arvoa SurveyMetodiikka 2009 Seppo 86

31 Syrjähyppy: yppy Edellisen sivun kaavan kanssa samanhenkinen kaava saadaan haastattelijavaikutuksen mittaamiseen: DEFF(haast) = 1+ (b-1)rho Tässä ä b = keskimääräinen ki äi haastattelujen määrä ä per haastattelija ja rho analogisesti kuten edellä eli rho= haastattel tt ijoiden id _ välinen _ var ianssii kokonais_ varianssi Tietysti i tämäkin äki on muuttujakohtainen eli vaihtelee kysymyksestä toiseen. Aihe on kiinnostava jatkotutkittavaksi. Huomaa että haastattelija käyntihaastatteluissa toimii usein saman psu:n alueella joten ei ole suoraan eroteltavissa, onko kyseessä alueellinen vai haastattelijasta johtuva vaikutus SurveyMetodiikka 2009 Seppo 87

32 Otantamenetelmät - Täydennystä 4 Toinen tekijä joka vaikuttaa otoskokoon ovat otospainot. Ohessa on kaava jonka Kish esitti ja jota ESS:n otantaryhmä on käyttänyt arvioidessaan painojen vaihtelun vaikutusta tarvittavaan otoskokoon. k Näet että tämä ä vaatii arvion siitä moniko vastaa sekä arvioidun laskelman painoista w k (tuossa kaavamuodossa painot on skaalattu siten että keskiarvo = 1). Tätä sovelletaan tavallisimman edellä esitetyssä asteessa 3 jolloin kotitalouden tai osoitteen sisältä valitaan yksi vastaajakandidaatti ja on selvä että vastaava paino vaihtelee sen mukaan montako 15+ -ikäistä on koska sisältymis-todennäköisyys vaihtelee 1:stä (yksi henkilö 2 ryppäässä), 0,50:een (kaksi henkilöä), jne. r k w k Minkä luulet olevan maksimin? k DEFFp = r Kaavan karkeampi ja helpommin ( r wk laskettava versio on seuraava: k DEFFp = 1 + cv(w) 2 missä cv(w) = painon vaihtelukerroin Tässä paino voi olla skaalattu tai skaalaamaton kuten tiedät. Esimerkiksi Portugalin ESS2:ssa 3. asteessa = jäsentä valittaessa DEFFp = k ) SurveyMetodiikka 2009 Seppo 88

33 Otantamenetelmät - Täydennystä 5 KokonaisDEFF = DEFFc*DEFFp Tässä on taulukko ESS:n eräistä maista: Table 2: Estimation of design effects for countries participating in both rounds Country DEFFc DEFFp DEFF AT BE CH CZ DE ES FR GB HU NL NO PL PT SI SurveyMetodiikka 2009 Seppo 89

34 Otantamenetelmät - Täydennystä 6 DEFF- kertoimella on suora yhteys tarvittavaan otoskokoon sillä kertoimen taustalla on ajatus verrata tätä varianssiestimaattia yksinkertaisella satunnaispoiminnalla saatuun vastaavaan varianssiestimaattiin missä ei siis ole ryppäitä eli DEFFc = 1 = DEFFp. Toisaalta varianssit i ovat suorassa suhteessa vastaaviin bruttootoskoihin (jonka opit varmemmin vaikkapa otantakurssilla). Eli tämä kerroin auttaa sopivan brutto-otoskoon määrittelyssä. Siksi DEFF:n hyvä etukäteisarvio helpottaa oikean otoskoon määrittelyssä. On syytä huomauttaa, että tämä on muuttujakohtainen. ESS:ssä on otantaryhmä tuottanut edellisiltä kierroksilta laskelmia runsaasta kymmenestä muuttujasta joiden mediaania on pidetty lähtökohtana seuraavan kierroksen otannassa. Kun aineisto on siis valmis, lasketaan myös DEFF-kertoimia. Ne havainnollistavat otanta-asetelman monimutkaisuuden vaikutusta SurveyMetodiikka 2009 Seppo 90

35 Otantamenetelmät - Täydennystä 7 Yhteenvetona brutto-otoskoon otoskoon määräämisestä saamme seuraavan taulukon tilanteessa jossa tavoitteellinen efektiivinen otoskoko on määritelty kuten ESS:ssä. Tämä on koko joka vastaa yksinkertaisen satunnaispoiminnan otoskokoa (mitä metodia ei sinänsä kannata käyttää mutta se on hyvä vertailuun). Toiminto Esimerkkilaskelma 1. Efektiivisen otoskoon tavoite (neff) Odotettu puuttuneisuus johtuen vastauskadosta 30% eli 1500/.7 = Odotettu puuttuneisuus johtuen ylipeitosta 5% eli 2143/.95 = Odotettu ryväsvaikutus sisältäen ennusteen sisä- DEFF c = 1+(5.3-1)*.025 = 1.11 korrelaatiosta t ja odotetusta t t vastanneiden määrästä ä 2256*1.11= ryppäässä 5. Odotettu asetelmavaikutus johtuen eri suurista DEFF p = 1.25 lopullisista sisältymistodennäköisyyksistä 2498*125= Riskitekijöiden huomioon otto > brutto-otos 3200 Odotettu netto-otoskoko 2128 Laske ryppään bruttokoko SurveyMetodiikka 2009 Seppo 91

36 Otantamenetelmät - Täydennystä 8 Edellisessä tilanteessa oli siis jo määritelty efektiivisen otoskoon tavoite mutta aina ei ole näin. Silloin on muuta kautta mietittävä mikä olisi i tämä ä tavoitteellinen koko. k Kun tähän lisää DEFFtekijät ja puuttuneisuusarviot saadaan brutto-koko. Seuraavaksi esitän muutamia näkökohtia otoskoon määrittämiseksi: (i) Tavoiteperusjoukon suuruus: pienemmässä riittää pienempi otoskoko saman tarkkuustavoitteen saavuttamiseen. Tämä on yhteydessä ns. äärellisen perusjoukon korjaustekijään, mikä on muotoa f = (N-n)/N. Tätä tutkimalla havaitset että kun tavoiteperusjoukko kasvaa riittävän isoksi, sanotaan vaikkapa sadoiksi tuhansiksi, ei tällä ole varsinaista merkitystä. Niinpä Kiinan ja Suomen väestölle samansuuruinen otoskoko kelpaa saman tarkkuuden saavuttamiseksi edellyttäen että kaikki muut tekijät ovat pätevät eli lopullinen otos on aidosti todennäköisyysperiaatteisiin pohjautuva. Otanta-asetelman ei tarvitse olla sama. (ii) Tarkkuustavoite mikä mainittiin jo edellisessä kohdassa. Tämä on helppo, jos surveyssä on yksi mittauskohde eli parametri. Tällöin siis jos asiakas tietää kuinka tarkasti hänen tulisi estimaattinsa saada, niin otannan asiantuntija voi laskea hänelle oikean otoskoon. Näin ei juuri koskaan ole vaan surveyssä on iso määrä estimoitavia parametrejä (kysymyksiä lomakkeessa) ja estimointien tarkkuus mitä todennäköisimmin vaihtelee, jopa selvästi. Tilanne on helpompi, jos asiakkaalla olisi jokin päämuuttuja ja -estimaatti josta on kiinnostunut, kuten on melko usein yrityssurveyssä, mutta ei henkilösurveyssä Kyselytutkimuksen Metodiikkaa 2009 Seppo 92

37 Otantamenetelmät - Täydennystä 9 (iii) Budjetti on usein määräävä tekijä. Tavoite on tällöin toimia sen puitteissa mahdollisimman hyvin. Näin finanssikriisin aikaan esitetään vaatimuksia kulujen säästämiseksi i ja otoskoon (efektiivisen) i pienentäminen i on yksi keino. On myös hyvä huomata että hyvän aputiedon hyvällä käytöllä voidaan otoskokoa laskea saman tarkkuuden saavuttamiseksi. Harva tutkija tämän noteeraa. On hyvä huomata, että jos budjetti on liian pieni riittävän tarkkuuden saavuttamiseksi, on turha kuluttaa rahaa huonon tutkimuksen tekoon ollenkaan. (iv) Aikataulut on myös otettava huomioon. Jos tulos halutaan nopeasti, ei voitane päästä samaan tarkkuuteen kuin tilanteissa joissa kenttätyöhön on aikaa runsaasti (ESS:ssä pääsääntöisesti 3 kk). Pikatutkimuksissa, joita mediassa usein esitetään, harha voi olla huomattavakin vaikka toiminnot olisikin tehty huolella. Sen suuruuden arviointi on myös hankala Kyselytutkimuksen Metodiikkaa 2009 Seppo 93

38 Otantamenetelmät - Täydennystä 10 (v) Minimiotoskoosta: moni kyselijä haluaa tietää mikä olisi minimiotoskoko. Tämä on ymmärrettävää. Kuten edeltä käy ilmi yksiselitteinen vastaus on mahdoton antaa mutta aikaisempien surveyden kokemusta voi toki ja pitää hyödyntää. y Jos löytyy yy samantapainen toinen survey, on mahdollista arvioida tarkkuudet yms. ja antaa kyselijälle vastaus tyyliin: - Jos haluat pääpiirteittäisiä tuloksia, ehkäpä vastaajaa voisi riittää olettaen että teet kaiken mitä mainioimmin eikä vastauskato ole suuri tai ei ainakaan tuloksia harhauttava. Kun sinulla on aineisto mutta estimaattiesi tarkkuus ei riitä, voithan jatkaa otosta. Tällainen otos on paras poimia heti alussa varastoon ja satunnaisjärjestykseen ettei synny jotain systemaattista harhaa. - Jos ajattelet tutkimustasi pilottina, myös tuollainen riittää moneen tarkoitukseen eli saat alustavia tuloksia ja oppia kunnon surveyn tekemiseksi ml. otannan toteuttamiseksi. (vi) Eräs käytännön strategia: t Aineiston i käyttäjällä on mielessä paitsi i koko k tavoiteperusjoukkoon myös sen osiin liittyviä tarpeita (ihmistiedusteluissa koskien väestöryhmiä kuten ikäryhmittäin ja sukupuolittain, yritystiedusteluissa toimialoittain ja kokoryhmittäin). Koska kustakin osaryhmästä olisi hyvä saada riittävän suuri otos eli riittävä tarkkuus, niin kuhunkin liittyy minimiotos. Jos vaikkapa ehdoton vastanneiden määrä pitäisi olla 30 (bruttona vaikkapa 45), niin 5 ikäryhmän tulosten estimointiin riittäisi 150 vastaajaa (bruttona 225), jos kaikista ikäryhmistä olisi samansuuruinen otos. Käytännössä näin ei ole ellei ole hyvä ositus. Vastaavasti muissa yksiulotteisissa tulostustarpeissa pärjättäisiin kohtuudella, myös sukupuolittain. MUTTA: kaksiulotteisiin, kuten sukupuolen ja ikäryhmän mukaan, tämä ei riitä. Otoskokoa pitäisi kasvattaa. Useampiulotteissa, monimuuttuja- analyyseissä, aineisto loppuu vielä helpommin. Otoskokoa täytyisi siis kasvattaa. ESS:n efektiivisen otoskoon määrittelyssä on haluttu mikroaineisto josta voi kohtuullisella tarkkuudella saada myös pienemmistä osajoukoista estimaatteja maatasolla. On selvää, että aineistosta ei kaikkien kiinnostavien taustatekijöiden mukaan voi estimoida hyviä tuloksia silti maatasolla. Osassa tapauksista luotettavuus saadaan paremmaksi maaryhmätasolla Kyselytutkimuksen Metodiikkaa 2009 Seppo 94

39 Esimerkki yksinkertaisesta otanta-asetelmasta ESS 4 Target Population, All persons aged 15 and over living in Norway (Norwegian citizens who are Population coverage not registered living in another country and non-norwegian citizens who are registered living in Norway excluding students) Sampling frame The BEBAS Population Register which is a working copy of the National Population Register from 1 st January This will be updated monthly. For the ESS, the latest updating will be available from July Sampling design A one-stage systematic random sampling (= simple random sample). Design effects DEFF = 1 Target response rate 70% Remark A bit unrealistic based on R3 Sample size Gross sample = In-eligibles = 70 Target net sample = Anticipated net sample = 1686 (based on R3) Minimum net sample = Special Features of the design There will be provided adjusted weights for post-stratification for the variables region, age and gender SurveyMetodiikka 2009 Seppo 95

40 Esimer rkki monim mutkaisemmasta otanta a-asetelmasta, ESS SurveyMetodiikka 2009 Seppo 96

41 Esimer rkki monim mutkaisemmasta otanta a-asetelmasta, ESS 4 _ Jatkuu SurveyMetodiikka 2009 Seppo 97

42 Harjoitusosio Päätehtävä on muodostaa Irakin kuolleisuustutkimuksen aineistoon otospaino; aivan ihanteellista ei ehkä saa mutta sellainen joka tuottaa uskottavia estimaatteja. Ohessa on tieto t joka on alkuperäisessä ä artikkelissa Burnham, G., R. Lafta, S. Doocy and L. Roberts (2006). Mortality after the 2003 invasion of Iraq: a cross-sectional cluster sample survey. The Lancet 368, Table 1: Province populations and cluster allocation Baghdad Ninewa Basrah Sulamaniyah Thi-Qar Babylon Erbil Diyala Anbar Salah al-din Najaf Wassit Qadissiya Tameem Missan Kerbala Muthanna Dahuk Total Yritetään yhdessä keskustellen ja sitten laskutoimitukset it k t ohjelmoiden tuottaatt jotkin painot dataan. Lisätehtävänä keskustelua kurssimonisteen kohdista joissa on esitetty kysymyksiä. Etsi niitä SurveyMetodiikka 2009 Seppo 98