Imputoi puuttuvat kohdat

Samankaltaiset tiedostot
Editointi ja imputointi, outlierien käsittely Seppo Lokakuu 2011

Imputointi 2009, Seppo 1

Seuraavaksi esitän Neljä keskeistä uutta otospainoa aikaisemmin esitetyn asetelmapainon (symboli a k ) lisäksi (Kertaa sen idea!).

HELSINGIN YLIOPISTO HELSINGFORS UNIVERSITET UNIVERSITY OF HELSINKI

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Estimointi. Vilkkumaa / Kuusinen 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Imputoinnin perusteet Helsingin yliopisto, kevät 2011 Seppo Laaksonen

Kertauskaavio Imputointitoiminto

pitkittäisaineistoissa

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

tilastotieteen kertaus

Sovellettu todennäköisyyslaskenta B

T Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1

Korjausrakentaminen 2012

LIITE. komission täytäntöönpanoasetus (EU)

T Luonnollisten kielten tilastollinen käsittely

Harjoitus 2: Matlab - Statistical Toolbox

Sovellettu todennäköisyyslaskenta B

Surveymetodiikka Helsingin yliopisto, Syksy 2013 Seppo Laaksonen

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Yksinkertaista estimointia 1

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Puuttuvan tiedon käsittely aivosähkökäyrämittauksissa

pisteet Frekvenssi frekvenssi Yhteensä

Osa 2: Otokset, otosjakaumat ja estimointi

pitkittäisaineistoissa

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)

Regressioanalyysi. Kuusinen/Heliövaara 1

805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016)

I/2018 IV/2017 III/2017 II/2017 I/2017 IV/2016 III/2016 II/2016

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Kiinteistöjen ylläpito Talotekniikan kipupisteitä ja hyviä käytäntöjä

2. Aineiston kuvailua

Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1

805306A Johdatus monimuuttujamenetelmiin, 5 op

Testaa onko myrkkypitoisuus eri ryhmissä sama. RATK. Lasketaan kaikkien havaintoarvojen summa: k T i = = 486.

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

/1. MTTTP1, luento Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Helsingin seudun liikenne

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio

MS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely

806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy (1 α) = 99 1 α = 0.

Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma tiedetään. Se on normaalijakauma, havainnollistaminen simuloiden

/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

1. Tilastollinen malli??

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

,ܾ jaü on annettu niin voidaan hakea funktion

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

Uudelleenpainotus ja imputointi Perusteita

Hannu mies LTK 180 Johanna nainen HuTK 168 Laura nainen LuTK 173 Jere mies NA 173 Riitta nainen LTK 164

Matemaattinen tilastotiede. Erkki Liski Matematiikan, Tilastotieteen ja Filosofian Laitos Tampereen Yliopisto

Tilastollisia peruskäsitteitä ja Monte Carlo

Tehtävä: FIL Tiedostopolut

II/2018 I/2018 IV/2017 III/2017 II/2017 I/2017 IV/2016 III/2016

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

Vuokratietojen imputointi SISU -aineistoon

Puuttuvan tiedon käsittely analyyseissä. Eija Räikkönen, JY Jari Westerholm, NMI Asko Tolvanen, JY

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

III- Divisioona playoff- ottelut Etelän loppusarjan ylempi jatkosarja ja Kymi-Saimaan loppusarja

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Matematiikan tukikurssi

b) Määritä myös seuraavat joukot ja anna kussakin tapauksessa lyhyt sanallinen perustelu.

¼ ¼ joten tulokset ovat muuttuneet ja nimenomaan huontontuneet eivätkä tulleet paremmiksi.

YLEISKUVA - Kysymykset

Rakennus- ja asuntotuotanto

III/2018 II/2018 I/2018 IV/2017 III/2017 II/2017 I/2017 IV/2016

Kertausluento. Tilastollinen päättely II - 2. kurssikoe

IV/2018 III/2018 II/2018 I/2018 IV/2017 III/2017 II/2017 I/2017

MS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely

2 Pistejoukko koordinaatistossa

MS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely

Tilastotieteen aihehakemisto

TUTKIMUSAINEISTON ANALYYSI. LTKY012 Timo Törmäkangas

Testit järjestysasteikollisille muuttujille

Mitä tarvitsee tietää biostatistiikasta ja miksi? Matti Uhari Lastentautien klinikka Oulun yliopisto

Palautetta verkkokokousjärjestelmästä_kainuu

Maximum likelihood-estimointi Alkeet

Bayesilainen päätöksenteko / Bayesian decision theory

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Valmistaudu peliin, keskity omaan pelaamiseesi. Porin Narukerä Markku Gardin

MATEMATIIKAN TASOTESTI / EKAMK /

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Painotusmenetelmät survey aineiston muuttujien estimoimiseen

Kvantitatiiviset menetelmät

805324A (805679S) Aikasarja-analyysi Harjoitus 6 (2016)

Tilastollinen päättely II (MAT22003), kevät 2019

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

7.4 Normaalijakauma (kertausta ja täydennystä) Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96) = 0,025, P(Z -1,96) = 0,025

Alkusanat. Helsingissä Noora Nikula

TUTKIMUSAINEISTON KVANTITATIIVINEN ANALYYSI LTKY012. Timo Törmäkangas

Epävarmuuden hallinta bootstrap-menetelmillä

3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin

6.1.2 Luottamusjoukon määritelmä

Harjoitukset 4 : Paneelidata (Palautus )

Normaalijakaumasta johdettuja jakaumia

Transkriptio:

Imputoi puuttuvat kohdat Imputointi tarkoittaa tai määritellyn tiedon paikkaamista sellaisella korvikearvolla joka estimaatin laatua verrattuna siihen mikä saataisiin ilman eli jättämällä tuo tieto käsittelystä pois. Huomaa että sanan pituus voi olla aivan muu kuin alleviivausmerkkien määrä

Imputoitu Imputointi tarkoittaa puuttuvan tai puuttuvaksi määritellyn epäkelvon tiedon paikkaamista sellaisella korvikearvolla joka parantaa estimaatin laatua verrattuna siihen mikä saataisiin ilman imputointia eli jättämällä tuo tieto käsittelystä pois.

Imputoi puuttuvat kohdat Syitä imputoinnin yleistymiselle ovat olleet: - aineistojen käytön lisääntyminen yleisestikin - aineistoissa havaittujen lisääntyminen ja epäily niiden vaikutuksesta lopputulokseen - objektiivisten tarve - editoinnin yhteydessä tapahtunut imputointi on usein ollut tai ei ainakaan ole ollut selvyyttä mikä on ollut mahdollisen fiksunkin ratkaisun - mien kehittyminen Huomaa että sanan pituus voi olla aivan muu kuin alleviivausmerkkien määrä

Imputoitu Syitä imputoinnin yleistymiselle ovat olleet: - mikroaineistojen käytön lisääntyminen yleisestikin - aineistoissa havaittujen puuttuvuuksien lisääntyminen ja epäily niiden vaikutuksesta lopputulokseen - objektiivisten paikkausmenetelmien tarve - editoinnin yhteydessä tapahtunut imputointi on usein ollut liian subjektiivista tai ei ainakaan ole ollut selvyyttä mikä on ollut mahdollisen fiksunkin ratkaisun perustelu - imputointimenetelmien kehittyminen

Imputoi puuttuvat kohdat Vastaajakandidaatti osallistumasta tiedusteluun. voi olla laadultaan tiukempi tai pehmeämpi. Syyt näihin voivat olla hyvin moninaiset mutta niihin ei tässä tarkemmin puututa. Tiukka ei tavallisesti vastaa mihinkään kysymykseen (yksikkövastauskato), mutta antaa joitakin vastauksia tai vain kysymyksistä (erävastauskato). Toisaalta kysymykset voisi toteuttaa niinkin anonyymisti ettei haastattelija edes tiedä vastauksia. Huomaa että sanan pituus voi olla aivan muu kuin alleviivausmerkkien määrä

Imputoitu Vastaajakandidaatti kieltäytyy osallistumasta tiedusteluun. Kieltäytyminen voi olla laadultaan tiukempi tai pehmeämpi. Syyt näihin voivat olla hyvin moninaiset mutta niihin ei tässä tarkemmin puututa. Tiukka kieltäytyjä ei tavallisesti vastaa mihinkään kysymykseen (yksikkövastauskato), mutta pehmeämpi antaa joitakin vastauksia tai kieltäytyy vain herkistä kysymyksistä (erävastauskato). Toisaalta herkät kysymykset voisi toteuttaa niinkin anonyymisti ettei haastattelija edes tiedä vastauksia.

Imputoi puuttuvat kohdat Imputointi on tekniikka jonka tarkoitus on korvata puuttuvia tai muutoin epätäydellisiä havaintoarvoja sellaisilla joiden (i) odotetaan mieluiten olevan mahdollisimman oikeita arvoja, tai jos tämä ei ihanteellisesti onnistu, niin (ii) näiden arvojen olisi hyvä olla mahdollisimman lähellä oikeiden, mutta jos tässäkin on vaikeuksia, niin (iii) imputointeihin perustuvien arvojen tulisi olla mahdollisimman lähellä vastaavia arvoja. Tavoitteena voi olla myös, (iv) että arvojen olisi mahdollisimman lähellä oikeata. Huomaa että sanan pituus voi olla aivan muu kuin alleviivausmerkkien määrä

Imputoitu Imputointi on tekniikka jonka tarkoitus on korvata puuttuvia tai muutoin epätäydellisiä havaintoarvoja sellaisilla joiden (i) odotetaan mieluiten olevan mahdollisimman lähellä oikeita arvoja, tai jos tämä ei ihanteellisesti onnistu, niin (ii) näiden imputoitujen arvojen olisi hyvä olla mahdollisimman lähellä oikeiden arvojen jakaumaa, mutta jos tässäkin on vaikeuksia, niin (iii) imputointeihin perustuvien agregoitujen arvojen tulisi olla mahdollisimman lähellä vastaavia oikeita arvoja. Tavoitteena voi olla myös, (iv) että imputoitujen arvojen järjestys olisi mahdollisimman lähellä oikeata järjestystä.

Imputoi puuttuvat kohdat Imputointi on prosessi jonka tässä katson koostuvan seuraavista 6 osatehtävästä: (i) Datan jolloin päätetään myös mitä (ii) tiedon hankinta ja huolto (iii) suunnittelu ja rakentaminen ml. imputointisolujen mahdollinen luonti varten. (iv) tai (v) sisältäen piste, varianssin ja variansssin sekä näiden pohjalta varianssin (ja keskivirheen) (vi) Täydennetyn aineisto(je)n luonti, sisältäen myös sen mitkä arvot on imputoitu ( ). Huomaa että sanan pituus voi olla aivan muu kuin alleviivausmerkkien määrä

Imputoitu Imputointi on prosessi jonka tässä katson koostuvan seuraavista 6 osatehtävästä: (i) Datan editointi jolloin päätetään myös mitä imputoidaan (ii) Aputiedon hankinta ja huolto (iii) Imputointimallin suunnittelu ja rakentaminen ml. imputointisolujen mahdollinen luonti imputointitoimintoa varten. (iv) Imputointitehtävä tai imputointitoiminto (v) Estimointi sisältäen piste-estimoinnin, otantavarianssin ja imputointivariansssin sekä näiden pohjalta kokonaisvarianssin (ja keskivirheen) (vi) Täydennetyn aineisto(je)n luonti, sisältäen myös metatietona sen mitkä arvot on imputoitu (liputus).