Duplikaattien havaitseminen ja poisto DataFlux välinein

Koko: px

Aloita esitys sivulta:

Download "Duplikaattien havaitseminen ja poisto DataFlux välinein"

Hanna-Mari Kinnunen
8 vuotta sitten
Katselukertoja:

2 Miten tiedonlaatu ja MDM liittyvät SASiin? Source: TDWI Best Practice Report, Q

3 Miksi DataFlux, eikös meillä jo ole NODUP? SASin NODUP ja NODUPKEY (esim. PROC SORT) toimivat hyvin kun poistetaan identtisiä ilmentymiä Se toimii hyvin myös silloin kun halutaan säilyttää jollakin kriteerillä ensisijainen ilmentymä (tässä suurin Score) kun järjestelemme aineiston kriteerin mukaisesti Silloin vain ensimmäiseksi järjestelty arvo jää talteen ja muut poistetaan 3

kun halutaan säilyttää jollakin kriteerillä ensisijainen ilmentymä (tässä suurin Score) kun

4 Entä kun ilmentymät eivät olekaan identtisiä? Perinteiset metodit kuten NODUP eivät tunnista ilmentymiä samaan henkilöön liittyviksi, koska päälekkäisiä avaimia ei ole -> Tarvitaan joustavampia metodeja, joilla ilmentymät pystytään luokittelemaan samaan klusteriin kuuluviksi 4

henkilöön liittyviksi, koska päälekkäisiä avaimia ei ole -> Tarvitaan

5 Mikä DataFlux? DataFlux on perustettu 1997 Pohjois-Carolinassa SASin tytäryhtiö vuodesta 2000 Yli 2400 asiakasta globaalisti DataFlux tarjoaa ratkaisuja tiedonlaadun, data-integraation ja perustietojen hallinnan (MDM) alueille DataFlux Data Management Studio & Server qmdm Master Data Management 5 5

2000 Yli 2400 asiakasta globaalisti DataFlux tarjoaa ratkaisuja

6 Tiedonlaadun kehittämisen vaiheet Metadatan analysointi Ymmärrys siitä, mitä dataa on käytettävissä Datan profilointi Käsitys datan nykytilanteesta; eheydestä ja rakenteesta Datan laatu Korjaustoimenpiteet datan standardisoimiseksi Datan integrointi Datan yhdistely, muokkaus ja keskittäminen Monitorointi Tavoitellun laatutason ylläpito jatkuvan seurannan avulla Rikastaminen Datan täydentäminen ulkoisista lähteistä (esim. paikkatiedon avulla) Parhaan ilmentymän valinta Duplikaattien poisto ja ilmentymien yhdistäminen 6

yhdistely, muokkaus ja keskittäminen Monitorointi Tavoitellun laatutason ylläpito jatkuvan seurannan avulla Rikastaminen Datan

7 Mitä on parhaan ilmentymän tunnistus ja valinta? Ilmentymien tunnistaminen eri tietolähteissä sijaitsevasta datasta Sumean logiikan menetelmien hyödyntäminen klustereiden muodostamisessa match-koodien vertailun avulla Valintasääntöjen luominen, joiden mukaiset ilmentymät nostetaan klusterin muiden ilmentymien ohitse Parhaan ilmentymän valitseminen usean ilmentymän klusterista Jatkotoimet, eli poistuvien ilmentymien merkintä ja mahdollinen parhaan ilmentymän täydentäminen poistuvien ilmentymien tiedoilla 7

muodostamisessa match-koodien vertailun avulla Valintasääntöjen luominen, joiden mukaiset ilmentymät nostetaan klusterin muiden

8 DataFlux käyttää match-koodien vertaillessaan näennäisesti päällekkäistä dataa keskenään Järjestelmä A Järjestelmä B Järjestelmä C Field Järjestelmä Loan A Järjestelmä Current Acc B Järjestelmä Mortgage C Nimi Name Aku Robert Ankka Smith A. Bob Ankka Smith Aku Rob Rankka Smith Osoite Address Paratiisitie 14 Church13 Street Paratiisikatu Fourteen Church 13 Paratiisit. 14 Church 13 St. Kaupunki Ankkalinna Ankkalinna Street Ankkalinnoitus Match-koodi City GHWS$$EWT$ Swindon GHWS$$EWT$ Swindon GHWS$$WWT$ Swansea Value

Bob Ankka Smith Aku Rob Rankka Smith Osoite Address Paratiisitie 14 Church13 Street Paratiisikatu Fourteen Church 13 Paratiisit.

9 Match-koodien luonti Data Management Studiossa 9

10 Saman talouden asukkaiden klusterointi matchkoodituksen avulla Etunimi Sukunimi Katuosoite Puhelin MC1 (Sukunimi ja katuosoite) MC2 (Katuosoite ja puhelin) MC3 (Sukunimi ja puhelin) Klusteri ID Tupu Ankka Paratiisitie $SV #V8 %A8 1 Hupu Ankka Paratiisitie $SV #V8 %S8 1 Lupu Ankka Paratiisitie $SV #V6 %S6 1 Mikki Hiiri Julle Ankan polku $GH #H3 %G6 2 Mortti Hiiri Julle Ankan polku $GH #H6 %R6 2 Vertti Hiiri Julle Ankan polku $GH #H1 %B6 2 10

Paratiisitie 13 832-8239 $SV #V8 %S8 1 Lupu Ankka Paratiisitie 13 616-1504 $SV #V6 %S6 1 Mikki Hiiri Julle Ankan polku 6

11 Duplikaattien poistaminen Valintasäännöt tässä Contact = useimmin toistuva ilmentymä ID = suurin arvo (viimeksi päivitetty?) Muita valintasääntöesimerkkejä Pisin ilmentymä Viimeksi päivitetty ilmentymä Ulkoisesta lähteestä validoitu arvo Tietyn patternin omaava arvo (99999) 11

) Muita valintasääntöesimerkkejä Pisin ilmentymä Viimeksi päivitetty

12 Luodaan Paras ilmentymä Täydennetään parasta ilmentymää valintasääntöjen mukaan Valintasäännöt tässä When Phone is Not Null, Select Phone When State is Shortest Value, Select City and State 12

13 Match-koodit, standardointi, klusterointi ja parhaan ilmentymän valinta Data Management Studiossa Vaihe 1: Lähdedatan määrittely Vaihe 2: Match-koodien luonti nimille Vaihe 3: Match-koodien luonti muille kentille Vaihe 4: Standardoidaan työpuhelinnumerot yleiseen muotoon Vaihe 5: Klusteroidaan ilmentymät vertaamalla match-koodeja Vaihe 6: Parhaan ilmentymän valinta klustereittain Vaihe 7: Avataan ilmentymien vertailuikkuna tarkastelua varten 13

4: Standardoidaan työpuhelinnumerot yleiseen muotoon Vaihe 5: Klusteroidaan ilmentymät vertaamalla

Samankaltaiset tiedostot

Data Governance tulee lihaksi

Data Governance tulee lihaksi Jarno Lindqvist Senior Advisor, Information Management Nordic Region Mitä ja miksi? DG = (tiedon) hallintamalli DG viittaa ihmisten, prosessien ja teknologioiden kokonaisuuteen,