TIETOVARASTOINTI TIETOJENHALLINNASSA -SEMINAARI 23.4.2008 Yritystietomalli ja tietojen yhtenäistäminen JYRKI KYLÄHEIKO JYRKI.KYLAHEIKO@PLATON.NET WWW.PLATON.NET DENMARK FINLAND ICELAND NORWAY SWEDEN
Tiedossa olevia laatuongelmia Erilaiset kirjoitusasut Kirjoitusvirheet Kenttään kuulumaton lisätieto Tieto väärässä kentässä Nimi Osoite Kaupunki Postin. Huomautus Ville, Helminen Keskuskatu 25 Turku 20100 Känny 040-11222 Helminen, A. Ville Kekusk. Tku 20100 Katunumero 25 Mr. Helminen Keskuskatu 040-11222 20100 VIP Asiakas Lasse & Maija Niemi nen Lohitie 20 A 02770 Espoo Automyyjä L. Nieminen VIP Lohitie 20 A 3 Suomi 02650 Autokeskus oy Kenttään kuulumattomia lyhenteitä Tekstin ylivuodot Virheelliset syötteet Puuttuvat arvot Vapaamuotoiset tekstikentät Sivu 2
Mitä ovat yleisimmät lähteet tiedon laadun ongelmille? Kilde: Taking Data Quality to the Enterprise through Data Governance, Philip Russom, TDWI, March 2006 Sivu 3
Haaste Operatiiviset järjestelmät Anmeldte partier FPS Mastertiedot MVA Melding Varsling Anmeld. Produkt Planlagt STP PRO og pris opl. Produkt Afl.steder tjeneste og pris opl. Trp. ordre Husstandstal på stregkoder Ordrer Asiakas Työntekijä RealiseredeToimittaja Tuote mængder LBS Mængdestatistik Posthus Produktionsgruppe Mængdestatistikkode Husstandstal Modtagergrupper RAB Posthus Produkt Produktionsgruppe Format Mængdestatistikkode Mængdestatistik FLY SAC Blad fortegnelse Opret, flyt og slet blade Gruppenr Rumnr Omdelingsnr Gadeoplysninger KRS Mængde statistik Vejedata_antal Vejedata_vægt Posthus Produkt Produktionsgruppe Format DCS (H59) Blad fortegnelse Mængdestatistik Faktureringsgrundlag (manuel indtastning) BPO Adresse udtræk Nøgletal BLA VÆGT (Bisco) Nøgletal (manuel indtastning) NGL Mængdestatistik BOA udtræk Adresse PLD K-BOKS Kundeantal pr. kundetype PMS BOA STA Bladtitler og fordeling Mængdestat.total pr statistikkode pr. prod.grp. Behandlede mængder DART BSP timeforbrug PLS PIA Normer Grundtider VÆGT Vejedata PRO Beregn. parametre Postmængder Timebehov STREGKODE- LÆSER Hændelse CDS timeforbrug (Mødelister) Medarb.oplys. Aktivitetskoder timeforbrug CPB Syge statistik PLS Historiske mængder CDS Vejedata Hændelse trafiktal Medarb. Opl. PIA CDS CCB Stamdata Masseparti oplysn. Faktisk forbrugt tid BSP Anmeldt masseparti Særlige ydelser TID Mål-tal Medarb. oplysninger Prognoser MDL DC Plan Plan Trp. ordre Opl. Post mængder PLS Planlagt mønster Time behov Time behov Fravær Beregn. parametre Mønster specifikation Lønoplysninger PMS D96 Taste bilag Time behov timeforbrug TML PFS PPS EDI Opsamlings prognoser Masseparti oplysn. Prognoser realiserede mængder Fordelingsnøgler Fordelingsnøgler m.m. SPB ODS og planlagt timeforbrug BOS Transport ordrer timeforbrug TNT Forsendelses stati Trp. ordre status Budgetteret Forventet salg mængde/kr Forventninger Budgetteret salg og omkostninger Kundeopl. Trp.ordre status EDI faktura Pøs-sted salg og omkostninger TNT EDI Vægt GTC Stregkode (Vægt) Hændelse Stregkode GTP Hændelse (Håndscanner) IMS Kundeopl. KOS EPG pakker Kunde- og salgsopl. Kundeopl. MIS Indbetaling ( salg) Hændelse Lokal Vægt del Maa Månedligt aggregeret forbrug salg Akk. opl. om salg kunders portoforbrug MSS FKS PKV GTD Internet STP CMB Salgsopl. USF Hændelser Stregkoder Forespørgsel på forsendelse Stregkode samt svar Kundenummer Kundenavn GTT Faktura til udprintning salg Daglige summer til Postens fakturalinier Mailbureau SCANNER Central del Kundeoplysningegrundlag for Fakturerings- registrerede pakker FAK Træk på konti BG Bank MDC Bladadresseringsanlæg Gadenavn/Husnr RKL Adressens gruppenummer DIA Husstandstal Gadeoplysninger Gruppeoplysninger Reolopdelinger Stednavne Husstandstal OCR Gadeafsnit Postbokskunder Reolopdelinger Stavevarianter Stormodtagere OPD HUS Husstandstal Sorteringsopl. PAS Filial Skranketerminal Server Demografiske oplysninger DS Danmarks statistik OCR sorteringsmaskine VA OCR Udbetalt løn Udbetalt løn PTS RIS Postering LPD PTS Bestillingsoplysninger Agregeret realiseret salg Månedstal Adresseopl. (Image) PKS (Stor/Lille) Debitor krav Betaling Regnskabstransaktioner Skrankesalg Regnskabstransaktioner STREGKODE- LÆSER Regnskabstransaktioner TTS Hændelse Udl. EMS-fors. beh. i Danmark Dansk EMS-fors. beh. i udl. PTS GEISCO Luodaan Luetaan Päivitetään Poistetaan Side 4
Tietojen puhdistaminen ja yhdistäminen Vastaavuuksien hakemiseen tietojen perusteella on olemassa tehokkaita valmisohjelmistoja: Lähdetietojen yhtenäistäminen (standardisointi) Vastintietueiden kohdistaminen (matching) Parhaan tiedon valinta käyttöön (survival) Esimerkki osoitetietojen standardisoimisesta: ID 1 3 5 Nimi1 Nimi2 Osoite1 Osoite2 Ville Helminen Keskuskatu 25 02650 Espoo Jaakko Järvinen Kauppakatu 192 00500 Helsinki Aatu Korhonen Aleksis Kiven katu 78, 00500 Hki Etunimi Sukunimi Katunumero Postinumero Katunimi Kaupunki Sivu 5
Duplikaattitietueiden etsiminen laatutyökaluilla Yleinen menetelmä duplikaattitietueiden etsimiseen on todennäköisyyden laskeminen kahden eri tietueen välillä Nimi Katu Postinumero Kaupunki Pistemäärä CAFE SPORTSCLUB KESKUSKATU 54 02650 ESPOO CAFÉ SPORT KLUB KESKUSKATU 54 02600 ESPOO +14 +9-3 +5 +25 4000 Tietueiden lukumäärä 3500 3000 2500 2000 1500 1000 500 Uniikit tietueet Kynnysarvo manuaaliseen tarkistukseen Duplikaatit 0-50 -40-30 -20-10 0 10 20 30 40 50 60 Kokonaispistemäärä Sivu 6 Kynnysarvo duplikaateille
Tietomallinnuksen käyttötilanteita Yritystietomalli Perusjärjestelmät, OLTP Tietovarasto, EDW Datamart, Kuutiot, OLAP Sivu 7
Yritystietomalli Malli koostuu viidestä osasta Suunnitteluperiaatteet perusperiaatteet, jotka ohjaavat yritystietomallin kehittämistä Korkean tason käsitemalli Entiteettejä ja niiden välisiä suhteita kuvaava piirros, joka dokumentoi olemassa olevat entiteetit Entiteettien määritykset yksityiskohtaiset määritykset kullekin entiteetille Attribuuttien määritykset yksityiskohtaiset määritykset kullekin attribuutille Liiketoimintasäännöt määritykset liiketoimintasäännöille, jotka koskevat useampia entiteettejä Tarkkuustaso Matala Yritystietomalli Suunnitteluperiaatteet Korkean tason käsitemalli Entiteettien määritykset Attribuuttien määritykset Sanasto Mallia täydentää sanasto, joka koostuu liiketoiminnan yleisistä termeistä, jotka eivät itse ole entiteettejä: esim. Luottokelpoisuus, kannattavuus, liikevaihto Korkea Liiketoimintasääntöjen määritykset Page 8
Yritystietomallin käyttö Olemme määritelleet, että toimittaja on laillinen yritys, jolta yrityksemme ostaa tuotteita tai palveluita. Määrittelee jokaisen entiteetin Attribuutit Hierarkiat Säännöt Minun tarvitsee määrittää toimittajat, joilta me ostamme eniten. Mikä on toimittajan määritys? Entiteetin omistaja Yritystietomalli Tarvitsen toimittajadataa tähän uuteen järjestelmään. Mitä attribuutteja toimittajille on määritelty ja mistä saan viimeisimmän ajanmukaisimman datan kullekin attribuutille? Liiketoiminnan analyytikko Järjestelmäintegraattori
Yritystietomallin ylläpito Tarkistan, ettei meillä ole samaa attribuuttia mallinnettuna muille entiteeteille ja päivitän yritystietomallin. Määrittelee jokaisen entiteetin Attribuutit Hierarkiat Säännöt Vai haluatte te uuden Yritystietomallin hallinnoitsija attribuutin? Näen, että siinä olisi järkeä. Yritystietomallintaja Varmistan, että tarvittavat muutokset toteutetaan järjestelmiimme ja prosesseihimme! Me jo käytämme attribuuttia juuri tähän tarkoitukseen Yritystietomalli Se tarkoittaisi uutta attribuuttia. Autan sinua määrittelemään tämän attribuutin, niin voimme lähettää sen hyväksyttäväksi. Minun tarvitsee tallentaa tällainen uusi kategoria tuotteelle. Ai? En tiennytkään. Mutta tarvitsen myös uuden attribuutin merkkaamaan onko tuote helposti pilaantuvaa vai ei? Entiteetin omistaja Tuote-entiteetin omistaja Tuotetiedon hoitaja Expertti tiedolle hänen toimialueellaan/osastollaan Liiketoiminnan prosessin omistaja 10
Entiteetin määritteleminen Toimittaja Tuote Kauppa Määrittely Page 11
Referenssipiste liiketoimintaprosesseille ja ITjärjestelmille Miten suunnittelemme liiketoimintaprosessit ohjaa Toimittaja Tuote Kauppa Miten määrittelemme (master)tiedot (yritystietomalli) ohjaa ohjaa ohjaa Miten suunnittelemme tiedon integroinnin Miten suunnittelemme operatiiviset järjestelmät Miten suunnittelemme raportoinnin ja analyysit Page 12
Yritystietomallin hyötyjä Mahdollistaa kokonaiskuvan näkemisen yrityksessä käytettävistä tiedoista Yhtenäiset keskitetysti hallittavat määritykset läpi koko organisaation Apuna käyttäjien ja IT-järjestelmien suunnittelijoiden välisessä kommunikoinnissa Mikä on asiakas myynnille ja sisäiselle markkinoinnille? Samat liiketoimintasäännöt ja laskentatavat kaikkialla yrityksessä Mahdollistaa toimivan mastertietojen hallinnan Toimii esivaatimuksena tiedon hallinnoinnille
Yritystietomalli ja tietojen yhtenäistäminen Jyrki Kyläheiko Jyrki.kylaheiko@platon.net