Master Data Services tietovarastointiratkaisun tukena Tommi Vihervaara Régis Laurent Director of Operations, Global Knowledge Competencies include: Gold Learning Silver System Management Agenda 1. Aluksi Esittely (puhuja & Solita) Taustat ja probelmatiikka: MDM, operatiivinen vs. Analyyttinen Tietovaraston lupaus ja tekemisen haasteet 2. Elävää elämää. MDS-Caset BI-hankkeissa Hierarkioiden hallinta: Perushierarkiat: tilit, organisaatio jne Perustiedon rikastaminen ja business rulet Yhdistäminen ja harmonisointi: Case konsernin yhtiörakenne Mappaukset: Case myynnin vyörytys kustannuspaikoille (Extra: ETL-parametrisointi ja mappaukset sekä dynamic dimension tables ) 3. Yhteenveto #td2013fi Tommi Vihervaara Työhistoria 2006 2008: Software Specialist, OpusCapita Oy 2008 2010: System Architect, Microsoft BI /.NET Development, Sandvik Mining and Construction 2010 -, Business Intelligence Consultant, Solita Oy Osaaminen C#.NET Microsoft SQL Server (DBMS, SSIS, SSAS, SSRS, MDS) IBM Cognos BI & TM1 Yhteystiedot tommi.vihervaara@gmail.com / 040 5181090 / @GreenyDangerous Blog: http://greenydangerous.wordpress.com/ LinkedIn: http://www.linkedin.com/pub/tommi-vihervaara/3/373/159 Solita Kaikki mikä voi, digitalisoituu. Solita on asiakkaidensa digitalisoituvan maailman matkaopas. Johtaminen Organisaatiot Liike-toiminta MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 1
Solita Kaikki mikä voi, digitalisoituu. Solita Kaikki mikä voi, digitalisoituu. Liiketoiminta verkossa Digitaalinen markkinointi Business Analytics - ratkaisut Älykäs johtaminen Liikevaihto 2012 27,0 miljoonaa Yli 200 ammattilaista Vuodessa yli 2500 videoneuvottelua Solitalaiset 2012 1109600 km kiskoilla Verkkopalvelut ja -kaupat Sähköinen asiointi Järjestelmän hankinnan ja palvelun suunnittelu Yli 600 projektia Yli 97% asiakastyytyväisyys Sijoitus 7. Great Place to Work Jatkuvasti AAA kannattava Työn tuottavuus Uudet palvelut Liiketoimintakriittiset järjestelmät Mitä Master Data / perustieto on? Pari sanaa perustiedosta(master data)...ja sen laadusta. Organisaation yhteisiin, usein eri prosessien ja yksikköjen tietotarpeiden läpi ulottuvaa (eitransaktionaalista) dataa Yleisimmät perustietokäsitteet liittyvät asiakkaan, toimittajan, tuotteen ja henkilöstön kaltaisiin perustietoihin Vaikka käsitteet ovat samat, eri liiketoimintayksiköt ovat kiinnostuneita käsitteistä kukin omasta näkökulmastaan Tietovarastossa: Perustieto ~ dimensioiden sisältämä tieto MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 2
Master Datan hallinta yrityksissä Tutkitusti leväperäistä ja hallitsematonta valitettavan monessa organisaatiossa Yleisimmät ilmentymät : Sama luonnollinen asiakas löytyy järjestelmistä useaan kertaan esim. Solta Oy, Solita Oy, Solita, Sensor Software Consulting Puhtaasti virheelliset tai vanhentuneet tiedot esim. osoitetiedoissa Tietoa puuttuu kokonaan jne. Em. Asioista aiheutuu mm. seuraavia ongelmia: Toimitus menee väärään osoitteeseen ja muut operatiivisen tason prosessiongelmat Raportointi on epäluotettavaa Luottoriskin, tuottavimpien asiakkaiden tms. tunnuslukujen laskeminen vaikeaa tai yksinkertaisesti mahdotonta Tuotteiden vertaileminen vaikeaa Ennen kaikkea massiivinen määrä manuaalista ja virhealtista työtä Operatiivinen vs. Analyyttinen MDM Operatiivinen pyrkii olemaan mahdollisimman aikaisessa vaiheessa tarjoamassa dataa mahdollisimman monen järjestelmän käyttöön Analyyttinen puolestaan koostaa muista järjestelmistä dataa ja sitä käytetään lähinnä raportointi- ja analysointitarkoituksiin Analyyttisessä MDM:ssä tietoa haetaan esim. ERP-järjestelmästä ja viedään tietovarastoihin kun taas operatiivisessa perustiedot pyritään päivittämään taustajärjestelmissä Analyyttinen MDM DW-ratkaisun tueksi Monet organisaatiot tunnustavat ongelmat mutta ovat haluttomia lähtemään pitkäjänteisesti kehittämään omaa master dataa operatiivisella puolella Koetaan kalliina ja liian järeänä hankkeena Usein näin onkin ja kuitenkin halutaan vain nopeita ja luotettavia analysointituloksia Ratkaisun uskotaan (virheellisesti) monesti olevan tietovarasto itse mutta tämä on väärä johtopäätös Garbage in, garbage out Tarvitaan ratkaisu master datan hallintaan ja tietovarasto on ko. ratkaisun ensisijainen hyödyntäjä Tietovarastotekemisessä master dataa ja sen laatua ei pääse karkuun vaikka haluaisi Se pitää ratkaista jotenkin! MDS Kun MDS:n käytölle on luotu perusteet ja aloitettu käyttö kevyesti DW:n tukevana toimintona on tätä helppo lähteä laajentamaan myös operatiiviseen käyttöön Tietovaraston lupaukset ja haasteet? MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 3
DW:n lupaus ja tekemisen haasteet Master Data Services (MDS) Lupaus: Liiketoiminnan tärkeimmät tunnusluvut ja analyysit helposti, nopeasti ja ennen kaikkea luotettavasti. Haasteet Nykyään SQL Serverin osakomponentti / built-in feature Perustuu yrityskaupalla vuonna 2007 ostettuun Stratature EDM-tuotteeseen Stratature oli suuntautunut erityisesti tietovarastojen dimensiotietojen eheyden ja kattavuuden hallintaan Usein käytettävissä ilman lisäinvestointeja, kiitos SQL Serverin lisensointimallin. Saatavilla SQL Server 2008 R2 (Enterprise) ja SQL Server 2012 (BI & Enterprise) Suljetut ja rajoittuneet lähdejärjestelmät Sirpaloitunut master data ja monta totuutta samasta asiasta Perinteiset ratkaisumallit Yksi keskitetty paikka kaikelle perustiedolle ja niihin keskeisesti liittyville hierarkiatiedoille Vastuu perustiedon ja hierarkioiden ylläpidosta liiketoiminnan edustajilla / loppukäyttäjillä. Käyttö MDS:n webkäyttöliiitymästä tai Excel-lisäosan avulla (MDS 2012). Lähtötilanteessa datan hyödyntäjänä voi olla vain DW mutta käytännön vakiintuessa helposti laajennettavissa myös muihin (subscribing) järjestelmiin Lähdejärjestelmät, MDS ja DW Lähdejärjestelmät Master Data Services Tietovarasto Saatavilla olevat perustiedot: tuote, asiakas, tili, projekti jne. D5 D1 D3 F D2 D4 D6 Luotettava Raportointi Analysointi Suunnittelu Elävää elämää, MDS-caset BI/DW-hankkeissa Perustiedon rikastaminen Tilihierarkiat ja suunnittelutasot, Lisätietokentät, vaihtoehtoinen tuoteluokittelu, harmonisoidut asiakkuustilit jne... MDS MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 4
Hierarkioiden hallinnan ongelmakohdat Hierarkioiden hallinta Lähdejärjestelmien data Mahdolliset hierarkiatiedot yms. ryhmittelyt on suunniteltu nimenomaan operatiivisen käytön tukemiseksi Kattavaan raportointiin tarvitaan monta eri näkökulmaa = monta erilaista rinnakkaista hierarkiaa samasta käsitteestä Nyhjää tyhjästä? Lähdejärjestelmistä ei yksinkertaisesti ole saatavilla mitään järkevää hierarkia/ryhmittelydataa Esim. Kattavat tilihierarkiat puuttuvat usein kirjanpitojärjestelmistä. Mistä saa tuoreimman organisaatiorakenteen? Ulkoiset lähteet? Se on ylläpidetty excelissä Ennen pitkää homma leviää käsiin: ylläpito ja elinkaaren hallinta erittäin haasteellista Hierarkioiden hallinta MDS:ssä Kahdentyyppisiä hierarkoita Eksplisiittinen (explicit) ~ epätasapainoinen esim. tilihierarkia Johdettu (derived) ~ tasapainoitettu esim. Maantieteellinen jako: Country State City jne. Lisäksi voidaan erikoistapauksissa käyttää edellä mainittujen yhdistelmää aka. derived with explicit cap Loppukäyttäjien vapaasti muokattavissa MDS:n web-käyttöliittymästä käsin Uusien analysointitarpeiden ilmetessä perustetaan vain uusi rinnakkainen hierarkia, joka valuu tietovarastoon ja on sieltä käytettävissä analysointia varten Voidaan luoda automaattisia sääntöjä uusien entiteettien sijoittumiselle hierarkian sisällä (business rules) Demo: Hierarkioiden hallinta Tilihierarkiat, organisaatio MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 5
Perustiedon rikastaminen ja business rulet. Perustiedon rikastaminen Lähdejärjestelmien data Tietosisältö on pääsääntöisesti rajoittunut vain ko. järjestelmän dataan, joka sekään ei välttämättä yksissään riitä analyysien tarpeeseen Lähdedata on raportoinnin kannalta erittäin epäedullisessa formaatissa Perinteisesti ratkottu perustamalla lähdejärjestelmään uusia kenttiä tai luovasti uudelleenkäyttämällä järjestelmän tarjoamia valmiita kenttiä esim. Yhteyshenkilön nimi: Class 3 Työehtosopimus: Joensuun tuotekehitystiimi Lähdejärjestelmien data rikastettuna MDS:ssä Tarvittavat lisätietokentät selkeästi omilla nimillään ja omilla paikoillaan Ei upotettuna taustajärjestelmiin vaan saatavilla kaikille ketkä tarvitsevat Demo: Asiakasluokittelu Lisätiedon tuominen Excelillä Demo Rikastaminen ja business rulet MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 6
Raportointitarve: Kohdehierarkia Yhdistäminen ja harmonisointi Konserni Om.Yhtiö Kohde Kustannuspaikka KantaA / KP354 Stone Corporation US Holding Money Talks Inc Sears Tower Empire State Building Burj Khalifa KantaB / KP354 KantaC / KP111 KantaE / KP555 KantaF / KP225 KantaD / KP225 Kohdehierarkia in action YB YF YA YC YD YE ETL D_TILI F_KPTAPAHTUMAT D_KUSTANNUSPAIKKA D_TILI D_KUSTANNUSPAIKKA Kohde KP -mappaus F_KPTAPAHTUMAT MDS D_KOHDE Demo Kohteiden yhdistäminen ja harmonisointi MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 7
Harmonisointi - yhteenveto Voidaan soveltaa myös yksittäisen käsitteen sisällä esim. asiakkuus Esim. monessa eri lähteessä olevan asiakastiedon yhdistäminen yhden ja saman asiakkuuden alle Child -> Master MDS Solita Oy Microsoft Solita MS A A Solta Oy Mikkisofta B B Mappaukset Case: Myynnin vyörytys kustannuspaikoille Sensor SC Micro soft C C Myynnin/tuottojen vyörytys Myynnin/tuottojen vyörytys Kirjanpitojärjestelmässä pääsääntöisesti kaikilla (kulu)tapahtumilla on tili ja kustannuspaikka Kulupuolta voidaan suoraan analysoida läpi organisaation (kustannuspaikkojen) Tuottopuolella (myyntidata) tapahtumilla tieto myydystä tuotteesta ja asiakkaasta Miten saadaan tuotot jaettua läpi organisaatioyksiköiden? Ohjataan tuotot tuoteryhmittäin kustannuspaikoille. Miten? Perinteisesti käsityöllä/kovakoodauksilla, nyt MDS:n avulla. Kustannuspaikka Tuoteryhmä Clothing R&D Standard Labels Finance Company Operations Premium Lablel Product Marketing Accessories MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 8
Myynnin/tuottojen vyörytys D_ASIAKAS D_TUOTE ASIAKAS TUOTE ETL F_MYYNTI MYYNTI Tuoteryhmä - KP MDS D_KUSTANNUSPAIKKA D_TILI (Net income) Demo Myynnin vyörytys kustannuspaikoille Mappaukset yhteenveto Yhteenveto MDS antaa kodin eri perustietokäsitteiden välisten relaatioiden ylläpitoon Ei aiemmin mahdollista koska jokainen järjestelmä toimi omassa siilossaan MDS mahdollistaa reaalimaailman yhteydet eri järjestelmien käsitteiden kanssa Kustannuspaikka <> Vastuuhenkilö jne. Suunnittelujärjestelmien toteutuksessa avainasemassa, keskeisiä ohjaustietoja. Allokaatio FINA Kustannuspaikka ERP Vastuuhlö MDS HR Henkilö Tuotelinjan päällikkö Tuotelinja PDM MDS antaa loppukäyttäjille ja datan parhaiten tunteville ja vastuuhenkilöille mahdollisuuden ylläpitää dataa MDS osana päivittäistä työrutiinia Sähköpostimuistutukset uusista tileistä yms. jotka vaativat toimenpiteita loppukäyttäjiltä Vaihtoehtoisesti myös tarkastusraportit BI-ratkaisun puolella Käytön laajentaminen helppoa ja nopeaa Rinnakkaiset hierarkiat, uudet lisätietokentät jne. Kun käytännöt vakiintuvat on mielekästä ja helpompaa lähteä laajentamaan käyttöä ehkä myös operatiiviselle puolelle BI/DW-ratkaisutoimittajan näkökulma: vähemmän liikkuvia osia, vähemmän harmaita hiuksia, robusti ratkaisu muuttuvan maailman hallintaan. Ehdoton suositus mikäli käytössä on SQL Server Enterprise instansseja, toisaalta uutena investointinakin maksaa itsensä yllättävän nopeasti takaisin. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 9
Thank you for coming! Feedback can be given via mobile or laptop through techdays.fi seminar schedule. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentations. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. #td2013fi @GreenyDangerous @SolitaOy MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 10