Tietovarastoautomaatio kokemuksia & näkymiä TDWI Finland 11.9.2015 Kari Karru
Cerion lyhyesti Cerion on tiedolla johtamisen ja toiminnan tehostamisen innovatiivinen palveluyritys. Toimitamme IT-ratkaisuja ja palveluja, jotka antavat asiakkaalle tukea kokonaisvaltaiseen johtamiseen. Palvelumme Tiedolla johtamisen palvelut Integraatio- ja sovelluskehityspalvelut Projektipalvelut muutoshankkeiden läpivientiin Cerion numeroina Perustettu 2004 Liikevaihto 4,2M Henkilökunnan omistama 40 osaajaa Toimipisteet Turussa ja Helsingissä
Agenda Tietovarastoautomaatio? Cerionin ja Turun kaupungin yhteinen kasvupolku WhereScape Miten eteenpäin?
Kaikki muuttuu, vai muuttuuko?
Ei ainakaan helpommaksi
Muutos ja epävarmuus Gartner: most project failures com from inability to render useful data in a flexible model ~70% of the requirements will change in the next 1st year Gartnerin blogi, Bill Hostman data usage is continuosly evolving data platforms cannot be static Ralph Kimball
Tehokkuutta automaatiolla
Miten tämä liittyy tietovarastointiin? https://youtu.be/-odjirdvsxw TDWI: Data warehouse automation "using technology to gain efficiencies and improve effectiveness in data warehousing processes. Data warehouse automation is much more than simply automating the development process. It encompasses all of the core processes of data warehousing including design, development, testing, deployment, operations, impact analysis, and change management."
Enemmän vähemmällä Automatisoitu tietovarastotyökalu Tietovaraston määrittely, toteutus ja operointi Automatisoidaan toistuvat rutiinit parhaiden käytäntöjen ja kehitysstandardien mukaisesti Sisäänrakennettu data governance Metadata ketterän kehityksen tueksi Laadukas ja kattava dokumentaatio Nopeasti tuloksia liiketoiminnalle ja IT:lle SÄÄSTÄÄ asiakkaan aikaa ja rahaa
Kehityshankkeet Sosiaali- ja Terveyshuollon yhdistyminen Tiedolla johtamisen edelläkävijä IT-palvelujen ratkaisukonsepti Alusta, menetelmät Konserniyhtiöiden raportointi Arkea Oy Järjestelmäraportoinnin kehittäminen Palautepalvelu Kuntatieto-ohjelman pilottiprojekti Sivistystoimi, tietopalvelumallit Työterveyshuollon raportoinnin kehittäminen Tiedolla johtamisen kehittämishanke
Hyötyjä Säästetty selvää rahaa Ei ainoastaan tekninen ratkaisu syntynyt yhdenmukainen toimintamalli Yhteinen kieli toiminnasta käsitemalli koko organisaation käyttöön
Teknologiaa Lähdejärjestelmiä: SAP, Personec, Effica, Pegasos, Primus, Wilma, Kurre, Hansa, Titania, jne. Microsoft-teknologiat SQL Server, sharepoint, office, Tietosuoja & oikeudet Käyttäjäkohtaiset sisällöt
Kehittämistapa Toiminnan mallintaminen asiakas ja konsultti yhdessä Analysointi, ymmärrys ja päätöksenteko Raportit, visualisointi, analytiikka. Mäppäykset, ympäristö, kehitystyö DW ETL Tietovarasto Lähdejärjestelmät
Cerion SmartDW kehittämismenetelmä Valmentava ja osallistava konsultointi! Älykkäämmät päätökset! Loppukäyttäjien työkalut. Julkaisu, jakelu, itsepalvelu. Tarvelähtöinen tietotarpeiden mallintaminen asiakas ja konsultti yhdessä Analysointi, ymmärrys ja päätöksenteko Raportit, visualisointi, analytiikka. SmartModeller DW ja ETL generoidaan Deploy! Heti käyttöön Metadata Asetukset DW K# SmartEngine ETL Joustava ja laajennettava tietovarasto SmartDW Lähdejärjestelmät
SmartStudio for agile SmartDW Script KSharp.SelectToConsole(String pserver, String psql) { Console.Clear(); Object asrv= DatabaseServer.Find(pServer); Object aconn = asrv.createconnection(); String adata = aconn.getdata(psql, "; "); Console.OutLF(aData); } DW SmartModeller Visual Paradigm SmartExtension laajennuksella Mallinnustyökalut SmartEngine DW, ETL ja rajapintojen generointi Agile SmartDW ja ETL konfigurointityökalut K# Skriptikieli ja hyödylliset kirjastot Skriptaustyökalut ETL SmartDW-arkkitehdin työkalut
Rajapinta Rajapinta Ratkaisuarkkitehtuuri SmartDW Tiedonkeruu & tietovarastointi Raporttirakenteet Käyttäjien raportit ja työkalut Tiedon esittäminen Raportit Dashboardit ETL Tietovarasto Visualisointi Analytiikka Analyysirakenteet Julkaisu & jakelu Personointi Tiedon käyttäjät Tietolähteet SmartStudio: SmartEngine SQL Sovellukset
SmartDW-työkalut Miltä se näyttää?
Miten eteenpäin? Tuotebusiness? Isommat kokonaisuudet? Palvelun rakentaminen? Kumppanin etsiminen?
WhereScape Company Background Founded in 2000 in Auckland New Zealand by Data Warehouse experts UK - European Head Office, US Global Head Office, Development in NZ Privately held company $20m-$40m Turnover Stellar 38% Growth in 2014/15 3000+ WhereScape RED/3D Developers (Europe, Asia Pac, US) 4500 downloads of WhereScape 3D 130 Staff 80 Data Warehouse Consultants 14 years of Solid Growth World-wide Information Management Top 40 Vendors to watch Only Global recommended DW Automation Software for Teradata
Wherescape
Some of 700+ WhereScape customers
Traditional approach to development Overcomplicated Too many tools Microstrategy IBM Clear Quest IBM Clear Case JIRA Maintenance Informatica SVN Deployment DataStage AbInitio Workflow SSIS Version Control Documentation DB Management Tools Cognos SSAS ETL Dev ETL Mapping Enterprise Architect PowerDesigner Informatica ErWIN DataStage TOAD SSMS OLAP Design Index Mgmt Storage Mgmt DB Architecture Trillium Mainly in-house solutions Physical Model Logical Model Profile DW framework Word/Excel REQUIREMENTS
Data Warehouse Development With WhereScape Documentation Simplification Automation Workflow Maintenance Deployment ETL Dev ETL Mapping OLAP Design Index Mgmt Storage Mgmt DB Architecture Version Control Profile Physical Model Logical Model WhereScape RED WhereScape 3D DW Framework REQUIREMENTS
WhereScape -työkalut Miltä se näyttää?
Hype & WhereScape
WhereScape on Big Data Customers: Big data collaborators (70%) Big data sceptics (30%) NOTE: not big data pure plays (0%) Belief: Big data changes how our customers architect solutions. Yet the same time and cost problems that exist in enterprise data also exist in the big data world. Aim: To serve the organizations that want to get the most out of their big data and enterprise data cost effectively
More Big Data Research clearly, no single technology can handle all big data needs... a mix of technologies is required, each of which has its own strengths...... the EDW is the most cited technology for deriving value from big data...... the EDW now appearing at the centre of an ecosystem... technologies for deriving value from big data, 54% of the respondents chose the EDW...... through 2017, 90% of information from big data analytic efforts will be siloed and un-leveragable across multiple business processes...... #1 hurdle remains determining the value (ROI) of big data (increased to 65%)...
SmartDW:n tulevaisuus Itsepalvelutyökalu? DW:n kehityspalvelu? Open Source? Script KSharp.SelectToConsole(String pserver, String psql) { Console.Clear(); Object asrv= DatabaseServer.Find(pServer); Object aconn = asrv.createconnection(); SmartModeller Mallinnus SmartEngine DW, ETL ja algoritmit K# Skriptikieli ja kirjastot
Eteenpäin WhereScapen kanssa Lisenssimyynti Konsultointi Koulutus Projektitoimitukset Palvelumalli
Kiitos! Kari Karru Kari.karru@cerion.fi 040 8380 280