Nopeutta ja Sulavuutta Analytiikkaan Jukka Ruponen Business Analytics Architect!+358-40-725-6086 jukka.ruponen@fi.ibm.com
DEMO 1 Result Set Cache Expression Cache Query Data Cache Member Cache Cognos Query Cache Aggregate Cache Cognos Query Engine ROW-BASED VS. BLU ACCELERATION Data:! US Airline OnTime Statistics! http://apps.bts.gov!2
DEMO 2 Cognos! Dynamic! Cube Result Set Cache Expression Cache Query Data Cache Member Cache Aggregate Cache Cognos Query Cache Cognos Query Engine ROW-BASED BLU ACCELERATION Data:! US Airline OnTime Statistics! http://apps.bts.gov!3
TULOKSIA x 4..40 x 6..50 x 1 x 6..50 x 3..25 x 6..50 Result Set Cache Expression Cache Query Data Cache Member Cache Aggregate Cache Cognos Query Cache Cognos Query Engine x 1 x 3..18 ROW-BASED BLU ACCELERATION Data:! US Airline OnTime Statistics! http://apps.bts.gov!4
Kyky kaikenkirjavan tiedon jalostamiseen ei ole itsestäänselvää <20% of data BI & Reporting Data Marts Master Data Changed Data Capture CDI/PIM Data Warehouse OLAP Big Data Määrä, Kirjavuus, Vauhti Konedata Business Applications OLTP Data Integration & Quality ETL Data Aggregation Sisältö Rakenteeton tai Semi-strukturoitu Avoin data Rakenteellinen ja Rakenteeton julkinen data ja rajapinnat Sosiaalinen data >80% of data Liiketoimintadata!5
Sensoriverkot Nopeasti liikkuva, virtaava data Konedata Tapahtumat, lokit Sosiaalinen data Tekstiä, tekstiä, tekstiä Uudet palvelut Big Data Määrä, Kirjavuus, Vauhti Avoin data Rakenteellinen ja Rakenteeton julkinen data ja rajapinnat Sisältö Rakenteeton tai Semi-strukturoitu? Älykkäämmät Sovellukset Älykkäämmät Palvelut Liiketoimintasovellukset OLTP ERP CRM HR Lähdedata Datan Laadunvarmistus ja Yhdistäminen EDW Enterprise data Liiketoiminnan tietovarastot Master Data Analyyttinen! tietovarasto Raportoitava ja analysoitava data Master data Agregoitu data Liiketoimintadata Raakadata Tietopalvelumalli Nykyiset Palvelut ja Sovellukset Johtaminen ja Suunnittelu Liiketoimintadata Nyk. palvelut!6
Big Data Big Data Analytiikka Analytiikka Uudet palvelut Virtaava data Big Data Analytiikka Ennakointi API MQTT Liikkuvan datan analysointi (RTAP) Reaaliaikaiset hälytykset poikkeamista Älykkäämmät Sovellukset Liiketoimintasovellukset Kerätty data OLTP ERP CRM HR Lähdedata Paikallaan olevan datan analysointi Konedata, Sosiaalinen data, Rakenteeton data, Pitkäaikainen, kyseltävä arkisto Datan Laadunvarmistus ja Yhdistäminen Big SQL EDW Enterprise data Liiketoiminnan tietovarastot Master Data Big SQL Analyyttinen! tietovarasto Raportoitava ja analysoitava data Tilastointi ja luokittelu Ennakointi ja pisteytys Jalostettu raakadata Master data Rikastettu data Liiketoimintadata Raakadata Tietopalvelumallit ja -rajapinnat Älykkäämmät Palvelut Rikastetut Palvelut ja Sovellukset Ennakoiva Johtaminen ja Suunnittelu Liiketoimintadata Nyk. palvelut!7
Esimerkki Sosiaalisen/Teollisen Internetin reaaliaikaisesta analysoinnista Realtime Processing Data Landing Zone Transactional Workload Analytic Workload MQTT Capture High-Speed Streams 100 000/s Streams Processing Normalize, Filter, Aggregate and Analyze in Realtime Store Raw or Analyzed data Low-latency! Realtime! Results SPSS Predictive Analytics Detect Anomalies (Realtime Alerts) Realtime Alerts Realtime monitoring Visual Streams Capture Events BigInsights! Hadoop-cluster Big SQL / ODBC Statistical Models Decision Management 100 000/h Collect Data 1 TB/d HDFS / HBase Key-Value stores for:! Raw Sensor Readings, Machine Data, Social Data Log & Events Data, Landing zone for All Data Long Term Queryable Archive etc HCatalog Tables Access to historical data! ( 0 eternity ) Archived data Operational DB2 Data Store Fast Data store for Transactional Workloads! ( 0 days ) Big SQL / JDBC, HiveQL Big SQL, REST API, HiveQL Scoring Models Analytic DB2 BLU Data Mart Write-back results Fast Data Store for! Analytic Workloads Online Applications BI & Reporting Data Mining Other Analytical Processes
MQTT Capture High-Speed Streams 100 000/s Realtime Processing Data Landing Zone Store Raw or Analyzed data Low-latency! Realtime! Results Transactional Workload Analytic Workload Streams Processing Kaikki tämä ja paljon muuta pyörii juohevasti SPSS Predictive IBM POWER ympäristössä sinulla, muualla tai pilvessä Analytics Normalize, Filter, Aggregate and Analyze in Realtime Detect Anomalies (Realtime Alerts) Analytiika tarvitsee POWERIA! Realtime Alerts Realtime monitoring Visual Streams Capture Events BigInsights! Hadoop-cluster Big SQL Statistical Models Decision Management 100 000/h Collect Data 1 TB/d HDFS / HBase Key-Value stores for:! Raw Sensor Readings, Machine Data, Social Data Log & Events Data, Landing zone for All Data Long Term Queryable Archive etc HCatalog Tables Access to historical data! ( 0 eternity ) Archived data Operational DB2 Data Store Fast Data store for Transactional Workloads! ( 0 days ) Big SQL, HiveQL Big SQL, REST API, HiveQL Scoring Models Analytic DB2 BLU Data Mart Write-back results Fast Data Store for! Analytic Workloads Online Applications BI & Reporting Data Mining Other Analytical Processes
ibm.com/bigdata adlibris.com/fi/product.aspx?isbn=952591271x Jukka Ruponen Business Analytics Architect jukka.ruponen@fi.ibm.com +358-40-725-6086
Kognitiivisten supertietopalvelujen aikakausi 2006: IBM Watson tutkimusprojekti käynnistyy, tavoitteena toteuttaa kehittynein luonnollista kieltä ymmärtävä ja itseoppiva analyyttinen järjestelmä, joka osaa todistusaineiston pohjalta vastata vapaasti esitettyyn kysymykseen suurella varmuudella 2/2011: Watson voittaa Jeopardy! mestarit luonnolliseen kieleen perustuvassa tietokilpailussa Osaa tulkita luonnollista kieltä ja ihmisen puhetta IBM Watson Ymmärtää mitä kysymyksellä haetaan ja osaa vastata siihen todistusaineistoon ja todennäköisyyteen perustuen 99% 60% 10% Sopeutuu ja oppii ihmisen tekemistä valinnoista ja antamista vastauksista perustuu itseoppivaan aineiston analysointiin, massiiviseen rinnakkaisprosessointiin ja kehittyneisiin päättelyalgoritmeihin.! Laitteistona on POWER7. 8/2011: Watson Memorial Sloan-Kettering Syöpäkeskukseen auttamaan opiskelijoita ja lääkäreitä yksilöllisempien diagnoosien ja hoitosuunnitelmien laatimisessa 3/2012: Watson finanssialalle 2013/12: Watson rajapinnat avataan kehittäjille ja ekosysteemille!11