Tapahtumankäsittely Semanttisen Webin Menetelmillä Mikko Rinne, Seppo Törmä, Esko Nuutila TIK-Päivä Hanasaari 17.1.2013 Department of Computer Science and Engineering Distributed Systems Group
Tapahtumankäsittely ja Big Data Complex Event Processing - David Luckham 2002 Tapahtumaryhmien reaaliaikainen tunnistaminen, kerroksittainen käsittely Complex Event = useiden alkeistapahtumien pohjalta muodostettu synteettinen tapahtuma Perinteisesti tietoa tallennetaan tietokantaan, johon tehdään kyselyitä Data pysyy, kyselyt muuttuvat Tapahtumaprosessoinnissa muuttuvaa dataa suodatetaan (dataan nähden) pysyvillä kyselyillä Tapahtumankäsittely soveltuu hyvin mm. sensoridatan käsittelyyn Hajautettu, heterogeeninen rakenne Suuret tietomäärät Reaaliaikaisuus
Tietokannat vs. tapahtumankäsittely Mahtoivatko putket jäätyä viime kuussa? Tietokanta Tapahtumankäsittelyverkko Hälytys! Jäätymisvaara huomenna! Juoksuta vettä!
Trendien huipulla IDC Expects Big Data Market to Grow at 31.7% per year And reach $24 billion in 2016 Tietoviikko / Viikon kysymys 19.12.2012 - Ensi vuonna puhutaan... Big datasta 86% Nokiasta 5% Jollasta 3% Vastaajia: 4927 Gartner s Top 10 Tech Trends for 2013:..4) The Internet of Things..6) Strategic Big Data..7) Actionable Analytics (predicting what might happen)
Semanttinen Web Dataverkko (web of data), jota koneet voivat suoraan ja epäsuorasti käsitellä Tim Berners-Lee, Jim Hendler, Ora Lassila 2001 Perinteiset verkkosivut (web of documents) on tehty ihmislukijoille, mutta jäsentelemättöminä niitä on hankalaa käsitellä koneellisesti Pearl Harbor -> Satama, elokuva vai taistelu? Tarjolla oleva (avoin) data yhä useammin linkitetty semanttisen webin menetelmillä 12 datasettiä 2007 à 295 2011 (31 miljardia RDF-tripleä, linkitetty n. 504 miljoonalla RDFlinkillä) Five star linked data
Rete-Algoritmi OPS5-järjestelmään kehitetty hahmonsovitusmenetelmä (Charles Forgy, 1979) Monet suositut sääntöpohjaiset ja asiantuntijajärjestelmät pohjautuvat Reteen Tibco Business Events, CLIPS, Jess, Drools, Jrules, Soar etc. Perustuu sääntöjen (rules) evaluoinnin välitulosten tallentamiseen, jolloin jokaisen uuden tiedon (facts) vaikutukset kyselyihin tarvitsee evaluoida vain kerran
Tapahtumaprosessoinnin, Semanttisen Webin ja Rete-algoritmin yhdistelmä Hajautettujen järjestelmien ryhmässä kehitettävä INSTANS 1) tähtää jatkuvaan kerrokselliseen tapahtumaprosessointiin semanttisen webin teknologioilla Rete-algoritmia käyttäen Sovellus koodataan kytketyillä SPARQL-kyselyillä ja säännöillä Tapahtumat esitetään RDF-koodattuina Avointa linkitettyä dataa voidaan hyödyntää taustatiedoissa Semanttisen webin menetelmät ja työkalut tukevat myös ontologisia päättelyitä Query 1: Conditionally INSERT <triple> Bindings in Rete Query 2: Use <triple> as input 1) Incremental engine for STANding Sparql, http:// cse.aalto.fi/instans/
INSTANS Toimintakaavio Tapahtumalähde (RDF) INSTANS Tapahtumaprosessori (Rete-algoritmi) Tunnistetut tapahtumasarjat Säätötoimenpiteet, hälytykset Tapahtumalähde (RDF) Tapahtumahakujen määrittely (SPARQL)
Suunnitteilla olevia sovellusalueita Sensoriverkot otollisia; paljon tapahtumia, reaaliaikaisuus tärkeää Spaceify: Tapahtumaprosessointia älykkäissä tiloissa Tiloissa liikkuvien tuttujen sijainnin käsittely Käyttäjälle tarjottavan muun informaation käsittely Henkilömäärät, yleisötapahtumat, ruokalistat, SPIRE (Smart Parking for Intelligent Real Estate): Pysäköintiavustusta reaaliajassa TrafficSense: Liikenteen ja liikkujien optimointia Käyttäjän informointi ongelmista ja mahdollisuuksista tunnistetuilla reiteillä
Yhteenveto Tapahtumankäsittely on yksi ratkaisu big data - kauppanimellä kulkevaan reaaliaikaiseen suurten tietomäärien käsittelyyn Jatkuvaa, kerroksellista tapahtumaryhmien etsimistä tapahtumavirrasta Hajautettujen järjestelmien ryhmässä tutkitaan tapahtumankäsittelyä semanttisen webin teknologioilla Rete-algoritmia käyttäen Tehokkuus vaikuttaa erittäin lupaavalta Toiveena web-standardoitu yhteensopivuus sensoreiden ja tapahtumankäsittelyjärjestelmien välillä (marraskuussa 2011 listattiin 23 kaupallista järjestelmää, kaikki omilla konfigurointimenetelmillä)