Tietovarastojen suunnittelu



Samankaltaiset tiedostot
TIETOVARASTOJEN SUUNNITTELU

Normalisointi. Jouni Huotari & Ari Hovi. kirjan Hovi, Huotari, Lahdenmäki: Tietokantojen suunnittelu & indeksointi, Docendo (2003, 2005) luku 5

NORMALISOINTI TIETOJEN MALLINNUS JOUNI HUOTARI & ARI HOVI

TIETOKANNAN SUUNNITTELU

Käsiteanalyysi prosessina ja tarveanalyysi

Opettajana Mika Sorsa, HAMK:n ammatillisen opettajakoulutuksen opetusharjoittelija

Tietokannan suunnittelu

Fyysinen suunnittelu

KÄSITEANALYYSI PROSESSINA JA TARVEANALYYSI

Jouni Huotari OLAP-ohjetekstit kopioitu Microsoftin ohjatun OLAP-kuution teko-ohjeesta. Esimerkin kuvaus ja OLAP-määritelmä

TIETOJEN TUONTI TIETOKANNASTA + PIVOT-TAULUKON JA OLAP-KUUTION TEKO

FYYSINEN SUUNNITTELU

FYYSINEN SUUNNITTELU

Health Intelligence - Parempaa informaatiota terveydenhuollon päätöksentekoon. Terveydenhuollon ATK päivät Sibelius Talo, Lahti

Uudenmuotoiset yliopistot ja tietohallinto, OPM Alustuspuheenvuorot Ahti Planman, Kuopion yliopisto,tietotekniikkakeskus (Tike)

Data Warehouse kuulumisia

Data, informaatio, tieto, ymmärtäminen ja viisaus

Terveydenhuollon tehokas johtaminen edellyttää parhaat raportointi- ja analysointityövälineet

IIO10200 TIETOKANTAOHJELMOINTI (4 OP) OPINTOJAKSON ESITTELY JOUNI HUOTARI

IIO10200 Tietokantaohjelmointi (4 op)

Jouni Huotari & Ari Hovi. Käsitemallinnuksesta relaatiokantaan KÄSITEMALLI. LOOGINEN MALLI: tietomalli valittu. FYYSINEN MALLI: DBMS valittu

IIO30100 Tietokantojen suunnittelu (6 op)

Moniulotteisen datan liitos tähtimallissa

Ville Porkka ASIAKKAAN DATAN MALLINNUS JA SEN ANALYSOINTI BUSINESS INTELLIGENCE -JÄRJESTELMÄSSÄ

Luku Yleistä tietovarastoinnista 6.2 Tietovaraston kehittäminen 6.3 Tiedonlouhinta

IIO30100 TIETOKANTOJEN SUUNNITTELU (6 OP)

TIETOKANNAT JOHDANTO

IIO30100 Tietokantojen suunnittelu (6 op)

Tällä viikolla. Kotitehtävien läpikäynti Aloitetaan Pelifirman tietovaraston suunnittelu Jatketaan SQL-harjoituksia

POLKU LUOKKAKAAVIOISTA TAULUJEN TOTEUTUKSEEN

MICROSOFT TEST MANAGERIN KÄYTTÖ TIETOVARASTOYMPÄRISTÖN VALVONNASSA

TAMPEREEN TEKNILLINEN YLIOPISTO KÄYTTÖOHJE TIETOVARASTON KUUTIOT

BUSINESS INTELLIGENCE- OHJELMISTON VALINTA

Liiketoimintatiedon hallinta ja hyödyntäminen (BI) Nice Tuesday. Minna Oksanen Avarea Oy

Diplomityö TEHDASMITTAUSTEN VARASTOINTI MONIULOTTEISELLA TIETOMALLILLA

Nopeutta ja Sulavuutta Analytiikkaan

HAAGA-HELIA Heti-09 1 (12) ICT05 Tiedonhallinta ja Tietokannat O.Virkki Näkymät

TIETOVARASTON UUDELLEENSUUNNITTELU JA TOTEUTTAMINEN

Ari Hovi & Jouni Huotari M3-1

Tietovarasto automaattisten tarkastusjärjestelmien keräämälle datalle

LAPPEENRANNAN TEKNILLINEN YLIOPISTO

VAASAN YLIOPISTO TEKNILLINEN TIEDEKUNTA TIETOTEKNIIKKA. Jarkko Lehto TIETOVARASTOINTI JA BUSINESS INTELLIGENCE. Tietotekniikan pro gradu tutkielma

Tietokantojen suunnittelu, relaatiokantojen perusteita

Paksut indeksit ja summataulut

KARELIA-AMMATTIKORKEAKOULU Tietotekniikan koulutusohjelma. Jarkko Lösönen TALOUDEN RAPORTOINNIN KEHITYSTEHTÄVÄ

Web-seminaari

TIEDONHALLINTA - SYKSY Luento 11. Hannu Markkanen /10/12 Helsinki Metropolia University of Applied Sciences

TIETOVARASTOT. Tietovarastot ohjelmistokehityksessä

Mikko Mäkelä KONEHUOLTOJEN TIETOKANNAN SUUNNITTELU JA TOTEUTUS

Koosteet tietovarastojärjestelmissä ja koosteiden toteutus materialisoiduilla näkymillä

Analyysiraportointi. Kieku-tietojärjestelmähankkeen infotilaisuus. Juho Ajo Valtiokonttori Juho Ajo

TIETOKANTOJEN SUUNNITTELU

TIETOMALLI JA TIETOVARASTO PALVELUKONSEPTI

MUITA TIETOKANTAOBJEKTEJA NÄKYMÄT, SYNONYYMIT, INDEKSOINTI, VALTUUDET JA SYSTEEMIHAKEMISTO

TIETOKANNAN JÄRKEISTÄMINEN

KÄSITEANALYYSI JA -MALLINNUS HOVI, HUOTARI, LAHDENMÄKI: TIETOKANTOJEN SUUNNITTELU & INDEKSOINTI DOCENDO (2003, 2005) LUKU 3

Tietoarkkitehtuuri nyt!

Tietovarastokuvausten takaisinmallinnus mallinnustyökalun avulla. Samuel Heino

Tietovarastointiratkaisut massaräätälöinnin konfiguraattoreiden tukena. DI Mika Aho BI/DW Specialist

TIETOVARASTON VALVONTA

HELIA 1 (11) Outi Virkki Tiedonhallinta

Excel PowerPivot

Lupapiste verkkopalvelun tietovarastoja raportointiratkaisu

BUSINESS INTELLIGENCE -RAPORTOINNIN KEHITYS

Kirjoita jokaiseen erilliseen vastauspaperiin kurssin nimi, tenttipäivä, oma nimesi (selkeästi), opiskelijanumerosi ja nimikirjoituksesi

IIO30200 TIETOKANNAN HALLINTA (5 OP)

Vastaajatunnusten luonti edellyttää, että käyttäjällä on joko AIPAL-koulutustoimijan vastuukäyttäjän tai AIPAL-koulutustoimijan käyttäjän oikeudet.

Internet tietovaraston lähteenä. Markku Kasila

Power Pivotin hyödyntäminen myynnin analysoinnissa ja raportoinnissa

Tietovarastossa olevan tiedon laatu ja sen käsittely. Ari Helin

IIO30200 Tietokannan hallinta (5 op)

Parantaako Data Vault -menetelmä tietovarastoratkaisun skaalautuvuutta ja muutosjoustavuutta? Tapaustutkimus, Yritys A

TIEDONHALLINNAN PERUSTEET - SYKSY 2013

OpenOffice.org Base 3.1.0

TIEDONHALLINTA - SYKSY Luento 1. Saapumisryhmä: TXQ16ICT, TXQ16S1 ja TXQ16PROS. 27/8/17 Helsinki Metropolia University of Applied Sciences

Tietojärjestelmä tuotantoympäristössä. Sovellusohjelmat Helsingin ammattikorkeakoulu Stadia / Tekniikka ja liikenne Vesa Ollikainen

OLAP-tekniikoiden käyttömahdollisuudet teollisuusprosessien analysoinnissa

Timo Mustakangas QLIKVIEW RAPORTOINTI- JA ANALYSOINTISOVELLUKSEN TOTEUTTAMI- NEN

Tietokantasuunnittelun pääperiaatteena on tiedon toiston välttäminen. Tiedon toistumiseen liittyy monenlaisia ongelmia.

Jan Ågren LIIKETOIMINTATIETO

T Vaatimusmäärittelydokumentti. ETL-työkalu

TIEDONHALLINNAN PERUSTEET - SYKSY 2013

ETL-DEMO. Esimerkki ETL-kuvauskielen käyttöstä

TIEDONHALLINTA - SYKSY Luento 10. Hannu Markkanen /10/12 Helsinki Metropolia University of Applied Sciences

Kuukausiraportoinnin kehittäminen PowerPivotilla

Haaga-Helia HeTi-09 1 (20) Outi Virkki, Tiina Mikkola ICT05 Tiedonhallinta ja tietokannat Johdanto

Hyödyt irti XDW:stä. Kim Johnsson Projektipäällikkö/Cerion Solutions Oy

TIETOKANNAT JOHDANTO JOUNI HUOTARI & ARI HOVI

PALKKA-AINEISTON SIIRTOTIEDOSTO

Valtionhallinnon käyttäjäpäivä - IBM Cognosin tulevaisuuskatsaus ja nykypäivä

ECDL Tietokannat. Copyright 2015 ECDL Foundation ECDL Tietokannat Sivu 1 / 7

Valtiokonttorin Voimaraportointi. Tero Mäkinen

LIIKETOIMINTATIEDON HALLINNAN MAHDOLLISUUDET OPPILAITOSYMPÄRISTÖSSÄ

UNA PoC-yhteenveto CGI Aino Virtanen

POHJOIS-KARJALAN AMMATTIKORKEAKOULU Tietojenkäsittelyn koulutusohjelma. Hannupekka Sormunen ITÄ-SUOMEN AMMATTIKORKEAKOULUT -PROJEKTIN TIETO- VARASTO

Tietokantojen perusteet

Käsiteanalyysi. Jouni Huotari & Ari Hovi. kirjan Hovi, Huotari, Lahdenmäki: Tietokantojen suunnittelu & indeksointi, Docendo (2003, 2005) luku 3

TTZC0800 TIETOKANNAT (5 OP)

Mistä 'etojohtamisessa oikeas' on kyse? Tieken Bisnestreffit

Testiautomaatio tietovarastossa. Automaattisen regressiotestauksen periaate ja hyödyt

Transkriptio:

Informaatioteknologian instituutti IIO30100 Tietokantojen suunnittelu Tietovarastojen suunnittelu kirjan Hovi, Huotari, Lahdenmäki: Tietokantojen suunnittelu & indeksointi, Docendo (2003, 2005) luku 8 Jouni Huotari & Ari Hovi

Määrittely- ja pohdiskelutehtävä Mikä on tietovarasto? Miten termi Business Intelligence liittyy tietovarastointiin? Miten käsite data mart liittyy tietovarasttoihin (data warehouse)? Entä OLAP (online analytical processing)? Mikä on ETL-tekniikan perusidea? Mistä sanoista ETL tulee? K2008 2

Tietovarastokannan suunnitteluperiaatteita Tietovarastotietokannan tavoitteena on tukea tietojen kyselyä, analysointia ja raportointia Tämä on operatiivisissa kannoissa usein hankalaa (mutta ratkaisujakin on; osaatko mainita mitä?) => on tärkeää, että: historia säilytetään: käyttäjät haluavat tehdä trendianalyysiä eri operatiivisista järjestelmistä tulevat tiedot yhdenmukaistaan: yhdenmukaiset koodit ja perusavaimet tietorakenne on selkeä ja intuitiivinen: ymmärrettävät taulujen ja sarakkeiden nimet, kyselyjä on helppo tehdä K2008 3

Tietovarastokannan suunnitteluperiaatteita Ratkaisuja Tiedon "jalostus": tietoa on summattu valmiiksi, yleisiä tunnuslukuja on laskettu valmiiksi Tiedot on tallennettu riittävän tarkalla tasolla (esim. viikkotaso) denormalisointi ja summaus => saadaan riittävän hyvä vastausaika kyselyille (tähtimalli) K2008 4

Tähtimalli Tähtimalli (star schema, dimensional modelling) eli dimensiomalli on tietovarastojen yhteydessä esitetty uusi tapa soveltaa käsiteanalyysiä Tähtimallissa on luovuttu osittain kolmannesta normaalimuodosta kyselyjen yksinkertaistamiseksi ja nopeuttamiseksi (denormalisointi) Hintana tästä on levytilan tietty lisätarve (yleensä melko vähäinen) sekä se, että tietovaraston lataaminen monimutkaistuu jonkin verran Tähtimalli sopii hyvin erityisesti numeerisen ja moniulotteisen tietoaineksen mallintamiseen (esim. päiväys voidaan jakaa monelle tasolle => aikaulottuvuus) Tähtimallia käytetään etenkin pienempien tietovarastokantojen, ns. paikallisvarastojen (data mart) suunnittelussa. Nimi tähtimalli tulee siitä, että rakenne muistuttaa tähteä sakaroineen (ks. kirjan kuva 8.1); jos sakarat jakautuvat edelleen pienempiin osiin, puhutaan lumihiutalemallista (kuva 8.2) Tähtimallin avulla suunnitellaan myös ns. OLAP-kantoja (Online Analytical Processing) ja ns. kuutioita (cube), jotka eivät ole tavanomaisia relaatiokantoja vaan tietojen analysointiin tarkoitettuja erikoiskantoja K2008 5

Kuva 8.1: Tähtimalli K2008 6

Tähtimalli: faktataulu ja dimensiotaulut Tähtimallissa on keskellä iso taulu, ns. faktataulu, ja ympärillä useita pienempiä dimensiotauluja eli ulottuvuustauluja Faktataulun tiedot ovat luonteeltaan tapahtumatyyppisiä, kuten myyntitapahtumia Numeroarvoja (esimerkiksi myynti, kpl, vero, saldo) sisältäviä sarakkeita kutsutaan faktoiksi Perusavain koostuu dimensiotaulujen perusavaimista yhdisteltynä Faktataulun numeroarvoja lasketaan yleensä yhteen erilaisilla dimensioista saaduilla tasoilla; voidaan myös laskea keskiarvoja ja lukumääriä eri dimensioilla Faktataulu on karkeisuudesta riippuen yleensä iso, esim. miljoonia rivejä Tähtimallikyselyä tehtäessä dimensiotaulut yhdistetään faktatauluun liitoksilla Dimensiotauluissa säilytetään tapahtumiin verrattuna staattisia tietoja, joista saadaan erilaisia ryhmittelyjä ja hakukenttiä faktataulun rivejä summaaville kyselyille Tyypillisiä faktatauluja ovat asiakas, tuote, pvm, organisaatioyksikkö, Dimensiotaulut ovat faktatauluun verrattuna pieniä, usein sadoista tuhansiin riveihin. K2008 7

Kuva 8.2: Lumihiutalemalli K2008 8

Loput esimerkit, ks. kirja ja linkit http://www.dmreview.com/channels/dw_basics.html http://en.wikipedia.org/wiki/data_warehouse http://en.wikipedia.org/wiki/data_mart http://en.wikipedia.org/wiki/star_schema http://en.wikipedia.org/wiki/snowflake_schema http://en.wikipedia.org/wiki/olap K2008 9