Datahub projekti Tietokonversiotyö, seurantaryhmä 18.2.2016
Tietokonversion suunnittelutyö aloitettu Valittu kumppani on Modultek Oy Erikoistunut tiedonlaatu- ja tietokonversiotyöhön, n. 25 henkilöä Tässä työssä mukana 3-4 henkilöä Työ alkanut 01/2016 ET:n nimittämä pilottiryhmä on myös aloittanut, käynnistyspalaveri pidetty 2.2.2016
Tietokonversiotyöryhmä Datahubin liiketoimintaprosessit ja vaatimukset tiedon laadulle aiheuttavat muutoksia ja tehtäviä kaikille sähkön vähittäismarkkinoiden osapuolille. Tietokonversiotyöryhmä määrittelee tiedonsiirtomuodot, -prosessit ja työkalut tietojen toimittamiseen. Tavoitteena on varmistaa, että toimialan nykyisten tietojärjestelmien erilaiset sovellusmuutokset ja toteutukset tulevat huomioitua oikealla tavalla. Jari Jaakola, Pohjois-Suomen Energiatieto Oy Jaana Kortelainen, Porvoon Energia Oy Vassi Kujala, Vattenfall Oy Erika Lietzen, Caruna Oy Jukka Luoma, Voimatieto Oy Minna v Pajunen, KSS Energia Birgitta Polojärvi, Loiste Sähkönmyynti Oy Katja Repo, Mäntsälän Sähkö Oy Hannu Santala, Fortum Markets Oy Saila Turunen, Pohjois-Karjalan Sähkö Oy Sari Wessman, Jyväskylän Energia Oy
4 Tietokonversiotyö pohjautuu markkinamäärittelyihin Sähkön vähittäismarkkinoiden liiketoimintaprosessit Datahubissa 2/29/2016 Datahub prosessit Datahubtapahtumat tekninen kuvaus Data-standardi
Tehdyt kuvaukset luovat edellytykset jatkotyölle Liiketoimintaprosessien tarpeet tiedonvaihdolle Tiedonvaihdon tekniset kuvaukset Fingrid voi edetä Datahub tietojärjestelmän hankinnassa Toimialan yritykset voivat edetä omissa suunnitelmissaan D A T A H U B
Tietokonversiotyön tavoitteet Tavoitteet: Valmistautua Datahub järjestelmän hankintaan sekä testaukseen ja käyttöönottoon tietosisältömielessä Suunnitella miten Datahub järjestelmän tarvitsemat historiatiedot tuodaan sähkön verkkoja myyntiyhtiöiden eri järjestelmistä: asiakastietojärjestelmät mittaustietojärjestelmät mahdolliset muut? Suunnitella miten eri tietotoimituksia seurataan ja analysoidaan ja miten palaute annetaan ja käsitellään Saada tarvittavien tietojen tiedonlaatuprojekti liikkeelle toimialan osapuolten järjestelmissä (korjaukset, puutteet)
Tietokonversiotyön tavoitteet Tavoitteet: Valmistautua Datahub järjestelmän hankintaan tekninen kuvaus tiedon toimitusrajapinnasta Datahub -toimittajalle Valmistautua Datahub järjestelmän testaukseen ja käyttöönottoon tietosisältömielessä kun Datahub järjestelmän toimittaja on valittu (Q3/2017), ainakin pilottiryhmän järjestelmien tiedot on tarkastettu (ainakin 90% laatu) ja niitä voidaan ladata Datahub järjestelmään testauksia varten heti kun Datahub -toimittajalla on valmius ottaa niitä vastaan Lataus- ja tarkastuskierroksia tehdään useita (2017-2019) jotta tiedon laatu on riittävällä tasolla käyttöönottoa varten ja kaikki toimiajan osapuolet otetaan mukaan vaiheittain Käyttöönoton jälkeen tiedonsiirto tapahtuu rajapintojen kautta
Tietokonversiotyön tavoitteet Tietokonversion suunnittelutyön sisältö 1. Määritellä tiedonsiirtomuoto(muodot) toimialan järjestelmien ja erillisen tietokonversiojärjestelmän välillä (tietojen tarkastusta varten) 2. Määritellä tiedonsiirtomuoto tietokonversiojärjestelmästä Datahub -järjestelmään 3. Määritellä tietojen toimitustapa ja toimitusten seuranta 4. Tietokonversiojärjestelmän tekninen määrittely ja tarvittavat työkalut ATJ/ mittaustietojärjestelmä tietokonversiojärjestelmä Datahub - järjestelmä
Tietokonversiosta Tarvittava tietosisältö on nyt määritelty Mitä voidaan tehdä jo heti? ei aiheuteta "enempää siivottavaa" tietosisältöön Mitkä otettava huomioon tulevissa osapuolten järjestelmämuutoksissa? Fingridin lähiajan toimenpiteet: tietokonversiosuunnitelman tekeminen jatkuu toimialan edustajien kanssa lisäresurssi rekrytoinnissa joka hoitaa asiaa toimialalle päin Tulee näkymään toimialan yrityksissä jo tämän vuoden aikana => kannattaa valmistautua!
Tiedon parantamisen arkkitehtuuri
Tietokonversiomalli 1
Tietokonversiomalli 2
Tietokonversioprosessi
Tietosuoja ja tietoaineistojen käsittely POC POC vaiheen aikana tutustutaan eri järjestelmien tuottamaan aineistoon ja luodaan validointi ja harmonisointi säännöstö automaatiota varten. Siirretään data sellaiseen kuin se on saatavissa lähteellä Lähdejärjestelmä siirtotied osto Siirtotiedosto/ Korjausehdot us VALIDOINTI määriteltyjä sääntöjä ja rekistereitä vasten KORJAUS Datan massamuokkaus ja täydennys Migraatiokanta VALIDOINTI DataHubin tietomallia vasten MUOKKAUS Datan massamuokkaus ja täydennys datahubin tietomalliin Siirtotiedo sto DataHub Optio
Esitietokysely tietokonversiotyöryhmälle Kartoitetaan toimialan yritysten järjestelmien tilannetta Datahubin tietomallia vasten Viimeisin versio Datahubin tietomallista julkaistu alalle 29.1.2016 Kysely toteutetaan sähköisenä viikolla 5 Vastausaika 19.2.2016 asti Kysely tullaan toteuttamaan kaikille markkinaosapuolille kevään 2016 aikana
Tietokonversiotyön aikataulu Pilottiryhmän esitietokyselyyn vastaaminen 19.2.2016 mennessä tietokonversiotyön suunnitelma valmiina toimialan kommentoivaksi 03-04/2016, kommentointiaika 5 viikkoa alustava koeponnistus (PoC) 2-3 pilottiryhmän yrityksen tietojen avulla käyttäen Modultekin järjestelmää, 02-03/2016 tietokonversioympäristön ja tiedonsiirtomuotojen tekninen toteutus, kilpailutus 05/2016 tietokonversioympäristön ja tiedonsiirtomuotojen tekninen toteutus, itse toteutustyö 06/2016 pilottiryhmän tietojen koetoimitukset tietokonversioympäristöön sovitussa muodossa alkavat 06/2016
Periaatteet Kaikki tieto on sensitiivistä, henkilötietojen osalta huomioidaan henkilötietolaki Henkilötietojen osalta rekisterinpitäjä on joko markkinaosapuoli (tiedon lähde) tai Fingrid DataHubin osalta. Tietoaineistojen siirto sovitaan markkinaosapuolien kanssa erikseen, koska ei ole vielä selvyyttä käytössä olevista ohjelmistoista. Periaatteena on kuitenkin, että aineistoa ei siirretä verkon yli missään muodossa salaamattomana ja suojaamattomana. Jokainen siirrettävä tietoaineisto identifioidaan ja jokainen tietorivi tietoaineistossa identifioidaan. Tietoaineistojen siirrosta on olemassa kirjanpito. Jokainen tietoaineisto lähetetään aina kokonaisena eheänä aineistonaan. Kukin markkinaosapuoli näkee migraatiokannassa vain omaa aineistoaan Kaikki aineisto tullaan hävittämään PoC vaiheen päätyttyä ellei markkinaosapuolen kanssa toisin sovita.
Tietokonversiotyöryhmän työskentelymenetelmät Työpajat joissa kaikki mukana: Modultek esittelee valmisteltuja dokumentteja ja asiakokonaisuuksia sekä käydään läpi aiemmin annettuja kommentteja Materiaalin itsenäinen kommentointi: Dokumentit julkaistaan kommentoitavaksi Project Place portaalin kautta Keskenäiset F2F tapaamiset (PoC): Modultek suoraan yhteydessä yksittäiseen pilottiryhmäläiseen ja keskenään sovittavat tapaamiset
Tietokonversioryhmän työskentelysykli Fingrid (Modultek) valmistelee työpajat ja materiaalit Fingrid (Modultek) koostaa kommentit ja niiden läpikäynti seuraavassa työpajassa. Kommenttien yhteenveto Työpajojen valmistelu ja suunnittelu Tietokonversioryhmän työpaja Verkko- ja myyntiyhtiöistä koostuva työryhmä Pilottiryhmän kommentit viikon sisällä materiaalin julkaisusta. Tietokonversiosuunnitelman kommentointi Työpajan keskutelujen tulosten dokumentointi Dokumenttien julkaisu Project Placessa.