Tietokonversiosuunnitelma

Transkriptio

1

2 2 (58) Sisällysluettelo Määritelmät Tiivistelmä Johdanto Datahub Tietokonversiosuunnitelman tarkoitus Datahub hankkeen tietokonversioprojekti ja sen tavoitteet Tietokonversiojärjestelmän looginen rakenne Markkinaosapuolien esitietokartoitus Tietokonversiotyön vaiheet Tietokonversiotyön hankinta- ja suunnitteluvaihe Tietokonversiotyön pilottivaihe Tietokonversiotyö datahubin toteutusvaiheessa Datahub-järjestelmän käyttöönottovaihe Tehtävät ja vastuut Tietokonversioprosessi Prosessin yleiskuvaus Siirrettävät tiedot Siirtotiedostojen tietosisältö Siirtotiedoston muoto Tietojen toimitusvastuu ja tietojen valintaan koskevat säännöt Tiedon tuonti, tarkastus ja korjausehdotukset Tiedon tuonti tietokonversiojärjestelmään Tarkastettavat tiedot... 41

3 3 (58) Virhetyypit Tiedon laatuvaatimustasot pilotti- ja tietokonversiovaiheen aikana Tiedostotarkastus Eheystarkastus Yhdenmukaisuustarkastus Tiedon vieminen datahubiin Seuranta ja seurannan työvälineet Tuonnin ja tarkastuksen seuranta Loppukäyttäjän raportit Tarkastuksen yhteenvetoraportti Tarkastuksen virheraportit Datahubin tietokonversioraportit Pääkäyttäjän raportit Siirtotiedostojen toimitusstatistiikka Osapuolikohtainen laatustatistiikka Lähdeaineiston laaturaportti datahub-tasolla Tietokonversion loppuraportti Tietokonversion poikkeamaraportti Tietokonversioprosessin suorituskyky Muutoshallinta Tietokonversiojärjestelmän arkkitehtuuri Arkkitehtuurivaatimukset Toiminallisuus (Functionality) Toimintavarmuus (Reliability) Käytettävyys (Usability) Tehokkuus (Efficiency) Ylläpidettävyys (Maintainability) Siirrettävyys (Portability)... 54

4 4 (58) Tietoturva Tietokonversiojärjestelmän tekninen kokoonpano Vaatimukset tallennuskapasiteetille Tietosuoja Liite A Määrittelyvaiheen aikana tehtyjä havaintoja tiedon laadusta A.1 Käyttöpaikkatiedot A.2 Asiakastiedot A.3 Sopimustiedot A.4 Yleiset havainnot... 58

5 5 (58) Muutoshistoria Revisio Tehnyt Pvm Hyväksynyt Kuvaus Tietokonversiotyöryhmä Luonnos toimialan kommenteille Tietokonversiotyöryhmä Ensimmäinen virallinen versio

6 6 (58) Määritelmät Termit ja lyhenteet Attribuutti Datahub Datastandardi Eheystarkastus Entiteetti Iteraatio Liiketoimintaprosessi Pilotti-iteraatio Siirtotiedosto Tiedostotarkastus Tietokokonaisuus Tietokonversioiteraatio Tietokonversiojärjestelmä Tietokonversiotyöryhmä Tietomalli Kuvaus Tietokokonaisuuden sisältämän tiedon yksi osa, esimerkiksi asiakastietojen asiakaan tunniste. Sähkön vähittäismarkkinoiden keskitetty tiedonvaihtoratkaisu. Määrittely, joka kuvaa datahubin entiteetit ja entiteettien attribuutit. Tietokonversiojärjestelmän yhden markkinaosapuolen lähdeaineistolle suorittama tarkastus. Järjestelmä tarkastaa, että markkinaosapuolen toimittama lähdeaineisto on ehjä datastandardin tietomallin näkökulmasta. Tarkastuksessa vaaditaan esimerkiksi, että sopimustiedoissa oleva käyttöpaikkatunnus löytyy myös käyttöpaikkatiedoissa (viite-eheystarkastus). Eheystarkastus erotetaan käsitteellisesti yhdenmukaisuustarkastuksesta, jossa tarkastetaan lähdeaineiston yhdenmukaisuus markkinatasolla. Tietokokonaisuus, joka koostuu useasta attribuutista. Datahubin operatiivista toimintaa varten perustettu, Fingridin kokonaan omistama, tytäryhtiö. Jäljempänä määrittelyssä käytetään lyhyttä muotoa Fingrid. Tietokonversiojärjestelmän toteutuksessa suoritettava korjaus/toimitus/lataus - toisto. Joukko toisiinsa liittyviä tehtäviä, joita tehdään määritellyn tavoitteen, esimerkiksi asiakkaan myyjän vaihdon, saavuttamiseksi. Pilottiryhmän kanssa suoritettava iteraatio, joissa kehitetään tietokonversiojärjestelmää ja mitataan sen valmiutta. Tietokonversiossa käytettävä tiedosto, jota käytetään tiedon viemiseen lähdejärjestelmästä määritellyssä muodossa datahubiin. Tietokonversiojärjestelmän yksittäiselle tiedostolle suorittama tarkastus. Tarkastus kattaa syntaksin tarkastuksen, tietosisällön loogiset tarkastukset sekä duplikaattitarkastukset. Markkinaosapuolien tietojärjestelmien tiedot, esim. Asiakas-, Käyttöpaikka- ja Sopimustiedot. Kaikkien markkinaosapuolien kanssa suoritettavat iteraatiot, jotka suoritetaan pilottivaiheen jälkeen. Järjestelmä, jossa tehdään markkinaosapuolien lähdejärjestelmistä tulevan tiedon tarkastus ja josta mahdolliset poikkeamat raportoidaan takaisin markkinaosapuolille. Tietokonversiojärjestelmä antaa yhteenvetotietoa Fingridille konversioprosessin etenemisestä ja siitä, missä vaiheessa kukin markkinaosapuoli on. Energiateollisuus ry:n valitsema 11 pilottiyrityksen ryhmä, eli pilottiryhmä, joka osallistuu yhdessä Fingridin ja tietokonversiosuunnitelman tekijäkumppanin kanssa tietokonversioon liittyvän dokumentaation ja tietokonversioprosessin määrittelyyn. Tietomalli on abstrakti malli, joka järjestää tietoattribuutteja ja määrittelee miten ne liittyvät toisiinsa.

7 7 (58) Yhdenmukaisuustarkastus Tietokonversiojärjestelmän koko lähdeaineistolle suorittama tarkastus. Järjestelmä tarkastaa, että eri markkinaosapuolien toimittama lähdeaineisto on yksiselitteistä ja ilman ristiriitoja. Tarkastuksessa vaaditaan esimerkiksi, että käyttöpaikalla saa olla vain yksi voimassaoleva myyntisopimus. Yhdenmukaisuustarkastus erotetaan käsitteellisesti "eheystarkastuksesta", joka suoritetaan yksittäisen markkinaosapuolen toimittamalle lähdeaineistolle.

8 8 (58) 1 Tiivistelmä Datahub tietokonversiolla tarkoitetaan liiketoimintaprosessien perustietojen ja mittaustietojen lataamista lähdejärjestelmistä uuteen datahub-järjestelmään ennen sen käyttöönottoa. Lähdejärjestelmät ovat sähköverkkoyhtiöiden ja sähkön myyjien liiketoimintasovellukset, joissa ylläpidetään asiakas-, käyttöpaikka-, sopimus- ja mittaustietoja. Tietokonversiotyöllä on kaksi päätavoitetta: Lähdejärjestelmistä toimitettavan tiedon yhdenmukaistaminen Datahub-järjestelmän alkulatauksen toteuttaminen. Lähdejärjestelmistä toimitettavan tiedon yhdenmukaistaminen on välttämätöntä, jotta järjestelmistä pystytään suorittamaan liiketoimintaprosesseja datahub-järjestelmässä sen käyttöönoton jälkeen. Tietokonversion lähdetiedot tulevat hyvin erilaisista liiketoimintasovelluksista ja noin 200 sähkömarkkinoilla toimivasta yhtiöstä, joissa on eri käytäntöjä liiketoimintaprosessien perustietojen ylläpitoon. Lähdetiedon yhdenmukaistamiseksi ja laadun varmistamiseksi hankitaan erillinen "tietokonversiojärjestelmä", joka tulee toimimaan varsinaisen datahub-järjestelmään ladattavan tiedon esikäsittelyjärjestelmänä. Markkinaosapuolet toimittavat lähdetiedot siirtotiedostoina tietokonversiojärjestelmään datahubin datastandardissa määritellyssä muodossa. Tietokonversiojärjestelmässä suoritetaan seuraavia tarkastuksia lähdeaineistoon: Tiedostotarkastus: Markkinaosapuolen toimittama siirtotiedosto on datastandardin mukaisessa muodossa Eheystarkastus: Markkinaosapuolen toimittama lähdeaineisto on sisäisesti ehjä datahubin liiketoimintaprosessien näkökulmasta Yhdenmukaisuustarkastus: Markkinaosapuolen toimittama lähdeaineisto on yhdenmukainen suhteessa muiden osapuolten toimittamaan aineistoon. Tietokonversiojärjestelmä rakennetaan siten, että markkinaosapuolet pystyvät itsenäisesti suorittamaan siirtotiedostokohtaiset ja osapuolikohtaiset tarkistukset riippumatta muiden osapuolten toimituksista. Tietokonversiojärjestelmä tuottaa tarkistusraportteja, joiden perusteella markkinaosapuolet suorittavat tarvittavia korjaustoimenpiteitä lähdejärjestelmissä. Tietokonversiojärjestelmä ei muokkaa tai rikasta lähdeaineiston tietoja, joten kaikki korjaustoimenpiteet on suoritettava lähdejärjestelmissä. Tietosuojan ja tietoturvan osalta tietokonversiojärjestelmä täyttää samat vaatimukset kuin varsinainen datahub-järjestelmä. Markkinatason tarkastusten suorittamisesta vastaa Fingrid. Sen tulosten perusteella päätetään lähdeaineiston julkaisusta ladattavaksi varsinaiseen datahub-järjestelmään. Datahubin liiketoimintaprosessit edellyttävät, että kaikki markkinaosapuolet toimittavat ehjät tiedot tietokonversiossa. Datahub-järjestelmän toimittaja vastaa siirrettävien tietojen latauksesta datahub-järjestelmään. Latauksen jälkeen datahub-järjestelmä toimittaa tietokonversioraportin, jonka avulla voidaan varmistaa, että datahubiin päätyneet tiedot vastaavat lähdejärjestelmien tietoja. Lisäksi varmistetaan, että ladattua tietoa voidaan käsitellä oikein liiketoimintaprosesseissa.

9 9 (58) Tietokonversiotyö alkaa pilottivaiheella, jossa varmistetaan tietokonversiojärjestelmän työkalujen ja tietokonversioprosessin toimivuus. Datahubin toteutusvaiheen tietokonversiotyössä keskitytään markkinaosapuolten datahub-valmiuteen tiedon laadun suhteen sekä varmistetaan markkinaosapuolten kyky toimittaa lähdeaineisto määrätyn aikaikkunan sisällä. Tietokonversiotyön alustava aikataulu on määritelty seuraavasti: 12/ /2017 Pilottivaihe 10/ /2019 Toteutusvaihe. Markkinaosapuolten tulee ryhtyä seuraaviin toimenpiteisiin tämän suunnitelman sekä datastandardin pohjalta: 1. Oman datahub-tietokonversiosuunnitelman laatiminen. Suunnitelman tulisi kattaa ainakin seuraavat osa-alueet: Tietokonversion lähdejärjestelmät: o asiakastietojärjestelmät o mittaustietojärjestelmät o mahdolliset muut järjestelmät Lähdejärjestelmien muutostarpeet ja toimenpidesuunnitelma Lähdeaineiston siivous- ja rikastustarpeet sekä toimenpidesuunnitelma Siirtotiedostojen luontia varten tarvittavien työkalujen määrittely ja toteutussuunnitelma o Tietokenttien vastaavuusmäärittelyt o Arvojen vastaavuusmäärittelyt o Menetelmät, joilla datahubin tarvitsema tieto voidaan johtaa olemassa olevista tiedoista (jos tieto ei löydy suoraan) Lähdeaineiston toimitussuunnitelma, joka laaditaan eri vaiheille asetettujen tavoitteiden mukaisesti Järjestelmäympäristösuunnitelma (testijärjestelmät, latausjärjestelmät, riippuvuudet muihin järjestelmiin yms) Resurssisuunnitelma (kuka hoitaa tarvittavat tietojen poiminnat ja lataukset datahubia varten). 2. Tietojen siivous ja rikastus. Tiedon siivoaminen ja rikastaminen on hyvä aloittaa mahdollisimman pian erityisesti seuraavien tietojen osalta: Henkilöasiakkaiden henkilötunnukset Yritys- ja yhdistystunnukset Osoitetiedot.

10 10 (58) 2 Johdanto 2.1 Datahub Sähkön vähittäismarkkinoiden tiedonvaihtoa tarvitaan erilaisten sähkömarkkinoiden liiketoimintaprosessien hoitamisessa. Liiketoimintaprosesseja ovat esimerkiksi taseselvitys, loppukäyttäjän muutto osoitteesta toiseen ja myyjän vaihto. Näiden prosessien ja niissä käytettävän tiedonvaihdon tulee toimia saumattomasti ja tehokkaasti eri osapuolten näkökulmasta. Edellä mainittujen asioiden tiedonvaihdon ja liiketoimintaprosessien hoitamiseksi Työ- ja elinkeinoministeriö pyysi Fingrid Oyj:tä toteuttamaan ratkaisun, jossa sähkömarkkinoiden kaikki tiedonvaihto keskitetään yhteen palveluun. Työ käynnistyi Ratkaisu on niin sanottu datahub. Datahub on mittaus- ja perustietovarasto, johon markkinaosapuolet toimittavat ja hakevat markkinaprosesseissa tarvitsemaansa tietoa. Datahub on vähittäismarkkinoiden keskitetty tiedonvaihtoratkaisu, johon tallennetaan tietoja Suomen 3,5 miljoonasta sähkönkäyttöpaikasta. Datahubin tietoja käyttävät jatkossa noin 100 sähkön myyjää ja yli 80 jakeluverkkoyhtiötä palvellessaan sähkön käyttäjiä. Datahub helpottaa mittaustiedon käsittelyä sekä yksinkertaistaa ja nopeuttaa asiakkaan sopimustapahtumia sekä lisää palvelun virheettömyyttä. Standardoitu rajapinta sähkönkulutustietoon edistää älyverkkojen ja -mittareiden täysimääräistä hyödyntämistä ja uusia liiketoimintamahdollisuuksia. Datahub voi myös käsitellä ja jalostaa sinne tallennettua tietoa. Suomessa laajasti käytössä olevien älykkäiden etäluettavien sähkömittareiden avulla jokaisesta käyttöpaikasta kertyy päivittäin paljon tietoja. Nämä tiedot, ja mahdolliset tulevaisuuden mobiilisovellukset, voivat tarjota sähkön kuluttajille täysin uusia palveluja. Esimerkkinä voisi olla sovellus, jonka avulla kuluttaja voi seurata yhdellä kertaa sekä kaupunkiasunnon että kesämökin sähkönkäyttötietoja, vaikka nämä sijaitsevat eri puolilla Suomea. Datahub ja älykkäät järjestelmät mahdollistavat myös sähkön käyttäjien osallistumisen kysyntäjoustoon. Kysyntäjoustossa on kyse sähkön tuotannon ja kulutuksen tasapainottamisesta siten, että sähkönkäyttöä säädellään automaattisesti sähköverkon kuormituksen mukaan. Huippukulutustilanteissa sähkölaitteita voidaan kytkeä pois päältä, ja toisaalta ylituotantoa voidaan purkaa esimerkiksi suurten kiinteistöjen laitteisiin. Datahubin operatiivista toimintaa varten perustettiin Fingridin kokonaan omistama tytäryhtiö jonka tehtävänä on saattaa loppuun sähkömarkkinoiden keskitetty tiedonvaihtoratkaisu, datahub.

11 11 (58) 2.2 Tietokonversiosuunnitelman tarkoitus Tämä suunnitelma on tarkoitettu sähkön vähittäismarkkinaosapuolille ja heidän tietojärjestelmiensä toimittajille tukemaan järjestelmien mahdollisia muutoksia ja tietokokonaisuuksien vaatimaa laadunparannusta. Tämän suunnitelman pohjalta markkinaosapuolet voivat laatia oman datahub tietokonversiosuunnitelmansa, jossa kartoitetaan muutostarpeet omissa liiketoimintasovelluksissa ja suunnitellaan muutostarpeiden toteutus ja testaus. Tietokonversiosuunnitelma kuvaa miten tarvittavat tiedot saadaan tuotua markkinaosapuolten järjestelmistä datahub-järjestelmään. Tarkempi määrittely siitä kuinka pitkältä ajalta tiedot tulee toimittaa ja millä ehdoilla löytyy kappaleesta 5.2. Tietokonversiosuunnitelman laadinnassa syntyneitä teknisiä kuvauksia ja ohjeita tullaan käyttämään tietokonversiojärjestelmän tarjouspyynnössä sekä teknisenä ohjeistuksena markkinaosapuolille siitä, miten tiedot tulee toimittaa. Tietokonversiotyöryhmä on kommentoinut tietokonversiosuunnitelman ennen sen julkaisua kaikille vähittäismarkkinaosapuolille ja heidän IT-järjestelmien toimittajilleen kommentoitavaksi. Tietokonversiosuunnitelma sisältää seuraavat osa-alueet: Kuvaus menetelmästä ja työkalusta, joilla tietokokonaisuus tuodaan Fingridin tietokonversiojärjestelmään ja tekninen kuvaus tiedonvaihtomuodosta, josta datahub-toimittaja saa ajettua sen varsinaiseen järjestelmään Kuvaus siirtotiedostoista, jolla markkinaosapuolet toimittavat datahubiin siirrettävät tiedot Ohjeet siirtotiedostojen sisällöstä ja niiden toimittamisesta Kuvaus työkalun lisätoiminnallisuuksista, jolla tietoa ja prosessia hallitaan (mittarointi ja seuranta, lataukset/virheet) Kuvaus latausten toistettavuudesta ja eri toimituserien hallinnasta (useita osapuolia ja niillä mahdollisesti useita toimituksia) Kuvaus järjestelmävaatimuksista ja alustasta, jolle tietokonversioympäristö pystytetään. 2.3 Datahub hankkeen tietokonversioprojekti ja sen tavoitteet Tietokonversio on datahub-hankkeen aliprojekti. Tietokonversio toteutetaan useissa korjaus/toimitus/lataus -toistoissa, joista käytetään myöhemmin käsitettä "iteraatio". Tietokonversioprojektilla on kaksi päätavoitetta: Markkinaosapuolten toimittaman tiedon yhdenmukaistaminen Datahub-järjestelmän alkulataus. Tietokonversioprojekti jaetaan kolmeen vaiheeseen: Suunnittelu- ja hankintavaiheen tavoitteena on tietokonversiojärjestelmän hankinta ja pystyttäminen. Tietokonversiojärjestelmänä käytetään ensisijaisesti kaupallisesti saatavilla olevaa, tarkoitukseen soveltuvaa, työkalua. Jos tarkoitukseen soveltuvaa työkalua ei löydy, niin tietokonversiota varten luodaan oma järjestelmänsä. Suunnitteluvaiheessa laaditaan esimerkkejä tietokonversion

12 12 (58) siirtotiedostoista ja ohjeet miten markkinaosapuolten tulee omalta osaltaan valmistautua datahubtietokonversioon. Lisäksi määritellään lähdeaineiston laatukriteerit sekä laadun mittausmenetelmä. Pilottivaiheen tavoitteena on varmistaa tietokonversioprosessin toimivuutta sekä tietokonversiojärjestelmän suorituskykyä ja luotettavuutta. Lisäksi tavoitteena on tietokonversioon liittyvän ohjeistuksen parantaminen kerättyjen kokemusten perusteella. Pilottivaihe suoritetaan yhdessä valittujen pilottiyritysten kanssa, jotta prosessit voidaan testata oikealla lähdetiedolla. Pilottivaiheen käynnistys edellyttää, että tietokonversiojärjestelmä on hankittu ja käytettävissä. Datahub toteutusvaiheen tavoitteena on lähdejärjestelmien toimittaman tiedon yhdenmukaistaminen, tiedon laadun varmistus, lähdeaineiston koordinoitu toimitus ja datahub-järjestelmän alkulataus. Koko toimiala osallistuu tähän vaiheeseen. Datahub toteutusvaiheen laatu- ja toimitusvarmuuskriteerit kiristetään iteraatiovaiheesta toiseen, jotta päästään lopulliseen tavoitteeseen. Tietojen laadun parantamiseksi markkinaosapuolien tietoja verrataan olemassa oleviin kolmannen osapuolen ylläpitämiin rekistereihin, kuten postin osoitetietojärjestelmä, yhdistysrekisteri ja yritysrekisteri. Datahubin tehokkaan ja luotettavan toiminnan takaamiseksi henkilöasiakkaan tarkkaan yksilöintiin tarvitaan asiakkaan henkilötunnus. Näitä tietoja ei ole kaikkien asiakkaiden osalta saatavilla markkinaosapuolien järjestelmissä. Lupaa henkilötietojen täydentämiseen väestörekisterin tiedoilla ei ole ja se vaatii muutoksen lainsäädäntöön. 2.4 Tietokonversiojärjestelmän looginen rakenne Alla olevassa kuvassa on esitetty tietokonversiojärjestelmän looginen rakenne ja liittymät muihin järjestelmiin. Taulukko 1 kuvaa järjestelmän eri komponentit. Huomaa, että Kuva 1 ei ole prosessikaavio. Esimerkiksi komponentista "Tarkastus" komponenttiin "Integraatio" menevä nuoli ei tarkoita, että integraatiota tehdään tarkastuksen jälkeen, vaan että tarkastuskomponentti käyttää integraatiokomponenttia.

13 13 (58) KUVA 1 TIETOKONVERSIOJÄRJESTELMÄN LOOGINEN RAKENNE Markkinaosapuoli ja datahub ovat tässä yhteydessä abstraktioita järjestelmistä, jotka ovat osallisina tietokonversioprosessissa tietokonversiojärjestelmän kanssa. TAULUKKO 1 TIETOKONVERSIOJÄRJESTELMÄN KOMPONENTIT Komponentti Tietojen lataus Tietojen tarkastus Raportointi Kuvaus Järjestelmän osa, jonka vastuulla on xlsx-muotoisen siirtotiedostojen lataus Tietokonversiojärjestelmään ja purkaminen Tietojen tarkastus -komponentille. Siirtotiedostot tallennetaan Tiedostoarkistoon. Järjestelmän osa, jonka vastuulla on yksittäisten lähdeaineiston tarkastus määriteltyjä sääntöjä vasten sekä tiedon muodostaminen tarkastusraportteja varten. Järjestelmän osa, jonka vastuulla on muodostaa raportti tarkastuksen tuloksista. Raportti tiedostot tallennetaan Tiedostoarkistoon.

14 14 (58) Julkaisualue Tiedostoarkisto Integraatiot Tietokonversiojärjestelmän tietoalue, johon siirretään datahubiin ladattavaksi valmiit lähdeaineistot. Tiedot välitetään datahub-järjestelmään tiedostomuodossa. Tietovarasto, jonne on tallennettu yksilöitävästi kaikki järjestelmään ladatut siirtoaineistot ja tarkastusraportit. Järjestelmän osa, jonka vastuulla ovat yhteydet ulkopuolisiin tietovarastoihin joita voidaan käyttää hyväksi tarkastuksen yhteydessä. Tietoja ei säilytetä tietokonversiojärjestelmässä, vaan ne poistetaan kun niitä ei enää tarvita tarkastusta varten. Järjestelmä tyhjennetään kokonaan vähintään jokaisen iteraatiovaiheen jälkeen. 2.5 Markkinaosapuolien esitietokartoitus Toimialan osapuolille tehtiin kysely, jolla kartoitettiin mitä tietojärjestelmiä osapuolet käyttävät nykyisin ja mikä on näiden tietojärjestelmien valmius datahub-järjestelmän käyttöönoton kannalta. Kartoitettavista tietojärjestelmistä saadaan lähdeaineistot datahubin alkulatausta varten ja toisaalta samat järjestelmät integroidaan datahubiin sen käyttöönoton yhteydessä, toisin sanoen järjestelmien tulee pystyä kommunikoimaan datahubin kanssa datahubin käyttöönoton jälkeen. Kysely tehtiin, jotta Fingrid pääsee tietokonversiosuunnittelutyössä tehokkaasti liikkeelle ja jotta tietokonversiosuunnitelma tukee parhaalla mahdollisella tavalla toimialan valmistautumista tietokonversioon ja tulevaan datahub-järjestelmän käyttöönottoon. Tietokonversiotyön suunnitteluvaiheen aikana toteutettiin esitietokartoitus tietokonversiotyöryhmässä mukana oleville markkinaosapuolille. Esitietokartoituksen perusteella voidaan todeta mm. seuraavat havainnot: Kaikkia datahub-projektin datastandardissa kuvattuja tietoihin liittyviä attribuutteja ei ole saavilla markkinaosapuolien tietojärjestelmissä Tiedon laatu ei vastaa datahub-projektin vaatimuksia Markkinaosapuolilla ei ole tällä hetkellä projektin vaatimia henkilöstöresursseja Markkinaosapuolien tietojärjestelmät vaativat päivitystä, versionvaihtoa tai koko järjestelmää ollaan uusimassa. 3 Tietokonversiotyön vaiheet Tietokonversiotyö jakaantuu seuraaviin vaiheisiin: Hankinta- ja suunnitteluvaihe Pilottivaihe Datahub toteutusvaihe.

15 15 (58) Hankinta- ja suunnitteluvaiheessa pystytetään tietokonversiojärjestelmä, jossa suoritetaan lähdeaineiston tarkastuksia ja joka tulee toimimaan varsinaisen datahub-järjestelmän tietojen esikäsittelyjärjestelmänä. Pilottivaihe ja datahubin toteutusvaihe jaetaan iteraatiovaiheisiin. Jokaiselle iteraatiovaiheelle asetetaan tarkistuspiste, jonka vaatimusten täytyttyä voidaan siirtyä seuraavaan iteraatiovaiheeseen. Pilottivaiheen ja datahubin toteutusvaiheen alustava aikataulu on esitetty taulukossa Taulukko 2. Kuukaudet on ilmoitettu juoksevalla numerolla, koska tässä vaiheessa projektia ei ole tarkoituksenmukaista antaa tarkkaa aikatauluarviota. Aikataulu antaa kuvan projektin ja iteraatiovaiheiden kestosta. Pilottivaiheeseen on suunniteltu kolme iteraatiovaihetta ja datahub toteutusvaiheeseen viisi iteraatiovaihetta. Toimitukset aloitetaan asiakastiedoista, koska niissä odotetaan tulevan eniten haasteita. Tietojen latausjärjestys on kuvattu tarkemmin Kuva 8. Siirtotiedostojen ajojärjestys Iteraatiovaiheet ja tarkistuspisteet on kuvattu tarkemmin kappaleissa 3.2 Tietokonversiotyön pilottivaihe ja 3.3 Tietokonversiotyö datahubin toteutusvaiheessa.

16 TAULUKKO 2 PILOTTIVAIHEEN JA DATAHUB-TOTEUTUSVAIHEEN ALUSTAVA AIKATAULU Datahub tietokonversio 12/ /2019 Tietokokonaisuudet Asiakas Pilotti-iteraatiot 1-3, Tietokonversioiteraatiot 1-5 Käyttöpaikka Pilotti-iteraatiot 1-3, Tietokonversioiteraatiot 1-5 Sopimus Pilotti-iteraatiot 1-3, Tietokonversioiteraatiot 1-5 Mittaus Pilotti-iteraatiot 1-3, Tietokonversioiteraatiot 1-5 Muu Pilotti-iteraatiot 1-3, Tietokonversioiteraatiot 1-5 P1 P3, T0 T5 TarkIstuspisteet kk Datahub-tietokonversiojärjestelmän implementointi Pilottiryhmä Pilottiryhmä Pilottiryhmä Pilottiryhmä Pilottiryhmä Tulosten analysointi Päätökset pilottiryhmän testien tuloksista Sopimus datahubtoimittajan kanssa Tietonversiot, suunnittelu Datahub-järjestelmä Markkinaosapuolet Markkinaosapuolet Markkinaosapuolet Markkinaosapuolet Markkinaosapuolet Tulosten analysointi Päätökset markkinaosapuolien testien tuloksista Tuotantokäytön aloitus Tuotantokäytön tuki -> Markkinaosapuolien tieto- ja järjestelmäpäivitykset P0 P1 P2 P3 T0 T1 T2 T3 T4 T5

17 LUONNOS 17 (58) Tietokonversiojärjestelmässä havaitut poikkeamat hallitaan Taulukko 3 kuvatun luokituksen avulla. Lähdeaineistossa havaitut poikkeamat hallitaan Taulukko 3 kuvattujen laatuvaatimustasojen perusteella. TAULUKKO 3 POIKKEAMIEN LUOKITTELU Luokka Poikkeaman kuvaus Selite 1 Käytön estävä Käyttöä vakavasti häiritsevä Käyttöä häiritsevä, mutta ongelma voidaan kiertää Kosmeettinen, tai ei häiritse käyttöä Poikkeama estää kriittisen toiminnon kokonaan, ei välttämättä koko järjestelmän käyttöä. Poikkeama vaikeuttaa järjestelmän käyttöä merkittävästi, estää mahdollisesti ei-kriittisiä toimintoja mutta ei kriittisiä toimintoja kokonaan. Poikkeama voi sinänsä olla vakava, mutta on olemassa väliaikainen ratkaisu, jonka avulla käyttö ei häiriinny merkittävästi. Lähdeaineisto jaetaan kolmeen laatuvaatimustasoon Taulukko 4 mukaisesti. TAULUKKO 4 LÄHDEAINEISTON LAATUVAATIMUSTASOT Taso Kuvaus Kentät datastandardissa Datahubin kannalta välttämätön Sähkömarkkinoiden toiminnan kannalta välttämätön Hyödyllinen tieto, mutta markkinoiden ja datahubin toiminnan kannalta ei kriittinen Ensimmäisen tason tarkastussäännöt määritelty kentille, joiden prioriteettikentässä on arvo välttämätön Toisen tason tarkastussäännöt määritelty kentille, joiden prioriteettikentässä on arvo hyödyllinen ja kardinaliteettisarakkeessa on arvona 1 Kolmannen tason tarkastussäännöt määritelty kentille, joiden prioriteettikentässä on arvo hyödyllinen ja kenttään on syötetty arvo 3.1 Tietokonversiotyön hankinta- ja suunnitteluvaihe Hankinta- ja suunnitteluvaiheessa määritellään tietokonversiojärjestelmän tarkat vaatimukset ja kilpailutetaan sen toimitus. Fingrid pystyttää ja testaa järjestelmän yhdessä valitun järjestelmätoimittajan kanssa. Tietokonversion hankinta- ja suunnitteluvaiheeseen kuuluu järjestelmähankinnan lisäksi tietokonversion ohjeistuksen laadinta markkinaosapuolille. Tietokonversion ohjeistus kattaa seuraavia osaalueita: 1. Markkinaosapuolen tietokonversiosuunnitelman ohje Lyhyt ohje markkinaosapuolten omaa tietokonversiosuunnitelmaa varten

18 2. Siirtotiedostojen esimerkkitiedostot Esimerkkitiedostot jokaisesta siirtotiedostosta Tietokonversiosuunnitelma 18 (58) 3. Tiedon laatuvaatimukset Tietoa tietokonversion laatukategorioista, -vaatimuksista ja laadun mittausmenetelmästä 4. Tietokonversiojärjestelmän käyttöohje Markkinaosapuolen käyttöohje mukaan lukien tarkastusraporttien kuvaukset 5. Tietojen siivous Tarvittavat ohjeistukset ja vinkit tietokokonaisuuksittain. Hankinta- ja suunnitteluvaiheen tarkastuspisteessä mitataan kriteerit, joilla voidaan siirtyä tietokonversion pilottivaiheeseen. TAULUKKO 5 HANKINTA- JA SUUNNITTELUVAIHEEN TARKASTUSPISTE Tarkastuspiste P0 Hyväksynnän kriteerit Tietokonversiojärjestelmä käytettävissä. Pilotti-iteraatiovaiheen 1 käynnistämiseen tarvittavat toiminnallisuudet on toteutettu ja testattu. Järjestelmä pystyy vastaanottamaan asiakastietoja, suorittamaan tiedostotarkastuksen ja luomaan tarkastusraportin. Toimeksiantosopimukset pilottiryhmän osapuolien kanssa on solmittu tietosuojalain alaisen aineiston käsittelystä Tietokonversiojärjestelmän tietoturva ja -suoja sekä käyttöoikeudet ovat riittävät, jotta markkinaosapuolet voivat siirtää tietojaan järjestelmään. Tietokonversion esimerkkitiedostot on julkaistu toimialalle Päivämäärä, jolloin lähdeaineisto kopioidaan tuotantoympäristöstä testiin, on sovittu 3.2 Tietokonversiotyön pilottivaihe Pilottivaiheen aikana rakennetaan tietokonversiojärjestelmä ja määritellään siihen liittyvät tarkastussäännöt, tiedon lataustyökalut ja raportointimekanismit. Tämä vaihe mittaa tietokonversiojärjestelmän valmiutta. Pilottiin osallistuvien markkinaosapuolien pitää pystyä poimimaan tiedot omista järjestelmistään datastandardin määrittelemässä muodossa. Lisäksi pilottiryhmän kanssa varmistetaan prosessi, jolla tiedot saadaan koordinoidusti poimittua ja toimitettua kaikilta pilottiryhmän jäseniltä. Jokaisen pilotti-iteraatiovaiheen jälkeen suoritetaan testitulosten analysointi. Tulokset raportoidaan sekä pilottiryhmään kuuluville markkinaosapuolille että Fingridille.

19 19 (58) TAULUKKO 6 PILOTTI-ITERAATIOVAIHEIDEN TAVOITTEET Iteraatiovaihe (tarkastuspiste) Pilottiiteraatiovaihe 1 (P1) Tavoitteet Pilottiryhmä pystyy toimittamaan laatutason 1 (Taulukko 4) tiedot datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja sisältöisenä Tietokonversioprosessin toimivuus on testattu käytännössä Vakavuustason 1 ja 2 poikkeamat on korjattu tieto tietokonversiojärjestelmässä Tarkastussääntöjä on korjattu ja puutteiden ilmetessä on lisätty uusia sääntöjä. Vakavuustason 1 ja 2 poikkeamat tarkastussäännöissä on korjattu. Tietokonversiojärjestelmään on toteutettu iteraatiovaiheen 2 käynnistykseen tarvittavat toiminnallisuudet. Prosessin läpimenoaika ja tehokkuus on testattu kappaleessa 5.6 toiminnoille 1, 2 ja 3 asetettuja kriteereitä vastaan (Taulukko 18). Pilottiiteraatiovaihe 2 (P2) Pilottiiteraatiovaihe 3 (P3) Pilottiryhmä pystyy toimittamaan laatutason 2 (Taulukko 4) tiedot datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja sisältöisenä. Viite-eheystarkastukset eri entiteettien välillä ja attribuuttien tarkastussäännöt, jotka ulottuvat eri entiteetteihin, on testattu. Vakavuustason 3 poikkeamat on korjattu tietokonversiojärjestelmässä Tarkastussääntöjä on korjattu ja puutteiden ilmetessä on lisätty uusia sääntöjä. Vakavuustason 1 ja 2 poikkeamat tarkastussäännöissä korjattu Tietoja voidaan validoida ulkopuolisia rekistereitä vasten ja löytää niiden perusteella virheet Ulkopuolisten rekisterien käytössä esiin tulleet ongelmat on korjattu Tietokonversiojärjestelmän julkaisualue on toteutettuna suunnitelman mukaisesti Tietokonversiojärjestelmään on toteutettu iteraatiovaiheen 3 käynnistykseen tarvittavat toiminnallisuudet Prosessin läpimenoaika ja tehokkuus on testattu kappaleessa 5.6 toiminnoille 1, 2 ja 3 asetettuja kriteereitä vastaan (Taulukko 18). Pilottiryhmä pystyy toimittamaan laatutason 3 (Taulukko 4) tiedot datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja sisältöisenä Tarkastussäännöt muiden osapuolien tietoja vasten tehtävälle tarkastukselle on luotu Menetelmät, joilla tiedot saadaan koordinoidusti kerättyä kultakin pilottiryhmän yritykseltä samalta poimintahetkeltä on luotu ja testattu Tietojen lataamista samanaikaisesti usean rinnakkaisen käyttäjän toimesta on testattu

20 20 (58) Iteraatiovaihe (tarkastuspiste) Tavoitteet Tarkastussääntöjä on korjattu ja puutteiden ilmetessä on lisätty uusia sääntöjä. Vakavuustason 1, 2 ja 3 poikkeamat tarkastussäännöissä korjattu. Prosessin läpimenoaika ja tehokkuus on testattu ja niiden tulee täyttää kappaleessa 5.6 toiminnoille 4 ja 5 asetetut kriteerit (Taulukko 18). Projektilla on luotettava tieto mittaustietojen poiminnan odotetusta suorituskyvystä Kussakin vaiheessa suoritetaan seuraavat toimenpiteet: 1. Pilottiryhmä päivittää testiympäristön tiedot tuotannon tiedoilla sovittuna ajanhetkenä 2. Pilottiryhmä ottaa joko järjestelmätoimittajan tuottamalla poimintatyökalulla tai omin työkaluin tiedot ulos lähdejärjestelmästä ja tuottaa määritellyn muotoisen ja sisältöisen tiedoston 3. Tiedosto luetaan tietokonversiojärjestelmään 4. Korjataan tarvittaessa lähdejärjestelmän poimintatyökalua, jos latauksessa tulee virheitä 5. Tiedolle ajetaan tarkastus (ei koske mittaustietoja, joita ei tarkasteta tietokonversiojärjestelmässä vaan välitetään suoraan datahub-järjestelmään) 6. Tietojen lataaja saa tarkastuksesta raportin, joka listaa mahdolliset poikkeamat 7. Lisätään tarvittaessa uusia tarkastussääntöjä ja korjataan olemassa olevia 8. Kirjataan ongelmat ja ideat liittyen tietokonversiojärjestelmän käyttöön ja konversioprosessiin 9. Tietokonversiojärjestelmän toimittaja toteuttaa tietokonversiojärjestelmään muutokset, jotka on sovittu Fingridin ja tietokonversiojärjestelmän järjestelmätoimittajan kanssa toteutettaviksi 10. Valmistellaan tietokonversiojärjestelmää seuraavaa iteraatiovaihetta varten 11. Parannetaan ja päivitetään tarvittaessa ohjeistusta ja määrittelyjä Alla olevassa taulukossa on kuvattu pilottivaiheen kunkin tarkastuspisteen (Taulukko 2) hyväksyntäkriteerit, jotka pitää täyttyä, jotta projektissa voidaan siirtyä seuraavaan iteraatiovaiheeseen. TAULUKKO 7 TARKASTUSPISTEIDEN HYVÄKSYNTÄKRITEERIT Tarkastuspiste Hyväksynnän kriteerit P1 Suunnitelma ja viestintämekanismit ovat määriteltynä tietojen keräämiseksi kaikilta markkinaosapuolilta samana poimintahetkenä Pilottiryhmän tietokonversiojärjestelmään lataamat kentät ovat datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja niiden sisältö on datastandardin mukaista Prioriteetilla välttämättömäksi merkityt tiedot pitää löytyä siirtotiedostoista

21 21 (58) P2 P3 Tiedostotarkastuksen tarkastussääntöjen luonti onnistuu tietokonversiojärjestelmään Tietokonversiojärjestelmän tarkastusraporttien luonti onnistuu Tietokonversiojärjestelmän käyttäjien hallinta toimii Kentät jotka on merkitty pakollisiksi ja joiden prioriteetti on välttämätön pitää olla mukana siirtotiedostoissa Eheystarkastuksen säännöt pystytään luoda Käyttäjät pystyvät itse lataamaan tiedostoja tietokonversiojärjestelmään Attribuuttien, joiden arvo riippuu toisen tietoentiteetin kentän arvosta, pitää olla kunnossa Tietokonversiojärjestelmässä voidaan luoda osapuolten välisiä tarkastussääntöjä Tietokonversioprosessin suorituskyky on riittävä Tietokonversiojärjestelmän suorituskyky on riittävä Tietokonversiojärjestelmän saavutettavuus on riittävä 3.3 Tietokonversiotyö datahubin toteutusvaiheessa Varsinaisessa tietokonversiovaiheessa otetaan mukaan kaikki markkinaosapuolet ja tämän vaiheen aikana markkinaosapuolien pitää pystyä poimimaan tiedot omista järjestelmistä ja lisäksi tiedot pitää täyttää kunkin konversioprosessin tarkastuspisteessä määritellyt laatutavoitteet. Tämä vaihe mittaa koko markkinan valmiutta. Tietokonversiovaiheessa siirretään tietokonversiojärjestelmästä tietoja datahubiin prosessitestauksen käyttöön. Datahub-järjestelmän toteutuksen ja varsinaisten tietokonversioiden aikataulu tarkentuu kevään 2017 aikana. TAULUKKO 8 TIETOKONVERSIOITERAATIOVAIHEIDEN TAVOITTEET Iteraatiovaihe (tarkastuspiste) Alla on listattu karkeasti kunkin iteraatiovaiheen keskeiset tavoitteet ja niiden vaatimat toimenpiteet. Tietokonversioiteraatiovaihe 1 (T1) Tavoitteet Kaikkien markkinaosapuolien on pystyttävä toimittamaan laatutason 1 (Taulukko 4) tiedot datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja sisältöisenä. Tietokonversiojärjestelmän tarkastussääntöjen toimivuus on todennettu, kun kaikki markkinaosapuolet lataavat tietokonversiojärjestelmään tietojaan Vakavuustason 1 ja 2 poikkeamat on korjattu tietokonversiojärjestelmässä

22 22 (58) Iteraatiovaihe (tarkastuspiste) Tavoitteet Tarkastussääntöjä on korjattu ja puutteiden ilmetessä on lisätty uusia sääntöjä. Vakavuustason 1 ja 2 poikkeamat tarkastussäännöissä korjattu. Siirretyissä tiedoissa olevat 1 laatuvaatimustason virheet on korjattu Prosessin läpimenoaika ja tehokkuus on testattu kappaleessa 5.6 toiminnoille 1, 2 ja 3 asetettuja kriteereitä vastaan (Taulukko 18). Tietokonversioiteraatiovaihe 2 (T2) Tietokonversioiteraatiovaihe 3 (T3) Kaikkien markkinaosapuolien on pystyttävä toimittamaan laatutason 2 (Taulukko 4) tiedot datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja sisältöisenä Suoriettaan viite-eheystarkastukset eri entiteettien välillä ja attribuuttien tarkastussäännöt, jotka ulottuvat eri entiteetteihin. Tarkastus tehdään markkinaosapuolen lataamien tietojen välillä. Vakavuustason 3 poikkeamat on korjattu tietokonversiojärjestelmässä Tarkastussääntöjä on korjattu ja puutteiden ilmetessä on lisätty uusia sääntöjä. Vakavuustason 1, 2 ja 3 poikkeamat tarkastussäännöissä korjattu. Siirretyissä tiedoissa olevat 1 ja 2 laatuvaatimustason virheet on korjattu Prosessin läpimenoaika ja tehokkuus on testattu kappaleessa 5.6 toiminnoille 4 asetettuja kriteereitä vastaan (Taulukko 18) Datahubin järjestelmätoimittaja on toteuttanut työkalut ja mekanismit tietojen lukemiseen julkaisualueelta datahubiin Datahubin järjestelmätoimittaja on toteuttanut tietokonversioraportointiin tarvittavat toiminnallisuudet Datahubin järjestelmätoimittaja on toteuttanut työkalut ja mekanismit mittaustiedon lukemiseen datahubiin. Tietokonversiojärjestelmään on toteutettu toiminnallisuudet datahubin tietokonversioraportin tuontia varten Tietokonversiojärjestelmään on toteutettu tietokonversion loppuraportti Kaikkien markkinaosapuolien on pystyttävä toimittamaan laatutason 3 (Taulukko 4) tiedot datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja sisältöisenä. Tietojen siirto tietokonversiojärjestelmästä julkaisualueeseen ja edelleen datahubiin on testattu Siirretyissä tiedoissa olevat 1 ja 2 laatuvaatimustason virheet on korjattu Mittaustietojen lataaminen datahubiin on testattu Siirtoprosessin tehokkuus ja läpimenoaika on testattu sekä mittaustietojen että perustiedon osalta. Prosessin tulee täyttää kappaleessa 5.6 toiminnoille 6, 7 ja 8 asetetut kriteerit (Taulukko 18). Tarkastusajo kaikkien markkinaosapuolien tietoihin voidaan suorittaa

23 23 (58) Iteraatiovaihe (tarkastuspiste) Tavoitteet Datahubin tietokonversioraportit voidaan julkaista markkinaosapuolille Tietokonversiojärjestelmä pystyy luomaan yhteenvetoraportin tietokonversiosta Tietokonversioiteraatiovaihe 4 (T4) Tietokonversioiteraatiovaihe 5 (T5) Kaikkien markkinaosapuolien on pystyttävä toimittamaan lähdeaineiston annetussa aikaikkunassa Käyttöönoton simulointi on suoritettu Koko prosessin testaus ja sujuvuusarvio on tehty Suorituskyvyn on todettu vastaavan kappaleessa 5.6 kaikille toiminnoille asetettuja tavoitteita. Kaikki markkinaosapuolet pystyvät toimittamaan tiedot, jotka täyttävät laatukriteerit datahubin käyttöönotolle (Taulukko 16) Tietojen keskinäiset viite-eheydet ovat kunnossa. Siirretyissä tiedoissa olevat 1, 2 ja 3 vakavuustason virheet on korjattu. Tietokonversiovaiheessa suoritetaan seuraavat toimenpiteet: 1. Markkinaosapuolet kopioivat lähdeaineiston tuotantoympäristöstä testiympäristöön (tehdään vaiheissa 1 3) 2. Markkinaosapuoli ottaa joko järjestelmätoimittajan tuottamalla poimintatyökalulla tai omin työkaluin tiedot ulos lähdejärjestelmästä ja tuottaa määritellyn muotoisen ja sisältöisen tiedoston 3. Parannetaan ja päivitetään tarvittaessa ohjeistusta ja määrittelyjä 4. Markkinaosapuolet lataavat tiedot tietokonversiojärjestelmään 5. Fingrid ajaa koko aineistolle tarkastusajon 6. Tarkastussääntöjä muutetaan tai luodaan tarvittaessa lisää 7. Hyväksytyt tiedot ladataan julkaisualueeseen 8. Tietokonversiojärjestelmän toimittaja tekee tarvittavat korjaukset siirtomekanismeihin ja työkaluihin, joilla tiedot siirretään julkaisualueeseen 9. Datahubin järjestelmätoimittaja lukee tiedot julkaisualueelta datahubiin (iteraatiovaiheesta 3 lähtien) 10. Markkinaosapuolet tekevät pistokokeita satunnaisille tietueille tiedon laadun varmistamiseksi 11. Datahubin järjestelmätoimittaja korjaa siirtotyökalun virheet 12. Datahubin järjestelmätoimittaja lukee mittaustiedot siirtotiedostoista datahubiin 13. Datahubin järjestelmätoimittaja tuottaa tietokonversioraportin (iteraatiovaiheesta 3 lähtien) 14. Tietokonversiojärjestelmä luo yhteenvetoraportin tietokonversiosta (iteraatiovaiheesta 3 lähtien) 15. Datahubin tietokonversioraportin tiedot verrataan lähdeaineistoon. Tiedot raportoidaan ja mahdolliset poikkeamat tuodaan esiin. (iteraatiovaiheesta 3 lähtien) 16. Datahubin järjestelmätoimittaja korjaa latauksessa mahdollisesti esiin tulevat ongelmat

24 24 (58) Tietokonversion iteraatiovaiheiden 4 ja 5 toimenpiteet määritellään käyttöönottosuunnitelmassa. Alla olevassa taulukossa on kuvattu kunkin tarkastuspisteen hyväksyntäkriteerit, jotka pitää täyttyä, jotta projektissa voidaan siirtyä seuraavaan iteraatiovaiheeseen. TAULUKKO 9 TARKASTUSPISTEIDEN HYVÄKSYNTÄKRITEERIT Tarkastuspiste Hyväksynnän kriteerit T0 Suorituskykyyn liittyvät vaatimukset täyttyvät toimintojen 2 5 osalta (Taulukko 18) Tiedostotarkastuksen tarkastussäännöt ovat olemassa ja verifioitu Eheystarkastuksen tarkastussäännöt ovat olemassa ja verifioitu Yhdenmukaisuustarkastuksen tarkastussäännöt ovat olemassa ja verifioitu Tietokonversioon liittyvä ohjeistus on valmis ja ajan tasalla Tietokonversiojärjestelmä toimii hyväksyttävästi. Vakavuustason 3 (Taulukko 3) poikkeamat on korjattu tietokonversiojärjestelmässä. P1 P3 ovat hyväksytysti suoritetut Päivämäärä (tai aikaikkuna), jolloin lähdeaineisto kopioidaan tuotantoympäristöstä testiin, on sovittu. T1 T2 T3 T4 Kaikkien markkinaosapuolien tietokonversiojärjestelmään lataamat kentät ovat datastandardin ja siirtotiedostomäärittelyn mukaisessa muodossa ja niiden sisältö on datastandardin mukaista Prioriteetilla välttämättömäksi merkityt tiedot pitää löytyä siirtotiedostoista Lähdeaineisto vastaa iteraatiovaiheelle asetettuja kriteerejä (Taulukko 16) Kentät, jotka on merkitty pakolliseksi ja joiden prioriteetti on välttämätön pitää olla mukana siirtotiedostoissa Lähdeaineisto vastaa iteraatiovaiheelle asetettuja kriteerejä (Taulukko 16) Tietokonversioprosessin suorituskyvyn tulee täyttää kappaleessa 5.6 määritellyt kriteerit Lähdeaineisto vastaa iteraatiovaiheelle asetettuja kriteereitä (Taulukko 16) Datahubissa on lataustyökalut, joilla tiedot voidaan lukea julkaisualueelta datahubiin Datahubissa luodaan tietokonversioraportti, jonka perusteella datahubiin tallennettuja tietoja voidaan vertailla lähdejärjestelmissä oleviin tietoihin. On varmistettu, että koko tietokonversio voidaan viedä läpi annetussa aikaikkunassa käyttöönoton yhteydessä Lähdeaineisto saadaan kerättyä markkinaosapuolilta annettuna aikana. Lähdeaineisto vastaa iteraatiovaiheelle asetettuja kriteerejä (Taulukko 16) T5 Tiedot on siirretty käyttöönottovaiheessa datahubiin. Varmistettu, että julkaisualueelta siirretyt tiedot vastaavat sekä määrällisesti että laadullisesti lähdeaineistoa.

25 25 (58) Tarkastuspiste Hyväksynnän kriteerit Lähdeaineisto vastaa iteraatiovaiheelle asetettuja kriteerejä (Taulukko 16) 3.4 Datahub-järjestelmän käyttöönottovaihe Käyttöönottovaiheesta tehdään erillinen yksityiskohtainen suunnitelma yhdessä toimialan kanssa osana datahubin toteutussuunnitelmaa. Tässä dokumentissa käyttöönottoa hahmotetaan vain sille tasolle, että tietokonversioprosessin suorituskykyvaatimuksia voidaan arvioida. Tietokonversio on kriittinen osa datahubin käyttöönottoprosessia. Datahubin käyttöönoton kriittinen vaihe alkaa, kun uusien vähittäismarkkinaprosessien käynnistäminen lopetetaan ja jatkuu, kunnes tietoliikenne datahubiin avataan. Keskeneräiset prosessit ajetaan loppuun tai vähintään siihen pisteeseen, että kaikki prosessiin liittyvät PRODAT-sanomat on lähetetty ja kuitattu. Tavoitteena on päästä tilanteeseen, jossa markkinaosapuolten perustiedot ovat yhdenmukaiset. Kun siihen tilanteeseen on päästy, sanomaliikenne pysäytetään kokonaan ja tietokonversioprosessi käynnistetään Kuva 2 mukaisesti. Käytönoton kriittisen vaiheen aikana markkinaosapuolet eivät pysty käynnistämään uusia liiketoimintaprosesseja, vaan tapahtumat kertyvät jonoon odottamaan datahubin tietoliikenteen avaamista. Tietoliikenne datahubiin avataan, kun tietokonversio on suoritettu loppuun onnistuneesti ja datahubin liiketoimintaprosessit sekä tietoyhteydet on testattu. Tästä syystä tietokonversion kesto on syytä pyrkiä minimoimaan. KUVA 2 VÄHITTÄISMARKKINOIDEN SANOMALIIKENTEEN PYSÄYTYKSEN JA TIETOKONVERSIOPRO- SESSIN TAVOITEAJAT. 4 Tehtävät ja vastuut Tietokonversiojärjestelmäprojektin tehtävät ja vastuut on kuvattu oheisessa RACI-matriisissa (Responsibility assignment matrix). Matriisissa roolit jakautuvat seuraavasti:

26 26 (58) R = responsible (toteutusvastuullinen) A = accountable (tulosvastuullinen) C = consulted (neuvoja) I = informed (tiedotettava). TAULUKKO 10 TIETOKONVERSION TEHTÄVÄT JA VASTUUT Tehtävä Tiedottaminen Tietokonversioprojektin markkinaosapuolille suunnattu tiedottaminen ja kontaktointi Tietokonversioprojektin järjestelmätoimittajille suunnattu tiedottaminen Tietokonversioprojektin pilottiryhmälle suunnattu tiedottaminen ja raportointi Tietokonversioprojektin muille ulkoisille sidosryhmille tapahtuva tiedottaminen Markkinaosapuoli Tietokonversiokumppani Järjestelmätoimittaja Datahub toimittaja Fingrid C/I R I C/I A/R R C/I A/R C/I R I C/I A/R R A/R Koulutus ja tekninen tuki Ohjeet tietokonversiojärjestelmän käyttämiseksi C/I A/R C/I Koulutus pilottiryhmälle C/I A/R C/I Koulutus markkinaosapuolille ja järjestelmätoimittajille C/I A/R C/I Koulutus Fingrid projektiryhmälle A/R C/I Tietokonversioprojektin tekninen tuki markkinaosapuolille Tietokonversioprojektin tekninen tuki järjestelmätoimittajille I A/R R A/R I I Tekninen tuki datahub-toimittajalle A/R C I I Tietokonversiojärjestelmä Objekti- ja attribuuttikohtaisten tarkastussääntöjen toteutus datastandardin pohjalta C/I A/R C/I I Integraatio yritystietojärjestelmään C/I A/R C/I I Integraatio henkilötietojärjestelmään C/I A/R C/I C/I

27 27 (58) Tehtävä Integraatio postin osoitetietojärjestelmään Tietokonversiojärjestelmän hankinta Tietokonversiojärjestelmän asennus Tietokonversiojärjestelmän ylläpito ja hallinta Tietokonversiojärjestelmän perustietojen perustaminen ja ylläpito (mm. käyttäjätunnukset) Markkinaosapuoli Tietokonversiokumppani Järjestelmätoimittaja Datahub toimittaja C/I A/R C/I I A/R R C/I A/R R Fingrid A/R I A/R Tiedon tarkastus ja korjaus Siirtotiedostojen esimerkkien laadinta Poimintatyökalut tietokonversiotiedon tuottamiseksi (muut kuin mittaustieto) Poimintatyökalut tietokonversiotiedon tuottamiseksi (mittaustieto) Määrittelyjen mukaisten siirtotiedostojen tuottamien Siirtotiedostojen lataus tietokonversiojärjestelmään Ladatun tiedon tarkastus (muut kuin mittaustieto) Ladatun tiedon tarkastus (mittaustieto) Yrityskohtaisen tarkastus- ja korjausraportin tuottaminen Tietokonversioprojektin kokonaisraportointi Tiedon korjaus ja rikastaminen markkinaosapuolien omiin järjestelmiin Datahub järjestelmän lataustyökalu Tiedon siirto tietokonversiojärjestelmästä datahubiin Tarvittava muutokset markkinaosapuolien omiin tietojärjestelmiin C I A/R A/R C R A/R C R A/R R A/R A/R A/R I A/R I A/R I A/R C R A/R R A/R A/R R

28 5 Tietokonversioprosessi 5.1 Prosessin yleiskuvaus Tietokonversiosuunnitelma 28 (58) Kuva 3 on esitetty tietokonversioprosessin vaiheet. Datahubiin siirrettävät tiedot ovat eri markkinaosapuolien nykyisissä tietojärjestelmissä. KUVA 3 TIETOKONVERSIOPROSESSI Vaiheessa 1 kukin markkinaosapuoli tuottaa omista tietojärjestelmistään datastandardin määrittelemät kentät määrättyihin siirtotiedostoihin. Siirtotiedostojen toimittaminen ja tietosisältö on kuvattu tarkemmin kappaleessa 5.2. Tietojen lataamista tietokonversiojärjestelmään käsitellään kappaleessa Vaiheessa 2 markkinaosapuolten perustiedot ladataan tietokonversiojärjestelmään, johon on määritelty etukäteen datahubin tietomallin mukaiset säännöt. Mittaustiedot välitetään suoraan datahubjärjestelmään. Mittaustietojen osalta tietokonversiojärjestelmä toimii ainoastaan tiedostojen välitysalustana. Vaiheen 3 aikana sääntöjen pohjalta tarkastetaan markkinaosapuolen lataamat tiedot suhteessa tietomalliin. Tiedot poistetaan tietokonversiojärjestelmän tietokannasta, kun niitä ei enää tarvita tarkastusta varten. Kanta tyhjennetään vähintään jokaisen iteraatiovaiheen jälkeen. Vaiheessa 4 Tietokonversiojärjestelmä tuottaa osapuolikohtaisia tarkastusraportteja lähdeaineistoittain. Tarkastusraportit ovat xlsx-muodossa ja ne tallennetaan tiedostoarkistoon. Osapuolet pystyvät hakemaan raportteja omasta käyttöliittymästään. Raportit sisältävät korjausehdotuksia, joiden perusteella lähdejärjestelmän tietoja voidaan parantaa. Osapuolet voivat verrata raportteja lähdejärjestelmien tietosisältöön ja todentaa tietokonversiojärjestelmän ja lähdejärjestelmien perustietojen yhdenmukaisuuden. Tarkastusraporttien alustava tietosisältö on kuvattu kappaleessa

29 29 (58) Vaiheessa 5 tiedot korjataan tai rikastetaan lähdejärjestelmissä tarkastusraporttien perusteella. Raporttiin kirjoitetaan alkuperäinen tieto, virhetyyppi sekä mahdollinen korjausehdotus. Tietokonversiojärjestelmä pystyy vain joissakin tapauksissa antamaan korjausehdotuksia. Fingrid ei velvoita markkinaosapuolia suorittamaan korjauksia koneellisesti. Vaiheiden 1 5 muodostamia iteraatioita suoritetaan niin monta kertaa kuin tarvitaan, kunnes tieto on saatu hyväksytysti läpi tarkastussäännöistä. Tietojen lataaminen, tarkastus ja raportointi on kuvattu tarkemmin kappaleessa Fingridin rooli on seurata prosessin etenemistä ja antaa tarvittaessa tukea eri markkinaosapuolille. Tietokonversiojärjestelmän tulee tarjota Fingridille tilanneraportteja siitä, miten kukin markkinaosapuoli on edennyt oman tietokonversionsa osalta. Kun markkinaosapuoli on tuottanut tietomallin valintasääntöjen mukaiset siirtotiedot, Fingrid varmistaa ja hyväksyy osapuolen tiedon datahubiin siirrettäviksi. Tietokonversioprosessin seuranta ja seurannan työvälineet on kuvattu kappaleessa 5.4. Vaiheessa 6 tarkastuksen läpäisseet tiedot siirretään tietokonversiojärjestelmän julkaisualueelle. Tämä vaihe edellyttää, että tekninen määrittely tietojen siirrolle datahubiin on tehty. Määrittelytyö tehdään yhdessä datahubin järjestelmätoimittajan kanssa. Vaiheessa 7 tietojen siirto tietokonversiojärjestelmän julkaisualueelta datahubiin käynnistetään datahubin pääkäyttäjän toimesta. Tiedon lataus datahubiin on kuvattu kappaleessa 5.1. Vaiheessa 8 datahub luo siirtotiedosto- ja osapuolikohtaisia tietokonversioraportteja, jotka sisältävät datahubiin ladatut tiedot. Vaiheessa 9 datahubin tuottamat tietokonversioraportit tuodaan tietokonversiojärjestelmään Vaiheessa 10 markkinaosapuolet vertaavat datahubiin vietyjä tietoja lähdejärjestelmän tietoihin datahubista saatujen tietokonversioraporttien avulla. Tämä ei ole tietokonversion kannalta välttämätön vaihe, vaan sen tarkoituksena on todentaa lähdetietojen ja datahubin tietojen yhdenmukaisuus. Vaiheissa datahubin tietokonversioraportin tietoja verrataan datahubiin julkaistuihin tietoihon. Vertailun tuloksen perusteella luodaan tietokonversion loppuraportti, joka koostuu siirrettyjen tietojen yhteenvedosta ja poikkeamalistasta. 5.2 Siirrettävät tiedot Kuva 6 määrittelee siirtotiedostot, jotka kukin markkinaosapuoli tuottaa omista järjestelmistään siirrettäväksi tietokonversiojärjestelmään tarkastettavaksi. Kullekin siirtotiedostolle on kuvassa määritelty Kuva 4 kaltainen elementti. Datahubin toiminnan kannalta vihreällä pohjalla olevat tiedot ovat kriittisiä. Sinisellä pohjalla olevat tiedot on luokiteltu 2. prioriteetin tiedoiksi eli markkinoiden kannalta hyödyllisiksi, mutta ei kriittisiksi. Kustakin siirtotiedostosta tehdään esimerkkitiedosto, johon määritellään datastandardin mukaiset sarakkeet ja riittävä määrä esimerkkirivejä, joissa on käytetty eri arvoja. Siirtotiedoston elementti on jaettu kolmeen osaan:

30 30 (58) 1. Rivin yksilöivät attribuutit ja attribuutit, jotka yhdistävät eri siirtotiedostoissa olevat tiedot toisiinsa esim. Asiakkaan tunniste, Asiakkaan tyyppi ja Osapuolitunnus. Yksilöivät attribuutit on merkitty punaisella värillä. 2. Puhtaasti Tietokonversioon liittyvät attribuutit esim. siirtotiedoston pvm ja tiedon luettavuutta ja ymmärtämistä parantavat kentät. 3. Samaan siirtotiedostoon on yhdistetty datastandardissa määriteltyjä entiteettejä ja niiden attribuutit. Entiteetti viittaa datastandardissa olevaan Entiteetti-sarakkeeseen ja siinä olevaan arvoon. KUVA 4. SIIRTOTIEDOSTO MÄÄRITTELEE YKSILÖIVÄT KENTÄT, TIETOKONVERSIOON LIITTYVÄT ATT- RIBUUTIT JA SIIRTOTIEDOSTOON YHDISTETYT ENTITEETIT Siirtotiedostojen välisestä suhteesta kerrotaan kardinaliteetilla, joka määrittelee kuinka monta objektia niiden välillä esiintyy. Alla olevan kuvan esimerkki voidaan lukea seuraavasti: asiakkaalla voi olla valtuutustietoja useita tai ei yhtään ja yksi valtuutustieto voi liittyä kerrallaan vain yhteen asiakastietoon. Valtuutustiedot Asiakastiedot Asiakkaan tunniste Asiakkaan tyyppi Siirtotiedoston osapuolitunnus Siirtotiedoston pvm Siirtotiedoston revisio Asiakas (Entiteetti) Kuluttaja (Entiteetti) Postiosoite (Entiteetti) Yritys (Entiteetti) 1 1 Osapuolitunnus Asiakkaan tunnus Käyttöpaikan tunnus Siirtotiedoston osapuolitunnus Siirtotiedoston pvm Siirtotiedoston revisio Valtuutustieto (Entiteetti) 0 * KUVA 5. KARDINALITEETTI KERTOO, KUINKA MONTA OBJEKTIA ESIINTYY SIIRTOTIEDOSTOJEN VÄLI- SESSÄ SUHTEESSA

31 31 (58) KUVA 6. MARKKINAOSAPUOLTEN TIETOJÄRJESTELMISTÄ TUOTETTAVAT SIIRTOTIEDOSTOT

32 5.2.1 Siirtotiedostojen tietosisältö 32 (58) Kunkin yksittäisen siirtotiedoston attribuutit ja attribuuttien laatuun liittyvät säännöt on kuvattu datastandardissa. Siirtotiedoston otsikkorivi muodostetaan datastandardin attribuuttien perusteella ja siihen valitaan kyseiseen siirtotiedostoon liittyvien entiteettien tietokentät (ks. Kuva 6). Kunkin siirtotiedoston sarakkeiden keskinäisellä järjestyksellä ei ole merkitystä. Kustakin siirtotiedostosta on tehty esimerkkitiedostot, joissa on määritelty otsikkorivi ja esimerkkirivejä. Esimerkkiriveillä selvennetään poimintaan liittyviä ongelmatilanteita, kuten osoitetietojen esittäminen erilaisissa tapauksissa. Taulukossa Taulukko 11 on listattu datastandardin kentät, jotka liittyvät tietokonversioon. Taulukon ja Kuva 6 avulla voidaan poimia kunkin siirtotiedoston attribuutit datastandardista. TAULUKKO 11. TIETOKONVERSIOON LIITTYVÄT KENTÄT DATASTANDARDISSA Kenttä Attribuutti Siirtotiedosto Kenttä kuuluu siirtotiedostoon Kuuluu yksilöivään avaimeen Ainoastaan tietokonversioon liittyvä tieto Jakeluverkonhaltijan attribuutti Kuvaus Attribuutin nimi, jota käytetään siirtotiedoston sarakeotsikon nimenä A=Asiakastiedot K=Käyttöpaikkatiedot Kl= Käyttöpaikan lisäosoitteet M=Mittaustiedot Ma=Mittausaluetiedot O=Osapuolitiedot R=Rajapistetiedot S=Sopimustiedot T=Tuotantoyksikkötiedot Tu=Tuotetiedot V=Valtuutustiedot Attribuutti, joka on vain datahubin sisäisessä käytössä ja jota ei tarvitse siirtää tietokonversiossa jätetään siirtotiedoston ulkopuolelle. K=Kentän tietosisältö on mukana siirtotiedostossa E=Kenttä on tietokonversion ulkopuolella Kenttä yksilöi rivin siirtotiedostossa ja yksilöivien kenttien perusteella voidaan yhdistää eri siirtotiedostoissa olevat rivit toisiinsa. Attribuutti on ainoastaan tietokonversion tarvitsema kenttä. Esimerkiksi siirtotiedoston päivämäärä yhdistää ladatun tiedon ja siirtotiedoston, josta tieto on tietokonversiojärjestelmään ladattu. Osapuolitunnus on myös sisällytetty jokaiseen siirtotiedostoon, jotta voidaan jäljittää tiedon alkuperä. Kyseinen attribuutti koskee jakeluverkon haltijaa. Kenttä ei välttämättä ole pakollinen. Jos kenttää koskee vain jakeluverkonhaltijaa voivat muut osapuolet jättää tämän kentän tyhjäksi toimittamissaan tiedoissa. K=Koskee jakeluverkonhaltijaa E=Ei koske jakeluverkonhaltijaa

33 33 (58) Kenttä Myyjän attribuutti 3. osapuolen attribuutti Formaatti Tekninen esimerkki Kentän pituus Sallitut arvot / koodilista / koodisto Ehdot ja riippuvuudet Oletusarvo Prioriteetti Kardinaliteetti Kuvaus Kyseinen attribuutti koskee myyjää. Kenttä ei ole välttämättä pakollinen. Jos kenttää koskee vain myyjää voivat muut osapuolet jättää tämän kentän tyhjäksi toimittamissaan tiedoissa. K=Koskee myyjää E=Ei koske myyjää Kyseinen attribuutti koskee kolmatta osapuolta. Kenttä ei ole välttämättä pakollinen. Jos kenttää koskee vain kolmatta osapuolta niin muut osapuolet voivat jättää tämän kentän tyhjäksi toimittamissaan tiedoissa. K=Koskee 3. osapuolta E=Ei koske 3. osapuolta Muoto, jossa tieto tulee kenttään syöttää. Tiedon tarkastuksessa tarkastetaan onko annettu arvo oikeassa muodossa. Alla on listattu käytetyt muodot: Teksti = Voi sisältää kirjaimia, numeroita ja erikoismerkkejä Luku = Desimaali tai kokonaisluku. Desimaalierottimena käytetään pilkkua (,) Päivä = Päivämäärä muodossa YYYY-MM-DD. Aikaleima = Aikaleima muodossa YYYY-MM-DDTHH:MI:SS+00:00 esim T14:05:25. Aika ilmaistaan UTC ajassa. Boolean = 0 (false) / 1 (true) Koodilista = Ennalta määritelty arvolista, jonka sallitut arvot on määritelty koodi-kuvaus-parina datastandardin kentässä Sallitut arvot / koodilista / koodisto. Siirtotiedostoon tulee aina koodi. Relaatio = Attribuutti viittaa toiseen entiteettiin. Relaatiotyyppisiä kenttiä ei sisällytetä siirtotiedostoon. Esimerkki annetusta tiedosta, joka noudattaa kentälle määriteltyä muotoa ja sääntöjä. Pisin sallittu kenttäpituus. Jos kyseessä on desimaaliluku, ilmoitetaan desimaaliluvut pilkun jälkeen esim. 9,3 = 9 kokonaislukua ja 3 desimaalia. Arvolista, joista jokin tulee valita kenttään, jos tieto on pakollinen. Arvolista on määritelty koodi-kuvaus-parina. Kenttään syötetään aina koodi. Kentän arvo tai pakollisuus voi riippua jonkin toisen attribuutin arvosta tai riippuvuus voi ulottua kokonaan toisen siirtotiedoston attribuuttiin. Jos arvoa ei ole tiedossa niin kenttään syötetään Oletusarvo-sarakkeessa määritelty arvo. Oletusarvo-kentässä on määritelty sekä oletusarvon koodi että sen kuvaus muodossa <koodi>=<kuvaus>. Luokittelee attribuutit sen mukaan ovatko ne datahubin toiminnan kannalta välttämättömiä vai vain markkinoille hyödyllistä tietoa. Välttämätön = Tämä attribuutti on pakollinen ja se pitää antaa siirtotiedostoon. Hyödyllinen = Jos markkinaosapuolen lähdejärjestelmästä tämä tieto löytyy, niin se voidaan antaa, mutta tiedon puuttuminen ei ole kriittinen datahubin kannalta Jos kentässä on arvo 1, niin kenttä on pakollinen.

34 5.2.2 Siirtotiedoston muoto 34 (58) Perustiedon osalta siirtotiedostot määritellään xlsx-muodossa ja niissä käytettään UTF-8 merkistöä. Tiedostot ladataan kunkin markkinaosapuolen toimesta tietokonversiojärjestelmään selainpohjaisen latauskäyttöliittymän kautta. Tiedot tulee olla määriteltynä yhdessä laskentataulukossa (worksheet). Siirtotiedostojen nimeämisen säännöt on määritelty alla olevaan taulukkoon. TAULUKKO 12. XSLX -MUOTOISEN SIIRTOTIEDOSTON NIMEÄMISEN SÄÄNNÖT Tiedostonimen osa Osapuolen tunnus Siirtotiedostotyyppi Päivämäärä Revisio Pääte Tiedostonimen osan kuvaus ja määrittely Yksilöllinen osapuolen tunnus, joka on määritelty Fingridin dokumentissa Asiakastiedot Käyttöpaikkatiedot Käyttöpaikan lisäosoitteet Mittausaluetiedot Osapuolitiedot Rajapistetiedot Sopimustiedot Tuotantoyksikkötiedot Tuotetiedot Valtuutustiedot Päivämäärä, jolloin tiedot on ladattu lähdejärjestelmästä. Päivämäärän muoto on YYYY-MM-DD. Juokseva revisionumero alkaen arvosta 001. Kullekin siirtotiedostolle annetaan aina uusi revisionumero, kun se on otettu ulos järjestelmästä. Siirtotiedoston päätteen tyyppi, joka on xlsx. Kokonaisuudessaan perustietojen siirtotiedostojen nimet ovat muotoa: <Osapuolen tunnus>-<siirtotiedoston tyyppi>-<pvm>-<revisio>.<pääte> Esim. MSOY-Asiakastiedot xlsx Jos siirtotiedoston tiedot joudutaan jakamaan useampaan tiedostoon, niin kukin siirtotiedosto numeroidaan juoksevasti. Siirtotiedoston revisionumero pidetään samana. Esim. MSOY-Asiakastiedot xlsx, MSOY-Asiakastiedot xlsx, MSOY-Asiakastiedot xlsx jne. Mittaustietojen siirrossa käytetään SAF-tiedostomuotoa, joka on yleisesti käytössä oleva tiedostomuoto mittaustietojen siirtoa varten. SAF on tekstipohjainen tiedostomuoto, jossa tiedot erotetaan puolipisteellä. Tiedostomuodon tarkempi kuvaus löytyy siirtotiedosto-ohjeistuksesta sekä erillisestä teknisestä kuvauksesta (Enoro SAF Technical Description pdf). Tiedostot ladataan kunkin markkinaosapuolen toimesta tietokonversiojärjestelmään. Mittaustietoja ei tuoda tietokonversiojärjestelmän tietokantaan, vaan ne välitetään suoraan datahub-järjestelmään. Johtuen tiedon

35 35 (58) suuresta määrästä, tiedostot tulee toimittaa pakattuna. Alla olevassa taulukossa on määritelty mittaustietojen siirtotiedostojen nimeämissäännöt. TAULUKKO 13. SAF -MUOTOISEN SIIRTOTIEDOSTON NIMEÄMISEN SÄÄNNÖT Tiedostonimen osa Osapuolen tunnus Siirtotiedostotyyppi Aikaleima Juokseva numero Pääte Tiedostonimen osan kuvaus ja määrittely Yksilöllinen osapuolen tunnus, joka on määritelty Ediel-portaalissa Mittaustiedot Aikaleima, jolloin tiedot on ladattu lähdejärjestelmästä. Aikaleiman muoto on YYYYMMDDHHMISS. Juokseva numero alkaen arvosta 1. Juoksevalla numerolla vältetään samanismisten tiedostojen luonti. Juoksevan numeron merkkimäärää ei ole rajoitettu. Siirtotiedoston päätteen tyyppi, joka on saf. Mittaustietoja sisältävät siirtotiedostot ovat siis muotoa: <Osapuolen tunnus>-<siirtotiedoston tyyppi>-<aikaleima>-<juokseva numero>.<pääte> Esim. FSJ000-Mittaustiedot saf. Tiedosto on siis ajanhetkeltä: kello Tietojen toimitusvastuu ja tietojen valintaan koskevat säännöt Markkinaosapuolien tietojärjestelmissä voidaan säilyttää tietoja, joiden ylläpitovastuu on toisella markkinaosapuolella, esimerkiksi käyttöpaikkatietojen osalta kukin jakeluverkonhaltija vastaa omalla alueellaan olevien käyttöpaikkatietojen ylläpidosta. Käyttöpaikkatietoja voi olla sähkömyyntiyhtiöiden järjestelmissä, mutta datahubiin tiedot toimitetaan tietokonversiossa vain jakeluverkonhaltijan toimesta. Tiedoille voi olla määriteltynä myös säilytysaika, joten esimerkiksi sopimustietoja voi löytyä useiden eri markkinaosapuolien järjestelmistä. Alla olevassa taulukossa on otettu kantaa siihen, mikä markkinaosapuoli toimittaa tiedot siirtotiedostoissa tietokonversiovaiheessa sekä siihen kuinka pitkältä ajalta historiatiedot toimitetaan tietokonversiossa. TAULUKKO 14. MÄÄRITTELY SIIRTOTIEDOSTOILLE TIEDON TOIMITUSVASTUUSTA, TIETOJEN VALIN- TAAN KOSKEVAT SÄÄNNÖT JA HISTORIATIEDON SIIRTOTARVE Siirtotiedosto Tiedon omistaja, joka toimittaa tiedon datahubiin Säännöstö Tiedot aikaväliltä Asiakastiedot Jakeluverkonhaltija (verkkosopimus) Myyjä (myyntisopimus) Jos yksilöidyn asiakkaan tiedot ovat useamman verkonhaltijan järjestelmässä, niin käytetään sen verkonhaltijan asiakastietoja, jolla on uusin voimassaoleva verkkosopimus asiakkaan kanssa. Asiakkaat, joihin liittyy voimassa olevia sopimuksia. Asiakkaat joihin liittyy kuuden viikon sisällä päättyneitä sopimuksia. Asiakkaat joihin liittyy tulevia sopimuksia. (kts. Sopimus)

36 36 (58) Siirtotiedosto Tiedon omistaja, joka toimittaa tiedon datahubiin Säännöstö Tiedot aikaväliltä Jos eri markkinaosapuolten saman asiakkaan tiedot poikkeavat toisistaan, markkinaosapuolten tulee selvittää oikea tieto keskenään siten, että verkonhaltijat selvittävät keskenään ja myyntiyhtiöt selvittävät verkonhaltijoiden kanssa. Käyttöpaikkatiedot Jakeluverkonhaltija Jos jakeluverkonhaltijan järjestelmässä on jakeluverkon ulkopuolisia käyttöpaikkoja, niin jakeluverkonhaltija toimittaa ainoastaan oman alueen käyttöpaikat. Ainoastaan päämittauskohteet siirretään. Käytössä olevat käyttöpaikat tuodaan. (Rakenteilla, kytketty tai katkaistu) Käytöstä poistetut käyttöpaikat tuodaan, jos niihin liittyy siirrettäväksi määritelty sopimus (kts. Sopimustiedot). Sopimustiedot Jakeluverkonhaltija (verkkosopimus) Myyjä (myyntisopimus) - Voimassaolevat sopimukset ja kuuden viikon sisällä päättyneet sopimukset. Tulevaisuudessa alkavat sopimukset. Osapuolitiedot Kaikki Osapuolet toimittavat vain omat tietonsa. Vain voimassaolevat tiedot. Tuotetiedot Jakeluverkonhaltija (verkkotuote) Myyjä (myyntituote) - Siirrettäviin sopimuksiin liittyvät voimassaolevat tuotteet. Mittaustiedot tuodaan datahubiin sopimuksen voimassaoloajalta voimassa olevilta ja 6 viikon sisällä päättyneiltä sopimuksilta. Mittaustiedot Jakeluverkonhaltija Mittaustiedot poimitaan siitä järjestelmästä, josta mittaustiedot raportoidaan myyjille. Mittaustiedot haetaan sopimuksen voimassaoloajalta, mutta enintään kuuden vuoden ajalta taaksepäin. Mittaustietojen historiasta kerätään vain tuntimitatut mittaustiedot. Historiatietojen siirtoa mittaustietojen osalta on kuvattu tarkemmin kuvassa 7. Valtuutustiedot Kolmas osapuoli Valtuutukset perustuvat kolmannen osapuolen valtakirjaan käsitellä määritellyn käyttöpaikan tietoja. 3. osapuoli määrittelee siirtotiedostoon voimassaolevat tarvittavat valtuutustiedot.

37 37 (58) Siirtotiedosto Tiedon omistaja, joka toimittaa tiedon datahubiin Säännöstö Tiedot aikaväliltä Valtakirjat eivät löydy tietojärjestelmistä, joten tarkastus on hoidettava tietojärjestelmien ulkopuolella. Fingrid vastaa menettelytavasta. Jakeluverkonhaltija - Vain voimassaolevat tiedot Rajapistetiedot Jakeluverkonhaltija - Vain voimassaolevat tiedot Mittausaluetiedot Tuotantoyksikkötiedot Jakeluverkonhaltija - Vain voimassaolevat tiedot Yhteystiedot Jakeluverkonhaltija (verkkosopimus) Myyjä (myyntisopimus) - Siirrettäviin sopimuksiin liittyvät voimassaolevat yhteystiedot. Kaikki (Osapuolitiedot) KUVA 7. MITTAUSTIETOJEN HISTORIATIETOJEN SIIRTOON LIITTYVÄT SÄÄNNÖT

38 38 (58) Yllä olevassa kuvassa on esitetty mittaustietojen historian siirtoon liittyvät säännöt. Punainen pystyviiva kuvaa ajanhetkeä, josta taaksepäin tietoja siirretään datahubiin. Tietokonversioprojektin aikana tietoja ladataan useassa iteraatiossa, joten punainen pystyviiva voi kuvata myös hetkeä, jolloin tieto otetaan ulos järjestelmästä tiedon tarkastusta varten. 1. Käyttöpaikan sopimus on ollut voimassa lyhemmän aikaa kuin kuusi vuotta, joten mittaustiedot tuodaan koko sopimusajalta. 2. Käyttöpaikan sopimus on ollut voimassa koko kuuden vuoden ajan. Mittaustiedot siirretään koko kuuden vuoden ajalta. Sitä pidemmältä ajalta mittaustietoja ei tuoda datahubiin. 3. Jos käyttöpaikan sopimus on päättynyt enintään kuusi viikkoa ennen tiedon ottamista lähdejärjestelmästä, otetaan myös näiden käyttöpaikkojen mittaustiedot mukaan. Mittaustiedot kerätään sopimuksen päättymisestä sopimuksen voimassaoloajalta, mutta enintään kuudelta vuodelta poimintahetkestä alkaen. 4. Mittaustiedossa huomioidaan ainoastaan tuntiaikasarjamittauksen piirissä oleva mittaustieto. Jos mittaustapa on sopimuksen voimassaoloaikana vaihtunut, niin mittaustietoihin luetaan mukaan vain tuntiaikasarjamitattu tieto. 5. Jos käyttöpaikan kulutusta mitataan jollakin muulla tavoin kuin tuntiaikasarjana, niin viimeistään datahubin käyttöönoton yhteydessä näiden käyttöpaikkojen käyttö tulee täsmäyttää tasoituslaskennalla ja siirtyä tuntiaikasarjan tai tuntiaikasarjamallinnuksen käyttöön. Suurin osa mittaustiedoista ladataan datahubiin hyvissä ajoin ennen käyttöönottoa, ns. mittaustietojen päälatauksessa. Käyttöönoton yhteydessä ladataan vain päälatauksen jälkeen syntyneet uudet ja muuttuneet arvot tai vaihtoehtoisesti uudet ja muuttuneet mittaustiedot voidaan tuoda datahubiin jatkuvalla syötöllä päälatauksen jälkeen. Tarkka menettelytapa määritellään käyttöönoton suunnittelussa. Siirrettävien tietojen keskinäiset riippuvuussuhteet käyvät ilmi alla olevasta kuvasta. Siirtotiedostot ladataan tietokonversiojärjestelmään alla olevassa järjestyksessä siten, että ensimmäisen tason tiedostot ladataan ensin ja sen jälkeen tason kaksi tiedostot. Tämä mahdollistaa sen, että tietojen välisiä viite-eheystarkastuksia voidaan suorittaa tietokonversiojärjestelmässä. Alemmat tasot ovat siis riippuvaisia siitä, että ylempien tasojen tiedot on ladattu ensin.

39 39 (58) KUVA 8. SIIRTOTIEDOSTOJEN AJOJÄRJESTYS Pilottivaiheessa kullakin ryhmän osapuolella tulee olla käytössä testijärjestelmä, jonka tiedot ovat peräisin osapuolen oman lähdejärjestelmän tuotantoympäristöstä, sovitun ajanhetken tilanteesta. Tiedot otetaan pilottivaiheessa järjestelmätoimittajan poimintatyökalulla testiympäristöstä, jotta sekä markkinaosapuolen omien tietojen, että kaikkien markkinaosapuolien tietojen keskinäisiä viite-eheyksiä ja loogisuustarkastuksia voitaisiin tehdä tietokonversiojärjestelmässä. Tietokonversiojärjestelmään voidaan kuitenkin ajaa erikseen yksittäisiä uudempia siirtotiedostoja esimerkiksi suoraan tuotantoympäristöstä, jos rinnakkain halutaan aloittaa myös tiedon parantaminen lähdejärjestelmässä. Datahubin toteutusvaiheen aikaisessa tietokonversiossa otetaan tiedot tuotantoympäristöstä sovitusta ajanhetkestä taaksepäin kunkin markkinaosapuolen toimesta. 5.3 Tiedon tuonti, tarkastus ja korjausehdotukset Kuva 9 esittää tiedon tuonnin tietokonversiojärjestelmään markkinaosapuolen toimesta. Tietokonversiojärjestelmä tarkastaa käyttäjän syöttämän tiedon ja antaa tarvittaessa korjausehdotukset. Pilottivaiheen aikana laaditaan tarkastussäännöistä tarkka kuvaus, joka julkaistaan toimialalle. Tuonnin perusteella tietokonversiojärjestelmä kerää yhteenvetoa kyseisen markkinaosapuolen tekemistä tuonneista ja tiedon laadusta. Fingrid tekee päätöksen yhteenvetotietojen perusteella markkinaosapuolelle siitä täyttääkö markkinaosapuolen tieto datahubin vaatimukset.

40 Fingrid Konversiotyökalu Markkinaosapuoli Tietokonversiosuunnitelma 40 (58) Yksittäisen siirtotiedoston lataaminen ja tarkastus konversiotyökalussa Vaiheistus Siirtotiedosto (xlsx) Lataa tiedot Datassa virheitä? Kyllä Lataa tiedot virheistä Ei Pyydä hyväksyntä Korjausehdotus (xlsx) Aseta tarkastusjonoon Tarkasta Ilmoita tarkastuksen valmistumisesta Hyväksy? Kyllä Ei Ilmoita markkinaosapuolelle KUVA 9 SIIRTOTIEDOSTON TUONTI JA TARKASTUS Tiedon tuonti tietokonversiojärjestelmään Markkinaosapuolen tietojärjestelmätoimittaja luo työkalun, jonka avulla lähdejärjestelmästä voidaan tuottaa siirtotiedostot kappaleessa 5.2 määritellyssä muodossa. Markkinaosapuolille tarjotaan selainpohjainen lataustyökalu, johon kukin markkinaosapuoli saa omat tunnuksensa. Tunnukset annetaan nimetyille henkilöille. Siirtotiedoston tulee sisältää datastandardin määrittelemät sarakkeet ja otsikkorivin kentissä tulee käyttää standardin määrittelemiä attribuuttien nimiä. Liikenne tietokonversiojärjestelmän ja käyttäjän (client) välillä tulee olla salattu. Käyttäjä pystyy seuraamaan tuonnin ja tarkastuksen vaiheita selainpohjaisen käyttöliittymän kautta. (Kuva 10) Tiedostojen tuonnin yhteydessä käyttöliittymän tulee antaa ainakin seuraavat tiedot tuontiprosessista: Siirtotiedoston nimi ja koko Aikaleima, jolloin tuonti käynnistyi Tuontiprosessin edistyminen (%) Aikaleima, jolloin tuonti valmistui Tuonnin kesto Tuotujen rivien määrä.

41 41 (58) KUVA 10 TIEDOSTOJEN TUONTI TIETOKONVERSIOJÄRJESTELMÄÄN (HAVAINNEKUVA) Tuonnin jälkeen tiedostot siirretään automaattisesti tarkastusvaiheeseen, jolloin järjestelmä suorittaa tiedostotarkastuksen sekä osapuolikohtaisen eheystarkastuksen. Fingrid käynnistää Datahubtason yhdenmukaisuustarkastuksen osapuolen hyväksyntäpyynnön perusteella. Käyttöliittymän tulee antaa ainakin seuraavat tiedot tarkastusprosessista: Tiedoston tuontiaika Tiedostotarkastuksen edistyminen (%) Aikaleima, jolloin tiedostotarkastus oli valmis Tiedostotarkastuksen kesto Eheystarkastuksen edistyminen (%) Aikaleima, jolloin eheystarkastus oli valmis Eheystarkastuksen kesto Siirtotiedoston tilatieto KUVA 11 TARKASTUSPROSESSIN SEURANTA Yhdenmukaisuustarkastusta ei suoriteta osapuolikohtaisesti, joten sen prosessin edistyminen ei tule näkymään osapuolen käyttöliittymästä Tarkastettavat tiedot Jokaisen kentän osalta tarkastetaan, että kentän tietotyyppi, muoto ja sisältö vastaavat datastandardissa määriteltyjä sääntöjä. Kunkin tietorivin kohdalle merkitään kenttäkohtaisesti kaikki ko. riviltä löytyneet virheet. Tarkistettavat entiteetit on kokonaisuudessaan määritelty datastandardissa. Tarkistettavien tietojen arvioidut rivimäärät ovat: Käyttöpaikkatiedot: n. 3,5 miljoonaa riviä Asiakastiedot: n. 4 5 miljoonaa riviä Sopimustiedot: n. 7,5 miljoonaa riviä Muut perustiedot: joitakin tuhansia rivejä.

42 42 (58) Mittaustietoja ei tarkasteta tietokonversiojärjestelmässä, vaan ne välitetään suoraan datahub-järjestelmään, jossa ne yhdistetään mittauspisteisiin. Datahub-järjestelmässä tarkastetaan, että mittaustietoja on toimitettu kaikille aktiivisille mittauspisteille ja että kaikki mittaustiedot pystytään yhdistämään johonkin mittauspisteeseen Virhetyypit Seuraavassa on listattu virhetyyppejä, joille luodaan tietokonversiojärjestelmään tarkastussääntöjä. Tietokonversiosuunnitelmassa ei määritellä varsinaisia tarkastussääntöjä eri tasotarkastuksia ja projektin vaiheita varten. Tarkastussääntöjä varten määritellään oma dokumenttinsa, johon listataan kaikki tarkastussäännöt. Sääntöjä lisätään erityisesti pilottivaiheen aikana, mutta niitä voidaan lisätä myös varsinaisen tietokonversiovaiheen aikana. Määriteltyjen sääntöjen pohjalta toteutetaan tietokonversiojärjestelmään tarkastussäännöt. TAULUKKO 15. LISTA VIRHETYYPEISTÄ Virhe Tieto puuttuu Virheellinen tietotyyppi Virheellinen muoto Virheellinen arvo Duplikaattitieto Viite-eheysvirhe Rekisterivirhe Rekisteriero Päällekkäiset voimassaolot Looginen virhe Kuvaus Kenttä on määritetty pakolliseksi, mutta siihen ei ole syötetty arvoa. Huom!. Osassa kenttiä on ehdollisia pakollisuuksia, esim. Pakollinen, jos tila muu kuin "rakenteilla" ja sulakekokoa ei ilmoitettu Kentän tietosisältö ei vastaa määritettyä tietotyyppiä. Esim. numeerisessa kentässä on kirjaimia. Kentän tietosisältö ei ole vaaditussa muodossa. Esim. "<johtojen lukumäärä>x<vaiheiden lukumäärä>x<ampeeri> Johtojen lukumäärä jätetään pois jos käytössä vain yksi johto" Kentän arvo ei vastaa määriteltyä arvojoukkoa. Yksilöiväksi määritelty tieto esiintyy tiedossa useamman kuin yhden kerran, eli se ei ole uniikki. Kenttä on tunniste-/koodikenttä, jolle ei löydy vastaavaa arvoa ko. objektista. Esim. Sopimuksella viittaus käyttöpaikkaan, jota ei löydy. Kenttä/tieto tarkastetaan ulkoista rekisteriä, kuten Patentti- ja rekisterihallituksen Yritysrekisteriä vasten, mutta ko. arvoa esim. y-tunnusta, ei löydy. Kenttä/tieto tarkastetaan ulkoista rekisteriä esim. Patentti- ja rekisterihallituksen Yritysrekisteriä vasten, ko. avain arvo löytyy, mutta liittyvissä tiedoissa on eroa. Esim. yrityksen nimi ei täsmää. Tietorivin voimassaoloaika on päällekkäinen toisen tietorivin kanssa ja siten ristiriidassa. Esim. käyttöpaikalla on useita samanaikaisesti voimassa olevia myyntisopimuksia. Esimerkiksi käyttöpaikalla ei ole verkkosopimusta koko myyntisopimuksen voimassaolon aikana.

43 43 (58) Tiedon laatuvaatimustasot pilotti- ja tietokonversiovaiheen aikana Eri markkinaosapuolien toimittamaa tietoa tarkastetaan tietokonversiojärjestelmässä ennalta määriteltyjä sääntöjä vasten. Kullekin projektin tarkastuspisteelle on asetettu erikseen tiedonlaatutavoitteet. Laatutavoitteet ovat erilaiset varsinaisen pilottivaiheen ja tietokonversiovaiheen välillä. Pilottivaiheessa keskitytään luomaan tarkastussääntöjä ja tarkastellaan niiden toimivuutta tietokonversioprosessissa. Pilottivaiheessa sallitaan, että markkinaosapuolen tietoihin jää virheitä, mutta se ei estä siirtymistä seuraavaan iteraatiovaiheeseen. Pilottivaiheen aikana todennetaan myös itse tietokonversioprosessin suorituskykyä. Varsinaisessa tietokonversiovaiheessa markkinaosapuolien tulee huolehtia, että tiedot on korjattu lähdejärjestelmään ja että tiedot menevät tarkastuksesta hyväksytysti läpi. Virheellisten tietueiden sallittu osuus kussakin tarkastuspisteessä määritellään pilottivaiheessa saadun kokemuksen perusteella. Tarkastussäännöt voivat olla riippuvaisia myös tietokonversioprojektin eri vaiheesta. Eri vaiheissa tehtävät tarkastukset voidaan jakaa kolmeen luokkaan: 1. Tiedostotarkastus, siirtotiedostokohtainen riippumaton tarkastus 2. Eheystarkastus, markkinaosapuolen toimittamien siirtotiedostojen välinen tarkastus 3. Yhdenmukaisuustarkastus, kaikkien markkinaosapuolien tietojen tarkastus datahubiin siirtoa varten. Alustavat laatukriteerit kullekin toteutusvaiheen tarkastuspisteille datahubissa on esitetty Taulukko 16. Tarkastuspisteet noudattavat iteraatiovaiheita, eli seuraavaan iteraatiovaiheeseen siirrytään vasta kun koko toimiala on saavuttanut laatukriteerit. TAULUKKO 16 LÄHDEAINEISTON ALUSTAVAT LAATUKRITEERIT TARKASTUSPISTEITTÄIN Taso Kuvaus T1 T2 T3 T4 T5 1 Datahubin kannalta välttämätön 95,00 % 98,00 % 99,00 % 99,90 % 99,98 % 2 Sähkömarkkinoiden toiminnan kannalta välttämätön Ei vaatimusta 95,00 % 98,00 % 99,00 % 99,50 % 3 Hyödyllinen tieto, mutta markkinoiden ja datahubin toiminnan kannalta ei kriittinen Ei vaatimusta Ei vaatimusta Ei vaatimusta Ei vaatimusta Ei vaatimusta Tiedostotarkastus Kutakin siirtotiedostoa varten määritellään tietokonversiojärjestelmässä tarkastussäännöt, jotka voidaan määritellä tasokohtaisesti riippuen kentän kriittisyydestä datahubin tai sähkömarkkinoiden kan-

44 44 (58) nalta. Pilottivaiheessa määritellään, toteutetaan ja testataan tarkastussäännöt. Siirtotiedostojen keskinäisiä viite-eheyksiä ja kenttien välisiä riippuvuuksia eri siirtotiedostojen välillä ei tässä vaiheessa huomioida. Tiedostotarkastuksessa suoritetaan ainakin seuraavat tarkastustyypit: Kenttään on syötetty arvo (tasolla 1 ja 2) Arvo on arvolistan mukainen, jos arvolista on määritelty Arvon pituus on pienempi tai yhtä suuri kuin suurin sallittu kenttäpituus, jos se on määritelty Kentän arvo on tietotyypin mukainen Kentän riippuvuus muiden kenttien arvoista, jos on määritelty (pakollinen jos...) Yksilöivä tunnus (Samaa arvoa ei esiinny kahta kertaa) Loogiset aikavälitarkastukset (esim. voimassaolon loppuaika suurempi kuin alkuaika) Rekisterivertailu (Postin osoiterekisteri, yritystietorekisteri ja jne.) Yksiselitteiset voimassaolot (ei päällekkäisiä voimassaoloaikoja) Osa tarkastuksista suoritetaan mahdollisesti jo tiedostotuonnin yhteydessä. Erityisesti käyttöpaikkojen osoitetietojen tarkastukseen liittyy haasteita. On olemassa paljon käyttöpaikkoja, joilla ei ole osoitetta ollenkaan tai joiden osoite ei löydy postin osoiterekisteristä koska osoitteelle ei ole postin jakelua. Tietokonversiojärjestelmään tulee luoda keino tunnistaa käyttöpaikat, joiden osoitetietoja ei voida tarkistaa, jotta järjestelmä ei luo isoja määriä turhia virheitä. Asiakastiedon tarkastus on toinen haastava osa-alue. Saman asiakkaan tiedot voivat löytyä erinäköisenä monelta markkinaosapuolelta. Tietojen siivous-ohjeeseen tulee määritellä tarkat prosessit, joiden avulla oikea asiakastieto voidaan selvittää Eheystarkastus Kun markkinaosapuoli on toimittanut riippuvuuksia sisältäviä siirtotiedostoja (kts Kuva 8), voidaan siirtotiedostojen välillä tehdä viite-eheystarkastuksia. Esimerkiksi sopimuksessa määritelty asiakas tulee löytyä annetulla tunnuksella tietokonversiojärjestelmään tuoduista asiakastiedoista. Vertailu kohdistuu vain markkinaosapuolen itsensä lataamiin tietoihin. Myyjällä ei välttämättä ole käytettävissään esimerkiksi käyttöpaikan tietoja, joihin sopimuksessa viitataan. Lisäksi luodaan tarkastussäännöt kentille, joiden arvo riippuu jonkin toisen siirtotiedoston kentän arvosta. Pilottivaiheen aikana määritellään, toteutetaan ja testataan siirtotiedostojen välisten tietojen tarkastussäännöt. Markkinaosapuolen aineistossa sallitaan virheiden olemassaolo, mutta laadun on oltava riittävällä tasolla, jotta tarkastusprosessisen testeistä voidaan saada luotettavia tuloksia. Siirtotiedostojen välisten riippuvuuksien tarkastus voi vaikuttaa koko prosessin läpimenoaikaan merkittävästi, joten pilottivaiheen aikana selvitetään myös mitä sääntöjä voidaan jättää varsinaisessa tietokonversiovaiheessa ajamatta. Viite-eheys- ja kenttäriippuvuusvirheet tulee tarkastaa ja korjata lähdejärjestelmässä. Tarkastussäännöt eivät tarkasta sellaista tietoa, jota ylläpidetään toisen markkinaosapuolen järjestelmässä.

45 Yhdenmukaisuustarkastus Tietokonversiosuunnitelma 45 (58) Kun kaikki markkinaosapuolet ovat ladanneet aineistonsa tietokonversiojärjestelmään, voidaan aineistolle tehdä seuraavia tarkastuksia: Viite-eheystarkastukset (Myyjän sopimuksessa oleva käyttöpaikan tunnus löytyy verkonhaltijan aineistosta) Yksiselitteiset voimassaolot (Samalla käyttöpaikalla ei ole samaan aikaan kahden eri myyjän välillä voimassaolevaa sopimusta) Toiminnallinen eheys (Käyttöpaikalla sekä myynti- että verkkosopimus, mittausaikasarjat voimassa sopimusten voimassaolon aikana) Yksilöivät tunnukset (Samalla asiakastunnuksella ja asiakastunnuksen tyypillä ei ole kahta tietuetta) Tarkastussäännöt luodaan ja testataan jo tietokonversioprojektin pilottivaiheessa, mutta tarkastussäännöt voidaan luotettavasti testata vasta tietokonversiovaiheen aikana. Datahubiin julkaistaan vain hyväksytty aineisto. Virheellisiä rivejä, joiden yksittäisissä kentissä on tietovirheitä tai viiteeheyksissä on virheitä, ei lähtökohtaisesti siirretä datahubiin. Lähdeaineiston lopullinen hyväksyntä tehdään tässä vaiheessa. 5.4 Tiedon vieminen datahubiin Kun markkinaosapuolen tiedot ovat menneet tarkastuksesta läpi ja se täyttää tietojen hyväksynnälle määritellyt laatuvaatimukset (ks. Taulukko 5), siirretään tiedot tietokonversiojärjestelmästä erilliseen julkaisualueeseen. Datahubin järjestelmätoimittaja lataa tiedot julkaisualueelta datahubin tietokannan tietomallin mukaisiin kenttiin ja tauluihin. Julkaisualueen sekä tietokonversiojärjestelmän ja datahubin välinen tiedon siirron tekninen määrittely tehdään yhdessä datahub-järjestelmätoimittajan kanssa. Datahubin tietolatauksen jälkeen datahub-järjestelmä luo ns. tietokonversioraportit, jotka palautetaan tietokonversiojärjestelmään. Tietokonversioraportit sisältävät kaikki datahubiin ladatut tiedot markkinaosapuolikohtaisesti ja siirtotiedostokohtaisesti. Tietokonversiojärjestelmä julkaisee tietokonversioraportit markkinaosapuolille ja luo tietokonversion loppuraportin. Markkinaosapuolet voivat vertailla tietokonversioraporttien tietoja lähdejärjestelmissä oleviin tietoihin ja täten todentaa, että datahubin ja lähdejärjestelmien tiedot ovat yhdenmukaiset. Lisäksi lähdejärjestelmien pääkäyttäjät tarkastavat pistokokeina tietoja datahubista, jotta varmistutaan siitä, että tiedot ovat menneet oikeisiin kenttiin datahubissa. Tietojen tarkastus tehdään selainpohjaisen käyttöliittymän kautta, johon kullekin markkinaosapuolelle voidaan avata käyttäjäkohtaiset tunnukset. Pistokokeet määritellään tarkemmin tietokonversiovaiheessa, kun datahub-järjestelmä on käytettävissä. Pistokokeiden tulokset raportoidaan Fingridille. Mittauspisteiden (käyttöpaikkojen, tuotantoyksiköiden ja rajapisteiden) mittaustiedot välitetään suoraan datahub-järjestelmään, tietokonversiojärjestelmä toimii tässä tapauksessa vain tiedostojen välitysalustana. Datahub-järjestelmä hakee mittaustiedot tietokonversiojärjestelmän julkaisualueelta. Mittaustietojen tarkastus edellyttää, että perustiedot on tuotu datahub-järjestelmään. Datahub suorittaa seuraavat tarkastukset mittaustiedolle:

46 46 (58) Mittaustiedot löytyvät käyttöpaikan koko verkkosopimuksen voimassaolon ajalta, mikäli mittaustapa on tuntimittaus Mittaustiedot löytyvät tuotantoyksikön koko voimassaolon ajalta Mittaustiedot löytyvät rajapisteen koko voimassaolon ajalta Kaikki mittaustiedot on kytketty perustietorakenteeseen (ei ole "orpoja" aikasarjoja) Datahub suorittaa tuntitaseselvityslaskennat ja seuraavat laskentatulokset hyödynnetään mittaustiedon tarkastuksessa: Mittausaluekohtaiset häviöt Myyjäkohtaiset summasarjat mittausalueittain 5.5 Seuranta ja seurannan työvälineet Siirtotiedostojen tuonnin ja tarkastuksen aikana Loppukäyttäjä pystyy seurata prosessin edistymistä käyttöliittymästä. Lisäksi Järjestelmä julkaisee käyttäjilleen erilaisia raportteja käyttöliittymän kautta tietokonversion eri vaiheissa. Järjestelmä julkaisee omia raportteja loppukäyttäjille ja pääkäyttäjälle. Tarkemmat kuvaukset raporttien sisällöstä ja vaatimuksista löytyvät dokumentin Datahub Tietokonversio Järjestelmävaatimukset luvusta Tuonnin ja tarkastuksen seuranta Loppukäyttäjä pystyy seurata siirtotiedostojen tuonnin ja tarkastuksen edistymistä käyttöliittymän edistymispalkkien ja yksityiskohtaisten tietojen avulla. Kuva 12 on esitetty havainnekuva Loppukäyttäjän seurantanäytöstä. KUVA 12 SIIRTOTIEDOSTOJEN TUONTI JA TARKASTUS. KÄYTTÖLIITTYMÄN HAVAINNEKUVA.

47 5.5.2 Loppukäyttäjän raportit Tietokonversiosuunnitelma 47 (58) Tarkastuksen yhteenvetoraportti Selainpohjaisesta käyttöliittymästä markkinaosapuolet pääsevät tarkastelemaan siirtotiedostojen toimituksen ja tarkastuksen tilannetta. Yhteenvetoraportti sisältää määrä- ja laatutiedot viimeksi tuoduista siirtotiedostoista. Käyttöliittymästä on mahdollista ladata virheraportit, jotka sisältävät yksityiskohtaiset tiedot virheistä ja niiden määristä xslx-muodossa valittujen siirtotiedostojen osalta. Alla olevassa kuvassa on esimerkki markkinaosapuolen yhteenvetoraportista. KUVA 13 MARKKINAOSAPUOLEN YHTEENVETORAPORTTI Tarkastuksen virheraportit Loppukäyttäjä pääsee tarkastelemaan tietojen latauksessa tapahtuneita virheitä yksityiskohtaisesti Järjestelmän tuottamien virheraporttien avulla. Raportit ovat xlsx-muotoisia ja ne ovat saatavissa loppukäyttäjän käyttöliittymästä. Virheraportteja on kolmenlaisia: Tiedostotarkastuksen virheraportti Eheystarkastuksen virheraportti Yhdenmukaisuustarkastuksen virheraportti. Virheraporttien avulla osapuolet suorittavat korjauksia lähdejärjestelmissä. Raportit sisältävät alustavasti seuraavat sarakkeet:

48 TAULUKKO 17 VIRHERAPORTTIEN SARAKKEET. Tietokonversiosuunnitelma 48 (58) Nro Sarake Kuvaus Vakiosarakkeet 1 Siirtotiedosto Siirtotiedoston nimi 2 Rivinumero Siirtotiedoston rivi, jossa virhe havaittiin 3 Laatuvaatimustaso 4 Virhetunnus Luokitellaan tasoihin 1 3. Laatuvaatimustaso kertoo mille laatuvaatimustasolle virhe lasketaan (Taulukko 4) Virhetunnus kertoo virheen tyypin. Virhetyypit listataan pilottivaiheen aikana julkaistavassa tarkastussääntödokumentissa. 5 Kenttä Kenttä, josta virheellinen tieto löydettiin. 6 Korjausehdotus Järjestelmän korjausehdotus. Kirjoitetaan vain, jos kentän oikea arvo on pääteltävissä, muuten kenttä jätetään tyhjäksi. Siirtotiedostokohtaiset sarakkeet 7...n <Siirtotiedoston kentät> Siirtotiedostotyypistä riippuvaiset kentät. Virheellisen rivin arvot kirjoitetaan sellaisenaan tarkastusalueelta virheraporttiin. Syntaksitarkastuksessa hylätyt rivit, eivät löydy tarkastusalueelta, joten niitä ei myöskään kirjoiteta virheraporttiin. Huomaa, että sama siirtotiedoston rivi esiintyy virheraportissa useita kertoja, mikäli riviltä löytyy useita virheitä Datahubin tietokonversioraportit Tietokonversioraportit ovat datahub-järjestelmän tuottamia raportteja, joiden avulla markkinaosapuolet voivat verrata datahubiin siirrettyä tietosisältöä lähdejärjestelmän tietosisältöön. Datahub luo raportit osapuolittain ja lähdeaineistoittain xlsx-muodossa ja ne ovat saatavissa loppukäyttäjän käyttöliittymästä. Tietokonversioraportteja käytetään myös pääkäyttäjän työkaluihin kuuluvien tietokonversion loppuraportin ja siihen liittyvän poikkeamaraportin luomiseen. Statistiikka luodaan tarkastusalueella olevien tietojen perusteella. Mittaustietojen osalta datahub toimittaa seuraavat raportit verkonhaltijoittain tietokonversiojärjestelmään: 1. Lista käyttöpaikoista, tuotantoyksiköistä ja rajapisteistä joilta puuttuu kaikki tai osa mittaustiedoista verkkosopimuksen voimassaolon ajalta 2. Mittausaikasarjat, joita datahub ei pystynyt kytkemään perustietorakenteeseen 3. Mittausaluekohtaiset häviösarjat 4. Myyjäkohtaiset summasarjat mittausalueittain

49 49 (58) Verkonhaltija lataa raportit tietokonversiojärjestelmän käyttöliittymästä ja vertailee taseselvityksen tulokset oman järjestelmän laskemiin tuloksiin sekä selvittää virheiden syyt. Raporttien tiedostomuoto on alustavasti xlsx, raporttien tarkka muoto ja sisältö määritellään yhdessä datahub-toimittajan kanssa Pääkäyttäjän raportit Siirtotiedostojen toimitusstatistiikka Siirtotiedostojen toimitusstatistiikkaraportti on pääkäyttäjän työkalu osapuolten siirtotiedostotoimitusten seurantaa varten ja sen avulla Pääkäyttäjä pystyy seuraamaan markkinaosapuolten toimituksia osapuoli- ja lähdeaineistotyyppikohtaisesti. Raportin muoto on html tai pdf ja näkyy vain pääkäyttäjälle. KUVA 14 SIIRTOTIEDOSTOJEN TOIMITUSTEN SEURANTA Osapuolikohtainen laatustatistiikka Lähdeaineiston osapuolikohtaisen laaturaportin avulla datahubin pääkäyttäjä pystyy tarkastelemaan markkinaosapuolien toimittaman tiedon laatua laatuvaatimustasoittain. Raportin muoto on html tai pdf ja 100 % tarkoittaa virheetöntä laatua. Raportin sisältö on havainnollistettu Kuva 15.

50 50 (58) KUVA 15 LÄHDEAINEISTON LAATU OSAPUOLITTAIN Lähdeaineiston laaturaportti datahub-tasolla Lähdeaineiston laaturaportti datahub-tasolla on pääkäyttäjän työkalu lähdeaineiston kokonaislaadun seurantaa varten. Raportti esittelee lähdeaineiston laadun lähdeaineistotyypeittäin ja laatuvaatimustasoittain. Laatu ilmoitetaan prosentteina, jossa 100 % tarkoittaa virheetöntä tietoa. KUVA 16 LÄHDEAINEISTON LAATURAPORTTI DATAHUB-TASOLLA

51 Tietokonversion loppuraportti Tietokonversiosuunnitelma 51 (58) Tietokonversion loppuraportti on html- tai pdf-muotoinen yhteenveto tietokonversion tuloksista. Loppuraportista käy ilmi toimitettujen rivien määrät lähdeaineistoittain sekä puuttuvien ja poikkeavien rivien määrät. KUVA 17 TIETOKONVERSION LOPPURAPORTTI Tietokonversion poikkeamaraportti Tietokonversion poikkeamaraportti sisältää yksityiskohtaiset tiedot datahubiin julkaistujen tietojen ja datahubin tietokonversioraporttien vertailussa havaituista poikkeamista. Raportin muoto on xlsx ja se näkyy vain pääkäyttäjälle. 5.6 Tietokonversioprosessin suorituskyky Erityisesti datahubin käyttöönottovaiheessa tietokonversiojärjestelmän suorituskyky ja koko tietokonversioprosessin läpimenoaika on kriittinen. Järjestelmien tulee käsitellä isoja tietomassoja ja rinnakkain voi olla 300 yhtäaikaista käyttäjää. Taulukko 18 on listattu tietokonversioprosessin kukin vaihe, suorituskyvylle asetettavat laskennalliset vaatimukset sekä yhtäaikaisten istuntojen määrä. Huomaa, että tässä suunnitelmassa ei aseteta suorituskykyvaatimuksia suhteessa tietomääriin. Käytännössä se tarkoittaa, että isojen järjestelmien poimintatyökalujen tulee olla tehokkaimpia kuin pienten järjestelmien poimintatyökalujen.