Liite 1 Tietokonversiopalvelun kuvaus

Transkriptio

1

2 2 (13) Sisällysluettelo Terminologia Tiivistelmä Tietokonversiopalvelu markkinaosapuolille Rekisteröitymis- ja kirjautumistoiminnot Vahva tunnistautuminen Käyttöliittymä Perustietojen tuonti ja tarkastus Tuotavat tiedostot markkinaosapuolittain Tuotavien tiedostojen valinta Tiedoston syntaksitarkastus ja lataaminen Tiedostotarkastus Eheystarkastus Yhdenmukaisuustarkastus Mittaustietojen tuonti Toimintaloki Tietojen poistaminen Tietokonversiopalvelun järjestelmäarkkitehtuuri Sovellusarkkitehtuuri Järjestelmän tietoturva Ohjelmistoresurssipalvelu Ohjelmistoresurssipalvelun tietoturva Tietoturvapoikkeamien hallinta Käyttäjätuki Liitteet... 13

3 3 (13) Muutoshistoria Päivämäärä Versio Muutos Ensimmäinen luonnos inpulse Oy:n tarkistuksia Huomioitu tietokonversioryhmän kommentit. Käsitteiden määritelmät lisätty ja liite 1.2 poistettu. Huomioitu palvelun toteutuksen aikana täsmennetyt toiminnot liittyen käyttäjien hallintaan, ulkoisten tarkastuspalvelujen käyttöön sekä mittaustietojen tarkastukseen

4 4 (13) Terminologia Alla olevien käsitteiden määritelmien tarkoituksena on auttaa lukijaa ymmärtämään tässä dokumentissa kuvattuja tietokonversiopalvelun toiminnallisuuksia. Käsite Eheystarkastus Julkaisualue Selitys Tietokonversiopalvelun yhden markkinaosapuolen lähdeaineistolle suorittama tarkastus. Palvelu tarkastaa, että markkinaosapuolen toimittama lähdeaineisto on ehjä datastandardin tietomallin näkökulmasta. Tietokonversiopalvelun alue, jonne siirretään tiedot datahubjärjestelmälle luovutusta varten. Julkaisualue on looginen termi, joka ei määrittele teknistä ratkaisua. Lähdeaineisto Metatieto Osapuolen rooli Osapuoli Palvelunkäyttäjät Siirtotiedosto Syntaksivirhe Tarkastusalue Tarkastusraportti Tiedostotarkastus Yhdenmukaisuustarkastus Markkinaosapuolten järjestelmistä peräisin olevat tiedot, jotka toimitetaan siirtotiedostoina. Metatieto on tietoa tiedosta eli kuvailevaa ja määrittävää tietoa jostakin tietovarannosta tai sisältöyksiköstä. Esimerkiksi siirtotiedoston toimittanut käyttäjä ja toimitusaika ovat siirtotiedoston metatietoja. Osapuolen rooli sähkömarkkinoilla. Tietokonversiopalvelussa roolit ovat: jakeluverkonhaltija, myyjä tai palvelutarjoaja. Sähkön vähittäismarkkinoiden toimija, jolta odotetaan lähdeaineistoa Tietokonversiopalveluun. Fingridin hyväksymät tahot, joilla on oikeus käyttää Tietokonversiopalvelua. Palvelunkäyttäjä on ensisijaisesti markkinaosapuolen edustaja. Tietokonversiossa käytettävä tiedosto, jota käytetään tiedon viemiseen lähdejärjestelmästä määritellyssä muodossa datahubiin. Virhe merkkijonon syntaksissa. Syntaksivirhe syntyy esimerkiksi silloin, jos tieto sisältää kirjaimia vaikka datastandardi edellyttää numeroita. Tietokonversiopalvelun tietokannan alue, jonne tarkastettavat tiedot kirjataan siirtotiedostoista. Tietokonversiopalvelun tuottama, osapuolikohtaisia lähdeaineistoja koskeva raportti, joka sisältää lähdeaineiston tarkastuksen tulokset. Tietokonversiopalvelun yksittäiselle tiedostolle suorittama tarkastus. Tarkastus kattaa syntaksin tarkastuksen, tietosisällön loogiset tarkastukset sekä duplikaattitarkastukset. Tietokonversiopalvelun koko lähdeaineistolle suorittama tarkastus. Palvelu tarkastaa, että eri markkinaosapuolien toimittama lähdeaineisto on yksiselitteistä ja ilman ristiriitoja. Yhdenmukaisuustarkastus erotetaan käsitteellisesti "eheystarkastuksesta", joka suoritetaan yksittäisen markkinaosapuolen toimittamalle lähdeaineistolle.

5 5 (13) 1 Tiivistelmä Datahubin tietokonversiolla tarkoitetaan liiketoimintaprosessien perustietojen ja mittaustietojen laadun varmistamista ja lataamista lähdejärjestelmistä uuteen datahubjärjestelmään ennen sen käyttöönottoa. Lähdejärjestelmät ovat sähköverkkoyhtiöiden ja sähkön myyjien liiketoimintasovellukset, joissa ylläpidetään asiakas-, käyttöpaikka-, sopimus- ja mittaustietoja. Tietokonversiotyöllä on kaksi päätavoitetta: Lähdejärjestelmistä toimitettavan tiedon yhdenmukaistaminen Datahub-järjestelmän alkulatauksen toteuttaminen. Lähdejärjestelmistä toimitettavan tiedon yhdenmukaistaminen on välttämätöntä, jotta samoista järjestelmistä pystytään suorittamaan liiketoimintaprosesseja datahubjärjestelmässä sen käyttöönoton jälkeen. Lähdetiedon yhdenmukaistamiseksi ja laadun varmistamiseksi markkinaosapuolille tarjotaan tietokonversiopalvelu, jolla varmistetaan varsinaiseen datahub-järjestelmään ladattavan tiedon laatu. Markkinaosapuolet toimittavat lähdetiedot siirtotiedostoina tietokonversiopalveluun datahubin datastandardissa ja siirtotiedosto-ohjeistuksessa määritellyssä muodossa. Siirtotiedostot toimitetaan selainpohjaisen käyttöliittymän kautta. Tietokonversiopalvelu suorittaa seuraavat tarkastukset lähdeaineistoon: Tiedostotarkastus: Markkinaosapuolen toimittama lähdeaineisto on datastandardin mukaisessa muodossa Eheystarkastus: Markkinaosapuolen toimittama lähdeaineisto on sisäisesti ehjä datastandardin ja datahubin liiketoimintaprosessien näkökulmasta Yhdenmukaisuustarkastus: Markkinaosapuolen toimittama lähdeaineisto on yhdenmukainen suhteessa muiden osapuolten toimittamaan aineistoon. Tietokonversiopalvelu on toteutettu siten, että markkinaosapuolet pystyvät itsenäisesti suorittamaan siirtotiedostokohtaiset ja osapuolikohtaiset tarkastukset riippumatta muiden osapuolten toimituksista. Tietokonversiopalvelu tuottaa tarkastusraportteja, joiden perusteella markkinaosapuolet suorittavat tarvittavia korjaustoimenpiteitä lähdejärjestelmissä. Tietokonversiopalvelu ei muokkaa tai rikasta lähdeaineiston tietoja, vaan kaikki korjaustoimenpiteet on suoritettava lähdejärjestelmissä. Tietokonversiopalvelu ei toimi rekisterinä. Tietoja säilytetään palvelussa vain tarkistus- ja alkulatausprosessien vaatima aika, jonka jälkeen tiedot poistetaan. Datahubin tietokonversiopalvelun toimittaa Solteq Oyj. Tietokonversiopalvelu tuotetaan Inmics Oy:n palvelinkeskuksessa. Konesalit täyttävät Vahti-luokituksen vaatimukset ja palveluntarjoajan kaikki palvelut on Katakri-auditoitu.

6 6 (13) 2 Tietokonversiopalvelu markkinaosapuolille Tietokonversiopalvelu tarjotaan sähkön myyjille, -verkonhaltijoille sekä sähkön vähittäismarkkinoilla toimiville palveluntarjoajille. Eri markkinaosapuolet käyttävät samaa järjestelmää eri rooleissa. Järjestelmän näkymät ja toiminnallisuudet ovat hieman erilaiset eri rooleilla. Esim. myyjät ja verkonhaltijat toimittavat osittain erilaisten tietotyyppien perustietoja, jolloin esimerkiksi heille tarjottavat seurantanäkymät eroavat toisistaan. Käyttäjä voi toimia useamman markkinaosapuolen edustajana (esim. sekä myyjänä että verkonhaltijana). Tämä on toteutettu niin, että käyttäjä kirjautuu palveluun yhdellä tunnuksella ja hän voi milloin tahansa käytön aikana vaihtaa/valita minä osapuolena hän käyttää järjestelmää. Tietokonversiopalvelun perusominaisuudet on esitetty kuvassa 1. Toiminnallisuudet on kuvattu tarkemmin seuraavissa kohdissa. Toiminnallisuudet "Tietojen luovutus" ja "Raportoinnin todentaminen" on jätetty pois tästä kuvauksesta. Nämä toteutetaan palveluun vasta, kun datahub-järjestelmä ja datahubin käytön edellyttämä lainsäädäntö on olemassa. KUVA 1 DATAHUBIN TIETOKONVERSIOPALVELU 2.1 Rekisteröitymis- ja kirjautumistoiminnot Palveluun rekisteröidään vain palvelusopimuksen allekirjoittaneet markkinaosapuolet. Rekisteröinnin yhteydessä palvelun ylläpito luo yhtiön pääkäyttäjä osapuolen yhtiöiden ilmoittamille yhteyshenkilölle. Rekisteröidyttyään palveluun yhteyshenkilö pystyy lisäämään markkinaosapuolen muut käyttäjät palveluun. Käyttäjistä ilmoitetaan seuraavat tiedot: nimi, sähköpostiosoite sekä matkapuhelimen numero. Palvelun käyttäjä on aina nimetty henkilö.

7 7 (13) Järjestelmä lähettää sähköpostilla tiedon uudesta käyttäjätilistä käyttäjälle. Sähköpostin linkin kautta päästään palveluun ja valitsemaan tilille salasana. Järjestelmä tarkastaa, että salasana on tietoturvallinen. Salasanan tulee olla vähintään kahdeksan merkkiä pitkä ja sisältää vähintään yksi pieni kirjain, iso kirjain, numero ja erikoismerkki. Jatkossa kirjautuminen tapahtuu tunnuksen ja valitun salasanan avulla. Järjestelmässä on unohtuneen salasanan kysely -toiminnallisuus, jossa järjestelmä lähettää käyttäjälle sähköpostin, jonka kautta hän pääsee valitsemaan uuden salasanan. Uloskirjautuminen kirjaa käyttäjän ulos palvelusta Vahva tunnistautuminen Käyttäjien autentikointiin käytetään vahvaa tunnistautumista. Kirjautumisen yhteydessä syötetään käyttäjätunnus ja salasana, minkä jälkeen käyttäjä saa tekstiviestitse kirjautumiskoodin, joka tulee syöttää sellaisenaan järjestelmään, jotta kirjautuminen voidaan suorittaa loppuun. 2.2 Käyttöliittymä Markkinaosapuolet käyttävät palvelua internet-selainpohjaisella käyttöliittymällä. Markkinaosapuolen etusivu tarjoaa esim. seurantanäkymät perustietojen tarkastuksen kokonaistilanteeseen ja viimeisimpiin tarkastuksiin. KUVA 2 HAVAINNEKUVA MYYNTIYHTIÖN ETUSIVUSTA

8 8 (13) 2.3 Perustietojen tuonti ja tarkastus Tuotavat tiedostot markkinaosapuolittain Perustiedot tuodaan xlsx-muotoisilla tiedostoilla. Tiedostot on kuvattu datahubin tietokonversion siirtotiedosto-ohjeistuksessa, joka löytyy Fingridin ylläpitämästä Ediel.fiportaalista: Myyjän roolissa palvelu tukee seuraavia tiedostoja: Osapuolitiedot Asiakastiedot Tuotetiedot Sopimustiedot Verkonhaltijan roolissa palvelu tukee seuraavia tiedostoja: Osapuolitiedot Asiakastiedot Tuotetiedot Sopimustiedot Käyttöpaikkatiedot Käyttöpaikkojen lisäosoitteet Tuotantoyksikkötiedot Rajapistetiedot Mittausaluetiedot Käyttöpaikan myyjätiedot Palveluntarjoajan roolissa palvelu tukee seuraavia tiedostoja: Osapuolitiedot Valtuutustiedot

9 9 (13) Palvelu pystyy myös tarkastaman fiktiivistä tai anonymisoitua tietoa datahubin datastandardia vasten Tuotavien tiedostojen valinta Tiedostot voidaan tuoda palveluun joko yksittäin tai valitsemalla kerralla useampi tiedosto (esim. asiakas-, tuote- ja sopimustiedot). Mikäli tuodaan kerralla useampi saman tyyppinen, eri versioinen tiedosto (esim. asiakastiedot), kaikille tiedostoille tehdään tiedostotarkastus, mutta vain viimeisen version tiedot jäävät voimaan. Mittaustiedot voivat olla myös pakatussa tiedostossa Tiedoston syntaksitarkastus ja lataaminen Järjestelmä tarkistaa tuotavan tiedoston, kuten nimen ja sarakkeiden oikeellisuuden. Järjestelmä ei lue tiedostoa sisään ennen kuin tiedosto läpäisee perustarkastuksen. Virhetapauksessa järjestelmä näyttää käyttöliittymässä virhetiedot käyttäjälle. Perustarkastuksen läpäisseiden tiedostojen tiedot ladataan järjestelmän tietokannan tarkastusalueelle ja tiedostot arkistoidaan metatietoineen järjestelmän tietokantaan. Tässä yhteydessä ei vielä tarkasteta sarakkeiden tietosisällön oikeellisuutta, joten tämä vaihe tapahtuu nopeasti. Latauksen jälkeen järjestelmä näyttää yhteenvetotiedot (lukumäärät) ladatuista tiedostoista ja tiedostotarkastus käynnistyy taustalla automaattisesti Tiedostotarkastus Tiedostotarkastus käy läpi tarkastusalueelle ladatut tiedot ja tarkistaa ne datahubin datastandardia vasten. Palvelu suorittaa mm. seuraavat tarkastukset: arvon pituus on rajojen sisällä arvon tietotyyppi on oikein arvo on oikeassa formaatissa arvo on arvolistan mukainen pakollisiin kenttiin on syötetty arvo osoite löytyy ulkoisesta osoiterekisteristä (rekisteritarkastus)* yritystunnus löytyy ulkoisesta yritysrekisteristä (rekisteritarkastus)* henkilö löytyy ulkoisesta henkilötietorekisteristä (rekisteritarkastus)* voimassaolon alkuhetki on pienempi kuin voimassaolon loppuhetki tieto on loogisesti ehjä (esim. yritysasiakkaalla tulee olla y-tunnus) tiedoista ei löydy useita identtisiä rivejä duplikaattitarkastuksessa käytettyjen avainten perusteella

10 10 (13) tiedoista ei löydy päällekkäisiä voimassaoloja. Tarkastus kirjoittaa etenemisen myötä virhehavainnot tietokantaan ja näyttää käyttöliittymässä tietoa tarkastuksen etenemisestä. Käyttäjä pystyy tarvittaessa keskeyttämään tiedostotarkastuksen, jolloin järjestelmä poistaa koko tiedoston tiedot tietokannasta. Käyttäjäoikeuksia tarkistetaan rivitasolla. Käyttäjä pystyy tuomaan vain edustamiensa markkinaosapuolten tietoja. Tietojen omistaja (markkinaosapuoli) annetaan siirtotiedostoissa rivitasolla. Tarkastuksen päätyttyä käyttäjä näkee tulokset käyttöliittymäraportilla. Lisäksi järjestelmä generoi xlsx-muotoisen tarkastusraportin, jonka käyttäjä voi ladata työasemalleen. * Ulkoisia rekistereitä hyödynnettävässä tarkastuksessa käytetään henkilö- ja osoitetietojen oikeellisuuden tarkastusta tarjoavaa Suomessa toimivaa palveluntarjoajaa Eheystarkastus Käyttäjä käynnistää tiedostojen eheystarkastuksen käyttöliittymästä, kun tarvittavat tiedot on toimitettu. Eheystarkastuksen käynnistämiseen vaadittavat tiedostot on merkitty Titan käyttöliittymässä Perustietojen eheystarkastus -sivulla tähdellä. Eheystarkastuksessa käydään läpi kaikki tarkastusalueella olevat markkinaosapuolen toimittamat tiedot ja tarkistetaan tietojen eheys, kuten esimerkiksi: mittausalueen verkonhaltija löytyy osapuolitiedoista tuotetietojen omistajaosapuoli löytyy osapuolitiedoista käyttöpaikan mittausalue löytyy mittausaluetiedoista tuotantoyksikön mittausalue löytyy mittausaluetiedoista käyttöpaikan lisäosoitetietojen käyttöpaikka löytyy käyttöpaikkatiedoista sopimuksen myyjäosapuoli löytyy osapuolitiedoista sopimuksen asiakastieto löytyy asiakastiedoista sopimuksen tuote löytyy tuotetiedoista (jos tuote annettu, verkkosopimuksille pakollinen) sopimuksen käyttöpaikka löytyy käyttöpaikkatiedoista valtuutuksen osapuoli löytyy osapuolitiedoista käyttöpaikalla on verkkosopimustieto (riippuu käyttöpaikan tilasta) asiakas on sopimusosapuoli sopimustiedoissa Tarkastuksen päätyttyä käyttäjä näkee tulokset käyttöliittymäraportilla. Lisäksi järjestelmä generoi xlsx-muotoisen tarkastusraportin, jonka käyttäjä voi ladata työasemalleen.

11 11 (13) Yhdenmukaisuustarkastus Yhdenmukaisuustarkastuksen tarkoituksena on varmistaa, että markkinaosapuolten toimittamat tiedot ovat keskenään yhdenmukaiset. Yhdenmukaisuustarkastus ajetaan tietokonversiopalvelun tarkastusalueella olevalle koko aineistolle, ei siis markkinaosapuolikohtaisesti. Yhdenmukaisuustarkastuksen käynnistää pääkäyttäjä. Yhdenmukaisuustarkastuksen yhteydessä palvelu suorittaa mm. seuraavia tarkastuksia: yksilöivistä asiakastiedoista ei löydy duplikaatteja yksilöivistä osapuolitiedoista ei löydy duplikaatteja mittausalueen häviömyyjä löytyy osapuolitiedoista mittausalueen toimitusvelvollinen myyjä löytyy osapuolitiedoista myyjän lähettämän myyntisopimuksen käyttöpaikka löytyy käyttöpaikkatiedoista verkon lähettämän myyntisopimustietojen myyjä löytyy osapuolitiedoista verkon lähettämän myyntisopimuksen käyttöpaikkatieto vastaa myyjän lähettämää tietoa verkon lähettämän myyntisopimuksen voimassaolo vastaa myyjän lähettämää voimassaoloa verkkojen lähettämillä myyntisopimuksilla ei ole päällekkäisiä voimassaoloaikoja myyjien lähettämillä myyntisopimuksilla ei ole päällekkäisiä voimassaoloaikoja valtuutustietojen käyttöpaikka löytyy käyttöpaikkatiedoista valtuutustietojen asiakastieto löytyy asiakastiedoista rajapisteiden anto- ja ottoalue löytyy mittausaluetiedoista Yhdenmukaisuustarkastuksen valmistuttua Palvelu luo markkinaosapuolikohtaiset tarkastusraportit. Palvelun käyttäjä pystyy selailemaan tehtyjä yhdenmukaisuustarkastuksia edustamansa osapuolen osalta ja niiden yhteenvetotietoja sekä tarkastusraportteja. 2.4 Mittaustietojen tuonti Verkonhaltijan edustajana toimiva käyttäjä pystyy tuomaan palveluun mittaustietoja. Järjestelmä tarkistaa tuotavien mittaustietotiedostoissa olevien rakenteellisten tietojen eheyden perustietoja vasten, mm: Mittaustietoa on toimitettu kaikille perustiedoissa ilmoitetuille mittauspisteille Mittaustiedot eivät sisällä perustiedoista puuttuvia mittauspistetunnuksia 2.5 Toimintaloki Järjestelmä kirjoittaa lokitietoa käyttäjien tekemistä toiminnoista, kuten rekisteröityminen, kirjautuminen, tiedostojen tallentaminen, jne. Nämä lokitiedot ovat nähtävissä toimintalokista.

12 12 (13) 2.6 Tietojen poistaminen Kaikki järjestelmään toimitetut tiedot poistetaan pysyvästi, kun tarkistus ja Datahubin alkulatausprosessit on suoritettu. Prosessien aikana tietoja säilytetään järjestelmässä vain tarvittavilta osin. 3 Tietokonversiopalvelun järjestelmäarkkitehtuuri 3.1 Sovellusarkkitehtuuri Ratkaisu sisältää kaksi käyttöliittymää: pääkäyttäjän käyttöliittymän sekä markkinaosapuolten käyttöliittymän. Käyttöliittymätoteutukset perustuvat monikerrosarkkitehtuuriin. Järjestelmän käyttöliittymäkerros toteutetaan ASP.NET MVC -teknologialla. Palvelukerroksen palvelut on toteutettu WebApi (REST/JSON) -palveluina. Sovelluksen tietokantana käytetään Microsoft SQL Server -tietokantaa. Järjestelmän käyttöliittymä toteutetaan HTML5 standardin mukaisesti, hyödyntäen laajasti käytettyjä käyttöliittymäteknologioita kuten Angular2 ja TypeScript. 3.2 Järjestelmän tietoturva Järjestelmän käyttö edellyttää käyttäjän tunnistamista eli järjestelmän käyttö ei ole mahdollista ilman, että käyttäjä olisi tunnistautunut. Käyttäjillä on pääsy vain käyttöliittymään, ei esimerkiksi suoraan tietokantaan. Käyttäjien käyttöliittymän tunnistautumisessa käytetään vahvaa tunnistautumista. Tällöin kirjautumisen yhteydessä on syötettävä tekstiviestitse vastaanotettava kirjautumiskoodi. Järjestelmän kaikesta käytöstä kerätään käyttötiedot ns. audit-lokiin, johon kirjataan toimenpiteen ajankohta, tehty toimenpide sekä toimenpiteen suorittaja. Pääkäyttäjän on mahdollista selata toimintolokia pääkäyttäjän käyttöliittymästä. Järjestelmän käyttöliittymä on rakennettu ASP.NET ja WebAPI -teknologioilla, joissa on sisään rakennetut Request Validation -ominaisuudet. Tämän avulla kaikki sisään tulevat pyynnöt validoidaan niin, että ne eivät sisällä vaarallisia syötteitä esimerkiksi SQL injectionin tai CrossSite Scripting osalta. Järjestelmän tietokantakäsittely tehdään Microsoftin Entity Frameworkin avulla, joka käytännössä estää täysin mahdollisuuden SQL injectionin käyttöön käyttöliittymästä.

13 13 (13) 4 Ohjelmistoresurssipalvelu Ohjelmistoresurssipalvelu on malli, jossa sovellus tai palvelu tuotetaan keskitetyssä palvelinkeskuksessa tietoverkon välityksellä saataville yhteyspisteeseen. Datahubin tietokonversiopalvelu tuotetaan Inmics Oy:n palvelinkeskuksessa, joka sijaitsee Keski-Suomessa. Konesalit täyttävät Vahti-luokituksen vaatimukset ja palveluntarjoajan kaikki palvelut on Katakri-auditoitu. 4.1 Ohjelmistoresurssipalvelun tietoturva Palveluntarjoajan tietoturvakäytännöt pohjautuvat oheisten sertifiointien vaatimuksiin sekä ITIL:n mukaisiin käytäntöihin. ISO20000 IT palvelunhallintajärjestelmä sertifioitu 2017 KATAKRI II auditointi suoritettu hyväksytysti ISO27000 tietoturvallisuden hallintajärjestelmä sertifioitu Palvelun tietoturvasta on kerrottu tarkemmin liitteessä 1.1 "Konesalin turvallisuus". 4.2 Tietoturvapoikkeamien hallinta Palveluntarjoajalla on oma poikkeamanhallintaprosessi ISO20001 sertifioinnin mukaisesti. 5 Käyttäjätuki 6 Liitteet Palvelun käyttäjille tarjotaan käyttäjätukea arkisin klo Tukipyyntöihin pyritään vastaamaan 4 tunnin kuluessa. Palvelunkäyttäjien tuki kokonaisuudessaan järjestetään Tietokonversiopalvelun kautta syötettyjen tukipyyntöjen ja puhelinpalvelun kautta. Liite 1.1 Konesalin turvallisuus