Alkujaan digitaalisen aineiston siirtäminen Kansallisarkistoon

Samankaltaiset tiedostot
Alkujaan digitaalisen aineiston siirtäminen Kansallisarkistoon

Digitaaliseen säilytykseen hyväksyttävät tiedostoformaatit

Palvelukuvaus v Alkujaan digitaalisen aineiston vastaanoton ja säilyttämisen palvelu

SÄHKE-hanke. Tekninen mallintamisen Siirtotiedoston metatietokuvaukset

Kansallisarkiston sähköisen säilyttämisen palvelut kuntien teknisen sektorin käyttöön. Markus Merenmies

VAPA. Sähköisen säilyttämisen palvelu [ESITYSAINEISTO]

Sähköinen säilyttäminen

SÄHKE2-SERTIFIOINTIKRITEERIT

VAPA YLEISKUVAUS ARKISTOLAITOKSEN SÄHKÖISEN SÄILYTTÄMISEN PALVELUSTA

Ohje digitaalisessa muodossa olevan aineiston siirtoon ja allekirjoittamiseen vaadittavien avainten muodostamisesta

Kansallisarkisto. SÄHKE2-siirtotiedoston testauspalvelu

SÄHKE2-vaatimusten mukainen hävitysesitys ja sen tietosisältö

Syntysähköisten. Markus Merenmies / Kansallisarkisto

Kokemuksia PDF/A:sta Arkistolaitoksen VAPApalvelussa

VAPA Ohje aineistojen siirtämiseksi arkistolaitoksen VAPA-järjestelmään

REKISTERI- JA TIETOKANTA-AINEISTOJEN SIIRTÄMINEN VAPA-PALVELUUN

Kansallisarkisto VAPA -palvelun käyttöönotto

SÄHKE2-SERTIFIOINTIKRITEERIT

PAS-tilanne ja julkaistujen opinnäytteiden pitkäaikaissäilytykseen liittyvä prosessi ja edellytykset

KDK: Finna ja pitkäaikaissäilytys

SÄHKE2-vaatimusten mukainen hävitysesitys ja sen tietosisältö

JUHTA - Julkisen hallinnon tietohallinnon neuvottelukunta

Asiakirjallisten tietojen metatietojen tuottamisen periaatteet

Massadigitoinnin kokonaisuus

Heikki Helin Metatiedot ja tiedostomuodot

Sähköisen arkistoinnin reunaehdot

SÄHKE2-Siirto-ohje. SÄHKE2 Siirto-ohje. v (23) Sovellusohje SÄHKE2-määräyksen mukaisen siirtotiedoston muodostamiseksi

Aineistojen paketoinnin pilotit PAS-seminaari 2013 Kuisma Lehtonen

Luonnos eams-rakenteeksi

SÄHKE2-SERTIFIOINTIKRITEERIT

Haaga-Helia ammattikorkeakoulu Oy:n tietosuojaseloste koskien opinnäytetöiden sähköisen järjestelmän henkilörekisteriä.

Maakuntavalmisteluorganisaatioiden arkistojen käsittely

Liite D: Poikkeamispäätösten ja suunnittelutarveratkaisujen mallinnus tiedonsiirtoa varten

CSV - XML ohjelman käyttöohje

JHS 156 suosituksen päivitys

Rekisteri- ja tietokanta-aineistojen siirtäminen Kansallisarkiston sähköisen säilyttämisen palveluun

Haaga-Helia ammattikorkeakoulu Oy:n tietosuojaseloste koskien Urkundplagioinnintunnistusohjelmaa

Kolme vuotta digitaalista pitkäaikaissäilytystä

VAPA-palvelukuvaus v. 2.2 [ ]

Siirtotiedoston tekninen koulutus

Tikon Kirjanpito Tikon Kirjanpito

PAS-PALVELUN RAJAPINNAT

Liite 7: Asiakastietoa käsittelevä järjestelmä Sosiaalihuollon asiakastiedon arkisto. Rajapintakäyttötapaukset

Aineistosiirron testauksen aloituksen ohje Trafin sopimuskumppaneille

Ohje ulosoton sähköiselle hakijalle ulosottojärjestelmän aineistosiirtoihin

Kansallisarkiston päätökset opinnäytteiden pysyvästä säilyttämisestä

EMVHost Online SUBJECT: EMVHOST ONLINE CLIENT - AUTOMAATTISIIRROT COMPANY: EMVHost Online Client sovelluksen käyttöohje AUTHOR: DATE:

Liite B. Asemakaavan mallinnus tiedonsiirtoa varten

Vanhojen potilastietojen arkistointi

Pitkäaikaissäilytyksen toiminta ja ylläpito

Digitaalisten aineistojen pitkäaikaissäilytys - Tiedostoformaattien standardointi

T2V2 Vaaratilanneilmoitussanomakuvaus

Missä ollaan pitkäaikaissäilytyksen toteuttamisessa? KDK:n arkistosektorin yhteistyöverkoston seminaari Kimmo Koivunen CSC Tieteen

Vanhojen potilastietojen arkistointi Ohje palvelun käyttöönottajalle

Ohje ulosoton sähköiselle hakijalle ulosottojärjestelmän aineistosiirtoihin

SÄHKE2-SOVELLUSAUDITOINNIT

Tietojen jakelu Skeemat Palvelupyyntö Kansallisen tulorekisterin perustamishanke

Kokemuksia. aineistojen paketoinnin piloteista. KDK-pitkäaikaissäilytys seminaari

Pitkäaikaissäilytyksen toteutuksen erityispiirteet. TTA:n pitkäaikaissäilytyksen keskustelutilaisuus Kimmo Koivunen

Ohje - Kuntien ilmoitukset

Titan SFTP -yhteys mittaustietoja varten

Sähköisten viranomaisaineistojen arkistoinnin ja säilyttämisen palvelukokonaisuus

Sähköisen arkistoinnin ja säilyttämisen palvelukokonaisuus

Korkeakoulujen valtakunnallinen tietovaranto. Ilmari Hyvönen

Tekstin digitointi Kansallisarkistossa

Asiakastietoa käsittelevä järjestelmä. Rajapintakäyttötapaukset

Tietojen toimittaminen Skeemat Käsittelypalaute Kansallisen tulorekisterin perustamishanke

Suomi.fi Viestit. SFTP API Viranomaisille. Versio 1.0 / Hyväksytty. Väestörekisterikeskus

Tietojen toimittaminen Skeemat Viestit Kansallisen tulorekisterin perustamishanke

RAJAPINTAKUVAUS Itella Customer Connection

Varmennepalvelu Rajapintakuvaus Kansallisen tulorekisterin perustamishanke

CLASSIC WINTIME - TOIMITTAJAN ENNAKKOPERINTÄREKISTERIPÄIVÄ

Tietojen toimittaminen Skeemat Käsittelypalaute Kansallisen tulorekisterin perustamishanke

Digitointiprojektin käytäntö ja ongelmat. Esimerkkinä Porin taidemuseon digitointiprojekti 2014

Asiakirjahallinnon opas organisaatiomuutostilanteisiin AL/6640/ /2009. Keskeisiä käsitteitä

Älä vielä sulje vanhoja

THL:N NÄKÖKULMIA TUTKIMUSAINEISTOJEN SÄILYTTÄMISEEN

Metatiedot lainsäädäntötiedon hallinnassa

Sosiaalihuollon asiakastiedon arkisto Sosiaalihuollon metatietomalli Metatietoesimerkit

Enigmail-opas. Asennus. Avainten hallinta. Avainparin luominen

Yhteentoimivuusalusta: Miten saadaan ihmiset ja koneet ymmärtämään toisiaan paremmin?

Tietojen toimittaminen Skeemat Vastaanottokuittaus Kansallisen tulorekisterin perustamishanke

Mitä tiedon pitkäaikaissäilytys tarkoittaa?

Tätä ohjekirjaa sovelletaan alkaen. Ohjeeseen on lisätty tietoa avainversioista ja avainten vaihtamisesta

Metatiedot ja terveydenhuollon kansallinen arkisto

Asiakastietoa käsittelevä järjestelmä. Rajapintakäyttötapaukset

VIA. Valtion Yhteinen Integraatiopalvelu. Palvelukuvaus. Valtion tieto- ja viestintätekniikkakeskus Valtori

VERKKOPANKKILINKKI. Turvallinen linkki verkkopankista pankin ulkopuoliseen palveluun. Palvelun kuvaus ja palveluntarjoajan

Vaihdoitko puhelinta? Yhteystietojen siirto Lumian, iphonen ja Androidin välillä käy näin

Tikon etasku integraatio

Hankinnan tarjousvastauksen liittymäaineistojen kuvaukset

JUHTA - Julkisen hallinnon tietohallinnon neuvottelukunta

Asio-opetuksensuunnittelun ja Oodin integraatio Web Servicellä

Julkaiseminen verkossa

Sosiaalihuollon asiakastiedon arkisto Sosiaalihuollon metatietomalli Metatietoesimerkit

Tutkimusdatan pitkäaikaissäilytys ATT-hankkeessa.

1 (37) Liite 2 SÄHKE2. Metatietomalli

Haaga-Helia ammattikorkeakoulu Oy:n tietosuojaseloste koskien Helpdesk-palveluita

Tietojen toimittaminen Skeemat Käsittelypalautteen kysely Kansallisen tulorekisterin perustamishanke

Tätä ohjekirjaa sovelletaan alkaen.

Transkriptio:

Alkujaan digitaalisen aineiston siirtäminen Kansallisarkistoon 1. Palvelukuvaus Kansallisarkiston sähköinen arkistopalvelu ottaa vastaan pysyvään säilytykseen tarkoitettua alkujaan digitaalista aineistoa. Palvelua voivat hyödyntää ne toimijat, jotka ovat sopineet palvelun käytöstä Kansallisarkiston kanssa. Palvelun käyttö on maksutonta, mikä sisältää palvelun käyttöön liittyvien sopimusten laatimisen, siirtoihin liittyvän teknisen tuen ja varsinaisen säilyttämisen. Aineiston siirtokuntoon tuottamisesta ja siihen liittyvistä kustannuksista vastaa siirtävä organisaatio. Kansallisarkisto voi tarjota siirtokuntoon saattamiseen liittyen erillistä konsultointia voimassaolevan hinnaston mukaisesti. Tässä ohjeessa kuvataan aineiston siirtokuntoon valmisteluun sekä siirtämiseen liittyviä teknisiä tehtäviä. Ohje osaltaan täydentää Kansallisarkiston muita vaatimuksia tai ohjeita. 2. Siirtämisen yleinen toimintaperiaate Aineistojen siirtämisen hallinnollisena edellytyksenä on sopimus siirtäjän ja vastaanottajan (Kansallisarkisto) välillä. Sopimuksessa yksilöidään säilytykseen siirrettävä aineisto. Siirtämisen lisäksi sovitaan aineistoon liittyvistä vastuista ylläpitoon ja tietopalvelun tarjoamiseen liittyen. Aineiston valmisteluvaiheen tehtävänä on poimia säilytykseen määrätty aineisto järjestelmästä sekä tuottaa ja valmistella se siirtokuntoon ja liittää siihen liittyvät metatiedot Kansallisarkiston edellyttämään siirtokuntoon. Tämä osio on tarkennettu tässä ohjeessa luvuissa 3 ja 4. Siirtovaihe kattaa toimet, joilla valmisteltu siirtopaketti toimitetaan Kansallisarkiston säilytyspalveluun, joko Online tai Offline -menettelyllä. Online siirrossa aineiston siirretään verkon kautta vastaanottopalveluun luvussa 7 kuvatulla tavalla. Offline siirrossa aineisto toimitetaan erillisellä tallennusmedialla luvussa 8 kuvatulla tavalla. Molemmissa menettelytavoissa aineisto saatetaan siirtokuntoon samalla tavalla ja samaan muotoon.

Siirron seurantavaihe sisältää toimet, joilla varmistutaan tehtyjen siirtojen onnistumisesta ja tarvittaessa vaadittavien korjausten sekä uudelleensiirtojen tekemisestä. Seurantavaiheeseen liittyy Kansallisarkiston tarjoama tuki aineistossa olleiden virheiden tulkintaan. Seurantaan ja korjaamiseen liittyvät tehtävät on kuvattu luvussa 7.3. Siirtäjän vastuulla on poimia aineisto ja saattaa se säilytyskuntoon sekä tehdä tarvittavat Kansallisarkiston palvelun raportoimat korjaukset aineistoon ja lähettää se joko online tai offline menettelyllä säilytyspalveluun. Kansallisarkiston vastuulla on ottaa aineisto vastaan, tehdä tarvittavat laadunvarmistustehtävät sekä siirtää aineisto säilytettäväksi. Siirrettävä kokonaisuus muodostuu seuraavasta kolmesta osasta: Aineisto: siirrettävä tietoaineisto koostuu digitaalisessa muodossa olevista tiedostoist, jotka voivat olla useissa eri tiedostomuodoissa. Siirrettävä sisältö voi muodostua asiakirjatiedostojen lisäksi myös tietokantojen ja rekisterien kohdalla alkuperäisestä aineistosta muodostetuista määrämuotoisista datapaketeista, jotka on tuotettu erillisiksi tiedostoiksi, joihin metatiedoissa viitataan. Aineiston tulee olla Kansallisarkiston hyväksymässä pysyvään säilytykseen hyväksyttävässä muodossa. Metatiedot: Aineistoon liittyvät ja sitä kuvaavat metatiedot välitetään xmlmuotoisena tiedostona, jonka sisältö on määritelty SÄHKE-metatietomallissa. Siirtoallekirjoitus-tiedosto: siirtokokonaisuuteen liittyy siirtäjän todentamisen sekä aineiston eheyden varmistava tiedosto, eräänlainen sinetti. Tämän muodostamiseen liittyvät kysymykset on esitetty ohjeessa avainten muodostamiseksi. 3. Siirtokelpoinen aineisto Siirtäjä ja Kansallisarkisto sopivat siirrettävästä aineistosta säilytyspäätöksen mukaisesti. Säilytyspäätöksessä linjataan pysyvään säilytykseen tulevat aineistolajit. Sopimuksessa yksilöidään tarkemmin, milloin ja missä muodossa nämä aineistot siirretään. Niiltä osin kuin siirrettävää aineistoa kertyy esim. vuosittain, sovitaan siirtojen aikataulusta. Yleislinjauksen mukaisesti pysyvään säilytykseen siirrettävän aineiston pitää olla ehyt ja valmis kokonaisuus, johon ei saa kohdistua muokkaus- tai päivittämistarpeita. Asiankä-

sittelyn terminologian mukaisesti asian käsittelyn tulee olla päättynyt ja asiakirjat ovat valmiita. Vastaavalla tavalla muiden tietoaineistojen, kuten rekisterit, aineiston kertyminen ja päivittäminen ovat päättyneet. Aineisto on esimerkiksi mahdollista siirtää tehtäväryhmittäin muodostettuina pienempinä erinä, jolloin siirtäminen voi helpottaa muutoin tiedostokooltaan suureksi muodostuvan siirtopaketin käsittelyä ja siirtämistä. Pienin yksikkö siirrettävälle kokonaisuudelle on yksi asiakirjallisen tiedon käsittelyprosessi (asia). Yksittäistä asiakirjaa ei voida siirtää ilman sen käsittelyyn liittyvää käsittelyprosessia (asiaa). Organisaation siirtokäytännön tulee huomioida se, ettei mitään pysyvään säilytykseen määrättyä aineistoa jää poiminnan ulkopuolelle ja siten kokonaan siirtämättä. Siirrettävä aineisto voi olla joko julkista, ST IV tai ST III tasolla. ST III tason aineiston siirtämisen tulee tapahtua luvussa 8 kuvatulla Offline siirtomenettelyllä. 4. Aineiston valmistelu siirtoa varten Aineiston valmistelu siirtoa varten sisältää sekä varsinaisen tietoaineiston saattamisen säilytyskelpoiseksi, että tähän aineistoon liittyvien metatietojen esittämisen Kansallisarkiston määrittämässä rakenteessa (sahke.xml). Siirtokokonaisuus muodostuu varsinaista digitaalisessa muodossa olevista tiedostoista sekä näihin liittyvistä metatiedoista. Aineiston oheen voidaan erityisesti rekisterimuotoisen aineiston tapauksessa liittää muu aineiston dokumentointia ja tietopalvelua tukeva aineisto. Aineiston valmistelun osalta tässä on kuvattuna toimintomalli, jossa säilytykseen siirrettävä aineisto on jo tallennettuna tiedostoksi aktiiviaikaista käyttöä varten. Lisäksi on esiteltynä toimintomalli myös rakenteisen tiedon säilyttämisen osalta, jossa tietoaineisto kerätään operatiivisesta järjestelmästä ja saatetaan säilytyskelpoiseen muotoon. Tiedostoja ei saa salata, sillä salaaminen estää aineistojen säilyttämisen sekä myöhemmän käytön. Tiedostoja tai tiedostokokoelmia ei saa pakata (esim. ZIP paketeiksi) sillä tämä estää tiedostojen käsittelyn vastaanoton yhteydessä. Lisäksi tiedostosta ei saa puuttua sen esittämiseen ja hyödyntämiseen liittyviä osia, kuten esimerkiksi fontit, eikä tiedostot saa olla riippuvaisia säilytysjärjestelmän ulkopuolisista tietovarannoista tai palveluista.

4.1. Säilytyskelpoiseen muotoon saattaminen Pysyvään säilytykseen tulevat tiedostot pitää ennen siirtoa Kansallisarkistoon muuntaa pysyvään säilytykseen hyväksyttyyn formaattiin. Pysyvään säilytykseen hyväksyttävät tiedostomuodot on ryhmitelty säilytys- sekä siirtokelpoisiin. Kansallisarkisto pitää yllä listaa pysyvään säilytykseen hyväksymistä tiedostomuodoista ja näiden versioista. Säilytyskelpoisen tiedostomuodon hyödyntämistä tulee pitää ensisijaisena tavoitteena. Säilytyskelpoisiksi hyväksytään sellaiset tiedostomuodot, joissa tietosisällön säilyminen ja ymmärrettävyys voidaan taata pidemmällä aikavälillä. Siirtokelpoiset tiedostoformaatit hyväksytään ehdollisesti siinä tapauksessa, että säilytyskelpoista muotoa kyseisestä aineistosta ei ole olemassa. Siirtokelpoiset muunnetaan Kansallisarkiston toimesta säilytyksen aloittamisen yhteydessä säilytyskelpoiseen muotoon. Aineiston siirtäjä vastaa siirrettävän aineiston tiedostoformaattien vaatimusten mukaisuudesta. Aineistossa ei saa käyttää teknisiä salaus tai muita mekanismeja, jotka estävät aineiston avaamisen. 4.2. Rekisterimuotoisen tietoaineiston saattaminen säilytyskelpoiseen muotoon Taulukkomuotoiset tiedostot, jotka sisältävät luettelomaista informaatiota, tulee perustua alkuperäisen käyttötarkoituksen kannalta merkityksellisiin rakenteisiin. Taulukkolaskennan tiedostomuodoista on hyväksytty pysyvään säilytykseen OpenOffice tiedostomuotoja tilastoaineistojen osalta SPSS-formaatti. Tietokannoista ja muista rekistereistä säilytykseen siirrettävä aineisto voidaan säilyttää myös CSV tai XML-muotoisena. CSV-muotoon pelkistäminen tarkoittaa, että aineiston rakenne on muutettu kaksiulotteisiksi taulukoiksi, joissa elementit on erotinmerkeillä erotettu toisistaan. Rakenteen pelkistäminen mahdollistaa sen, että aineistoa voidaan tehokkaasti hyödyntää eri työkaluilla. Säilytykseen siirrettäessä aineistoon tulee liittää säilytysrakenteen (tietorakenne) dokumentaatio, jonka avulla alkuperäinen looginen rakenne voidaan tulkita muokatusta säilytysrakenteesta. Lisäksi tietoaineistoista tulisi tuottaa ADDML-kuvailutiedostot, erillisen ohjeen mukaisesti. XML:n vahvuus on tiedon merkityksen ja hierarkioiden kuvaamisessa tiedon yhteydessä. Hyödynnettäessä XMLrakennetta tulisi rakenteen perustua dokumentoituihin ja avoimesti käytettävissä oleviin XML-skeemoihin.

4.3. Tiedostojen nimeäminen Siirrettyjä tietoaineistoja hallitaan metatiedoissa olevien tunnisteiden avulla. Säilyttämistoimien aikana alkuperäinen tiedostonimi voidaan mahdollisesti säilytyksen aikana muuttaa. Tämän vuoksi tiedostonimeen ei ole suositeltavaa koodata asiakirjan sisältöön liittyviä metatietoja, kuten esim. hakemukset_1994-1996.pdf. Aineistoon liittyvät metatiedot tulee aina esittää Sähke-metatietojen avulla. Siirrettävien tiedostojen nimi saa olla enintään 256 merkkiä pitkä ja siinä ei saa olla US- ASCII-merkistön ulkopuolisia merkkejä, kuten skandinaavisia kirjaimia. Tiedostojen nimissä on sallittu seuraavat merkit: a-z A-Z 0-9 - _. ( ) # välilyönti Siirtoa varten sekä siirrettävien asiakirjojen, että siirtorakenteessa olevien hakemistojen tulee täyttää samat vaatimukset käytettävistä merkistöistä kuin tiedostot. Aktiiviaikana, eli organisaation omassa sisäisessä käytössä, voidaan käyttää myös sallitun merkistön ulkopuolisia merkkejä, sillä edellytyksellä, että nämä merkit muunnetaan sallituiksi siirron yhteydessä. (esim. Ä -> A). 5. Siirrettävän aineiston metatiedot 5.1. Metatietojen rakenne Siirtokokonaisuuden metatiedot jakaantuvat seuraaviin osiin: Siirron metatiedot, jotka perustuvat palvelun käyttäjän ja Kansallisarkiston väliseen sopimukseen. Nämä metatiedot yksilöivät sekä siirtopaketin, että siirtäjän. Nämä tuotetaan siirtotoiminnon yhteydessä. Yhteystiedot: Nämä metatiedot sisältävät siirtoprosessiin liittyvin tahojen yhteystiedot. Tiedot muodostetaan siirron yhteydessä. Aineiston metatiedot, Sisältävät sekä ryhmitteleviä rakenteita, että varsinaista sisältöä kuvaavia elementtejä, joiden avulla aineistoa hallitaan ja käytetään. Nämä metatiedot tulee muodostaa asiakirjallisen tiedon muodostumisen ja operatiivisen käsittelyn yhteydessä. 5.2. Siirtoa tukevat metatiedot Siirtopaketin muodostamisen yhteydessä annetaan metatietoja, jotka identifioivat siirtopaketin sekä siirtäjän. Lisäksi annetaan yhteyshenkilöiden metatietoja, joita voidaan käyttää mahdollisissa ongelmatapauksissa.

Siirtokokonaisuuden identifiointitiedot TransferInformation (SÄHKE 6.1) Identifiointitunnus (NativeId): Yksilöi siirtokokonaisuuden ja erottaa sen muista saman organisaation lähettämistä siirtokokonaisuuksista. Identifiointitunnuksen pitää olla OID muotoinen ja se tulee muodostaa Kansallisarkiston esittämässä rakenteessa. OID tunnus perustuu sekä Kansallisarkiston antamaan sopimusnumeroon että siirtäjän tuottamiin siirron yksilöintitunnuksiin. Tunnuksen rakenne on seuraanvanlainen urn:oid:1.2.246.582.100.[sopimusnumero].[vuosi].[nnnn1]. Tunnuksen alkuosa on kiinteä ja aina sama, Kansallisarkisto antaa hyödynnettävän sopimusnumeron, vuosi osan ilmoittaa siirron kuluvan vuoden kokonaislukuna ja juokseva numero yksilöi yksittäisen siirtopaketin. Esim. <NativeId>urn:oid:1.2.246.582.100.123123.2018.0001</NativeId> (SÄHKE 6.1.1) Nimeke (Title): Yksilöidään siirtävä järjestelmä. Tätä tunnusta käytetään siirtokokonaisuuden autenttisuuden todentamiseksi ja sen arvon tulee olla sama kuin mikä on ilmoitettu palvelun käyttöönottolomakkeessa. (SÄHKE 6.1.3): Siirto- ja säilytyssopimuksen tunnus (TransferContractId).Tähän tallennetaan Kansallisarkiston antama sopimuksen yksilöivä tunniste. (SÄHKE 6.1.4) Aineiston metatietojen skeema (SÄHKE 6.1.5) Tähän tallennetaan osoite, jota on käytetty siirrettävän aineison metatietojen validointiin Kontaktitietoihin TransferInformation (SÄHKE 6.2) sisällytetään siirrosta vastaavan teknisen yhteyshenkilön tiedot. Kansallisarkiston edustaja voi tarvittaessa ottaa yhteyttä tähän henkilöön, jos siirrossa on ongelmia. Näitä tietoja ei voi hyödyntää aineiston myöhemmän käytön yhteydessä ja ne ovat vain siirtotapahtumaa tukevia. Organisaatio (SÄHKE 6.2.1) Nimi (Name): Organisaation nimeä käytetään vastaanoton yhteydessä yhtenä tarkistettavana tekijänä. Kontaktihenkilö (SÄHKE 6.2.2) yhteystiedot tekniselle yhteyshenkilölle, joka vastaa siirrosta. 5.3. Aineiston metatiedot Siirrettävän kokonaisuuden metatiedot koostuvat kunkin siirrettävän asiakirjallisen tiedon käsittelyprosessin metatiedoista, kuhunkin käsittelyprosessiin liittyvän toimen-

piteen metatiedoista, jokaiseen toimenpiteeseen liittyvän asiakirjan metatiedoista, sekä jokaiseen asiakirjaan liittyvän tiedoston metatiedoista. Tehtävien, toimenpiteiden ja asiakirjojen metatiedot tulee muodostaa jo operatiivisen käytön yhteydessä. Tämä prosessi on kuvattu SÄHKE2-määräyksen liitteessä Asiakirjallisten tietojen metatietojen tuottamisen periaatteet 1. Tässä ohjeessa oletetaan, että vähintään pakolliset metatiedot on muodostettu ja noudettavissa operatiivisista järjestelmistä. Sahke.xml tiedoston koko ei saa ylittää 100MB, jos tiedosto on liian suuri, tulee siirtokokonaisuus jakaa useammaksi siirtokokonaisuudeksi. Vastaanottava järjestelmä koostaa nämä yhtenäiseksi kokonaisuudeksi. Aineiston jaosta osapaketeiksi on syytä sopia Kansallisarkiston kanssa. 5.4. Aineiston tekniset metatiedot Siirrettävien tiedostojen metatiedot esitetään Sähke-rakenteessa Document-tasolla. Tässä rakenteessa olevien tiedostoviittausten avulla muodostetaan yhteys varsinaisiin tiedostoihin. Tiedostoja koskevat metatiedot liittyvät hyödynnettävävään tiedostomuotoon ja tiedostojen sijaintiin siirtopaketissa. Document.NativeId on tiedoston yksilöivä tunnus. Tämän pitää olla aina yksilöivä siten, että samasta organisaatiosta ei saa siirtää samalla tunnuksella useampaa kuin yhden tiedoston. Tässä on suositeltavaa hyödyntää OIDstandardin mukaista rakennetta siten, että asiakirjan OID-tunnuksen perään annetaan pisteellä eroteltu juokseva numero. UseType elementillä voidaan erotella pysyvään säilytykseen tarkoitettu tiedostomuoto, muita siirron yhteydessä mahdollisesti siirrettävistä. Jokaisesta tiedostosta pitää olla arkisto muotoinen siirtomuoto. File.Name elementillä yksilöidään siirrettävän tiedoston nimi. Tämä esitetään tässä ilman hakemistopolkua. File.Path elementillä ilmaistaan tiedoston sijainti suhteessa sahke.xml siirtotiedoston sijaintiin. Siirtotiedosto sijaitsee siirtopaketin juuritasolla, jolloin polut viittaavat tiedostorakenteessa syvemmällä oleviin tiedostoihin. Huom! 1 http://www.arkisto.fi/uploads/normit/valtionhallinto/maarayksetjaohjeet/liite1_metatietojen_tuottaminen.doc

absoluuttista osoitusta (kuten c:\materiaalit\siirto\aineistot\123\abc) ei saa käyttää. Tiedoston formaatti ja formaatin versio ilmoitetaan kohdassa Document.Format.Name ja Document.Format.Version. Format-name ja versio arvot tulee ottaa hyväksyttävien formaattien luettelosta. Esimerkiksi PDF/A-1b formaatin nimi on fmt/354 ja versio on 1b Tiedoston hajautussumma ja siihen käytetty algoritmi ilmaistaan kohdissa Document.HashAlgorithm ja Document.HashValue. Sallitut hajautusalgoritmit ovat seuraavat Algoritmi MD5 SHA-1 SHA-256 Ilmaisutapa tiedostossa md5 sha1 sha256 6. Siirtopaketin tuottaminen 6.1. Yleistä Ohjeessa on aikaisemmin kuvattu se, miten varsinainen säilytyksen kohde tulee saattaa säilytykseen hyväksyttävään muotoon. Lisäksi on kuvattu, miten tähän aineistoon liittyvät metatiedot tulee teknisiltä osin muodostaa. Tässä osiossa kuvataan se, miten nämä osatekijät paketoidaan yhteen ns. siirtopaketiksi. Siirtopaketin pitää olla ehyt kokonaisuus joka sisältää sekä metatiedot että säilytettävät tiedostot tarkoitetussa muodossa ja laajuudessa. 6.2. Siirto ja allekirjoitusavaimet Palvelun tekninen hyödyntäminen edellyttää siirto ja allekirjoitusavainten muodostamista erillisen ohjeen mukaisesti. Sopimuksen teon yhteydessä Kansallisarkisto toimittaa siirtäjälle sopimustunnuksen, jonka tulee olla jokaisen siirrettävän siirtopaketin sahke.xml tiedoston TransferContractId elementissä. Tätä sopimusnumeroa hyödynnetään aineiston vastaanoton hallinnassa. Siirtäjä tunnistautuu palveluun RSA-siirtoavaimen avulla ottaessaan yhteyttä SFTP:lltä avulla vastaanottoliittymään. Siirtoavain tehdään erikseen sekä testi- että tuotantoympäristöihin. Testiympäristön avulla on mahdollista testata aineiston siirrettävyyttä ja omien järjestelmin toimintaa. Sen käyttö on vapaaehtoista siirtäjälle.

Sähke2-dokumentti tulee allekirjoittaa sähköisellä allekirjoituksella, johon käytetään muodostettua allekirjoitusavainta. Allekirjoitustiedoston tiedostonimenä tulee olla "signature.sig". 6.3. Paketointi Siirtämistä varten sahke.xml ja tiedostot joihin se viittaa, paketoidaan yhdeksi tiedostoksi, jolle annetaan siirtopaketin tunniste. Paketoinnissa tulee varmistaa, ettei siirrettävässä aineistossa ole tiedostoja, joihin ei liity metatietoja tai joihin ei metatiedoissa viitata. SÄHKE-metatiedot sisältävät XML-tiedostot (metatiedostot) sijoitetaan siirtokokonaisuuden juureen. Tämä tarkoittaa käytännössä sitä, että varsinaiset aineistot voivat olla alihakemistoissa, mutta sahke.xml:n pitää olla päähakemistossa/juuressa. TAR-paketti voidaan koostaa ilman pakkausta (.tar) tai lisäksi pakata käyttämällä gzip-pakkausta (.tar.gz). Paketointi ei saa olla häviöllistä. TAR-paketin sisältämien tiedostojen nimissä ei saa olla US-ASCIImerkistön ulkopuolisia merkkejä, kuten skandinaavisia kirjaimia. TAR-paketin juuressa pitää olla Sähke2-muotoinen XML-dokumentti, jonka tiedostonimenä pitää olla "sahke2.xml". Sähke2-dokumentteja pitää olla TAR-paketissa vain yksi. Muodostuneelle paketille pitää antaa yksilöivä tiedostonimi, jota käytetään siirtojen hallinnassa. Paketin nimessä voi käyttää esim. aineistokokonaisuuden tunnistetta sekä kuluvaa päivää. esim. XDATA-2018-05-23-S001 7. Aineiston online siirron rajapinnat ja siirto 7.1. Tietoliikenneyhteyden avaaminen Siirtävä organisaatio toimittaa palomuuriavauksiin tarvittavat ip-osoitteet sekä testiettä tuotantojärjestelmistä siirron tukipalveluun. Palomuuriavauksessa tulee kuvata se, tehdäänkö avaus yksittäistä järjestelmää vai laajempaa verkkoavaruutta varten, jossa on mahdollisesti useampia järjestelmiä. Palomuuriavaukset tulee aina laatia yksisuuntaisena siten, että organisaation omaan palomuuriin ei tule tehdä avausta, joka mahdollistaisi yhteyden muodostamisen säilytyspalvelun suunnasta siirtävän organisaation järjestelmään.

Kun palvelun käyttöön liittyvät avaimet on rekisteröity, tulee siitä ilmoitus ja käyttäjätunnus. Testaa tunnuksen ja yhteyden toimivuus avaimen yhteydessä toimittavien ohjeiden avulla. 7.2. Siirtäminen Aineiston siirtämiseen sekä tarkastusraporttien noutamiseen käytetään suojattua SFTPrajapintaa Käyttäjällä on palvelimella omassa kotihakemistossaan seuraavat hakemistot: transfer Hakemisto, jonne käyttäjä vie siirtopaketit. accepted Hakemisto, jonne säilytykseen hyväksyttyjen siirtopakettien tarkastusraportit viedään. rejected Hakemisto, jonne siirrossa hylätyt paketit sekä niiden tarkastusraportit viedään. Käyttäjä siirtää paketointimääritysten mukaisesti luodun uuden aineiston SFTPprotokollan avulla oman kotihakemistonsa transfer-hakemistoon. Kun siirtopaketti otetaan käsittelyyn, se automaattisesti siirretään transfer-hakemistosta tarkastukseen. Aineisto siirtyy säilytykseen, kun se on hyväksytty, ja käyttäjä saa tarkastusraportin siirrosta automaattisesti accepted-hakemistoon. Jos aineisto hylätään, koko aineisto ja tarkastusraportti siirretään rejected-hakemistoon. Tarkastusraportti sisältää mm. seuraavat asiat: Siirtopaketin siirtäjä (käyttäjätunnus) Aikaleima, jolloin paketti otettiin tarkastuskäsittelyyn Siirtopaketin rakenne Tarkastustoimenpiteet, niiden tulokset, kohteet ja aikaleimat Aikaleima säilytyksen aloittamisesta ja säilytysvastuun siirtymisestä Käyttäjän saataville ilmestyy raporttiin liittyen kaksi tiedostoa: tarkka tekninen tarkastusraportti ja HTML-muotoinen selaimella luettava tiivistelmä. Näiden raporttitiedostojen hakemistorakenne on hyväksytyssä tapauksessa muotoa: /accepted/<date>/<transfer>/<transfer>-<uuid>-ingest-report.xml

/accepted/<date>/<transfer>/<transfer>-<uuid>-ingest-report.html Näissä määreet määritellään seuraavasti: <date> Päivämäärä (vuosi-kuukausi-päivä), jolloin raportti siirrettiin käyttäjän saataville. <transfer> Siirtopaketin ZIP- tai TAR-tiedoston nimi. <uuid> Eri siirrot yksilöivä tunniste. xml PREMIS-muotoisen raportin tiedostopääte. html Tiivistelmäraportin tiedostopääte. 7.3. Hylätyn aineiston käsittely Vastaanotossa hylätty siirtopaketti palautuu käyttäjälle /rejected-hakemistoon. Siirtopaketin hakemistorakenteen muoto on: /rejected/<date>/<transfer>/<transfer>-<uuid>/ ja vastaavat tarkastusraportit ovat tällöin: /rejected/<date>/<transfer>/<transfer>-<uuid>-ingest-report.xml /rejected/<date>/<transfer>/<transfer>-<uuid>-ingest-report.html Näissä määreet määritellään seuraavasti: <date> Päivämäärä (vuosi-kuukausi-päivä), jolloin raportti siirrettiin käyttäjän saa-taville. <transfer> Siirtopaketin ZIP- tai TAR-tiedoston nimi. <uuid> Eri siirrot yksilöivä tunniste. xml PREMIS-muotoisen raportin tiedostopääte. html Tiivistelmäraportin tiedostopääte. Aineiston voi korjata /rejected-hakemistossa ehjäksi niin, että virheettömiä tiedostoja ei tarvitse toimittaa SFTP-rajapinnan yli palvelimelle uudelleen. Virheelliset tiedostot voidaan poistaa ja korjatut toimittaa tilalle. Kun paketti on käyttäjän mielestä korjattu ja uudelleen allekirjoitettu, tämä voi siirtää sen /rejected-hakemistosta suoraan /transfer-hakemistoon (ks. SFTP:n rename-komento), jolloin siirtoprosessi käynnistyy muokatulle materiaalille.

Tarkastusraportit ja hylätyt siirtopaketit säilyvät käyttäjän kotihakemistossa 10 päivää ja jakelupaketit 3 päivää, ellei käyttäjä itse poista niitä aiemmin. 8. Aineiston Off-line siirron menettelytapa Aineiston Off-line siirrolla tarkoitetaan toimintomallia, jossa siirtäjä välittää valmiit siirtopaketit Kansallisarkistoon säilytettäväksi erillisellä fyysisellä siirtomedialla. Menettelytavasta tulee sopia erikseen Kansallisarkiston kanssa. Toimintomalli soveltuu kertaluonteisten suurten tietomassojen sekä ST III aineistojen välittämiseen. Soveltuva tallennusmedia voi olla CDROM, DVD, muistitikku tai USB-liitäntäinen ulkoinen kiintolevy. Median käsittelyssä tulee noudattaa seuraavia periaatteita: Siirrettävä tallennusmedia ei saa olla ainut tallennuspaikka siirrettävälle aineistolle. Aineiston tulee säilyä siirtävällä taholla erillisessä tallennuspaikassa vähintään siihen asti, kunnes Kansallisarkisto on hyväksytysti vastaanottanut siirrettävän aineiston kokonaisuudessaan. ST III tason aineisto tulee toimittaa salatulla tallennusmedialla, käytännössä tämä tarkoittaa suojattua muistitikkua tai USB-liitäntäistä levyä. Median salaukseen käytetty avain/salasana tulee toimittaa erikseen Kansallisarkistolle. ST III tason aineiston siirron yksityiskohdista tulee sopia Kansallisarkiston digitaalisen vastaanoton palvelun kanssa. Hyödynnettäessä optisia medioita (CDROM ja DVD) tulee varmistua siitä, että median tallennussessio on suljettu ja levy on käyttövalmis. Levyn toimivuus tulee varmistaa siirtäjän toimesta. Siirtomedian vastaanotosta ja käsittelyn aikataulusta sovitaan Kansallisarkiston digitaalisen vastaanoton palvelun kanssa.