VAPA Ohje aineistojen siirtämiseksi arkistolaitoksen VAPA-järjestelmään

Transkriptio

1 VAPA Ohje aineistojen siirtämiseksi arkistolaitoksen VAPA-järjestelmään v [ ]

2 (26) 1. Johdanto Aineiston siirron yleinen toimintaperiaate Siirtämisen hallinnolliset edellytykset Vaiheet Siirtokokonaisuus Siirron vaiheet Siirtoyhteyden luominen Aineiston siirtokokonaisuuden muodostaminen Aineiston siirtotapahtuma Tehtyjen siirtojen seuranta Siirto-yhteyden luominen VAPA-tunnukset Palomuuriavaus Siirtoyhteyden testaus Aineiston poiminta ja valmistelu siirtokuntoon Aineiston poiminta Asiakirjatiedostojen käsittely Arkistomuotoiset asiakirjaformaatit Natiivimuotoisten asiakirjaformaattien käsittely Julkaisumuotoisten asiakirjaformaattien käsittely Asiakirjojen yksilöinti OID/URN -tunnuksella Siirrettävien asiakirjatiedostojen nimeäminen Siirrettävän aineiston kokorajoitteet Metatietojen siirtäminen Metatietojen rakenne Siirtopaketin yleiset metatiedot Siirron metatiedot (TransferInformation) Siirron yhteystiedot (ContactInformation) Aineiston metatiedot Asiakirjallisen tiedon käsittelyprosessin metatiedot Toimenpiteen metatiedot Asiakirjan metatiedot Viittaukset asiakirjojen välillä Tiedostojen metatiedot Käyttöoikeuksiin liittyvät metatiedot Siirtopaketin allekirjoittaminen Yleiskuvaus allekirjoittamisesta Hyödynnettävä varmenne Varmiste.sig tiedosto Allekirjoituksen tuottaminen Aineiston siirto Aineiston sisäisen hakemistorakenteen muodostaminen Siirtohakemistot Online-siirto SFTP-protokollan avulla Aineiston Off-line siirto Siirtopaketin salaus ja pakkaaminen Siirtojen seuranta ja siirretyn aineiston tilatietojen päivittäminen Vastaanoton tarkistukset Siirron paluukanava Siirretyn aineiston tilojen hallinta siirtäneessä tietojärjestelmässä Kansallisarkiston VAPA-tuki... 22

3 (26) 11. Tunnistetut vikatilanteet, niiden toteaminen ja ratkaiseminen: Kielettyjen merkkien käyttö tiedostonnimissä Siirtokokonaisuuden allekirjoittajaa ei löydetty Siirtokokonaisuuden allekirjoitus tarkistus epäonnistui Lähteet ja lisäinformaatio... 23

4 (26) 1. Johdanto Tässä ohjeessa kuvataan SÄHKE-muotoisen aineiston siirtäminen arkistolaitoksen vastaanotto- ja palvelujärjestelmään (VAPA). Ohje kuvaa siirtämisen toimintaperiaatteen sekä edellytykset, siirtoon liittyvät vaiheet ja menettelytavat. Tämä ohje täydentää SÄHKE2-määräystä. [SÄHKE2]. VAPA:n käyttöönottoon liittyvät hallinnolliset toimet on kuvattu VAPA-palvelun palvelukuvauksessa [VAPA-palvelukuvaus]. Aineistosiirtojen automaattiseen raportointiin liittyvän siirron paluukanavan tekniset ohjeet on kuvattu erillisessä paluukanava ohjeessa. Aineiston käyttöön liittyvän VIRPA-rajapinnan tekniset ohjeet on kuvattu erillisessä VIRPA-ohjeessa. Lähteistä ja lisäinformaatiosta tarkemmin luvussa Aineiston siirron yleinen toimintaperiaate 2.1. Siirtämisen hallinnolliset edellytykset Aineistosiirtojen aloittaminen edellyttää, että siirtävä organisaatio on laatinut Kansallisarkiston kanssa palvelun käytöstä siirto- ja säilytyssopimuksen, jossa määritellään osapuolten vastuut ja velvoitteet sekä kuvataan siirrettävä aineisto. VAPA-palvelun testisiirtojen aloittaminen ei edellytä organisaatiolta erillistä sopimuksen laatimista. Lisätietoja: VAPA-siirtotestauksen palvelukuvaus 2.2. Vaiheet Ennen aineiston siirtoa tulee tehdä esivalmistelut, joiden avulla avataan tietoliikenneyhteys siirtävän organisaation ja arkistolaitoksen VAPA-palvelun välilllä. Tämä sisältää palomuuriavaukset sekä palvelun käyttäjätunnusten myöntämisen. Aineiston siirtäminen käsittää sen poiminnan järjestelmästä, valmistelun SÄHKE2- määräyksen edellyttämään muotoon, allekirjoittamisen ja siirtämisen VAPAan sekä mekanismit varmistua siirron onnistumisesta. Onnistuneen siirron siirron jälkeen aineisto voidaan poistaa siirtävästä järjestelmästä ja se on käytettävissä VAPA-järjestelmästä VIRPA-rajapinnan kautta Siirtokokonaisuus Sähke-siirtokokonaisuus muodostuu kolmesta osasta: aineiston metatiedoista, itse aineistosta (asiakirja, data tms.) sekä kokonaisuuden siirtämiseen liittyvästä lähettäjän sekä siirron eheyden varmistavasta varmistetiedostosta. Metatiedot: SÄHKE-metatietomallissa on määritelty aineiston kuvailuun ja hallintaan liittyvät metatiedot. Näiden avulla aineisto säilyy yhtenäisenä kokonaisuutena VAPA-palvelussa. Metatiedot tallennetaan siirtokokonaisuudessa Sahke1.xml tiedostossa, jonka tulee noudattaa SÄHKE2-siirtoskeeman mukaista rakennetta. Aineisto: Siirrettävä sisältö muodostuu asiakirjatiedostoista, joista saattaa olla useita eri tiedostomuotoja. Siirrettävä sisältö voi muodostua myös tietokantojen ja rekisterien kohdalla alkuperäisestä aineistosta muodostetuista määrämuotoi-

5 (26) sista datapaketeista, jotka on tuotettu erillisiksi tiedostoiksi, joihin metatiedoissa viitataan. varmistetiedosto: siirtokokonaisuuteen liittyy siirtäjän sekä aineiston eheyden varmistava tiedosto, eräänlainen sinetti. 3. Siirron vaiheet Tässä luvussa kuvataan aineiston siirron vaiheet siinä järjestyksessä kun ne tulee suorittaa. Tämän ohjeen myöhemmissä luvuissa täsmennetään tässä kuvattuja vaiheita Siirtoyhteyden luominen Vaihe Tehtävä Ohjeet VAPA-tunnusten tilaaminen Palomuuriavaus Siirtotunnusten myöntäminen Siirtoyhteyden testaus Siirtäjä ilmoittaa Kansallisarkiston VAPA-tuelle siirtävän järjestelmän ja allekirjoittajan tiedot Kansallisarkiston VAPA-tuelta saatavalla lomakkeella. Siirtäjä tilaa palomuuriavauksen VA- PA:n palomuuriin VAPA-tuelta saatavalla lomakkeella. VAPA-tuki toimittaa siirtäjälle teknisen siirtokäyttäjätunnuksen ja salasanan sekä informoi milloin yhteys on käytettävissä. Siirtäjä testaa siirtoyhteyden SFTPohjelmalla käyttäen saatuja siirtotunnuksia Aineiston siirtokokonaisuuden muodostaminen Vaihe Tehtävä Ohjeet Aineiston poiminta Asiakirjatiedostojen konvertointi Siirrettävän aineiston poiminta tietojärjestelmästä siirtosuunnnitelmassa määriteltyjen poimintaehtojen mukaisesti. Arkistomuotojen tuottaminen joko siirrettävistä asiakirjatiedostoista tai tietojärjestelmän datasta SÄHKE-metatiedot XML-rakenteeseen SÄHKE-normin mukaiset metatiedot tallennetaan SÄHKE-skeeman mukaiseen xml-rakenteeseen. xml-tiedosto validoidaan SÄHKE2- siirtoskeemaa vasten. 6 Liite 1.

6 (26) Muodostetaan siirtorakenne kokonaisuudesta Siirron allekirjoitus Siirrettävä aineisto järjestetään siirtokokonaisuudeksi siten, että jokaiselle siirrettävälle asiakirjallisen tiedon käsittelyprosessille (asialle) luodaan oma alihakemistonsa. sahke1.xml -tiedostosta lasketaan eheystarkiste. Tämä tarkiste allekirjoitetaan ja tallennetaan varmiste.sig tiedostoon Aineiston siirtotapahtuma Vaihe Tehtävä Ohjeet Siirtoyhteyden avaaminen Siirtohakemistojen luominen Aineisto siirretään Aineiston siirtoon käytetään SFTPclient sovellusta, jossa siirtäjä tunnistetaan teknisen käyttäjätunnuksen ja salasanan avulla. Jokaista siirtokokonaisuutta varten luodaan oma alihakemisto päätason alaisuuteen. Siirto tapahtuu määrätyssä järjestyksessä: 1) ensin siirretään varsinaiset asiakirjatiedostot, 2) sitten sahke.xml tiedostot ja 3) viimeisenä siirretään varmiste.sig - tiedosto Tehtyjen siirtojen seuranta Vaihe Tehtävä Ohjeet Ilmoitus siirron tilasta Virheellisen siirtokokonaisuuden uudelleen muodostaminen Siirtäjä saa onnistuneista ja epäonnistuneista siirroista raportit suoraan sähköpostiin. Siirtoja on mahdollista seurata myös VAPAraportointiliittymä -palvelun avulla. Mikäli siirrossa tapahtuu virhe tai siirtokokonaisuudess on virhe, johtaa se aina koko siirtokokonaisuuden hylkäämiseen, minkä vuoksi se tulee muodostaa uudestaan siirtäneessä 9.1

7 (26) järjestelmässä. Aineiston hyväksyntä Siirretyn aineiston tilatiedon hallinta. Toimenpiteet siirretylle aineistolle. Aineisto tulkitaan vastaanotetuksi vasta hyväksytyn vastaanottoprosessin jälkeen. Tällöin säilyttämisen vastuu siirtyy arkistolaitokselle. Siirron jälkeen alkuperäinen asiakirja on VAPAssa ja siirtäneeseen järjestelmään jääneet kappaleet katsotaan kopioiksi. Siirtäneessä tietojärjestelmässä tulee merkitä yksiselitteisesti, että aineisto on siirretty. Siirretty aineisto voidaan poistaa järjestelmästä tai säilyttää kopiona Siirto-yhteyden luominen 4.1. VAPA-tunnukset Kansallisarkiston VAPA-tuki toimittaa aineiston siirtäjälle etukäteen lomakkeet, joissa organisaatio määrittelee siirtopaketin allekirjoittajan sekä allekirjoituksessa käytetyn varmenteen tiedot. Allekirjoittaminen on kuvattu yksityiskohtaisemmin luvussa 7 Tämän jälkeen Kansallisarkiston VAPA-tuki toimittaa siirtäjälle siirtotunnukset, joilla siirtäjä tunnistautuu ottaessaan yhteyttä SFTP-protokollaa hyödyntävän sovelluksen avulla VAPA:n vastaanottoliittymään. Siirtotunnukset ovat aina sopimuskohtaiset ja organisaatiolla on eri tunnukset VAPA:n tuotanto- ja testiympäristöihin. Organisaatio on vastuussa tunnusten huolellisesta säilyttämisestä. Tuotantoympäristön tunnukset toimitetaan siirtävälle organisaatiolle siirto- ja säilytyssopimuksen laatimisen jälkeen. VAPA-tietojen määrittely ja tunnusten luominen tulee tehdä riittävän ajoissa ennen sovittua siirtoajankohtaa, jotta mahdolliset ongelmat yhteyksien luomisessa eivät viivytä itse siirtoja Palomuuriavaus Siirtävä organisaatio toimittaa palomuuriavauksiin tarvittavat ip-osoitteet sekä testiettä tuotantojärjestelmistä VAPA-tuesta saatavalla lomakkeella. Palomuuriavaukset laaditaan aina siirtävän organisaation testi-järjestelmästä VA- PA:n testijärjestelmään ja vastaavasti tuotantojärjestelmästä VAPA:n tuotantojärjestelmään. Palomuuriavauksessa tulee kuvata se, tehdäänkö avaus yksittäistä järjestelmää vai laajempaa verkkoavaruutta varten, jossa on mahdollisesti useampia järjestelmiä.

8 (26) Palomuuriavaukset tulee aina laatia yksisuuntaisena siten, että organisaation omaan palomuuriin ei tule tehdä avausta, joka mahdollistaisi yhteyden muodostamisen VA- PA-palvelun suunnasta siirtävän organisaation järjestelmään Siirtoyhteyden testaus Ennen varsinaista aineiston siirtämistä (testisiirto tai tuotantosiirto) tulee siirtoyhteyden toimivuus testata. Tämä tulee tehdä käyttäen siirtosovellusta ja annettua käyttäjätunnusta. Testi voidaan suorittaa siten, että avataan yhteys, luodaan hakemisto AVAUSTESTI ja siirretään tänne yksittäinen AVAUSTESTI.TXT tiedosto, jonka sisältö on vapaamuotoinen. Onnistuneen siirron jälkeen siirretty tiedosto ja hakemisto tulee poistaa. 5. Aineiston poiminta ja valmistelu siirtokuntoon 5.1. Aineiston poiminta VAPAan siirrettävän aineiston on oltava ehyt ja valmis kokonaisuus, johon ei saa kohdistua muokkaus- tai päivittämistarpeita (esim. asian käsittely on päättynyt ja asiakirja on valmis). Määräajan säilytettäviä asiakirjoja ei siirretä VAPA-palveluun. Asiakirjallisen tiedon käsittelyprosessista (asia), joka sisältää poimintahetkellä myös määräajan säilytettäviä asiakirjoja, siirretään ainoastaan pysyvästi säilytettävät asiakirjat. Väliversioita samasta asiakirjasta ei siirretä. Arkistolaitoksen kanssa laadittavan VAPA-siirtosopimuksen liitteessä määritellään tarkemmin siirtosuunnitelma eli se mitä aineistoja organisaatio siirtää missäkin vaiheessa VAPAan. Aineiston poiminnan ehtoina ovat vähintään seuraavat (SÄHKE 9.1.8): Siirrettävien asiakirjojen säilytysajaksi on määritelty pysyvä Siirrettävät asiakirjat ovat valmiit, siten ettei niiden tietosisältöä tarvitse enää muokata siirtävässä järjestelmässä. Siirrettävien asioiden käsittely on päättynyt ja asiakirjat kuuluvat päätetyyn asiaan. Aineiston poimintaa varten on mahdollista antaa myös muita ehtoja. Aineisto on esimerkiksi mahdollista siirtää tehtäväryhmittäin muodostettuina pienempinä erinä, jolloin siirtäminen voi helpottaa muutoin tiedostokooltaan suureksi muodostuvan siirtopaketin käsittelyä ja siirtämistä. Pienin yksikkö siirrettävälle kokonaisuudelle on yksi asiakirjallisen tiedon käsittelyprosessi (asia).yksittäistä asiakirjaa ei voida siirtää ilman sen käsittelyyn liittyvää käsittelyprosessia (asiaa). Ne aineistot, jotka eivät täytä poimintahetkellä aineiston poiminnan ehtoja, tulee poimia siirrettäväksi myöhemmässä vaiheessa.

9 (26) Organisaation siirtokäytännön tulee huomioida se, ettei mitään pysyvään säilytykseen määrättyä aineistoa jää poiminnan ulkopuolelle ja siten kokonaan siirtämättä Asiakirjatiedostojen käsittely VAPAan siirretään vain pysyvästi säilytettävät asiakirjat ja näistä vain lopulliset versiot. SÄHKE2 mahdollistaa sen, että samasta asiakirjasta voidaan siirtää arkistolaitokseen jopa kolme eri tiedostomuotoa: pakollinen arkistomuoto pitkäaikaissäilytystä varten, eli PDF/A tai TIFF, usetype=arkisto natiivimuoto, jossa tiedosto on luotu, kuten Word DOC, usetype=natiivi näyttömuoto, esim. perus PDF. usetype= Julkaisu Asiakirjatiedon yhteydessä siirtotiedossa tulee esittää tiedoston käyttötapa: Natiivi, Julkaisu tai Arkisto Arkistomuotoiset asiakirjaformaatit Arkistomuotoisen asiakirjan tiedostomuodon tulee täyttää arkistolaitoksen vaatimukset siirtokelpoisesta formaatista.viimeistään siirtovaiheessa asiakirjoista tuotetaan arkistolaitoksen edellyttämät pitkäaikaissäilytysmuodot (SÄHKE ). On kuitenkin suositeltavaa tallentaa pitkäaikaissäilykseen kelpaava muoto mahdollisimman aikaisin. Käytännössä tämä voisi tapahtua asiakirjan tullessa valmiiksi jolloin sen tila olisi lukittu muutoksilta. Hyväksytyistä formaateista suositeltavia ovat: UTF- 8 (esim. XML-tiedostot) TIFF (rev 5 ja rev6) PDF/A-1b, myös PDF/A-1a hyväksytään. Arkistomuotoisen PDF -tiedoston muodostamisen yhteydessä ei saa käyttää salausta. Myös muiden PDF-security asetusten lisääminen, kuten tulostamisen esto, on kiellettyä. Niissä asiakirjoissa erityisesti, joissa on on merkityksellisiä värejä, tulee PDF:n muodostamisen yhteydessä huolehtia siitä, että käytetään riippumatonta ja yleisesti käytössä olevaa väriavaruutta, kuten CalGray, CalRGB. Lisäksi tulee varmistaa, että käytetyt fontit sisältyvät tiedostoon ja että niihin ei liity erillisiä käyttörajoituksia. Käytettyjen pakkausmenetelmien tulee olla häviöttömiä. Tiedostojen konversiomenetelmä arkistomuotoiseksi on hyvä varmistaa ennen järjestelmän tai konvertterin käyttöönottoa. Konvertoitujen tiedostojen tekninen validointi voidaan tehdä tätä varten tarkoitetuilla työkaluilla, esimerkiksi seuraavilla: DROID 1 on Britannian Kansallisarkiston kehittämä avoimeen lähdekoodiin perustuva tiedostomuodon tunnistus- ja validointityökalu.. 1

10 (26) JHOVE 2 on avoimeen lähdekoodiin perustuva Java-ohjelmointikielellä toteutettu tiedostomuodon validointityökalu. Asiakirjojen konvertoinnista tulee manuaalisesti varmistaa säännöllisesti pistokokein mm. seuraavien virhetilanteiden varalta: Virheellinen merkistömuunnos, joka tekee tiedostosta lukukelvottoman tai rikkoo osan merkeistä Rivin- tai kappaleenvaihtojen katoaminen tai lisääntyminen Puutteellinen resoluutio: teksti puuroutuu niin pahasti, että asiakirja ei ole luettavissa. Tarpeettoman korkea resoluutio tai värisyvyys, mikä kasvattaa tiedostot tarpeettoman suuriksi. Väreihin liittyvät virheet: värejä katoaa tai ne vääristyvät niin paljon, että luettavuus kärsii. Asemointiin liittyvät virheet: elementti peittää toisen; elementti ylittää sivun reunan ja osa jää kuvasta pois. Asiakirjoihin mahdollisesti sisältyneiden automaattisten makrojen vaikutus mm. päivämääräkenttiiin. Esim. luontipäivä ei saa muuttua konversiopäiväksi Natiivimuotoisten asiakirjaformaattien käsittely Pitkäaikaiseen säilytykseen hyväksyttyjen säilytysmuotojen lisäksi on mahdollista siirtää asiakirjat VAPA -palveluun myös alkuperäisessä muodossa (DOC, DOCX, ODF jne.). Tämä edellyttää sitä, että myös pitkäaikaissäilytysmuoto siirretään. Siinä tapauksessa, että kyseessä on organisaatioon PDF/A -muodossa saapunut asiakirja, jota käsitellään ko. muodossa, on se sellaisenaan arkistomuotoinen. Tässä tapauksessa se tulee merkitä Arkisto -muotoiseksi Julkaisumuotoisten asiakirjaformaattien käsittely Mikäli siirrettävään aineistoon liittyy tiedostomuoto, joka on erityisesti tarkoitettu aineiston julkaisemiseen tai tietopalvelukäyttöön, on se mahdollista merkitä siirron yhteydessä Julkaisu muotoiseksi. Esimerkiksi piirustus tai kartta, jonka natiivimuoto perustuu paikkatietoformaattiin, arkistomuoto on vastaavasti pakkaamaton TIFF-tiedosto ja julkaisu tapahtuu pakatussa JPEG-muodossa Asiakirjojen yksilöinti OID/URN -tunnuksella Asiakirjat tulee yksilöidä siten, että ne ovat yksiselitteisesti ja globaalisti tunnistettavissa ja erotettavissa muista asiakirjoista. Yksilöintiin suositellaan käytettävän ISO OID/URN -menetelmää. ISO OID (Object Identifier) on piste-erotelluista numerosarjoista koostuva yksilöintimenetelmä, joka mahdollistaa tieto-olioiden kansainvälisen yksilöinnin. Yksityiskohtaisempia tietoja ISO OID -tunnuksien muodostamisesta ja käytöstä saa julkisen hallinnon suosituksesta JHS 159 ISO OID-yksilöintitunnuksen soveltaminen julkishallinnossa 3. Siirtopaketteihin sisältyvät asiakirjat on yksilöitävä ja yksilöintitiedot on sisällytettävä metatietoihin. Tällöin asiakirjan ISO OID -tunnus on esitettävä URN

11 (26) muodossa. Tämä tapahtuu yksinkertaisesti liittämällä OID-tunnuksen eteen merkkijono urn:oid:. Esimerkki asiakirjan ISO OID -tunnuksesta: Esimerkki samasta tunnuksesta esitettynä URN-muodossa: urn:oid: Siirrettävien asiakirjatiedostojen nimeäminen Siirtoa varten sekä siirrettävien asiakirjojen, että siirtorakenteessa olevien hakemistojen tulee täyttää oheiset vaatimukset käytettävistä merkistöistä. Aktiiviaikana, eli organisaation omassa sisäisessä käytössä, voidaan myös kiellettyjä merkkejä käyttää sillä edellytyksellä että nämä merkit muunnetaan sallituiksi siirron yhteydessä. (esim. Ä -> A) VAPAan siirrettävien asiakirjatiedostojen nimissä on sallittu seuraavat merkit: a-z A-Z _. ( ) # välilyönti Tiedostonimen pituus on maksimissaan 256 merkkiä Siirrettävän aineiston kokorajoitteet tarkastetaan sahke.xml tiedoston koko, jos tiedosto on liian suuri tulee siirtokokonaisuus jakaa useammaksi siirtokokonaisuudeksi. Sahke.xml -tietotiedostojen (=SÄHKE-metatietojen) yhteenlaskettu koko ei saa ylittää 100MB Yksittäisen asiakirjatiedoston koko ei saa ylittää 2GB Siirtokokonaisuuden yhteenlaskelulle koolle ei ole rajoitteita. 6. Metatietojen siirtäminen 6.1. Metatietojen rakenne Siirtokokonaisuuden metatiedot jakaantuva seuraaviin osiin: Siirron metatiedot, jotka perustuvat palvelun käyttäjän ja arkistolaitoksen väliseen sopimukseen. Nämä metatiedot yksilöivät sekä siirtopaketin, että siirtäjän. Nämä tuotetaan siirtotoiminnon yhteydessä. Yhteystiedot: Nämä metatiedot sisältävät siirtoprosessiin liittyvin tahojen yhteystiedot, käytetään lähinnä virheselvittelyssä. Tiedot muodostetaan siirron yhteydessä. Aineiston metatiedot, Nämä metatiedot sisältävät sekä ryhmitteleviä rakenteita, että varsinaista sisältöä kuvaavia elementtejä, joiden avulla aineistoa hallitaan ja käytetään. Nämä metatiedot tulee muodostaa asiakirjallisen tiedon muodostumisen ja operatiivisen käsittelyn yhteydessä. Tämä prosessi on kuvattu SÄHKE2-määräyksen liitteessä Asiakirjallisten tietojen metatietojen tuottamisen periaatteet. Tässä ohjeessa oletetaan, että vähintään pakolliset metatiedot on

12 (26) muodostettu ja noudettavissa operatiivisista järjestelmistä, minkä vuoksi tämä ohje kuvaa ainoastaan sen miten nämä metatiedot esitetään SÄHKE2-skeeman mukaisessa siirtotiedostossa. Luettelo pakollisista metatiedoista sekä lyhyet kuvaukset metatietojen merkityksestä ja niille sallituista arvoista on SÄHKE2-määräyksen liitteessä SÄHKE2 - metatietomalli 4. Metatiedot tallennetaan siirtokokonaisuudessa Sahke1.xml tiedostossa, jonka tulee noudattaa SÄHKE2-siirtoskeeman mukaista rakennetta. Esimerkitt metatietoelementtien tallentamisesta XML-skeemaan on tämän ohjeen liitteessä Siirtopaketin yleiset metatiedot Siirron metatiedot (TransferInformation) Siirtopaketin muodostamisen yhteydessä annetaan metatietoja, jotka identifioivat siirtopaketin sekä siirtäjän. Lisäksi annetaan yhteyshenkilöiden metatietoja, joita voidaan käyttää mahdollisissa ongelmatapauksissa. Siirtokokonaisuuden identifiointitiedot (SÄHKE 6.1) Identifiointitunnus (NativeId): Yksilöi siirtokokonaisuuden ja erottaa sen muista saman organisaation lähettämistä siirtokokonaisuuksista. Identifiointitunnuksen muodostamiseksi voidaan käyttää OID-tunnusta.(SÄHKE 6.1.1) Nimeke (Title): Yksilöidään siirtävä järjestelmä. Tätä tunnusta käytetään siirtokokonaisuuden autenttisuuden todentamiseksi ja sen arvon tulee olla sama kuin mikä on ilmoitettu palvelun käyttöönottolomakkeessa. (SÄHKE 6.1.3): Siirto- ja säilytyssopimuksen tunnus (TransferContractId).Tähän tallennetaan arkistolaitoksen toimittama siirto- ja säilytyssopimuksen numero. Sopimusnumero on aina tietojärjestelmäkohtainen ja sitä käytetään vastaanoton yhteydessä yhtenä tarkistettavana tekijänä. (SÄHKE 6.1.4) Aineiston metatietojen skeema (SÄHKE 6.1.5) Tähän tallennetaan osoite, jota on käytetty siirrettävän aineison metatietojen validointiin Siirron yhteystiedot (ContactInformation) Kontaktitietoihin (SÄHKE 6.2) sisällytetään siirrosta vastaavan teknisen yhteyshenkilön tiedot. Arkistolaitoksen edustaja voi tarvittaessa ottaa yhteyttä tähän henkilöön, jos siirrossa on ongelmia. Kontaktitiedoissa ilmoitettuun sähköpostiin lähetetään automaattisesti viesti siirtoon liittyvistä mahdollisista virheistä. Organisaatio (SÄHKE 6.2.1) o Nimi (Name): Oganisaation nimeä käytetään vastaanoton yhteydessä yhtenä tarkistettavana tekijänä. (SÄHKE ) Kontaktihenkilö (SÄHKE 6.2.2) o Nimi (SÄHKE ): o Osoite (SÄHKE ) o Puhelinnumero (SÄHKE ) o Sähköpostiosoite (SÄHKE ) 4

13 (26) 6.3. Aineiston metatiedot Siirrettävän kokonaisuuden metatiedot koostuvat kunkin siirrettävän asiakirjallisen tiedon käsittelyprosessin metatiedoista, kuhunkin käsittelyprosessiin liittyvän toimenpiteen metatiedoista, jokaiseen toimenpiteeseen liittyvän asiakirjan metatiedoista, sekä jokaiseen asiakirjaan liittyvän tiedoston metatiedoista. Tehtävien, toimenpiteiden ja asiakirjojen metatiedot tulee muodostaa jo operatiivisen käytön yhteydessä. Tämä prosessi on kuvattu SÄHKE2-määräyksen liitteessä Asiakirjallisten tietojen metatietojen tuottamisen periaatteet 5. Tässä ohjeessa oletetaan, että vähintään pakolliset metatiedot on muodostettu ja noudettavissa operatiivisista järjestelmistä Asiakirjallisen tiedon käsittelyprosessin metatiedot Jokaisen siirtopakettiin liittyvän asiakirjallisen tiedon käsittelyprosessin metatiedot kuvataan solmussa CaseFile. katso Liite 1, esim. 1 Jokainen asiakirjallisen tiedon käsittelyprosessi yksilöidään ISO-OID -tunnuksella, joka muodostetaan esimerkiksi liittämällä käytetyn tiedostojärjestelmän OIDtunnuksen perään solmuluokka, jossa on esimerkiksi juokseva numero. Tämä tunnus sisällytetään kunkin asiakirjallisen tiedon käsittelyprosessin metatietoihin, solmuun CaseFile.NativeId. Tehtäväluokituksesta siirretään vain se osa, johon siirrettävät asiakirjat kuuluvat Toimenpiteen metatiedot Toimenpiteen metatiedot kuvataan solmussa CaseFile.Action. katso Liite 1, esim. 2 Action.Type -solmuun tulee toimenpiteen tyyppi. Käytetyt tyypit tulee määritellä työnkulkuja kuvattaessa. Asiakirjan metatiedot Asiakirjan metatiedot Asiakirjan metatiedot kuvataan CaseFile.Action.Record -solmussa. katso Liite 1, esim. 3 Jokainen asiakirja yksilöidään URN/OID -tunnuksella, kuten on kuvattu luvussa Record.Status -solmu saa arvon "valmis", koska arkistolaitoksen järjestelmiin siirretään asiakirjoja, joiden operatiivinen käyttö on päättynyt. Record.Function -solmu viittaa CaseFile.ClassificationScheme -kokonaisuuden alla esiintyvään FunctionCode-solmuun. Record.Type -solmu sisältää asiakirjatyypin Viittaukset asiakirjojen välillä Viittaukset asiakirjojen välillä kirjataan Record.RecordRelation -solmuihin. Viittaus tehdään URN/OID -tunnuksella. Kaksisuuntaisten viittausten semanttinen eheys tulee varmistaa. Toisin sanoen, jos asiakirjassa A mainitaan, että asiakirja B viittaa siihen, niin asiakirjasta A täytyy löytyä merkintä tästä viittauksesta: 5

14 (26) katso Liite 1, esim. 4 Viittauksia saa esiintyä myös siirtopaketin ulkopuolisiin asiakirjoihin. Tällöin kaksisuuntaisten viittauksien eheys tulee varmistaa pakettia muodostettaessa, koska sitä ei voi siirtotiedostoa tarkastelemalla tehdä Tiedostojen metatiedot Jos siirrettävä asiakirja on sähköinen, siihen liittyy yksi tai useampia tiedostoja. Tiedostojen metatiedot tulee pitää mahdollisimman yksinkertaisina: kaikki mahdollinen tiedostoihin liittyvä informaatio on parempi esittää asiakirjatasolla. Tiedostoja koskevat metatiedot liittyvät lähinnä tiedostomuotoihin ja tiedostojen sijaintiin siirtopaketissa. katso Liite 1, esim. 5 Tiedoston yksilöivä OID-tunnus (Document.NativeId) voidaan muodostaa liittämällä asiakirjan OID-tunnuksen perään pisteellä eroteltu juokseva numero. Tiedostopolku siirtopaketissa ilmaistaan suhteessa XML-siirtotiedoston sijaintiin. Siirtotiedosto sijaitsee siirtopaketin juuritasolla, jolloin polut viittavat tiedostorakenteessa syvemmällä oleviin tiedostoihin. Huom! absoluuttista osoitusta (kuten c:\materiaalit\siirto\aineistot\123\abc) ei saa käyttää Tiedoston formaatti ja formaatin versio ilmoitetaan kohdassa Document.Format.Name ja Document.Format.Version. Natiivimuodon osalta tiedostoformaatin ja version ilmaisevat tiedot ovat vapaamuotoisia ja luonteeltaan kuvailevia. Tiedoston hajautussumma ja siihen käytetty algoritmi ilmaistaan kohdissa Document.HashAlgorithm ja Document.HashValue. Sallitut hajautusalgoritmit ovat: Algoritmi Ilmaisutapa tiedostossa MD5 md5 SHA-1 sha1 SHA-256 sha256 Salattujen tiedostojen siirtämistä arkistolaitokseen ei suositella, ja siitä täytyy erikseen sopia. Jos sopimus sallii salattujen tiedostojen siirron, käytetty salausmenetelmä ilmaistaan solmussa Document.Encryption. Muussa tapauksessa solmu saa arvon "Ei salattu" Käyttöoikeuksiin liittyvät metatiedot Jos asiakirjan julkisuusluokaksi kohdassa Record.Restriction.PublicityClass on merkitty jokin muu kuin Julkinen, täytyy käyttöoikeudet kuvailla saman solmun lisämääreissä. katso Liite 1, esim. 6 On huomioitava, että järjestelmissä, joissa käyttöoikeuksien hallinta on politiikkaperusteista, SÄHKE2 -määräyksen mukaisesti yksilöityjen käyttöoikeuksien määrä saattaa nousta hyvin suureksi, mikä saattaa kasvattaa Restriction.AccessRight -solmujen lukumäärää hallitsemattomasti. Tällöin käyttöoikeuksien kuvailussa on syytä käyttää harkintaa, esimerkiksi kuvailemalla ainoastaan asiakirjan omistajan oikeudet.

15 (26) 7. Siirtopaketin allekirjoittaminen 7.1. Yleiskuvaus allekirjoittamisesta Aineiston siirtyminen ehyenä varmistetaan allekirjoittamalla digitaalisesti 6 siirtokokonaisuuden sahke1.xml metatietotiedostosta tai - tiedostoista lasketut tarkistesummat ja tallentamalla se/ne ja allekirjoitus varmiste.sig tiedostoon. Allekirjoittamisen avulla voidaan todentaa, että siirrettävään kokonaisuuteen sisältyvät tiedostot (metatiedot ja siinä viitatut asiakirjat) ovat siirtyneet vastaanottajalle siinä muodossa kuin lähettäjä on tarkoittanut ja että lähettäjä on kiistattomasti tunnistettu Hyödynnettävä varmenne Organisaatiolla voi olla useita henkilöitä, joilla on oikeus allekirjoittaa siirtokokonaisuus. Yhteen siirtokokonaisuuteen tarvitaan vain yksi allekirjoittaja. Paketin allekirjoittajana voi olla luonnollinen henkilö tai tietojärjestelmä, joka edustaa allekirjoittajaa. Digitaalisessa allekirjoituksen luonnissa käytetään salaista avainta ja vastaanoton alkuperän varmistamisessa siihen liittyvää julkista-avainta. Näistä julkisen avaimen tiedot tulee olla liitettynä varmenteeseen ja arkistolaitoksen saatavilla. Sen olisi hyvä olla luotettavan tahon myöntämä. Vastaanoton yhteydessä varmistetaan, että siirtokokonaisuuden allekirjoittajasta on tallennettu vastaava varmenne organisaation allekirjoittajien VAPA:n käyttäjätietoihin. (ks. luku 4.2 Palomuuriavaus) Salainen avain voi liittyä joko henkilövarmenteeseen a tai sovittuun järjestelmävarmenteeseen. Varmenteen soveltuvuus tulee varmistaa ennakkoon arkistolaitoksen VAPA-tuen kanssa. 6 Digitaalinen allekirjoitus ymmärretään sisältävän aina kryptograafisen toimenpiteen allekirjoitusta luotaessa, kun taas sähköinen allekirjoitus -terminä ei ota kantaa käytetäänkö kryptografiaa. Lähde: Tomi Voutilainen ICT-oikeus sähköisessä hallinnossa.

16 (26) 7.3. Varmiste.sig tiedosto Siirtokonaisuuden eheys ja alkuperä varmistetaan smime-standardin muotoisen varmiste.sig tiedostoston avulla. Tämä tiedosto sisältää viittauksen metatiedostoon/- tiedostoihin ja PKCS#7 digitaalisen allekirjoituksen. Yksinkertaisimmillaan tämä tiedosto ja siihen liittyvä allekirjoitus muodostetaan seuraavasti: o Aineiston metatietotiedostoista (sahke1.xml, sahke2.xml jne.) lasketaan tarkistesumma käyttäen SÄHKE2-määräyksessä sallitua (MD5, SHA-1, tai SHA-256) algoritmia Tarkistesumma(t) lisätään tekstitiedostoon siten, että jokaiselle riville kirjataan tiedoston hakemistopolku suhteessa siirtopaketin juureen, käytetty algoritmi ja tarkistesumma. Huom! Asiakirjatiedostoista vastaava tarkistesumma on metatiedosto(i)ssa sisällä, niitä ei ilmoiteta toistamiseen. Esimerkkinä kaikki yhdellä rivillä file://sahke1.xml:sha256: 3a0d0e7aef755eb273999cb873b532da4f39abe078f755e cfc35e0 Tekstitiedosto allekirjoitetaan PKCS#7-allekirjoituksella käyttäen salaista avainta ja sitä varmennetta, josta on sovittu arkistolaitoksen kanssa sopimusta tehtäessä. Uusi muodostunut tiedosto tallennetaan nimellä varmiste.sig. Merkistönä käytetään UTF-8:aa. Varmistetaan, että varmiste.sig tiedoston formaatti on s/mime. On huomioitava pkcs7 allekirjoitusosuus tuotetaan oikein sellaisesta tietosisällöstä, että kokonaisuus voidaan tarkistaa s/mime yhteensopivasti VAPA vastaanotossa. Tarkistesumman luonnissa käytetty algoritmi SÄHKE2-metatiedoston suhteellinen polku tiedostojärjestelmässä Yksi tarkistesummista. Siirtävän organisaation muodostama, joka varmistetaan VAPAssa. KUVA 2. Esimerkki tekstitiedostosta ennen digitaalista allekirjoittamisen suorittamista. Tarkistesumma on laskettu sha256sum välineellä erikseen ja liitetty SÄHKE2 määrityksen mukaiseen rakenteeseen. HUOM! Käytä vain suhteellista polkua (file:// ) ja oikean pienen/ison kirjainkoon viittausta SÄHKE2-metatiedostoon.

17 (26) Allekirjoitettu lopputulos Salainen avain (output) Allekirjoitettava tietosisältö (input) Allekirjoittajan julkinen varmenne KUVA 3. Esimerkkinä digitaalisen allekirjoituksen muodostaminen openssl työkalulla työkalun tarvitsemin parametrein käyttäen järjestelmävarmennetta ja siihen liittyvää salaista-avainta. Lopputuloksena on smime-muotoinen tiedosto, joka on nimetty varmiste.sig. MIME-Version: 1.0 Content-Type: multipart/signed; protocol="application/x-pkcs7-signature"; micalg=sha1; boundary=" ms " This is a cryptographically signed message in MIME format ms Content-Type: text/plain; charset=utf-8 Content-Transfer-Encoding: 8bit file://sahke1.xml:sha256:3a0d0e7aef755eb273999cb873b532da4f39abe078f755e cfc35e ms Content-Type: application/x-pkcs7-signature; name="smime.p7s" Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="smime.p7s" Content-Description: S/MIME Cryptographic Signature MIAGCSqGSIb3DQEHAqCAMIACAQExCzAJBgUrDgMCGgUAMIAGCSqGSIb3DQEHAQAAoIIMHDCC... 1eV1bBgsCggCqMRV2U23/NSOXk+IB3BHCU0osWlw6h3eCiDTnndSJQlYDxEAAAAAAAA= ms KUVA 4. Esimerkki lopullisesta smime muotoisesta varmiste.sig tiedoston sisällöstä valmiina odottamaan siirtoa. HUOM! Esimerkin PKCS#7 allekirjoituksesta on välistä tiputettu rivejä tilan säästämiseksi. Korostamalla merkitty osasta on laskettu pkcs#7 allekirjoitus.

18 (26) 7.4. Allekirjoituksen tuottaminen Seuraavat kappaleet ovat hyödyllisiä huomioida, jos varmiste.sig koko tietosisältö tuotetaan räätälöityä ohjelmakoodia hyödyntäen eikä käytetä valmista esim. openssl työkalua tai toimita edellä kuvattun ohjeistuksen mukaisesti. Toteutuksessa on kiinnitettävä, että PKCS#7 allekirjoituksen laskentaan sisällytetään rivinvaihtomerkit ja myös ne, jotka ovat otsikon ja file: rivien välillä. Tässä on lisäksi huomioitava virhetilanteen syntymisen mahdollisuus, jos tiedonsiirto tapahtuu epähuomiossa ASCII muodossa VAPA järjestelmään ja allekirjoitus tuotetaan Windows-ympäristössä. Toteutuksen ja tuotetun varmiste.sig tietosisällön yhteensopivuuden varmistamisessa on hyvä hyödyntää openssl työkalua seuraavasti: Allekirjoitettu lopputulos Varmenteeseen liittyvät varmentajat Allekirjoittajan varmenne KUVA 5. Esimerkki onnistuneesta smime-muotoisen varmiste.sig-tiedoston eheyden tarkistamisesta openssl-työkalulla. Onnistuneesta varmistuksesta annetaan Verification successful -ilmoitus. Epäonnistuneesta annetaan vastaavasti Verification failure. KUVA 5. Esimerkki epäonnistuneesta smime-muotoisen varmiste.sig -tiedoston eheyden tarkamisesta openssl-työkalulla. Väliin lisätty käsin ylimääräinen rivinvaihto.

19 (26) 8. Aineiston siirto 8.1. Aineiston sisäisen hakemistorakenteen muodostaminen Koottu aineisto järjestetään siirtokokonaisuudeksi siten, että jokaiselle siirrettävälle asiakirjallisen tiedon käsittelyprosessille (asialle) luodaan oma alihakemistonsa. Siirrettävät asiakirjatiedostot kootaan hakemistoon siten, että jokaista tiedostomuotoa varten luodaan oma hakemistonsa. Esimerkissä on siirtoa varten luotu hakemisto , sen alihakemistot sekä sen alla olevat tiedostot PDF DOC sahke1.xml sahke2.xml varmiste.sig SÄHKE-metatiedot sisältävät XML-tiedostot (metatiedostot) sijoitetaan siirtokokonaisuuden juureen. Yhdessä siirtokokonaisuudessa voi olla yksi tai useampi metatiedosto. Metatiedostot tulee nimetään siten, että ensimmäinen tiedosto on sahke1.xml -niminen, seuraava sahke2.xml jne.. Järjestysnumerojen välissä ei saa olla aukoja. Allekirjoitustiedosto sijoitetaan laatimisen jälkeen siirtopaketin juureen ja sille annetaan nimeksi varmiste.sig Siirtohakemistot Siirtokokonaisuus käsitellään yhtenä kokonaisuutena. Jokaista siirtokokonaisuutta varten luodaan oma alihakemisto päätason alaisuuteen. VAPA sulkee pääsyn siirtokokonaisuuteen siirron jälkeen sen käsittelyn ajaksi. Jos siirtokokonaisuuden käsittely päättyy virhetilanteeseen, niin alihakemistoa käytettäessä varmistetaan, että vain pääsy kyseiseen alihakemistoon estyy. Alihakemiston nimeämisessä voidaan käyttää esimerkiksi järjestelmän tunnistetta ja päivämäärää, jolloin siirto tehdään ja juoksevaa numeroa. Näin vikatilanteessa voidaan sama siirtokokonaisuus yrittää siirtää uudestaan Online-siirto SFTP-protokollan avulla Valmis siirtokokonaisuus siirretään arkistolaitoksen VAPA -palveluun ensisijaisesti online-siirtona VAPA -palvelun extranet -palveluun. Itse siirtotapahtumaan käytetään SFTP-protokollaa ja erillistä siirtosovellusta, joita on vapaasti saatavilla. Aineiston siirrossa käytetään käyttäjätunnus- ja salasana -paria siinä vaiheessa, kun käyttäjä ottaa yhteyttä SFTP-protokollaa hyödyntävän sovelluksen avulla VAPA:n

20 (26) vastaanottoliittymään. Siirtotunnukset ovat aina sopimuskohtaiset. Organisaatiolla on eri tunnukset VAPA:n tuotanto- ja testiympäristöihin. SFTP -protokollaa tukevat mm. Cyberduck 7, WinScp 8 ja FileZilla 9 -ohjelmistot, joista ensimmäinen on suunnattu erityisesti Mac OS X -käyttäjille ja WinScp Windows-ympäristöihin. FileZilla tarjoaa graafisen käyttöliittymätuen Windows, Mac OS X ja GNU/Linux -ympäristöihin. Graafisten ohjelmistojen lisäksi on vaihtoehtoisesti tarjolla myös tekstipohjaisia käyttöliittymiä, joilla voidaan siirtoja automatisoida valmiiksi työnkuluiksi. Aineiston siirron tulee tapahtua määrätyssä järjestyksessä: Ensin siirretään varsinaiset asiakirjatiedostot. Seuraavaksi siirretään aineiston metatiedot eli sahke-alkuiset XML-muotoiset tekstitiedostot. Viimeisenä siirretään varmiste.sig -tiedosto. On huomioitava se, että myös sähke1.xml ja varmiste.sig tulee siirtää binäärisenä eikä tekstimuotoisena, mikä varmistaa allekirjoituksen sekä eheystarkisteiden häiriöttömän siirron. Tämä viimeisen tiedoston siirto sinetöi tiedostojen siirron ja VAPA:n automaattinen vastaanottoprosessi käynnistyy. Prosessin käynnistyessä vastaanottava järjestelmä estää pääsyn tiedostoihin ja tarvittaessa katkaisee automaattisesti siirtoyhteyden. Tämän vuoksi varmiste.sig -tiedosto saadaan lähettää vasta siinä vaiheessa, kun on varmistuttu siitä, että koko muu aineisto on siirtynyt siirtohakemistoon Aineiston Off-line siirto Siirto on mahdollista erityistapauksissa toteuttaa myös poikkeustapauksissa käyttäen fyysisiä siirtomedioita, kuten DVD-ROM- tai USB-muistivälineitä. Tästä siirtotavasta on aina erikseen sovittava arkistolaitoksen kanssa. Off-line -siirto voi tulla käytännössä harkittavaksi niissä tapauksissa, joissa aineiston siirto On-line -tekniikalla ei joko teknisistä tai aineiston turvaamiseen liittyvistä syistä ole mahdollista. Siirtomediaa valmistellessa on huomioitava: Optisen median sulkeminen. Medialle ei tule jättää avoimia sessioita. Siirrettävän kiintolevyn tiedostojärjestelmä. Suositeltuja järjestelmiä ovat NTFS ja FAT32 (pienille medioille) 8.5. Siirtopaketin salaus ja pakkaaminen Siirtopaketti on mahdollista erikseen salata siirtoa varten, mikäli aineisto siirretään fyysisillä tallennusmedioilla ja mikäli tästä on erikseen arkistolaitoksen kanssa sovittu. VAPA -palvelun extranet-palvelussa käytetään SFTP (SSH File Transfer Protocol) -protokollaa, jonka avulla tiedostoja voidaan kopioida koneelta toiselle SSH -protokollan yli. Tämä suojaus riittää varmistamaan aineiston turvallisen välittämisen