Siirtotiedoston tekninen koulutus

Transkriptio

1 Siirtotiedoston tekninen koulutus Mikko Eräkaski Markus Merenmies

2 Käsiteltäviä aihealueita Siirron yleiskuva ja vastaanoton periaatteet Sähke2-metatietomalli ja -skeema Pitkäaikaissäilytettävien tiedostomuotojen käsittely ja laadunvarmistus Varmenteiden käyttö (varmiste.sig) Verkkoyhteydet ja tiedonsiirto Siirtojen onnistumisen seuranta ja siirron paluukanavan hyödyntäminen Aineiston VIRPA-käyttö: yleiskuvaus ja tekninen käyttötapa Arkistolaitoksen tarjoamat siirtämisen tukipalvelut sekä ohjeistus

3 Siirron yleiskuva ja vastaanoton periaatteet

4 Siirron periaatteet 1) Luottamuksen ehyt ketju 2) Siirrettävän aineiston poiminta järjestelmästä mahdollisuus määrittää kriteerit 3) Itse siirto ei edellytä merkittävää valmistelua 4) Automaattinen tiedonsiirto järjestelmien välillä 5) Automaattinen vastaanottoprosessi VAPAssa

5 Asiakirjat Tiedostot SAHKE-metatiedot sahke1.xml Allekirjoitus Varmiste.sig Mitä siirretään?

6 Siirrettävän aineiston kriteerejä VÄHIMMÄISVAATIMUKSET: Käsittelyprosessi / asia tulee olla päättynyt Tehtävään liittyvät pysyvästi säilytettävät asiakirjat on merkitty valmis Tiedostojen tulee olla hyväksyttyjä formaatteja Pakolliset SÄHKE2-metatiedot Aineistoa ei ole aikaisemmin siirretty VAPA muistaa aineiston yksilöivät tunnisteet MITÄ VOIDAAN SIIRTÄÄ: Natiivimuodot tiedostoista Muita metatietoja (custom metadata)

7 Siirron toimintaperiaate Tietojärjestelmien välinen tiedonsiirto VAPA-palvelu mahdollistaa siirtojen automatisoinnin järjestelmien välillä Siirtävä tietojärjestelmä SIIRTO Vastaanotto Kuittaus siirrosta Paluuraportti Siirtokokonaisuuden koko on vapaasti määriteltävissä Pienin mahdollinen siirtokokonaisuus on yksi (1) asia VAPA-palvelu

8 Miten aineisto järjestäytyy VAPAssa? VAPA TEHTÄVÄLUOKITUS PÄÄTEHTÄVÄ TEHTÄVÄ ALATEHTÄVÄ Asia 1 Asia 2 Asia 3 ALATEHTÄVÄ Asia 1 Asia 2 Asia 3 Asia 4 PÄÄTEHTÄVÄ SIIRROT SIIRTO 1. ALATEHTÄVÄ Asia 1 Asia 2 ALATEHTÄVÄ Asia 1 Asia 2 SIIRTO 2. ALATEHTÄVÄ Asia 13 ALATEHTÄVÄ Asia 3 Asia 4 Aineisto ei järjesty VAPAssa siirtokokonaisuuden mukaan, vaan tehtäväluokan mukaan Tehtäväluokalle voidaan siirtää aineistoa vaiheittain. Yksi asia on siirrettävä aina kerrallaan

9 Vastaanotto tarkistaa saapuvan aineiston Tavoitteena automatisoitu ja luotettava siirtoprosessi. VAPA suorittaa siirrettävälle aineistolle automaattisia teknisiä tarkistuksia Virustarkistus Allekirjoitus (varmiste.sig) Pakolliset SÄHKE2-metatiedot Tiedostojen ja kokonaisuuden eheys Jos vastaanoton tarkistuksissa tapahtuu virhe, hylätään koko paketti

10 Siirron jälkeen Siirtävälle taholle VAPA-raportointiliittymä siirtojen seuranta virheraportit aineiston kertymäraportit Siirron jälkeen: alkuperäinen aineisto VAPAssa, siirtävän organisaation järjestelmässä olevat asiakirjatiedot katsotaan kopioiksi siirrettyjen asiakirjatietojen tilatiedoksi tulee tietojärjestelmässä siirretty

11 Sähke2- metatietomalli

12 Metatietojen siirto Sahke.xml -tietotiedostojen (=SÄHKE-metatietojen) yhteenlaskettu koko ei saa ylittää 100MB XML-skeeman mukainen rakenne Arvojoukot ja elementtien nimet sekä suhteet ja toisteellisuuden Tukee organisaation omaa laadunvarmistusta

13 SAHKE1.XML Digitaalinen rahtikirja TransferInformation Sopimustiedot Todentaa osaltaan siirtävän osapuolen ContactInformation Siirtoon liittyviä yhteystietoja CaseFile Toistuva elementti, jossa alirakenteita Siirrettävän aineiston metatiedot

14 Transfer information Elementti NativeID Title TransferContractId MetadataSchema Kuvaus ja käyttötarve Yksilöi siirtokokonaisuuden ja erottaa sen muista saman organisaation lähettämistä siirtokokonaisuuksista. Identifiointitunnuksen muodostamiseksi voidaan käyttää OID-tunnusta.(SÄHKE 6.1.1) Yksilöidään siirtävä järjestelmä. Tätä tunnusta käytetään siirtokokonaisuuden autenttisuuden todentamiseksi ja sen arvon tulee olla sama kuin mikä on ilmoitettu palvelun käyttöönottolomakkeessa. Tähän tallennetaan arkistolaitoksen kanssa laaditun siirto- ja säilytyssopimuksen numero. Sopimusnumero on aina tietojärjestelmäkohtainen ja sitä käytetään vastaanoton yhteydessä yhtenä tarkistettavana tekijänä. Informatiivinen, ei käytetä tarkistuksiin.

15 ContactInformation Elementti Organisation.Name ContactPerson.Name ContactPerson.Address ContactPerson.PhoneNumber ContactPerson. Kuvaus ja käyttötarve Kontaktitietoihin (SÄHKE 6.2) sisällytetään siirrosta vastaavan teknisen yhteyshenkilön tiedot. Arkistolaitoksen edustaja voi tarvittaessa ottaa yhteyttä tähän henkilöön, jos siirrossa on ongelmia.

16 CaseFile, eli itse aineisto CaseFile: Käsittelyprosessi Action: Prosessiin liittyvä toimenpide Record: Asiakirja Document: Asiakirjaan liittyvä tiedosto

17 CaseFile Elementti Created NativeId Language Restriction Title RetentionPeriod RetentionReason Status ClassificationScheme. MainFunction Function agent Action Kuvaus ja käyttötarve Avattu/laadittu Yksilöivä tunnus. Kieli (2.4) 2 merkkiä, SFS-ISO standardi Rajoitus (myös julkinen) Nimeke -1 on pysyvä säilytys Määräys tai laki, johon pysyvä säilytys perustuu Tila (valmis) Tehtäväluokituksen päätehtävä Tehtävä Toimija Toimenpiteen metatiedot (oma kokonaisuus)

18 CaseFile - esimerkki Elementti esimerkki Created NativeId Language Restriction Title urn:oid: Fi RetentionPeriod -1 RetentionReason Status PublicityClass = julkinen PersonalData = sisältää henkilötietoja Henkilöstötilinpäätös AL/12345/ /2008 Ratkaistu Function agent Role = Kirjaaja Name = Kalle

19 Action Elementti Created Title Agent.role Agent.name Type Record Kuvaus ja käyttötarve Laadittu. Pvm ei saa olla aiempi kuin CaseFile:n vastaava elementti. Nimeke Toimijan rooli (esim. kirjaaja) Toimijan nimi Toimenpiteen tyyppi (esim. valmistelu) Toimenpiteeseen liittyvät asiakirjat (ei pakollinen)

20 Record Elementti Kuvaus ja käyttötarve Created Avattu/laadittu NativeId Yksilöivä tunnus. Language Kieli (2.4) 2 merkkiä, SFS-ISO standardi Restriction Rajoitus (myös julkinen) Title Nimeke RetentionPeriod -1 on pysyvä säilytys RetentionReason Määräys tai laki, johon pysyvä säilytys perustuu Status Tila (valmis) Function Tehtävä Type Asiakirjan tyyppi, esim. lausunto, päätös, hakemus Authenticity Asiakirjan alkuperäisyys ja eheys todettu (4.2) Document Tiedoston metatiedot (oma kokonaisuus)

21 Record - esimerkki Elementti Status Esimerkki Valmis Function Type Authenticity Päätös Checker = Kirjaamo Date = Description = Todettu allekirjoituksesta

22 Document Elementti NativeId UseType File.name File.Path Format.name Format.version HashAlgoritm HashValue Kuvaus ja käyttötarve Yksilöivä tunnus. Käyttötarkoitus: Arkisto, Natiivi, Julkaisu Tiedoston nimi Tiedostopolku siirtopaketissa ilmaistaan suhteessa XML-siirtotiedoston sijaintiin. Informativinen Informativinen Eheystunnisteen algoritmi: md5, sha1, sha256 Eheystunnisteen arvo

23 Document esimerkki

24 Yksilöinti - NativeID Prosessin, asiakirjan ja tiedoston yksilöinti Yksiselitteinen ja globaalisti tunnistettavissa Käytännössä siirtäjäkohtaisesti uniikki yksilöinti Yksilöinti hierarkian eri tasoille tarkentuen Suositellaan OID:n käyttöä (JHS 159 ISO OIDyksilöintitunnuksen soveltaminen julkishallinnossa) Tunnistetta käytetään aineiston noutamisen tukemiseksi. (VIRPA-käyttö)

25 Validointi

26 XML-validointi Käyttökelpoisen XML-tiedoston täytyy olla joko oikein muodostettu (well-formed) tai oikeellinen eli validi (valid) Oikein muodostettu täyttää XML-kielen muotomääritykset siten, että esimerkiksi jokaisella merkinnällä (tag) on vastaava loppumerkintä. Oikeellisen dokumentin rakenne tarkastetaan dokumenttityypin mukaisesti. Dokumenttityyppi määrää mm. mitä elementtejä voi käyttää dokumentissa. Se määrää myös mitkä elementit saavat sijaita minkäkin elementin sisällä ja mitä attribuutteja kuuluu millekin elementille.

27 Validointi työkaluna Tarkistaa, että pakolliset elementit ovat mukana Arvoluettelot, kuten ei sisällä henkilötietoja ja näiden tarkan kirjoitusasun Ennakkovalidointi säästä työtä ja selvittelyn ongelmia kaikilta osapuolilta

28 Skeemaviittaukset <s2:metadata xmlns:xsi=" xmlns:s2=" xsi:schemalocation=" <s2:metadataschema> </narc:metadataschema>

29 Pitkäaikaissäilytettävien tiedostomuotojen käsittely ja laadunvarmistus

30 Asiakirjat siirtokuntoon Konvertointi sp-muotoon mahdollisimman aikaisin Tiedostojen nimeäminen ohjeiden mukaisesti Natiivimuodot Eivät yksin kelpaa säilytykseen Pitkäaikaissäilytyksen muodot PDF/A-1b, myös PDF/A-1a UTF8 (XML) TIFF (rev 5 ja rev6), säilyttävät hyvin ilmiasun Ei saa olla linkkejä tai riippuvuutta ulkoisista elementeistä. Fonttien yms. Käytettävyyden varmistaminen

31 Tiedostojen nimeäminen VAPAan siirrettävien asiakirjatiedostojen nimissä on sallittu seuraavat merkit: a-z A-Z _. ( ) # välilyönti Tiedostonimen pituus on maksimissaan 256 merkkiä. Yksittäisen asiakirjatiedoston koko ei saa ylittää 2GB

32 Siirrettävät asiakirjat Arkistolaitoksen VAPA -palveluun siirretään vain pysyvästi säilytettävät asiakirjat ja näistä vain lopulliset versiot. Väliversioita samasta asiakirjasta ei siirretä. Asiakirjatiedon yhteydessä siirtotiedossa tulee esittää tiedoston käyttötapa: Natiivi, Julkaisu tai Arkisto. <s2:usetype>arkisto</s2:usetype> <s2:file> <s2:name>f pdf</s2:name> <s2:path> \pdf\f pdf</s2:path> </s2:file>

33 Auditointointikriteerit Formaattien hallinta Onko organisaatiossa ohjeistettu käyttämään käsittelyprosessissa vain sellaisia tiedostomuotoja, jotka voidaan konvertoida arkistolaitoksen edellyttämiin pitkäaikaissäilytyksen muotoihin? Ovatko siirrettävien pysyvästi säilytettävien asiakirjojen tiedostomuodot joko PDF/A tai TIFF?

34 Formaattien hallinta Formaattikirjasto (Pronom) Tunnistaminen (droid) Sisäisten tunnisteiden avulla selvittää mikä formaatti on kyseessä Karakteristointi Määrittää ne ominaisuudet, jotka halutaan säilyvän Preservation Plan (Plato)

35 DROID DROID (Digital Record Object Identification) is a software tool to perform automated batch identification of file formats. It is designed to meet the fundamental requirement of any digital repository to be able to identify the precise format of all stored digital objects, and to link that identification to a central registry of technical information about that format and its dependencies. It uses internal and external signatures to identify and report the specific file format versions of digital files. These signatures are stored in an XML signature file, generated from information recorded in the PRONOM technical registry. New and updated signatures are regularly added to PRONOM, and DROID can be configured to automatically download updated signature files from the PRONOM Web site via Web services

36 Eheystarkiste Lasketaan asiakirjatiedostoista Varmistaa tiedoston muuttumattomuuden Laskenta järjestelmän tai siirto-osion toimesta Algoritmi MD5 SHA-1 SHA-256 merkintä md5 sha1 sha256

37 Työkaluja md5sum Droid Komentorivipohjainen työkalu *xml > tiedostot.md5 Graafinen käyttöliittymä, myös komentorivi Vain md5

38 1) Tiedostoista lasketaan eheystarkisteet 2) Tiedostojen eheystarkiste tallennetaan aineiston metatietoihin 3) Metatieto tiedostoista lasketaan myös eheystarkisteet, jotka tallennetaan varmiste.sig tiedostoon 4) Varmiste.sig allekirjoitetaan sähköisesti

39 Varmenteiden käyttö (varmiste.sig)

40 Todistusvoimaisuuden synty Digitaalisessa muodossa syntyneet asiakirjat on muodostettu hallitussa prosessissa siten, että prosessin vaiheet on todennettavissa. Tietojärjestelmän ominaisuudet tukevat aineiston tietoturvallista käsittelyä ja estävät oikeudettoman tietojen muuttamisen tai poiston Asiakirja-aineisto voidaan siirtää arkistoon siten, että siirron eheys ja siirtäjä voidaan todentaa

41 Siirtokokonaisuuden allekirjoitus Varmistaa aineiston siirtäjän sekä eheyden Allekirjoitetaan vain metatiedot Asiakirjojen eheystarkiste on metatiedoissa mukana Joko henkilö tai järjestelmävarmenne, sovittava VAPA-tuen kanssa Paketin allekirjoittajana voi olla luonnollinen henkilö tai tietojärjestelmä, joka edustaa allekirjoittajaa. Allekirjoitus tallentuu varmiste.sig tiedostoon

42 Allekirjoittaminen Manuaalinen vaihe siirtopaketin kokoamisen jälkeen. varmistutaan lähettäjästä Luodaan varmiste.sig tiedosto Sisältää eheystarkisteet metatiedoista, eli SAHKE1.XML tiedosto, ei muista tiedostoista Pkcs7 muotoinen allekirjoitus, joka varmistaa metatietojen eheystarkisteet

43 Varmenteen todentaminen openssl x509 -in <sertifikaattitiedosto> -text Myöntäjä Kenelle tehty Itse sisältö openssl x509 -in <sertifikaattitiedosto> -purpose käyttötarkoitukset "Kyllä" oltava väh. seuraavissa: S/MIME signing Any Purpose Any Purpose CA OCSP Helper

44 Siirtävä järjestelmä meta doc 1) Tiedostoista lasketaan eheystarkisteet Siirtokokonaisuus Sähke.xml <File> <Meta> Varmiste.sig mdsum (sähke.xml) Signature (PKCS#7) ref md5 2) Tiedostojen eheystarkiste tallennetaan aineiston metatietoihin 3) Metatieto tiedostoista lasketaan myös eheystarkisteet, jotka tallennetaan varmiste.sig tiedostoon 4) Varmiste.sig allekirjoitetaan sähköisesti

45 Verkkoyhteydet ja SFTP-tiedonsiirto

46 Aineiston siirto Suojattu tiedonsiirto palvelimelta toiselle VAPA suorittaa siirrettävälle aineistolle automaattisia teknisiä tarkistuksia Jos vastaanoton tarkistuksissa tapahtuu virhe, siirto keskeytyy ja se on aloitettava alusta Siirtävälle taholle VAPA-extranetin raportointipalvelu siirtojen seuranta virheraportit aineiston kertymäraportit Siirron jälkeen: alkuperäinen asiakirja VAPAssa, siirtävän organisaation järjestelmässä olevat asiakirjat katsotaan kopioiksi Siirrettyjen asiakirjojen ja käsittelyprosessien tilatiedoksi tulee tietojärjestelmässä siirretty

47 Hallinnolliset toimet Siirtotunnukset 1 tunnus / ympäristö / org Raportointikäyttäjien ilmoittaminen Palomuuriavaukset Testi ja tuotanto Testiympäristön määräaikainen käyttö Testauspalvelun käyttö osana sähköisen säilyttämisen lupaa

48 Siirron tekninen toteutus SFTP yhteys tähän soveltuvalla clientillä Kokonaisuuden siirto, joko kerralla tai osissa. Tulee olla binääri-muodossa (ei tekstimuodossa) Viimeisenä triggerinä varmiste.sig

49 Siirron virheilmoitukset Allekirjoitus tehtävä aina viimeisenä jos tietosisältöä muutetaan allekirjoituksen jälkeen, niin pakettia ei hyväksytä Samaa aineistoa voi luovuttaa vain kerran. Jos aineisto on VAPA:ssa ja sinne yritetään tuoda samaa aineistoa uudelleen, tulee virheilmoitus dublikaatista. Tarkistus identifiointitunnuksesta. Onnistuneesta tai epäonnistuneesta siirrosta tulee sähköpostiin ilmoitus

50 Palomuuriavaukset VAPA-tuelta lomake, jolla kohdejärjestelmän IPosoitteet. Tällä ilmoitetaan myös lähdejärjestelmän osoitteet Käytetyt portit SFTP 115, HTTP 80, FTP 20 ja 21 Liikennöintisuunta siten että yhteyden avaus aina siirtäjän suunnasta Yhteydet pääsääntöisesti: testi-testi ja tuotantotuotanto Teknisesti siirtävä järjestelmä voi olla sellainen, joka kyetään verkkoteknisesti yksilöimään ja luomaan palomuuriyhteys Yhteyksien luomiseen varattava aikaa noin 1-2 vko

51 SFTP client sovelluksista Tiedostojen siirtämiseen tarkoitettuja sovelluksia Rajapinta mahdollista rakentaa myös operatiiviseen järjestelmään Soveltuvia järjestelmiä mm. Cyberduck WinScp FileZilla Siirtotoiminto mahdollista osin automatisoida työkalun avulla Edellytyksenä kyky binäärimuotoiseen siirtoon.

52 Siirtotapahtuma Siirretään ensin aineistopaketti metatiedot ja asiakirja tiedostot Kun muu aineisto on siirtynyt, siirretään allekirjoitus (varmiste.sig) binäärisenä

53 Siirtohakemistot aineistossa Koottu aineisto järjestetään siirtokokonaisuudeksi siten, että jokaiselle siirrettävälle asiakirjallisen tiedon käsittelyprosessille (asialle) luodaan oma alihakemistonsa. Siirrettävät asiakirjatiedostot kootaan hakemistoon siten, että jokaista tiedostomuotoa varten luodaan oma hakemistonsa. SÄHKE-metatiedot sisältävät XMLtiedostot (metatiedostot) sijoitetaan siirtokokonaisuuden juureen

54 Siirtohakemistot VAPA:ssa Siirtokokonaisuus käsitellään yhtenä kokonaisuutena. Jokaista siirtokokonaisuutta varten luodaan oma alihakemisto päätason alaisuuteen. VAPA sulkee pääsyn siirtokokonaisuuteen siirron jälkeen sen käsittelyn ajaksi. Jos siirtokokonaisuuden käsittely päättyy virhetilanteeseen, niin alihakemistoa käytettäessä varmistetaan, että vain pääsy kyseiseen alihakemistoon estyy. Alihakemiston nimeämisessä voidaan käyttää esimerkiksi järjestelmän tunnistetta ja päivämäärää,

55 Siirtokokonaisuuden paketointi Hakemistorakenne, jossa metatiedoista on viittaukset asiakirja tiedostoihin. Huom! Suhteellinen viittaus suhteessa metatietoihin EI: c:\siirto\aineistot\123\abc KYLLÄ: \123\abc

56 Aineiston tekninen siirto Käyttäjätunnukset sopimuksen teon yhteydessä Suojattu tiedonsiirto palvelimelta toiselle SFTP-protokollalla Palomuuriavaukset tilattava etukäteen SFTP-client sovelluksia vapaasti saatavilla

57 Siirtojen onnistumisen seuranta ja siirron paluukanavan hyödyntäminen

58 Aineiston vastaanotto VAPA suorittaa siirrettävälle aineistolle automaattisia teknisiä tarkistuksia Virustarkistus Allekirjoitus (varmiste.sig) Sopimustiedot XML:n rakenteen oikeellisuus Tiedostojen ja kokonaisuuden eheys Arvojoukot Jos vastaanoton tarkistuksissa tapahtuu virhe, hylätään koko paketti Tavoitteena automatisoitu ja luotettava siirtoprosessi.

59 Siirron jälkeen alkuperäinen asiakirja on tämän jälkeen VAPAssa siirtävän organisaation järjestelmässä olevat asiakirjat katsotaan kopioiksi Aineisto tulee merkitä siirretyksi Hallintaoikeus ja velvollisuus säilyy vielä siirtäjällä, kunnes aineisto luovutetaan Siirretyn oman aineiston käyttö mahdollista VIRPA-rajapinnan kautta

60 Siirron paluukanava Kaikista siirtoyrityksistä tulee raportti siirtäjälle, joka kertoo siirron tilan Paluukanavan avulla muodostetaan koneellisesti luettava siirtoraportti, joka mahdollistaa siirron jälkeisen tilatiedon automaattisen päivittymisen siirtävässä järjestelmässä tukee parhaiten käyttötapaa, jossa siirtoja tapahtuu usein ja lyhyellä siirtosyklillä Käytettävissä samoin kuin VIRPA-rajapinta

61 Paluusanoma Paluuraportti on suoritetun siirron tilasta VAPAssa tuotettu XML-muotoinen raportti, jonka sisällön kutsuva järjestelmä tulkitsee. Kutsu perustuu siirretyn aineiston tunnukseen Sanomapohjainen tunnistaminen (käyttäjätunnus ja salasana) osoite].narc.fi/ DeliveryService/ReportDownload?ingestID=[s2:Transfe rinformation/s2:nativeid ] Kutsun otsikkotiedoissa on esitettävä iplanetdirectorypro eväste ja sen arvona session luonnissa saatu token.id:n arvo.

62 Vastauksen tulkinta <rep:report xmlns:rep=" <rep:ingeststatus>success</rep:ingeststatus> <rep:transferid> /rep:transferid> Raportti sisältää vastaanoton työnkulun raporttitiedon XMLmuodossa, josta mahdolliset virheet on löydettävissä

63 Siirtotoiminnallisuuksien auditointi

64 Onko järjestelmässä toiminnot, joiden avulla siirrettävät asiakirjatiedostot konvertoidaan arkistolaitoksen vaatimusten mukaisiin tiedostomuotoihin, kuten PDF/A ja TIFF Vaatimus tulee todentaa pistokokein aineistosta, jossa on eri formaateissa olevaa aineistoa ja siirtokokonaisuuden lopputuloksesta tarkistetaan konvertoitujen asiakirjatiedostojen tyypit ja näiden konversioiden onnistuminen.

65 Onko järjestelmässä toiminnot, joiden avulla siirtokokonaisuus muodostuu sellaiseen hakemistorakenteeseen, että se on siirrettävissä yhtenä yhtenäisenä kokonaisuutena VAPApalveluun. Todennetaan arvioimalla muodostunutta hakemistorakennetta siten, että se ei sisällä siirtokokonaisuuteen kuulumattomia tiedostoja ja että siirrettävät tiedostot ovat helposti siirrettävissä.

66 Onko järjestelmässä toiminnot, joiden avulla siirrettäväksi tarkoitettu aineisto voidaan poimia järjestelmästä, joko erinä tai käsittelyprosessi kerrallaan. Onko järjestelmässä toiminnot, joiden avulla siirrettäväksi tarkoitettu aineisto merkitään poimituksi sen jälkeen kun aineisto on otettu osaksi siirrettävää kokonaisuutta? Onko järjestelmässä toiminnot, joiden avulla epäonnistuneen siirron jälkeen siirrettäväksi poimittu aineisto voidaan palauttaa poimintaa edeltävään tilaan ei poimittu.

67 Aineiston VIRPA-käyttö: yleiskuvaus ja tekninen käyttötapa

68 Periaate Aineiston suorakäyttörajapinta (VIRPA) tarjoaa organisaatiolle mahdollisuuden noutaa VAPAan siirtämiään aineistoja NativeID:n avulla

69 Palvelun kuvaus aineiston nouto edellyttää, että aineiston aineiston identifiointitunnuksia mahdollistaa vain aineiston noudon VAPA-järjestelmästä, ei aneiston palauttamista takaisin VAPAan tai aineiston muokkaamista. VIRPA-rajapinta ei sisällä erillisiähakutoiminnallisuuksia tai näiden tukea. haettavan aineiston käyttöoikeudet perustuvat kutsuvan järjestelmän omaan käyttäjä- ja käyttöoikeushallintaan.

70 Hakutavat VIRPA-rajapinta noutaa pyydetyn aineiston kutsuvalle järjestelmälle ZIP-pakettina, joka sisältää sekä pyydetyn asiakirjatiedoston että siihen liittyvät metatiedot. Kutsuvan järjestelmän vastuulla on esittää nämä tiedot vastaanottajalle. Aineistoa voidaan hakea joko sykronisesti tai asynkronisesti. synkronisessa haussa paluusanoma sisältää suoraan pyydetyn aineiston asynkronisessa haussa paluusanoma sisältää linkin osoitteeseen, josta aineisto on myöhemmin haettavissa.

71 Arkistolaitoksen tarjoamat siirtämisen tukipalvelut sekä ohjeistus

72 VAPA-tuki Siirtoon liittyvät käytännön järjestelyt Palomuuriavaukset Siirtäjän alustukset VAPAssa Tunnusten myöntäminen Virheilmoitusten tulkinta ja ongelmien selvittäminen On aina ensimmäinen yhteydenottopiste siirtoon liittyvissä teknisissä kysymyksissä Kanavoi tukipyynnöt eteenpäin tarvittaessa

73 VAPA-siirtotestaus Varmistutaan siirtokokonaisuuden rakenteellisesta oikeellisuudesta Nähdään siirtopaketin sisällöllinen oikeellisuus Suoritetaan kun on uusi VAPA-palveluun liittyvä järjestelmä tai jos järjestelmän siirtotoiminnallisuuteen on tehty merkittäviä muutoksia. Edellyttää organisaation itse tuottamaa testiaineistoa Sovellusta tai järjestelmää, jonka avulla siirtokokonaisuus voidaan siirtää testijärjestelmään. Sähköisen säilyttämisen luvan edellytys on testauksella todennettu siirtotoiminnallisuus

74 Testit Automaattisesti Metatietorakenteen XML-rakenne Asiakirjatiedostojen formaattien määritystenmukaisuus Eheystarkisteet ja allekirjoitus Manuaalisesti SÄHKE2-metatietojen käyttö Konversioiden käytettävyys

75 Siirtotestauksen vaiheet 1/2 nro. Kuvaus toimenpiteistä 1. Siirtoyhteyden muodostaminen - Palomuuriavausten ja allekirjoittajan tietojen toimittaminen VAPA-tuelle - VAPA-tuki toimittaa siirtotunnukset 2. Siirtoyhteyden testaus - Siirtäjä testaa yhteyden toimivuuden 3. Testaus 1-vaihe: siirron läpimeno Siirtotestaus aloitetaan pienellä aineistolla, jotta mahdolliset virheet on helppo korjata (esim. yksi asia ja pari asiakirjaa). dokumentaatio / ohje Siirto-ohje Siirto-ohje Siirto-ohje Siirtotestauksen ohje Ensimmäinen versio siirtokokonaisuudesta voidaan lähettää myös s-postilla.

76 Siirtotestauksen vaiheet 2/2 nro. Kuvaus toimenpiteistä dokumentaatio / ohje 4. Testaus 2-vaihe: aineiston variaatiot Kun siirto on mennyt läpi voidaan vähitellen kasvattaa aineisto kokoa. Siirtotestauksen ohje Käytetään testiaineistoa, joka edustaa kattavasti siirrettävää aineistoa ja sen rakenteita 5. Testaus 3-vaihe: aineiston sisällöllinen validointi Kansallisarkisto katselmoin vaiheessa 2. siirtrettyä aineistosta VAPA-järjestelmässä. Siirtotestauksen ohje 6. Siirtotestauksen päättäminen Yhteinen käsitys testauksen riittävyydestä 7. VIRPA-rajapinnan ja siirron paluuraportin rajapinnan testaus. VIRPA-ohje

77 Testauksessa käytettävä aineisto Ei tule käyttää oikeaa aineistoa etenkään jos sisältää arkaluonteisia tietoja Aineisto, joka edustaa kattavasti niitä rakenteita ja muotoja, jotka ovat järjestelmän tuotantokäytössä tyypillisiä. Huomioida myös aineistokohtaiset erityispiirteet Asioiden ja asiakirjojen lukumäärää oleellisempaa on aineiston monipuolisuus ja kattavuus.

78 Testiaineisto Asiat: Salassa pidettävä asia Salassa pidettävä asiakirja (SP) + julkinen asiakirja (SP) samassa asiassa Asia, joka sisältää määräajan ja pysyvästi säilytettäviä asiakirjoja Päätetty, mutta uudelleenavattu asia tuleeko mukaan? Asia, josta on hävitetty jo määräajan säilytettäviä asiakirjoja Asia, joka sisältää suhde- merkintöjä toiseen asiaan. Muita ominaisuuksia: Asiakirja, josta on useita eri versioita tuleeko viimeinen versio? Saapunut sähköisesti allekirjoitettu asiakirja Tiedostomuotoja: DOT, PPT, PPTX ja XLS, XLSX, DOC, DOCX, JPEG, HTML, ODF, PNG tms. etupäässä niitä, joita ko. järjestelmässä käytetään.

79 Ohjeita testaajalle: Varmista aluksi siirtoyhteyden toimivuus Sovi VAPA-tuen kanssa testiajankohta Aloita testaus pienillä aineistoilla Validoi siirtokokonaisuus ensin itse Sahke.xml Varmiste.sig Kuittaus siirroista siirtoja suorittavan tahon sähköpostiin

80 Lisätietoja VAPA-palvelusta ja sen käyttöönotosta Siirron tekninen tuki Mikko Eräkaski