Missä ollaan pitkäaikaissäilytyksen toteuttamisessa? KDK:n arkistosektorin yhteistyöverkoston seminaari 6.2.2012 Kimmo Koivunen CSC Tieteen tietotekniikan keskus Oy
Esityksen sisällys Pitkäaikaissäilytys KDK:ssa KDK-PAS-jatkohanke, tukiryhmä ja tekninen jaos Toteuttamissuunnitelma Tavoitteet Palvelut PAS-ratkaisun toteutuksen vaiheistaminen KDK:n hallinnolliset ja rakenteelliset metatiedot ja aineistojen paketointi Aineistojen paketoinnin pilotit Pitkäaikaissäilytyksen tiedostomuodot Digitaalisten aineistojen laajuus ja säilytysmenetelmät kartoitus 2011 6.2.2012 2
KDK:n kokonaisarkkitehtuuri www.kdk.fi 6.2.2012 3
Pitkäaikaissäilytysjärjestelmä on palvelujärjestelmä, johon opetus- ja kulttuuriministeriön hallinnonalalla toimivat, kulttuuriperintöä säilyttävät organisaatiot siirtävät pitkäaikaisesti tai pysyvästi säilytettäviä aineistoja. Aineistot säilyvät myös pitkäaikaissäilytysjärjestelmässä tallentavien organisaatioiden aineistoina. Tavoitteena on, että pitkäaikaissäilytysjärjestelmä otettaisiin käyttöön vuonna 2016. Kokonaisuuden suunnittelussa tulee huomioida, että järjestelmää on mahdollista hyödyntää tulevaisuudessa myös tutkimuksen tietoaineistojen säilyttämisessä. 6.2.2012 4
Säilyttämisen vaatimustasot Alkuperäisen käyttökokemuksen säilyttäminen Vaativin, mutta käyttäjän kannalta usein mielenkiintoisin taso Esim. Tietokonepelin pelaaminen samoin kuin 30 vuotta sitten Sisällön ymmärrettävyyden säilyttäminen Teksti, kuvat ja muu olennainen sisältö voidaan tulkita Ymmärrettävyys riippuu myös kohdeyleisöstä Käytön ja uuden tiedon tuottamisen kannalta yleensä tärkein taso Bittien säilyttäminen Varmistetaan alkuperäisten ykkösten ja nollien säilyminen ja luettavuus, sisällön tulkinnasta ei takeita Säilyttämisen perusta ja minimitaso säilytyksen aloittamiseen: Suunnitelmallisesti tehtynä vaatimustasoa voidaan nostaa myöhemmin 6.2.2012 5
Säilyttämisen menetelmiä Alkuperäisen käyttökokemuksen säilyttäminen Emulaatio Emulaattoreiden kehittäminen uusille alustoille, formaattien seuranta jne. Aktiivinen testaaminen ja seuranta Sisällön ymmärrettävyyden säilyttäminen Migraatio Tiedostomuotojen kehityksen seuranta (formaattikirjasto) Muunnosten kehittäminen, testaaminen, toteuttaminen ja valvonta Varautuminen palautuksiin Bittien säilyttäminen Eheyden varmistaminen Tiedostojen validointi ja valvonta Kopioiden hallinta Koskee sekä objekteja että metadataa 6.2.2012 6
KDK:n hallinnointi 1.4.2011 31.12.2013 Opetus- ja kulttuuriministeriö Johtoryhmä Ohjausryhmä Asiakasliittymän ylläpitäjä / Kansalliskirjasto Konsortio PAStukiryhmä + PAS tekninen ryhmä Pitkäaikaissäilytysjärjestelmän toteuttamishanke / CSC Asiakasliittymän palvelimen ja sen käyttöympäristön ylläpito (CSC) Pitkäaikaissäilytyksen infrastruktuurija palveluorganisaatio (CSC) Tässä esityksessä keskitytään kaikkeen KDK:n PAS-suunnitteluun, joka on syntynyt hallintomallin PAS-toimijoiden yhteistyönä 6.2.2012 7
KDK:n PAS-suunnittelun eteneminen Suunnittelusta vastasi PAS-jaosto Kansallisarkiston johdolla 31.5.2010 asti 1.6.2010 käynnistyi ns. PAS-jatkohanke, josta vastaa CSC Tieteen tietotekniikankeskus Oy PAS-jatkohankkeelle on nimetty tukiryhmä, jonka tehtävänä on: tukea pitkäaikaissäilytyshankkeen toteuttamista osallistumalla pitkäaikaissäilytystä koskevien suunnitelmien laatimiseen, seuraamalla hankkeen etenemistä operatiivisella tasolla, vaihtamalla tietoja ja kokemuksia sekä osallistumalla aktiivisesti kansallisen ja kansainvälisen yhteistyöverkoston kehittämiseen. 6.2.2012 8
Tukiryhmän jäsenet Tuomas Alaterä, Yhteiskuntatieteellinen tietoarkisto Juha Hakala, Kansalliskirjasto Vesa Hongisto, Museovirasto Minna Karvonen, opetus- ja kulttuuriministeriö Istvan Kecskemeti, Kansallisarkisto Esa-Pekka Keskitalo, Kansalliskirjasto Markus Merenmies, Kansallisarkisto Johan Kylander, Svenska Litteratursällskapet I Finland SLS Kari Peiponen, Valtion taidemuseo Pekka Tähtinen, Kansallinen audiovisuaalinen arkisto CSC toimii tukiryhmän puheenjohtajana (Kimmo Koivunen) ja sihteerinä (Kuisma Lehtonen) www.kdk.fi 6.2.2012 9
Pitkäaikaissäilytysratkaisun toteuttamissuunnitelma - sisällys Suunnitelma julkaistaan helmikuussa 2012 KDK:n www-sivuilla 6.2.2012 10
Pitkäaikaissäilytysratkaisun tavoitteet KDK:n pitkäaikaissäilytyksen tavoitteena on (s.18-19): 1. Varmistaa digitaalisten kulttuuriaineistojen säilyvyys 2. Varmistaa aineistojen hyödynnettävyys ja yhteiskäyttö 3. Laatia kokonaisuus kustannustehokkaasti 4. Edistää organisaatioiden yhteistyötä 5. Rakentaa avoimella yhteistyöllä parempia palveluita 6. Laajentua erilaisille aineistoille 6.2.2012 11
Pitkäaikaissäilytyksen palvelut 4.1 Aineiston valmistelun ja vastaanoton palvelut Metatietojen määrittely Säilytyssuunnitelmien laadinta Paketointipalvelu Luovutuspaketin siirto ja tarkastaminen Siirtokelpoisten tiedostomuotojen käsittely 4.2 Säilytyspalvelut Säilytysmenetelmien kehittäminen ja seuranta Säilytystoimenpiteiden suorittaminen Toimintaympäristön seuranta 4.3 Aineiston käyttöpalvelut Hakutoiminnot Aineiston jakelu 4.4 Aineiston hallintapalvelut Metatietojen päivittäminen Aineiston päivittäminen Aineiston poistaminen Säilytyssuunnitelman päivittäminen 4.5 Neuvonta- ja tukipalvelut Palveluiden ja PAS-järjestelmän käytön tuki Hallinnollinen tuki Koulutus ja tiedotus 6.2.2012 14
PAS-ratkaisun vaiheistaminen Suunnitelmassa ehdotetaan, että varsinainen informaation pitkäaikaissäilyttäminen käynnistyisi vuoteen 2016 mennessä, mutta jo valmisteluvaiheessa aloitettaisiin datan säilyttäminen. Vaihe I : PAS-ratkaisun valmistelu (2011-2013) Varmistetaan digitaalisen datan (bittijono) muuttumattomuus käynnistämällä bittien säilyttäminen. Rakennetaan aineistojen vastaanotto tarvittavine (metatieto)määrityksineen huomioiden ymmärrettävyyden säilyttäminen. Vaihe II : PAS-ratkaisun toteuttaminen (2014-2016) Varmistetaan aineiston ymmärrettävyyden säilyminen (informaatiosisältö) tuleville sukupolville. Rakennetaan hyödyntävien organisaatioiden yhteiseen käyttöön tähän tarvittavat välineet, palvelut ja prosessit. 6.2.2012 15
PAS-ratkaisun valmistelu 2012-2013 Edetään toteuttamissuunnitelmassa ehdotetuissa vaiheissa Vaihe 1: 2011-2013 PAS-ratkaisun valmistelu Vaihe 2: 2014-2016 PAS-ratkaisun toteuttaminen Hahmoteltu aikataulua 1. vaiheelle Seuraavilla kalvoilla tarkemmin 6.2.2012 16
PAS-ratkaisun valmistelu 2012-2013 Kokonaisuus Käytön palveluiden tarkentaminen 1-2/2012 Metatietomääritysten tarkennukset (mm. aineistojen (käyttö)oikeudet, kuvaileva metatieto, säilytyksen metatiedot (ns. PREMIS-taso)) Alustava aikataulu 2-9/2012 (kuvaileva metatieto 2013) Aineistojen paketoinnin pilotit hyödyntävissä organisaatioissa 2-12/2012 Vastaanottopalvelun (tekninen) suunnittelu ja toteutus (mm. tarkistukset, raportointi) Bittien säilytyksen (tekninen) suunnittelu ja toteutus (mm. eheyden tarkkailun ja kopioiden hallinnan rutiinit, valvonnan, ylläpidon ja raportoinnin kehittäminen, ) Säilytyksen suunnittelun täsmentäminen (mm. mallisuunnitelmat, suunnittelun välineet, suunnitelmien hallinta) Hallinnon ja kokonaisuuden hallinnan kehittäminen (erityisesti riskienhallinta, kustannusten ennakointi ja seuranta sekä bittien säilytyksen menettelytavat) Neuvonta ja tuki (ml. tiedotus ja koulutus) 4-12/2012 9/2012-12/2013 1/2013-6/2013 Alkaen 3/2012 Jatkuvaa toimintaa 6.2.2012 17
Aineiston valmistelu ja paketointi Säilyttämiseen soveltuvat tiedostomuodot Luovutuskelpoiset tiedostomuodot Hallinnolliset ja rakenteelliset metatiedot Kuvailevat metatiedot Standardisalkku KDK METS-profiilit TAUSTAJÄRJESTELMÄ LUOVUTUSPAKETIT (SIP) PAS-JÄRJESTELMÄ KDK:ssa käytettävät standardit, tiedostomuodot sekä pakolliset ja suositeltavat metatiedot määritellään standardisalkussa Standardisalkun mukaisesti aineisto siirretään taustajärjestelmästä PASjärjestelmään käyttäen METS vaihtomuotoformaattia www.kdk.fi 6.2.2012 18
KDK METS-profiili Geneerinen KDK METS-profiili Aineistokohtaiset aliprofiilit KDK METS-profiili valokuville KDK METS-profiili kirjoille... KDK METS-profiili videomateriaalille www.kdk.fi 6.2.2012 19
METS-dokumentin rakenne KDK:n hallinnolliset ja rakenteelliset metatiedot ja aineiston paketointi määritys saatavilla KDK:n www-sivuilla: http://www.kdk.fi/fi/pitkaaikaissailytys/maeaerittely-ja-dokumentit/145- kdkn-hallinnolliset-ja-rakenteelliset-metatiedot-ja-aineiston-paketointi www.kdk.fi 6.2.2012 20
Aineiston paketoinnin pilotit Tarkoituksena on selvittää kuinka hyödyntävät organisaatiot pystyvät tuottamaan KDK:n hallinnolliset ja rakenteelliset metatiedot ja aineistojen paketointi -määrityksen mukaisia luovutuspaketteja. Pilottteja järjestetään kaikilla KDK:n kolmella sektorilla vuoden 2012 aikana Alustavasti suunnitteilla on 6 pilottia Pilottien tavoitteena on selvittää miten hyödyntävät organisaatiot onnistuvat aineistojen paketoinnissa, tarkentaa KDK:n metatietomäärityksiä, konkretisoida keskitetyn paketointipalvelun suunnittelua sekä lisätä ja tunnistaa PAS-osaamista hyödyntävissä organisaatioissa. 6.2.2012 21
KDK:n säilytys- ja siirtokelpoiset tiedostomuodot Säilytyskelpoiset tiedostomuodot Tietosisällön säilyminen ja ymmärrettävyys voidaan taata pidemmällä aikavälillä Arviointikriteerit: avoimuus, käyttö PAS-standardina, vakaus/yhteensopivuus, riippuvuudet/yhteentoimivuus, standardointi Siirtokelpoiset tiedostomuodot Käytetään useassa KDK:n PAS-järjestelmää hyödyntävässä organisaatiossa ja joissa pitkäaikaissäilytettävää aineistoa on runsaasti tallennettu PAS-ratkaisu muuntaa säilytyskelpoiseen tiedostomuotoon Esimerkki säilytyskelpoisesta tiedostomuodosta: Extensible Markup Language (XML) XML on alustariippumaton SGML:stä johdettu merkintäkieli. W3C:n suosittelema XML kuvaa dokumentin loogisen rakenteen, mutta ei sen ulkoasua. Hyväksyttävät versiot: XML versio 1.0; [XML_1.0]; PRONOM: fmt/101 (Lähdeluettelo) [XML_1.0] Extensible Markup Language (XML) 1.0 (Fifth Edition. W3C Recommendation 26 November 2008. http://www.w3.org/tr/xml/ www.kdk.fi 6.2.2012 22
KDK:n säilytys- ja siirtokelpoiset tiedostomuodot Määritys saatavilla KDK:n www-sivuilla: http://www.kdk.fi/fi/pitkaaikaissailytys/maeaerittely-ja-dokumentit/141-kdkn-saeilytys-jasiirtokelpoiset-tiedostomuodot 6.2.2012 23
Aineiston laajuus ja säilytysmenetelmät kartoitus 2011 www.kdk.fi 24
Keskitetyn pitkäaikaissäilytysjärjestelmän kustannukset ja kustannussäästöt Vuonna 2010 laadittu analyysi: Yhteisen PAS-järjestelmän kokonaiskustannukset 12 ensimmäisen toimintavuoden aikana ovat noin 42 miljoonaa euroa Suunnittelu- ja käyttöönottovaiheen (17-18 milj. euroa) jälkeen kustannukset ovat noin 4 milj. euroa / vuosi Jos säilyttämistä varmennetaan ns. pimeällä arkistolla 6. toimintavuodesta alkaen, lisäkustannukset olisivat noin 3,4 miljoonaa euroa (6.-12. toimintavuosina) Yhteinen PAS-järjestelmä saavuttaa muihin toteutustapoihin verrattaessa (SADe-ohjelman hyötyanalyysi): tuotantovaiheessa yli 10 miljoonan vuosittaiset säästöt ja käyttöönottovaiheessa n. 30 miljoonan kertaluontoiset säästöt Kumulatiivinen hyöty 12 ensimmäisen vuoden aikana 100 miljoonaa euroa www.kdk2011.fi 6.2.2012 25
Kiitos! www.kdk.fi/pitkaaikaissailytys Kimmo.Koivunen@csc.fi