Kansallisarkiston digitointihanke 1.5. 31.12.2009 István Kecskeméti 18.5.2010 Suomen VIII Arkistopäivät
Hankkeen hallinnointi Opetusministeriö myönsi 1 550 000 euron erillismäärärahan Kansallisarkistolle aineistojen digitointia ja tietojärjestelmien kehittämistä varten. Arkistoneuvos Eljas Orrman Yksikönjohtaja Istvan Kecskemeti Projektipäällikkö Reko Etelävuori Projektipäällikkö Tuomas Riihivaara Projektiryhmä; hallintopäällikkö Anitta Hämäläinen, hallintoasiantuntija Marjut Sievänen-Machado, yksikön johtajat Marja Pohjola, Markku Mäenpää ja Juhani Tikkanen, maakunta-arkiston johtaja Tytti Voutilainen, kehitysjohtaja Päivi Happonen, ICT-johtaja Marko Natri.
Hankkeen aikataulu Maalis-huhtikuu: digitointiprosessien ja aineistovalintojen alustavaa valmistelua Toukokuu: hankkeen käynnistys, rekrytointi, kilpailutuksen suunnittelu, aineistovalinnat, digitoinnin toimijat, aineistokohtaiset prosessit Touko-joulukuu: esivalmistelut, indeksointi Kesä-heinäkuu: kilpailutus Kesäkuu: Digitaaliarkiston infrastruktuurin kehittäminen ja toteutus Kesä-syyskuu: aineistokohtaiset digitointiohjeistukset Elokuu: ulkoistuksen laatutesti Syyskuu: ulkoistettujen aineistojen digitointi alkaa loppua kohti kiihtyen Lokakuu: Digitoitujen tiedostojen vastaanoton kehittäminen, Lokakuu-joulukuu: Ulkoistettujen digitoitujen tiedostojen tarkastus, jälkikäsittely, syöttö Marraskuu: Digitaaliarkiston vastaanoton nopeuttaminen edelleen Siirtyminen uuteen työnkuvaan (MF-digitointi) Joulukuu: Aineistojen vastaanotto ja viimeistely.
Projektipäälliköt Reko Etelävuori, digitointivastuu: Digitointiprosessit, metatiedot, digitoinnin laadunvalvonta, digitoitujen tiedostojen logistiikka, kuvankäsittely, automatisointi ja laadunvalvonta, Digitaaliarkisto, aineiston vastaanotto, nauhatallennus. Vastuu migraatiosta. Kilpailutuksen asiakirjat Henkilöstön hallinnointivastuu Projektin seuranta ja raportointi digitointihankkeen johtajalle Tuomas Riihivaara, aineistovastuu: Digitoitavien aineistojen muodon (MF rulla, MF kortti, kartta/piirros) ja määrien selvittäminen, aineistojen esikäsittelyjen etenemisen seuranta sekä toimitus digitointiin, teknisten AY tunnusten selvittäminen, Digitaaliarkiston käytettävyyden ja toiminnallisuuden kehittämiseen osallistuminen. Kilpailutuksen puitteet ja toteutus, budjetin seurantavastuu, projektin seuranta, ja raportointi digitointihankkeen johtajalle
Projektin työllistävä vaikutus Aikavälillä 1.5.-31.12.2009 projektiin rekrytoidut henkilöt: 2 projektipäällikköä 3 VAKKA-syöttäjää 3 arkistonjärjestäjää 4 konservaattoria 5 digitoijaa 1 tietojärjestelmäasiantuntija (1.6.-15.7.) 2 digitoitujen tiedostojen tarkastajaa / syöttäjää 1 logistiikkavastaava 2 indeksoijaa Digitointipalveluiden toteuttamiseen valitut toimittajat (1.9.-31.12.) n. 15-20 digitoinnista ja kuvankäsittelystä vastaavaa henkilöä Yhteensä n. 13 henkilötyövuotta
Kokoelmat (alkuperäiset) Suojaus Koko prosessi Luettelointi Järjestely VAKKA tietokanta Konservointi DIGITOINTI ostopalvelu 1.9.-, Digitointi KAssa Digitointi 8 bit 24 bit Kilpailutus (kesäheinäkuu) Ulkoinen kovalevy siirtoon Säilytys Käyttö TIFF Kuvankäsittely Digitaaliarkisto JPG Tarkastus, jälkikäsittely Indeksointi
Avoimella menettelytavalla toteutettava puitejärjestely: 1) Avoin menettelytapa, jossa kaikki halukkaat toimittajat voivat jättää tarjouspyynnön, soveltuu Kansallisarkiston digitointihankkeen kaltaiselle hankinnalle - Potentiaalisten toimittajien määrä rajallinen - Hankinnan tiukka aikataulu 2) Useamman toimittajan puitejärjestelyllä valitaan kuhunkin kilpailutettavaan prosessiin vähintään kolme toimittajaa - Varmistetaan riittävä kapasiteetti kuhunkin prosessiin => toimittajia valitaan kuhunkin prosessiin niin monta, että kapasiteetti varmuudella täyttyy - Tehtävien tilausten määrä Kansallisarkiston päätettävissä - Mahdollistaa puitejärjestelyyn valittuihin toimittajiin kohdistuvan laadun tarkkailun vielä hankintapäätöksen jälkeen
Laatutestien tuloksia Prosessit 1A 1B
Laatutestien tuloksia Prosessi 2 Referenssi Hylätty mallikappale
Laatutestien tuloksia Prosessi 2, 300% Referenssi Hylätty mallikappale
Aineistovalinnat Aineistovalinnoissa otettu huomioon seuraavia seikkoja: Aineiston kysyntä, asiakkuudet Säilyvyyden turvaaminen Käyttörajoitukset Aineistomuoto Aineisto ei vaadi kohtuuttoman paljon esivalmistelutöitä (konservointia, luettelointia, Vakkasyöttöä) Mikrokuvaus- ja digitointiohjelman valinnat Aineistojen aiempi priorisointi Kuntokartoituksen tulokset ei vielä olleet käytettävissä
Prosessit 1A, 1B ja 1E 1A Mikrokortit: Luovutetun alueen seurakuntien kirkonkirjat Luovutetun alueen siviilirekisterit Ortodoksi- ja inkeriläisseurakunnat, Pietarin P. Marian srk Inkerin siirtoväen väestökortit Senaattori Leo Mechelinin arkisto Gezelius-suvun arkisto Suomen Pietarin passiviraston arkisto Sosiaaliministeriön lastensiirtokomitea 40.000 korttia, 1,4 miljonaa tiedostoa, 36 Tt 1B ja 1E Mikrofilmirullat: Talvi- ja jatkosodan sotapäiväkirjat Tuomiokirjat (1600-luku) Voudintilit Senaatin talousosaston ja valtioneuvoston kirje- ja anomusdiaarit Valtioneuvoston pöytäkirjat hakemistoineen 3.000 rullaa, 1,9 miljoonaa tiedostoa, 56 Tt
Prosessit 2 ja 3 2 Kartat ja piirustukset Heraldinen aineisto (kunnallisvaakunat ja suojeluskuntien lippupiirustukset) Maanmittaushallituksen verollepanokartat Tyyppitalopiirustukset Vesa-aineistot (Suomenlinna, Sörnäinen, Rauhankatu, MMA, PHRL) Yhteensä 25.000 karttaa ja piirrosta 3 Kortistot Tuomiokirjakortisto EK-Valpon henkilökortisto Valtiokonttorin lisäkorvauskortisto Yhteensä 800.000 korttia Kaikki yhteensä: 3,75 miljonaa tiedostoa, 110 Tt
KONSERVOIDUT AINEISTOT TYYPPITALOPIIRUSTUKSET 2.000 KPL VESA II 9.000 KPL LIPPUPIIRUSTUKSET 800 KPL KULONTORJUNTAKARTASTO 800 KPL MAANMITTAUSHALLITUKSEN VEROLLEPANOKARTAT 2.500 KPL MAAKIRJAKARTAT 1.017 KPL VIIPURIN INSINÖÖRIKOMENNUSKUNTA MMA, 5.000 KPL
Aineistovalintoja prosesseittain, kartat Maanmittaushallituksen verollepanokartat Viipurin läänin verollepanokartat (125 Vehkalahti 6:1a-b)
Aineistovalintoja prosesseittain, kartat Metsäntutkimuslaitoksen kulontorjuntakartasto (kokoelma) Suomen taloudelliset kartat, uudet lehdet, 1.sarja 115 Koli (Icba:34)
Metatiedot, mitä tietoa kerätään ja miksi? Digitoinnin vaatima metatieto voidaan jakaa kahteen eri kategoriaan: - Digitointiprosessia kuvaavat tekniset metatiedot (Digimeta/digitointilaitteet). Kertoo digitaalisen tiedoston syntyhistorian. - Aineistoa kuvailevat metatiedot (Vakkaarkistotietokanta). Ensiarvoisen tärkeää digitoidun aineiston käytettävyyden kannalta. - Kaikki ehdottoman tärkeitä onnistuneen digitointiprosessin kannalta
Kameran metatieto DSCN7350.JPG CAMERA : E4500V1.2 METERING : MATRIX MODE : A SHUTTER : 1/1886sec APERTURE : F5.3 EXP +/- : 0.0 FOCAL LENGTH : f7.9mm(x1.0) IMG ADJUST : AUTO SENSITIVITY : ISO200 WHITEBAL : AUTO SHARPNESS : OFF DATE : 25.09.2009 02:20 QUALITY : 2272x1704 NORMAL SATURATION : 0 FOCUS AREA : CENTER
Metatieto Skannaus 24 bit väri 8 bit harmaasävy Kuvankäsittely Digitaaliarkisto Säilytys Metatieto, skannaus Metatieto, kuvankäsittely Metatieto, kokoelmat Metatieto, säilytys Kaikki skannerit eivät kirjoita metadataa, erillinen ohjelma. VAKKA arkistotietokanta Digitaaliarkisto Käyttö
Tekninen metatieto Skannaus Kuvankäsittely AY-tunnus - XMP-dc - Title Digitointipaikka (yritys), Digitoija (nimi) - XMP-dc - Creator Digitointiaika - XMP-xmp - CreateDate Laite - TIFF Properties - Make Malli - TIFF Properties - Model Ohjelmisto - XMP-xmp - CreatorTool Kuvankäsittelypaikka (yritys), kuvankäsittelijä - XMP-dc - Contributor Kuvankäsittelyaika - XMP-xmp - ModifyDate Kuvankäsittelyohjelma(t) - xmpmm:historyn SoftwareAgent Kuvankäsittelyhistoria - xmpmm:history Esim. Photoshop CS4 täydentää kuvakäsittelytiedot automaattisesti lukuun ottamatta Contributorkenttää.
Metatieto, Digimeta 1.3 ja 2.0 Vaihtoehtoinen tapa toteuttaa digitointiprosessin metatietojen kerääminen.
Digitaaliarkistoon syöttäminen Tekninen tunnus, esim. 123456.KA Syöttösovellus hakee kuvailutiedot VAKKAarkistotietokannasta. Tarkempi aineiston indeksointi voidaan tehdä myös Digitaaliarkistossa.
Mitä on opittu? - Edellyttää laajaa ammattiosaamista tilaajalta - Esi- ja jälkikäsittelyvaiheet korostuneet prosesseissa - Ulkoistaminen hankalaa yritysten laatuosaaminen puutteellista - Ongelma havaittu myös yritysten motivaatiossa - Laatukriteerit elokuu 2008, noudatettava ja seurattava koko prosessin aikana - Laajennetut digitoinnin metatiedot, kerätään skannaus- ja kuvankäsittelytapahtumista, kaksi uutta ohjelmaa - Kuvatiedostojen uudelleennimeämiseen luotu ohjelma - Digitointi ja kuvankäsittely ohjeistettava aineistokohtaisesti - MF digitoinnissa siirrytty uuteen työnkulkuun - Indeksointia arkistoyksikkötasoa tarkempana tarvitaan usein - Linjayhteydet mahdottomia, hankkeen kesto lyhyt ulkoiset 1 Tt:n kovalevyt siirtoa varten - Digitaalinen pitkäaikaissäilytys (oma) päivitetty seuraavien 5 vuoden tarpeita varten - Massadigitoinnin pilottihanke käynnissä, 8 hm (88 koteloa)
Mitä hyötyä? - Oman toiminnan prosesseja kehitetty - Mikrokuvauksen kehittäminen digitoinnin esivaiheena - Laajennettu digitoinnin metatietojen keruu päivitetään Digitoinnin laatukriteerit - Kaksi ohjelmaversiota luotu metatietojen keräämiseen - ohjelma kuvien nimeämiseen - Karttaskanneri, 10 kertainen kapasiteetinkasvu (30.000/vuosi) - Mikrofilmiskannerin päivitys, 3-5 kertainen kapasiteetinkasvu 1-2.000.000 tiedostoa/vuosi) - Logistiikkaohjelma, aineiston vaiheiden hallinta prosessissa - Digitaalinen pitkäaikaissäilytys Digitaaliarkistossa, päivitetty seuraavien 5 vuoden tarpeita varten - Digitaaliarkiston käytettävyyttä tullaan kehittämään edelleen - Portit aineistojen tulkkina
Käytettävyys, portit
Käytettävyys, portit
Digitalisering och matning i Digitalarkiv 4000000 3500000 3000000 2500000 2000000 Digitalisering Digitalarkiv 1500000 1000000 500000 0 juli augusti september oktober november december januari februari mars Totalt
Ulkoistettu ja oma digitointi 3500000 3000000 2500000 2000000 1500000 Ulkoistettu Oma digitointi 1000000 500000 0 heinä elo syys loka marras joulu yhteensä
Joulukuussa DA syötetty: 1200000 1000000 800000 tiedostoja 600000 tiedostoa 400000 200000 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
2009/3 2009/4 2010/1 2010/2 2010/3 2010/4 2011/1 2009/2 2009/1 6000000 5000000 4000000 3000000 2000000 1000000 0 Digitaaliarkiston tiedostomäärien kasvu 2006/1 2006/2 2006/3 2006/4 2007/1 2007/2 2007/3 2007/4 2008/1 2008/2 2008/3 2008/4 2005/4 2005/3 2005/2 2005/1 2004/4 2004/3 2004/2 2004/1