Digitointiseminaari 2011 // 18.11.2011 Juha Lehtonen Digitointiprosessi Digitariumissa
Yleisesittely Laitteet Palvelimet Tiedon varmistus: RAID-6 ja nauhavarmistus Työasemat Tallennettava materiaali digitoinnissa DwC XML, TIFF, JPG, (DNG) Konversiot ja julkaisu Digitointiprosessi Prosessin vaiheet SSH prosessissa Viivakoodit Digitointiprosessi / Juha Lehtonen 22.11.2011 2
Palvelinlaitteet Digitointiprosessi / Juha Lehtonen 22.11.2011 3
Palvelin 1 3x146GB levyt, RAID1 (yht. 6 levyä) 24GB RAM-muistia 2 kpl neliydinprosessoreja (2.4GHz taajuus,12 MB välimuisti, 1066 Mhz väylänopeus) Novell SUSE Linux Enterprise (64-bit) Käytetään nettisivujen, dokumentointisovellusten (DMS, Wiki) ja vastaavien pyörittämiseen, sekä käyttäjien yleisiin tarpeisiin 22.11.2011 4
Palvelin 2 3x146GB levyt, RAID1 (yht. 6 levyä) 24GB RAM-muistia 2 kpl neliydinprosessoreja (2.4GHz taajuus,12 MB välimuisti, 1066 Mhz väylänopeus) OpenSUSE Linux (64-bit) Käytetään tietokantojen ja siihen liittyvien sovellusten (Morphbank jne.) pyörittämiseen Tätä kautta menee JJClientilla tehdyt tiedot levyjärjestelmään 22.11.2011 5
Levyjärjestelmä 35 TB 48 kpl: 1TB SATA 7200K -levyjä RAID-6 1 HotSpare-levy Tuoreutettava Voidaan korvata uudemmalla saman sarjan järjestelmällä (myös tulevaisuudessa) Laajennettava Voidaan laajentaa millä tahansa saman sarjan järjestelmällä (myös tulevaisuudessa) 22.11.2011 6
RAID-6 Digitariumissa Normaalitila Levyrikko, tietoa ei häviä Ei vaikuta käyttämiseen millään tavalla Pahin tilanne, jossa tietoa ei häviä Järjestelmä ei enää käytettävissä 22.11.2011 7
Nauhavarmistus 22.11.2011 8
Palvelin 3 1x146GB levyt, RAID1 (yht. 2 levyä) 6GB RAM-muistia 1 neliydinprosessori (2.4GHz taajuus,12 MB välimuisti, 1066 Mhz väylänopeus) Windows Server 2008 (64-bit) Symantec Backup Exec 2010 Käytetään varmuuskopiointitehtäviin (eikä mihinkään muuhun) 22.11.2011 9
Nauharobotti 113 nauhapaikkaa, joista 41 lisensioitu (=toiminnassa) 39 kpl LTO5-nauhaa, kapasiteetti 3.0 TB/kpl 2 puhdistusnauhaa Tieto säilyy nauhalla oikein säilytettynä noin 25-30 vuotta 6 GB SAS yhteys varmistuspalvelimeen Fyysisesti eri tilassa kuin levyjärjestelmä ja Linux-palvelimet Työskentely öisin noin klo 23-02: Tallentaa pe/la -öisin täyskopion, muina öinä vain muuttuneet tiedot Verifioi kaiken tallentamansa tiedon 22.11.2011 10
Varmistuksia ja tuki Kriittisten osien kaksoisvarmistus (tuulettimet, kytkimet, virtalähteet, jne.) HotSwap (kriittiset osat ja levyt) UPS (3750W) 4h kriittinen tuki levyjärjestelmällä, seuraavan työpäivän kriittinen tuki muilla osilla Jos useampi levy menee levyjärjestelmästä, niin digitointityö saattaa tökkiä/pysähtyä, jolloin tilanne on kriittinen. Tällöin sopimuksen mukaan Dell toimittaa uudet levyt neljän tunnin sisällä ilmoituksesta. Tällä hetkellä 3 vuoden huoltosopimus 2010-2013 (kattaa kaikki huoltokulut sivukuluineen) Laitteisto on yksinomaan Digitariumin käytössä 22.11.2011 11
FUNET Backbone 22.11.2011 12
Työasemat Digitointia tehdään JJClient-sovelluksella Tehtäväkohtaiset työpisteet Kuvaamiselle ja tietojen syötölle/varmistukselle erikseen Henkilökohtaiset läppärit Läppäri isketään tehtävään soveltuvan työpisteen telakkaan 22.11.2011 13
Työasemat Kaksi hyönteiskuvauspistettä Kuva otetaan 12Mpix täyskennokameralla Nikon D3s, Nikkor 105 mm 1:2,8G ED Kohde ja etiketit kuvataan erikseen Yhden hyönteisnäytteen kuvat vievät noin 75 MB Kaksi kasvikuvauspistettä Kuva otetaan 24.5Mpix täyskennokameralla Nikon D3x, Nikkor 24-70 mm 1:2.8G ED Kuvataan kahdessa osassa, yhdistetään myöhemmin Yhden kasvinäytteen kuvat vievät noin 150 MB Jalustat: Kaiser Valaistus: Loisteputkikohdevalaistus, 2 x Osram DULUX L 36 W/954, värilämpötila 5400 K, diffuusilevy Esityksen nimi / Tekijä 22.11.2011 14
Kuvauspisteitä 22.11.2011 15
JJClient 22.11.2011 16
Yleisesittely Laitteet Palvelimet Tiedon varmistus: RAID-6 ja nauhavarmistus Työasemat Tallennettava materiaali digitoinnissa DwC XML, TIFF, JPG, (DNG) Konversiot ja julkaisu Digitointiprosessi Prosessin vaiheet SSH prosessissa Viivakoodit 22.11.2011 17
Tiedostoformaatit Darwin Core XML Kuvat luetellaan associatedmedia-kentässä Relatiivinen tiedostopolku Digitariumin perustietokannassa levyjärjestelmässä (JJClient käyttää tätä) Konversioihin muutettava absoluuttiseksi ja ulospäin näkyväksi, esim. linkki MorphBankin sivulle ko. kuvaan tai id.digitarium.fi-osoite (?) Kuvat TIFF-muodossa Tarkkuus 450 dpi kasviarkeille, voi olla tulevaisuudessa 900 dpi Hyönteiskuville useamman tuhannen dpi:n tarkkuus Esikatselukuvat JPG-muodossa MorphBank tekee oman TPC-muotoisen kuvan kaikista (viewerille) Voi olla tulevaisuudessa DNG-muoto. 22.11.2011 18
Tietojen konversio ja julkaisu 22.11.2011 19
Morphbank http://morphbank.digitarium.fi/ 22.11.2011 20
Yleisesittely Laitteet Palvelimet Tiedon varmistus: RAID-6 ja nauhavarmistus Työasemat Tallennettava materiaali digitoinnissa DwC XML, TIFF, JPG, (DNG) Konversiot ja julkaisu Digitointiprosessi Prosessin vaiheet SSH prosessissa Viivakoodit 22.11.2011 21
Digitointiprosessi: Valmiit vaiheet 22.11.2011 22
Digitointiprosessi: Toteutuksen alla 22.11.2011 23
Digitointiprosessi: ToDo 22.11.2011 24
SSH digitointiprosessissa Kuvaus: Kone antaa tunnisteen. Kuvaaja liimaa viivakoodin ja ottaa kuvat. Tämän jälkeen hän vie kuvat sekä XML-pohjan levyjärjestelmään. Tietojen syöttö: Kone tarjoaa levyltä vanhimpia kuvattuja tietueita syöttäjälle N kpl, joista hän voi valita haluamansa. Syöttäjä saa valitsemansa tietueen XML-pohjan ja kuvat itselleen. Syöttäjä syöttää tiedot kuvan etiketeistä DwC:n kenttiin ja tallentaa lomakkeen levyjärjestelmään. Varmistus: Kuten tietojen syöttö, mutta näytteille, joissa tieto on tallennettu, ja jotka eivät ole varmistajan tallentamia. 22.11.2011 25
SSH digitointiprosessissa Tietojen syöttäjä tai varmistaja voi periaatteessa työskennellä missä tahansa paikassa, jossa on internet-yhteys saatavilla. Mikäli yhteys palvelimeen epäonnistuu, voidaan kuvat tai tiedot tallentaa paikallisesti (ja siirtää palvelimelle myöhemmin). JJClient-käyttäjällä ei ole oikeutta käsitellä kuin joko uuden tunnisteen tietuetta (jota ei vielä ole palvelimella) tai palvelimelta avaamaansa tietuetta (tietue lukittuu käyttäjän käyttöön) Kukaan toinen käyttäjä ei voi avata jo avattua tietuetta JJC-käyttäjällä ei ole omia SSH-tunnuksia omassa tiedossaan tietokantapalvelimelle, hän pääsee sinne vain JJClientin avulla 22.11.2011 26
Tunnisteet ja viivakoodit Hyönteisille: Läppärikohtainen tunniste Muoto: http://id.luomus.fi/eab.cdg E-alkuinen (sovittu) AB = läppäritunniste CDG = juokseva tunniste Juokseva tunniste: 0 9, A Z Kussakin läppärissä pidetään automaattista luetteloa käytetyistä tunnisteista Hukattu luettelo voidaan palauttaa palvelimella olevien tietojen avulla Muoto mahdollistaa yli 60 miljoonaa yksilöllistä tunnistetta Mutta jos se ei riitä, niin voidaan laajentaa Läppärikohtainen tunniste mahdollistaa myös paikallistallennuksen Viivakoodina QRCode Kasveille: http://id.digitarium.fi/ (pääsy tällä hetkellä vain osasta UEF:ia) 22.11.2011 27
QR Code ISO standardi (ISO/IEC18004) Käytetään pienintä mahdollista versiota (version 1) Maksimipituus 10 alphanumerista merkkiä Sisältää vain loppuosan ID:stä: http://id.luomus.fi/eab.cde Rajoitus tehty lähinnä hyönteisnäytteiden vuoksi Hyvät virheenkorjausominaisuudet (Teoriassa) noin 30% viivakoodista voi fyysisesti korruptoitua Information system / Juha Lehtonen 22.11.2011 28
Esityksen nimi / Tekijä 22.11.2011 29
Esityksen nimi / Tekijä 22.11.2011 30
Kiitos www.digitarium.fi