E-lehtien siirtäminen SFX:stä Voyager-tietokantaan

Transkriptio

1 E-lehtien siirtäminen SFX:stä Voyager-tietokantaan Informaatikko Hannu Hahto / Pirkanmaan ammattikorkeakoulu Triangelipäivät / FinSMUG, TAMK / Tampere E-lehtiä kokotekstitietokannoissa kokotekstitietokantojen artikkelit haettavissa Nelli-portaalin kautta tiedot kokotekstitietokantojen lehtipakettien koostumuksesta SFX:ssä linkit Nellistä kokotekstilehtien artikkeleihin SFX-valikon kautta kokotekstitietokantojen lehdet haettavissa Nellin lehtivalinnan kautta Miksi e-lehtiä kirjaston kokoelmatietokantaan? lisää lehtien näkyvyyttä ja löydettävyyttä, kun ne löytyvät myös kokoelmatietokannasta tosin SFX:stä saatavien lehtitietueiden kentät vähäisiä lehdet löytyvät lähinnä jos hakee nimekkeessä esiintyvillä sanoilla järjestelmien integrointi o SFX:n e-lehdet Voyageriin WebVoyágesta e-lehtiin SFX-linkityksen kautta (SFX-linkin näkyminen WebVoyágessa perustuu Kansalliskirjaston Ere Maijalan laatiman WebVoyágen korjausskriptin asetuksiin) interoperability ~ sulava siirtyminen yhdestä palvelusta toiseen Tutustu ohjeisiin Linnea2-intranetissa sivulla Kokeile ensin harjoitustietokannassa, sitten vasta tuotantotietokannassa! Alla ensin yllämainitun ohjesivun vaihe 1: E-lehtipaketin kopiointi SFX:stä konversiota varten 1

2 SFX Admin > Export Tool > Advanced Export Profiles 2

3 Luo e-lehdille uusi export-profiili tai muokkaa jo tehtyä (Manage Profiles): 3

4 Otetaan lehdet ulos paketti kerrallaan. 4

5 Tallenna profiili, valitse se välilehdellä Advanced Export Profiles ja aloita kopiointi klikkaamalla Submit: 5

6 Tallenna tiedosto omalle työasemallesi: Ja tältä XML-tiedoston koodi näyttää selaimessa: 6

7 Lehtitiedoston konvertointi XML:stä MARC21:ksi Kopioi Linnea2-intranetista ohjelma marcxml2iso2709.exe jolla voi konvertoida tiedoston marc-xml-formaatista MARC21-formaattiin. Avaa Windowsissa DOSin komentorivi-ikkuna: Käynnistä -> Suorita cmd Siirry hakemistoon, jossa ovat sekä marcxml2iso2709.exe että konvertoitava lehtitiedosto, ja anna seuraavantapainen komento (kaikki samalle riville): marcxml2iso2709.exe elehdet-biomed-piramk xml-marc.xml biomed05.bib -c -nt 7

8 Päällekkäisten lehtipakettien vertailu Siirretään Voyageriin kaksi lehtipakettia, joissa on osittain samoja lehtiä, osin eri lehtiä: o BioMed-targetissa on toukokuun SFX-päivityksen jälkeen kokotekstinä 167 lehteä ( ). o PubMed-targetissa on toukokuun SFX-päivityksen jälkeen kokotekstinä 322 lehteä. Jos hakee Nellin lehtivalinnassa samalla sekä BioMedin että PubMedin kokotekstilehdet, näissä kahdessa paketissa on eri lehtiä yhteensä vain 326 kpl. SFX-Adminissa on Collection Tool, jolla voi verrata kahden lehtipaketin päällekkäisyyksiä: 8

9 Syntyneet tekstitiedostot kertovat, että 1) lehtiä, jotka ovat vain BioMedissä mutta ei PubMedissä, on vain 4 kpl. 2) lehtiä, jotka ovat vain PubMedissä mutta ei BioMedissä, on 159 kpl. 9

10 Lehtitiedoston konvertointi Usemarconilla MARC21-Fin:ksi Nouda työasemallesi sivulla vaiheessa 2 mainitut paketit: sfx3.exe (pakattu ) usemarcon.exe (uusin versio 1.81 päivätty ) ja usemarcongui.exe (versio 1.4 päivätty ) Itse sijoitin e-lehtien konversiovälineet kansioon D:\usemarcon\ o usemarcon.exe konvertoi tietueet formaatista toiseen o USEMARCON GUI on graafinen käyttöliittymä, jossa konversio voidaan suorittaa. Viimeksimainitun oletusnäkymä, johon on jo valittu oikeat asetukset: 1) Input File = MARC21:sta konvertoitava tiedosto 2) USEMARCON Conversion (INI) = SFX:n lehtien konversiossa käytettävä ini-tiedosto 3) USEMARCON Program = konversio-ohjelman sijainti 4) Output File = MARC21-Fin:ksi konvertoitu tulostiedosto 10

11 Tarvittaessa voi editoida rul-tiedostoa, jossa on konversion säännöt: Kohdassa 11 voisi muuttaa x:n 7:ksi (luettelointi vähimmäistasoa). 11

12 Kun säännöt ovat kohdallaan, suoritetaan konversio: 12

13 Usemarcon antaa varoituksen siitä, että 260-kenttää ei konvertoitu. Senkin voisi konversiossa kuitenkin siirtää. Määritysten teko Voyageriin siirtoa varten Kun SFX-paketin lehtitietueet on konvertoitu MARC21-Fin-muotoon, voidaan siirtyä lehtien ajamiseen Voyageriin. Tehdään Voyagerin SysAdmin-clientissa uusi tuplakontrolli e-lehtien siirtoa varten: Cataloging > Bibliographic Duplicate Detection Profiles > New 13

14 Profiilin nimeä tarvitaan Bulk Importin määrityksissä. Siirrettäessä lehtitietueita paketti kerrallaan Voyageriin tuplakontrollin tavaksi Merge (sulauttaa tietokannassa jo olevan tietueen tietokantaan tulevaan tietueeseen) jos tuplatarkistuksessa tulee pisteitä vähintään 75 mahdollisesta tuplasta varoitetaan jos arvoksi tulee

15 Tuplatarkistuksessa käytetty neljää kenttää, joista jokaisella painoarvo 25 pistettä: o 022 y = virheellinen / paperiversion ISSN-tunnus (SFX:ssä lehden 022 a) o 028 a = SFX:stä tuleva lehden yksilöivä tunnus (SFX:ssä lehden Object ID) o = Usemarcon-konversiossa syntyvä kenttä o 245 a = päänimeke Jos vähintään 3 kenttää 4:stä täsmää eli 3 x 25 = 75 niin tehdään merge. Jotta lehtipaketti kerrallaan siirrettäessä saatavuus eri lehtipaketeissa menisi kukin omaan 530- kenttäänsä, määritellään 530-kenttä mergessä säilyväksi kentäksi: 15

16 Jos 530-kentän tekstin sisältö muuttuu ja sama lehtipaketti siirretään Voyageriin uudestaan, poista tällöin merge field 530 ettei sama kenttä toistuisi kahta kertaa. Määritellään Bulk Import sääntö: Cataloging > Bulk Import Rules > New 16

17 Bulk Import säännön koodia (esim. ELEHDET) tarvitaan ajettaessa tietueet eräajolla tietokantaan. 17

18 Valitaan edellä määritelty tuplakontrolli, tietueiden Owning Library (meillä vain yksi vaihtoehto) sekä siirrettävien tietueiden merkistö Unicode-versiosta lähtien oltava MARC21 UTF-8. Koska siirretään vain bib-tietueita eikä luoda Holdings- ja Item-tietueita, muut välilehdet jätetään tyhjiksi. Lehtitietueiden siirto tietokantaan Voyager-palvelimella Siirretään lehtitiedosto omalta työasemalta palvelimelle (tässä harjoitustietokantaan). [/m1/voyager/pirkanmaa_traindb/local]>ls -l total rw-rw-r-- 1 voyager piramk May 18 15:33 biomed04.bib -rw-r--r-- 1 hmhahto piramk May 21 13:28 biomed05.bib -rw-rw-r-- 1 voyager piramk May 18 16:06 pubmed04.bib Siirrytään tietokannan sbin-hakemistoon, jossa bulkimport-skripti voidaan ajaa. [/m1/voyager/pirkanmaa_traindb/sbin]>ls -l *bulkimport -rwxrwxr-x 1 voyager piramk 1165 Aug Tbulkimport Harjoitustietokannassa sbin-skriptit ovat T-alkuisia ja tuotantotietokannassa P-alkuisia. Annetaan sbin-hakemistossa seuraavantapainen komento: 18

19 ./Tbulkimport -f../local/biomed05.bib -ielehdet -b1 -e5 Optiot: -f tiedoston (polku ja) nimi -i Bulk Import Rule koodi -b ensimmäinen tietue joka siirretään (vapaavalintainen) -e viimeinen tietue joka siirretään (vapaavalintainen) Kahta viimeistä optiota kannattaa käyttää koesiirroissa - siirtää ensin vain muutaman tietueen ja tutkii tulosta. Muita optioita löytyy Voyagerin Technical User Guidesta. Enterin painalluksen jälkeen siirto jää pyörimään taustalle, valmistumista voi seurata prstatkomennolla (miten kauan prosessi bulkimport pyörii tunnuksellasi). Siirrytään tietokannan rpt-hakemistoon ja tutkitaan ajon lokitiedostoja: [/m1/voyager/pirkanmaa_traindb/rpt]>ls -l *imp * -rw-rw-r-- 1 hmhahto piramk 0 May 21 13:37 delete.imp rw-rw-r-- 1 hmhahto piramk 0 May 21 13:37 discard.imp rw-rw-r-- 1 hmhahto piramk 0 May 21 13:37 err.imp rw-rw-r-- 1 hmhahto piramk 1172 May 21 13:37 log.imp rw-rw-r-- 1 hmhahto piramk 0 May 21 13:37 reject.imp rw-rw-r-- 1 hmhahto piramk 2615 May 21 13:37 replace.imp [/m1/voyager/pirkanmaa_traindb/rpt]>more log.imp I am I will be doing 1-5 from '../local/biomed05.bib' for you. The import code is "ELEHDET" for this run. The bib dup profile is "E-lehdet" for this run. This import is using a rule that does not allow creation of MFHDs or Items. Mon May 21 13:37: Expecting Marc21 UTF-8 Records 1(1): Duplicate Bibs above threshold: replace 1, warning 0. BibID & rank REPLACE Existing DB Bib record merged. 2(2): Duplicate Bibs above threshold: replace 1, warning 1. BibID & rank REPLACE Existing DB Bib record merged. 3(3): Duplicate Bibs above threshold: replace 1, warning 0. BibID & rank REPLACE Existing DB Bib record merged. 4(4): Duplicate Bibs above threshold: replace 1, warning 0. BibID & rank REPLACE Existing DB Bib record merged. 5(5): Duplicate Bibs above threshold: replace 1, warning 0. BibID & rank REPLACE Existing DB Bib record merged. BIBLIOGRAPHIC or AUTHORITY Records Processed: 5 Added: Discarded: 0 0 Rejected: 0 Errored: 0 19

20 Replaced: 0 Merged: 5 Deleted: 0 Mfhds created: 0 Items created: 0 Mon May 21 13:37: [/m1/voyager/pirkanmaa_traindb/rpt]> Lehtitietueet WebVoyágessa ja luetteloinnissa Lokitiedostojen silmäilyn jälkeen kannattaa katsoa tietueita WebVoyágessa: SFX-linkit vaativat toimiakseen määrityksiä WebVoyágen korjausskriptiin: o hakutuloslistalla näkyviin pieni pyöreä SFX-painike o Saatavuus-, Koko viite- ja MARC-näytöissä näkyville iso SFX-painike. Jotta kokotekstitietokanta näkyisi SFX-valikossa, jouduimme muuttamaan korjaussskriptissä seuraavaa riviä (käytetään kenttää 022 y eikä 022 a): $issn = get_field_subfield($a_marc, '022', 'y') if ($issn eq ''); WebVoyágen määrittelytiedostoihin display1.cfg ja display2.cfg tehtiin muutoksia, jotta lehtitietueiden vähäiset kentät näkyisivät LINDAn tapaan. Meillä lisättiin näkymään: o Muu ilmiasu 530 saatavuusnäyttöön o Kuvailun perusta 531 koko viitteen näyttöön heti Muun ilmiasun alapuolelle 20

21 Voyageriin siirretty tietue luettelointi-clientissa: 21

22 Yllä merkkipaikassa 17 voisi pikemminkin olla 7 eli luetteloinnin vähimmäistaso. 22

23 Jo siirrettyjen e-lehtitietojen päivitystarve Voyageriin useimpien kokotekstipakettien koostumus tai ainakin lehtimäärät muuttuvat vain vähän SFX-päivityksissä kuukaudesta toiseen eniten uusia lehtiä tulee ilmaiseen DOAJ-pakettiin (huhtikuussa > toukokuussa 2630 lehteä) mitä paketteja kannattaa päivittää Voyageriin ja miten usein Voyagerissa myös Add Conditional tuplakontrolli = ei päivitetä tietokannassa jo olemassa olevia tietueita, ainoastaan lisätään uusia tietueita Vastuuvapauslauseke tarkista asiat virallisista (esim. Kansalliskirjaston) ohjeistuksista ja Voyagerin manuaaleista käyttö omalla vastuulla! Kiitokset Ere Maijala / Nelli-toimisto Nanna Jokinen / Linnea-palvelut Tiina Latva-Rasku / PIRAMK 23