Ehdotus CSC:n bibliometriikkapalveluista vuodesta 2013 alkaen OKM:n tilaama esiselvitys CSC:ltä 20.11.2012 1
Tiivistelmä Opetus- ja kulttuuriministeriön tavoitteena on tuottaa jatkossa vuosittain päivitettävä tilastokokonaisuus julkaisutoiminnasta. OKM antoi kesäkuussa 2012 CSC:lle tehtäväksi toteuttaa esiselvitys CSC:ssä tuotettavan bibliometriikkakokonaisuuden sisällöstä ja käytettävissä olevien aineistojen rajoitteista sekä mahdollisesta toteuttamisaikataulusta ja arvioidusta työmäärästä. Bbliometriikka tarkoittaa tieteellisten julkaisujen ja niiden saamien viittausten tutkimusta. Julkaisuihin perustuvia bibliometrisiä indikaattoreita käytetään yhä enemmän tutkimuksen tuloksellisuuden mittareina mm. tutkimustoiminnan kansainvälisissä vertailuissa, kansallisissa arvioinneissa, tutkimusrahoituspäätösten tukena että tutkimusta tekevien organisaatioiden sisäisissä arvioinneissa. CSC:ssä bibliometristen aineistojen käsittelyä sekä perusindikaattoreiden kehittämistä ja laskentaa on tehty tähän asti osana RAKETTI-hanketta. Suomessa ainakin OKM, Suomen Akatemia, korkeakoulut sekä Tieteellisten seurain valtuuskunnan koordinoima Julkaisufoorumi hyödyntävät bibliometrisia analyyseja. OKM käyttää bibliometrisia indikaattoreita tutkimustoiminnan seurannassa valtakunnallisella tasolla. OKM:llä on selkeät vuosittaiset seurantaindikaattorit, mutta tarvetta myös yksityiskohtaisemmille analyyseille. Suomen Akatemialle bibliometriset analyysit ovat osa perustietopohjaa, jota tarvitaan kaikissa sen toiminnoissa. Yliopistoissa julkaisutietoja hyödynnetään muun muassa johtamisen tukena sekä sisäisissä tutkimuksen arvioinneissa. Näiden lisäksi Julkaisufoorumi tarvitsee indikaattoritietoa julkaisukanavista, ja se on ehdottanut CSC:n tehtäviksi muun muassa julkaisukanavatietokannan sekä paneelien arviointiportaalin teknistä ylläpitoa. OKM kerää vuosittaisessa valtakunnallisessa tiedonkeruussa korkeakouluilta tiedot näiden tuottamista julkaisuista. Korkeakoulujen raportoimat julkaisutiedot siirretään CSC:n palvelimella olevan KOTAjärjestelmään. Tietoja tarkistetaan ja muokataan sellaiseen muotoon, että ne voidaan siirtää CSC:n tietovarastoon. Tietovarastossa olevista tiedoista tehdään tilastoraportteja OKM:n raportointiportaali Vipuseen. Vipusen sisältämien summatietojen lisäksi viitetietoja voi jatkossa selata kehitteillä olevassa Julkaisuportaalissa. Lisäksi tiedoista muodostetaan analyysikuutioita, joilla käyttäjä OKM:ssä voi tehdä aineistosta haluamiaan analyyseja. Esiselvityksessä on esitetty kehittämisehdotuksia julkaisutietojen keruuseen sekä tilastointiin. Vipusen että julkaisukuution analyysimahdollisuuksia on mahdollista monipuolistaa ja tiedonkeruuprosessia voidaan nopeuttaa automatisoimalla tietojen tarkistusprosessia. Korkeakoulujen raportoimien tietojen lisäksi käytössä on kaksi kansainvälistä viitetietokantaa: Thomson Reutersin Web of Science (WoS) ja Elsevierin Scopus. Ne ovat kaupallisia tuotteita, jotka sisältävät tietoja julkaisuista ja niiden saamista viittauksista tärkeimmissä kansainvälisissä lehdissä. OKM on ostanut käyttöoikeuden tietokantojen raakadataan. Thomson Reutersin ja Elsevierin kanssa tehtyjen sopimusten mukaan CSC säilyttää raakadatoja ja tuottaa niistä analyysit OKM:lle. Esiselvityksessä ehdotetaan, että jatkossa aineistoista tuotetaan vuosittain perusindikaattorit, jotka ovat julkisesti saatavilla esimerkiksi Vipusessa. Lisäksi ehdotetaan sellaisen työkalun kehittämistä, josta käyttäjä OKM:ssä ja Suomen Akatemiassa voi tehdä tarvitsemiaan yksityiskohtaisempia analyyseja WoS- ja Scopus- aineistoista. Esiselvityksessä on tehty ehdotus niistä bibliometriikkaan liittyvistä tehtävistä, joita CSC voisi jatkossa tuottaa sekä arvioitu niiden edellyttämä työmäärä. Ehdotuksen mukaan seuraavat tehtävät kuuluvat ns. 2
peruspalveluun, jotka voidaan toteuttaa vuonna 2013 CSC:ssä tällä hetkellä käytössä olevilla henkilöresursseilla: Korkeakoulujen julkaisutietojen tarkistustyö manuaalisesti Julkaisuportaalin ylläpito (Kansalliskirjastosta ostettava työ) Julkaisufoorumin julkaisukanavatietokannan ja paneelien arviointisivuston toteutus ja ylläpito WoS-aineiston jalostus ja perusindikaattoreiden laskenta WoS- (ja Scopus-)aineistojen analyysikuution kehittäminen OKM:n ja SA:n käyttöön Peruspalveluksi ehdotettujen tehtävien hoitaminen edellyttää noin 25 htkk:n työpanosta. Kertaluonteisen kehittämistyön osuus on tästä noin 15 htkk ja pysyvän vuosittaisen työn osuus noin 9 htkk. Seuraavat tehtävät ovat laajennuksia bibliometriikkatehtäviin, ja ne voidaan toteuttaa sillä aikataululla kuin niiden hoitamiseen on saatavilla sopivia henkilöitä. Korkeakoulujen julkaisutietojen tarkistustyön automatisointi XDW-mallin mukainen kanta julkaisuille Vuosittainen julkaisutietojen laadun kehittämistyö Korkeakoulujen raportoimiin tietoihin perustuvanjulkaisukuution analyysimahdollisuuksien monipuolistaminen Scopus-aineiston jalostus ja perusindikaattoreiden laskenta (WoS-aineiston lisäksi) Bibliometriset analyysit OKM:n erillisselvityksiin Indikaattoreiden laskenta julkaisukanaville Julkaisufoorumipanelistien käyttöön Julkaisufoorumin sisällöllinen kehittämistyö yhdessä TSV:n kanssa Laajennettujen tehtävien hoitaminen edellyttää perustehtävien lisäksi noin 26 htkk:n työpanosta. Kertaluonteisen kehittämistyön osuus on tästä noin 16 htkk ja pysyvän vuosittaisen työn osuus noin 10 htkk. Esiselvityksessä on nostettu esille myös mahdollisia laajennuksia bibliometriikkatehtäviin vuoden 2013 jälkeen. Bibliometriikkapalvelua voisi laajentaa siten, että CSC tuottaisi korkeakouluille tilauksesta räätälöityjä bibliometrisia analyyseja esimerkiksi tutkimuksen arvioinnin tarpeisiin. Pitkän aikavälin tavoitteena on laajentaa yliopistojen julkaisutiedonkeruuta siten, että nykyisen vuosittaisen tiedonkeruun sijaan julkaisutiedot päivittyisivät jatkuvasti siten, että ne luettaisiin suoraan yliopistojen julkaisurekistereistä. Lisäksi esillä on ollut tutkijan identifiointi valtakunnallisella tasolla siten, että julkaisujen tekijät voidaan yhdistää identifioituihin henkilöihin. 3
Summary In the future, the aim of the Ministry Education and Culture is to provide a wide statistical package on Finland s publishing performance annually. The Ministry has commissioned CSC to carry out a report as regards the content of the statistical package including the limitations of the available publication data as well as the possible schedule of implementation and the estimated amount of costs. Bibliometrics is a research field that analyses scientific publications and citations. Bibliometric indicators are increasingly used in measuring research performance in e. g. international comparisons, national evaluations, research funding decisions, and internal evaluations of research organizations. So far, CSC has conducted procession and harvest of bibliometric data and development and calculation of bibliometric indicators as part of the RAKETTI project. In Finland, for example, the Ministry of Education and Culture, the Academy of Finland, the higher education institutions and the Finnish Publication Forum project (coordinated by the Federation of Finnish Learned Societies) utilize bibliometric indicators. The Ministry uses certain annual indicators for publishing performance in monitoring research at the national level. However, it also has a need for more detailed analyses. In the Academy of Finland, the bibliometric analyses are necessary for almost all functions. The universities utilize publication-based indicators, for example, as a support for the management of research and in internal research evaluations. In addition, the Finnish Publication Forum project needs indicator data on publishing channels. It has also proposed that CSC would take care of the of technical maintenance of a publication channel database and a portal for the evaluation panels. Ministry of Education collects data of publications from the higher education institutions once a year. Universities export their publication data through CSC s KOTA system. The data are checked and validated into such a form that they can be transferred to CSC's datawarehouse. This report suggests development of the publication data collection and validation in CSC into a more automated system to speed up the process. The statistical reports of publications are available in the Ministry s Vipunen reporting portal. The more detailed information of reported publications will be publicly available in a Publication Portal which is currently in a development phase. Moreover, CSC constructs an analysis cube based on the publication data for the use of Ministry. The analysis cube allows a user in the Ministry to conduct detailed analyses on publications. This report proposes that both Vipunen and the analysis cube would allow analyses by more dimensions than in the current situation. In addition to the data reported by the universities, the Ministry has access to two international reference databases: Thomson Reuters Web of Science (WoS) and Elsevier's Scopus. These two databases are commercial products and they include information on publications and citations in the most important international scientific journals. Ministry of Education has purchased access to the raw data of both WoS and Scopus. According to the Ministry s agreements with Thomson Reuters and Elsevier, CSC has a responsibility to store the raw data and to produce analyses to the Ministry. This report suggests that in the future, certain basic indicators based on these data would be produced each year and that they would be publicly available in, for example, Vipunen. It also proposes that CSC would provide for the 4
Ministry and the Academy an analysis tool which would allow more detailed analysis on WoS and Scopus. This report proposes a list of services in bibliometrics that, in the future, could be provided by CSC. The following tasks are referred to as basic services in bibliometrics which can be implemented in 2013 by CSC s current human resources: Manual validation of publications reported by higher education institutions Maintenance of Publication Portal (work purchased from the National Library) Implementation and technical maintenance of Publication Forum s publication channel database and portal for evaluation panels Procession and calculation of basic bibliometric indicators on WoS Development of an analysis tool based on WoS (and Scopus) for the Ministry and the Academy of Finland Basic services for the proposed tasks require 25 person-months. One-off development work accounts for approximately 16 person-months and permanent annual job for about 9 person-months. The following tasks refer to as possible extensions to services in bibliometrics and they can be implemented in such a schedule as competent people are available: Automation of validation of publications reported by higher education institutions Database for publications based on the XDW-model Annual quality control of publication data collected from the higher education institutions More diverse analyses on publication data collected from the higher education institutions in Vipunen and the analysis cube Procession and calculation of basic indicators bibliometric on Scopus Bibliometric analyses for the Ministry s specific research projects Calculation of publishing channel indicators for the Publication Forum Contextual development of the Publication Forum The extended services require 26 person-months. One-off development accounts for approximately 16 person-months and permanent annual job for about 10 person-months. The report also proposes possible expansions to CSC s services in bibliometrics after 2013. CSC could possibly provide customized bibliometric analysis to higher education institutions. Furthermore, the long-term goal of the publication data collection is to transfer data directly from the universities registers continuously instead of the current annual collection. Moreover, the idea is to identify scholars in a national level, so that the authors of publications could be combined to identified scholars. 5
Sisällysluettelo Tiivistelmä... 2 Summary... 4 1 Johdanto... 8 2 Bibliometriikkaa hyödyntävät tahot Suomessa... 9 2.1 OKM... 9 Nykytilanne... 9 Tulevaisuuden tarpeet... 9 2.2 Suomen Akatemia... 10 Nykytilanne... 10 Tulevaisuuden tarpeet... 10 2.3 Julkaisufoorumi... 11 Nykytilanne... 11 Tulevaisuuden tarpeet... 11 2.4 Yliopistot... 11 Nykytilanne... 11 Tulevaisuuden tarpeet... 12 2.5 Muut tutkimusorganisaatiot... 13 3 Bibliometrisia analyyseja tarjoavat tahot... 14 Yliopistot... 14 Kaupalliset palveluntarjoajat... 14 4 Käytettävissä olevat bibliometriset aineistot... 15 4.1 OKM:n korkeakoulun tiedonkeruun julkaisutiedot... 15 Aineiston kuvaus... 15 Mahdolliset analyysit... 17 Julkaisujen tekijöiden tunnistaminen... 18 4.2 Kansainväliset viite- ja viittaustietokannat... 19 Thomson Reutersin Web of Science... 19 Elsevierin Scopus... 20 Web of Sciencen ja Scopuksen vertailu... 21 Google Scholar... 23 Mahdolliset analyysit... 23 6
5 Ehdotus CSC:n bibliometriikkatehtävistä vuodesta 2013 eteenpäin... 26 5.1 Korkeakoulujen julkaisutiedonkeruuseen liittyvät tehtävät... 26 5.2 Korkeakoulujen julkaisutietojen tilastointi ja raportit... 28 5.3 WoS- ja Scopus-aineistojen käsittely, analyysit ja raportit... 29 5.4 Julkaisufoorumille tarjottavat palvelut... 32 5.5 Bibliometriikkapalvelun kehittämiseen CSC:ssä käynnistettävät projektit... 34 Julkaisutiedonkeruun automatisointi... 34 Kansallinen julkaisukanavatietokanta... 34 Kansainvälisten julkaisutietoaineistojen analyysikuutio... 34 5.6 Kokonaisarvio bibliometriikkaan liittyvien tehtävien edellyttämästä työmäärästä... 35 5.7 Mahdollisia laajennuksia bibliometriikkapalveluihin vuoden 2013 jälkeen... 36 Kehittämisprojekti: Julkaisutiedonkeruun laajentaminen... 36 Liite 1. OKM:n toimenpiteet bibliometristen aineistojen hyödyntämiseen... 37 A Selvitysten ja tutkimusten käynnistäminen... 37 B Aineistojen kehittäminen... 37 Liite 2. Julkaisufoorumin julkaisukanavatietokanta ja paneelien arviointisivusto... 38 Julkaisukanavatietokanta... 38 Paneeleille tarkoitettu arviointisivusto... 38 Liite 3. Web of Science ja Scopus -aineistojen analyysityökalun kuvaus... 40 7
1 Johdanto Opetus- ja kulttuuriministeriön tavoitteena on tuottaa jatkossa vuosittain automaattisesti päivittyvä tilastokokonaisuus julkaisutoiminnasta. Tarkoituksena on, että vuosittain tehtävät bibliometriset analyysit palvelevat paitsi OKM:n tutkimustoiminnan seurantaa valtakunnallisella tasolla, myös muiden bibliometriikkaa hyödyntävien tahojen, kuten korkeakoulujen, Suomen Akatemian ja TSV:n Julkaisufoorumin tarpeita. OKM antoi CSC:lle tehtäväksi toteuttaa lokakuun 2012 loppuun mennessä esiselvitys siitä, mitä bibliometriikkakokonaisuus voi pitää sisällään, mitkä tahot Suomessa tällä hetkellä hyödyntävät tai tekevät bibliometrisia analyyseja, mitä aineistoja on käytettävissä ja mitä rajoitteita niiden käyttöön liittyy. Selvityksessä tuli kuvata lisäksi, missä aikataulussa kokonaisuus olisi mahdollista toteuttaa ja kuinka paljon henkilöresursseja se vaatisi. 8
2 BibliometriikkaahyödyntävättahotSuomessa Bbliometriikka tarkoittaa tieteellisten julkaisujen ja niiden saamien viittausten tutkimusta. Bibliometrisiä indikaattoreita käytetään niin Suomessa kuin kansainvälisestikin yhä enemmän tutkimuksen tuloksellisuuden mittareina mm. tutkimustoiminnan kansainvälisissä vertailuissa, kansallisissa arvioinneissa, tutkimusrahoituspäätösten tukena että tutkimusta tekevien organisaatioiden sisäisissä arvioinneissa. Bibliometrisia indikattoreita Suomessa käyttävät muun muassa OKM, yliopistot, Suomen Akatemia sekä Julkaisufoorumi. OKM:llä on selkeämmät vuosittaiset seurantaindikaattorit, mutta se tarvitsee myös yksityiskohtaisempia analyyseja. OKM hyödyntää pääosin korkeakoulutasoista tilastotietoa, kun taas yliopistot taas seuraavat julkaisutoimintaa yksiköiden, laitosten ja tutkimusryhmien tasolla. SA:n analyyseissa tarvittavien analyysien taso vaihtelee kansallisesta tasosta yksittäisiin tutkijoihin. Julkaisufoorumi tarvitsee indikaattoritietoa julkaisukanavista. 2.1 OKM Nykytilanne Opetus- ja kulttuuriministeriö käyttää julkaisutietoja paitsi tutkimustoiminnan seurannassa, myös yliopistojen ja ammattikorkeakoulujen rahoitusmallissa. Tiede- ja korkeakoulupolitiikassa aineistoja on käytetty tunnistamaan korkeakouluittain ja tieteenaloittain tutkimuksen määrä ja laatu informaatio-ohjauksen välineenä: muodostamaan OKM:n ja korkeakouluille yhtenäinen kuva suomalaisen tieteen kansallisesta ja kansainvälisestä asemasta sekä korkeakoulujen ja muiden tutkimusorganisaatioiden roolista tämä aseman muodostumisessa yliopistojen rahoitusmallin määrällisinä julkaisuindikaattoreina yliopistoille annetussa palautteessa Nykyisiä aineistoja tullaan käyttämään lisäksi yliopistojen rahoitusmallin tutkimuksen laatua kuvaavina julkaisuindikaattoreina ammattikorkeakoulujen rahoitusmallin yhteiskunnallista vuorovaikutusta kuvaavina julkaisuindikaattoreina. Esimerkiksi OKM:ään toimitettuja vuoden 2011 julkaisutietoja on käytetty muun muassa yliopistojen vuoden 2013 rahoituksen laskennan perusteena. Lisäksi OKM on hankkinut Thomson Reutersin Web of Science sekä Elsevierin Scopus -tietokantoihin perustuvan raakadatan, OKM:llä on käyttöoikeus WoS- ja Scopus-raakadataan, jota CSC säilyttää ja josta CSC voi tehdä analyyseja OKM:n käyttöön. Web of Science -aineistolla tehty laajahko analyysi suomalaisen julkaisutoiminnan määrästä ja vaikuttavuudesta on julkaistu Sitaatioindeksityöryhmän II raportissa. Tulevaisuudentarpeet OKM:n tavoitteena on jatkossa jatkuvan tilastoseurantajärjestelmän luominen suomalaisen tieteellisen julkaisutoiminnan seurantaan, joka perustuu yliopistoilta saataviin julkaisutietoihin että kansainvälisissä 9
viitetietokannoissa esiintyvien suomalaisten julkaisujen viite- ja viittaustietoihin. Lisäksi yliopistojen rahoitusmalli edellyttää laadukasta tietopohjaa julkaisuista ja niiden sijoittumisesta julkaisufoorumitasoille. Kehitteillä on myös julkaisuportaali, jonne jatkossa vietäisiin kaikki korkeakoulujen tiedonkeruussa kerättävät julkaisujen metatiedot ja joka mahdollistaisi niiden selailun (Kansalliskirjaston 3kk:n pilottiprojekti). Esillä on ollut myös sellaisen ajantasaisen kansallisen julkaisurekisterin luominen, joka lukisi suoraan korkeakoulujen omia julkaisutietojärjestelmiä. Tavoitteena on myös nykyisten aineistojen aikaisempaa laajempi käyttö esimerkiksi erillisinä selvityksinä (ks. tarkemmin Liite 1): - suomalaisten tutkimuksen kehittymisen seurannassa - huippututkimuksen tunnistamisessa - tutkimuksen monitieteisyyden seurannassa ja sitä edistävien toimenpiteiden pohjatietona - rakenteellisessa kehittämisessä OKM:n tarkoituksena on laajentaa tiedepolitiikassa käytettävää tietoa Suomessa harjoitettavasta tutkimuksesta. Julkaisujen metatietojen avulla saadaan kuva harjoitettavan tutkimuksen määrästä, jakautumisesta korkeakouluihin, tieteen- ja koulutusaloille sekä tutkimuksen laadusta ja kaikkien näiden kehittymisestä. Jatkossa tavoitteena on arvioida esimerkiksi eri yliopistojen tutkimuspotentiaalia ja sen kehittymistä ajan myötä sekä pitemmällä aikavälillä seurata mm. tutkijaliikkuvuuden kehittymistä eri korkeakouluissa ja tieteenaloilla. Tämä edellyttäisi julkaisutiedoissa ilmoitettujen tekijöiden yhdistämistä korkeakoulujen henkilötietoihin, jolloin julkaisutoimintaa voitaisiin tarkastella mm. tekijöiden iän, sukupuolen, koulutusalan ja asteen, tutkijavaiheen sekä mahdollisesti muiden tutkimussuoritusten suhteen. Julkaisutietojen yhdistäminen henkilöihin edellyttäisi tutkijarekisterin perustamista. Tutkijarekisteri voisi yksinkertaistaa myös tutkimushenkilökuntaa koskevaa Tilastokeskuksen tiedonkeruuta. 2.2 SuomenAkatemia Nykytilanne Bibliometriset analyysit ovat Suomen Akatemialle osa perustietopohjaa, jota tarvitaan kaikissa toiminnoissa. Suomen tieteen tila ja taso -raportteihin on tuotettu laajempi bibliometrinen analyysi, jossa Suomen julkaisujen vaikuttavuutta on verrattu muihin maihin Web of Science -aineiston pohjalta. Syksyllä 2012 ilmestyvään raporttiin bibliometriset analyysit SA osti Aalto-yliopiston bibliometriikkaryhmältä ja aikaisemmin se on ostanut analyyseja muun muassa Ruotsista Vetenskpasrådetilta. Tulevaisuudentarpeet Suomen Akatemia käyttää bibliometrisia analyyseja jatkuvissa toiminnoissa tarvittavien perustietojen tuottamiseen. Suomen Akatemia tarvitsee julkaisu- ja viittausmääriä koskevia analyyseja tietyistä maista kansainvälistä vertailua varten sekä tieteenaloittain. Jatkossa voidaan tehdä myös tutkimusorganisaatiotasoisia analyyseja (ei kuitenkaan yrityksiä tai kansainvälisiä organisaatioita). Arviointeihin tehtävien analyysien tulokset ovat lähtökohtaisesti julkisia. 10
Suomen Akatemiaa hyödyttäisi pääsy esimerkiksi sellaiseen WoS- tai Scopus-raakadatasta jalostettuun aineistoon, josta myös ad hoc -tyyppiset analyysit olisivat mahdollisia. Seuraavaa Suomen tieteen tilan tarkastelua varten analyysien tekeminen täytyisi olla mahdollista viimeistään vuoden 2014 alussa. 2.3 Julkaisufoorumi Nykytilanne Tieteellisten seurain valtuuskunnan ylläpitämä Julkaisufoorumi vastaa tieteellisten julkaisukanavien tasoluokituksen tuottamisesta. Julkaisufoorumi-hankkeen ohjausryhmän hyväksymän päivityssuunnitelman mukaan luokitusta täydennetään vuosittain lisäämällä aikaisemmin luokittamattomia tieteellisiä lehtiä, sarjoja ja kirjakustantajia perustasolle 1, ja kaikki tasoluokitukset arvioidaan uudelleen kolmen vuoden välein. Luokitusten arvioinnin toteuttavat tieteenalojen asiantuntijoista kootut paneelit. Julkaisufoorumin paneelien jäsenet tarvitsevat bibliometrisia indikaattoritietoja julkaisukanavista taustatiedoksi julkaisukanavien arviointia varten. Tähän asti paneelien käyttöön on tarjottu perusindikaattoreita, joita Thomson Reuters ja Scopus ovat tuottaneet indeksoimilleen lehdille ja joita ne tarjoavat maksusta (Journal Impact Factor, SNIP ja SJR). Indikaattoritiedot julkaisukanaville on tuotettu yhteistyössä CSC:n kanssa. Tulevaisuudentarpeet Jatkossa paneelien käyttöön on mahdollisuuksien mukaan tarkoitus tarjota indikaattoreita monipuolisemmin. Julkaisufoorumin ylläpitosuunnitelmassa on ehdotettu, että indikaattorien kehittelyä ja laskentaa toteutetaan edelleen yhteistyössä CSC:n kanssa. Lisäksi Julkaisufoorumissa on tarkoitus luoda jatkossa sellainen päivittyvä valtakunnallinen julkaisukanavatietokanta, jota voidaan hyödyntää sekä paneelien työskentelyssä että OKM:n julkaisutiedonkeruussa, kun yliopistojen ilmoittamia kun julkaisuja yhdistetään julkaisukanavaluokituksiin. Julkaisukanavalista olisi myös yliopistojen käytössä ja ne voisivat hyödyntää sitä tiedonkeruussaan. Julkaisufoorumin ohjausryhmän hyväksymässä päivityssuunnitelmassa ehdotetaan, että julkaisutietokannan päivitys kuuluisi CSC:n tehtäviin ja tiedot siirtyisivät automaattisesti Julkaisufoorumin verkkosivuilla julkaisukanavien hakusivustolle. (ks. Liite 2) 2.4 Yliopistot Nykytilanne Yliopistoissa julkaisutietoja hyödynnetään muun muassa sisäisen johtamisen ja päätöksenteon tukena, viestinnässä, tutkimustoiminnan arvioinnissa, toimintakertomuksissa ja henkilöstön palkkauksen perusteena. Suurin osa yliopistoista käyttää julkaisutietoja oman yliopiston sisäisen rahanjaon kriteerinä. (ks. JURE pilotointityöryhmän raportti 2011). Korkeakoulut saavat omien julkaisujensa tiedot omista julkaisurekistereistään, mutta jos ne haluavat vertailla itseään muihin suomalaisiin tai ulkomaalaisiin tutkimusorganisaatioihin, ne tarvitsevat muita aineistoja. 11
Useissa korkeakouluissa on viime aikoina toteutettu tutkimuksen arviointeja, joiden osana on tehty myös laajahkoja bibliometrisiä analyyseja. Ainakin HY ja TTY ovat tilanneet analyysit Leidenin yliopistolta CWTS:ltä. Tulevaisuudentarpeet Viranomaistahoille tehtävän raportoinnin lisäksi tutkimustoiminnan seuranta on lisääntynyt myös yliopistojen sisällä, sillä tutkimusta halutaan johtaa ja arvioida suhteessa yliopiston strategiaan ja suhteuttaa tuloksia panoksiin. Siksi tarve myös bibliometrisille analyyseille on kasvamassa. Koska yliopistojen omat tiedot sisältävät vain tietoa julkaisumääristä, viittausmääriä koskevia analyyseja tehdään kansainvälisillä viittausaineistoilla (WoS, Scopus). Lähes kaikilla yliopistoilla on sopimus Thomson Reutersin WoS-tietokannan online-käytöstä ja useimmilla Elsevierin kanssa Scopus-tietokannan käytöstä. Viitetietokantojen käyttö soveltuu kuitenkin paremmin tietojen selailuun, ja niiden mahdollistamat analyysit ovat rajalliset, sillä niiden avulla ei voi esimerkiksi suhteuttaa oman yliopiston julkaisujen saamia viittausmääriä maailman tasoon. Esimerkiksi Thomson Reuters ja Elsevier tarjoavatkin yliopistoille ja muille organisaatioille erillisinä tuotteina analyysipalveluja (Thomson Reuters InCites ja Elsevier SciVal), joiden avulla yksittäinen korkeakoulu voi esimerkiksi laskea omien julkaisujensa viittausindeksejä suhteutettuna maailman tasoon. Teknillisillä korkeakouluilla (Aalto, TTY, LTY) on suunnitteilla 3? vuoden välein toteutettava yhteinen bibliometrinen selvitys, jonka toteuttajaksi on kaavailtu Aalto-yliopistoa. Sitaatioindeksityöryhmän II raportin tyyppiset analyysit tuottavat vertailutietoa muihin yliopistoihin karkealla tasolla. Ylipistoilla on kuitenkin tarpeita tarkemmille analyyseille. Koska korkeakoulujen yksikkörakenteet ja ohjaustarpeet ovat erilaisia, ne tarvitsevat kuitenkin erityyppisiä bibliometrisiä analyyseja, jolloin yksi kansallisesti tuotettava kokonaisuus ei välttämättä hyödytä kaikkia korkeakouluja. Esimerkiksi osa korkeakouluista voi tarvita vain laitostasoista tietoa, kun taas toiset seuraavat tutkimustoimintaa tutkimusryhmien tasolla. Toisaalta seurantatietoa tarvitaan eri näkökulmista, voidaan esimerkiksi haluta arvioida oman henkilöstön tutkimuspotentiaalia tai vain omassa yliopistossa tehtyjä julkaisuja. 1 Siksi räätälöidyt erikseen tilattavat analyysit palvelisivat paremmin korkeakoulujen yksilöllisiä tarpeita. 1 Esimerkiksi TTY:n ja HY:n tutkimuksen arviointeja varten tehdyissä selvityksissä huomioitavat julkaisut määriteltiin eri tavoin. TTY:n selvityksessä oli mukana TTY:hyn työsuhteessa olleiden tutkijoiden kaikki julkaisut vuosilta 2005 2010, siis myös muualla kuin TTY:llä tehdyt. Koska näin ollen mukaan otettiin sellaisia julkaisuja, joita ei kirjata TTY:n julkaisurekisteriin, prosessi edellytti hakuja WoS-ja Scopustietokannoista ja tutkijoiden tuli käydä läpi hakujen tulokset ja tarkistaa julkaisulistat. HY:n selvityksessä sen sijaan huomioitiin kaikki TUHAT-tietojärjestelmään kirjatut vuosien 2005 2010 julkaisut, jotka pääsääntöisesti ovat siis Helsingin yliopistossa tehtyjä. Julkaisutiedot lähetettiin CWTS:lle, joka mappasi niistä WoS:issa esiintyvät julkaisut analyysia varten. 12
2.5 Muuttutkimusorganisaatiot Useissa valtion tutkimuslaitoksissa voi olla tarpeita sisäistä seurantaa varten esimerkiksi WoS- ja Scopus-aineistoihin perustuville bibliometrisille analyyseille, sillä monilla tutkimuslaitoksilla on merkittävää tieteellistä julkaisutoimintaa. Vuosina 2006 2009 eniten WoS-julkaisuja tuottaneen 20 suomalaisen tutkimusorganisaation joukkoon kuuluu viisi valtion tutkimuslaitosta (THL, VTT, TTL, Metla, MTT). (Sitaatioindeksityöryhmä II:n raportti). Useimmilla tutkimuslaitoksilla on myös oma julkaisutietojärjestelmänsä, mutta kaikilla ei ole sellaista lainkaan. JURE II -työryhmän raportin mukaan tutkimuslaitokset käyttävät julkaisutietojaan käytetään muun muassa sisäisen tutkimushallinnon tukena, tutkimustoiminnan volyymin, vaikuttavuuden ja tuloksellisuuden arvioinneissa, tutkijoiden suoritusarvioinneissa sekä tiedonvälityksessä. Muun muassa JURE-prpjektin yhteydessä on ollut esillä myös valtion tutkimuslaitosten liittäminen valtakunnalliseen julkaisutiedonkeruuseen. Niin ikään yliopistollisissa sairaaloissa tuotetaan paljon tieteellisiä julkaisuja, ja kaikki viisi yliopistollista sairaalaa kuului vuosina 2006 2009 eniten WoS-julkaisuja tuottaneen 20 suomalaisen tutkimusorganisaation joukkoon. Yliopistosairaaloiden julkaisutoimintaa on seurattu etupäässä sairaanhoitopiirien EVOrahoituksen jakoperusteena. Koko ammattikorkeakoulusektori tuotti vuosina 2006 2009 yhteensä vain 270 WoS-julkaisua (Sitaatioindeksityöryhmä II:n raportti), joten yksittäisen ammattikorkeakoulun vuosittainen julkaisumäärä niin vähäinen, ettei niille ole mielekästä laskea esimerkiksi viittausindikaattoreita. Ammattikorkeakouluilta kerätään vuodesta 2012 alkaen julkaisutiedot samoin määrittelyin kuin yliopistoilta. Ammattikorkeakoulujen julkaisutoiminta on kuitenkin vähäisempää ja se painottuu etupäässä työ- ja elinkeinoelämälle suunnattuihin, ei-tieteellisiin julkaisuihin. Rahoitusmalliluonnoksen mukaan julkaisut ovat kuitenkin myös ammattikorkeakoulujen yhtenä perusrahoituksen kriteerinä vuodesta 2013 alkaen. 13
3 Bibliometrisiaanalyysejatarjoavattahot Yliopistot Muutamilla yliopistoilla on omaa bibliometriikan asiantuntemusta. Esimerkiksi Aalto-yliopisto on tuottanut Suomen Akatemian Tieteen tila ja taso 2012 -raportissa julkaistut bibliometriset analyysit. Jatkossa se tuottaa myös bibliometrisia analyyseja tutkimuksen arviointeja varten muille teknillisille yliopistoille. (ei kuitenkaan varsinaisesti kuulu yliopistojen perustehtäviin ja lisäksi yliopistoissa henkilövaihdokset voisivat sotkea tilannetta). Kaupallisetpalveluntarjoajat Kansainvälisillä markkinoilla on useita bibliometriikkapalveluita tuottavia toimijoita. Esimerkiksi Thomson Reuters ja Elsevier tarjoavat maksusta organisaatioille useita erilaisia tuotteita. Esimerkiksi Thomson Reutersin InCites-palvelun avulla organisaatio voi seurata oman organisaationsa tieteellisten julkaisujen määrän ja niiden saamien viittausten kehitystä sekä tehdä verrata omaa organisaatiotaan muihin. Palvelun avulla voi laskea viittausmääriä, erikoistumista, monitieteisyyttä sekä yhteisjulkaisemista koskevia tunnuslukuja tietylle julkaisujoukolle, esimerkiksi tietyn tieteenalan tai tutkijan kaikille julkaisuille tai yksittäiselle julkaisulle. joista saa esimerkiksi organisaation julkaisuille julkaisukohtaiset viittausindeksejä ja muita tunnuslukuja. Leidenin yliopistossa toimiva CWTS (Centre for Science and Technology Studies) tuottaa maksusta Web of Sciencen ja Scopuksen julkaisu- ja viittaustietoihin perustuvia analyyseja organisaatioille, ja esimerkiksi TTY ja HY ovat tilanneet sieltä omassa sisäisessä arvioinnissaan käyttämänsä bibliometriset analyysit. 14
4 Käytettävissäolevatbibliometrisetaineistot 4.1 OKM:nkorkeakouluntiedonkeruunjulkaisutiedot Aineistonkuvaus Vuodesta 2011 alkaen yliopistojen on tullut ilmoittaa julkaisumäärien lisäksi kustakin julkaisusta myös viitetiedot. Ammattikorkeakoulujen tulee toimittaa vastaavat tiedot julkaisuistaan vuodesta 2012 alkaen. Ohjeet kerättävistä sisältökentistä sekä tietojen muodosta on koottu OKM:n tiedonkeruukäsikirjaan, joka sisältää tarkat käsitemäärittelyt niille tiedoille, jotka yliopistoilta edellytetään OKM:n valtakunnallisessa tiedonkeruussa. Julkaisujen lukumäärätiedot julkaistaan opetushallinnon uudessa raportointipalvelussa Vipusessa http://vipunen.csc.fi, joka sisältää muutakin tilasto- ja indikaattoritietoa korkeakouluista. Vipuseen tulee mahdollisesti myös sellainen ominaisuus, jonka avulla esimerkiksi jonkin yliopiston tai tieteenalan julkaisujen lukumäärää klikkaamalla saa julkaisujen viitetiedot näkyviin. Lisäksi OKM on antanut Kansalliskirjastolle toimeksi kehittää syksyn 2012 aikana prototyyppi julkaisuportaalista yliopistojen raportoimien viitetietojen selailuun. OKM:n yliopistoilta keräämä aineisto on kuitenkin käytännössä kattavin aineisto yliopistojen julkaisuista, sillä toisin kuin esimerkiksi kansainväliset viitetietokannat, se kattaa kaikki julkaisutyypit. Koska julkaisutiedot kuitenkin perustuvat usein tutkijoiden omaan raportointiin, aineisto ei kata täydellisesti kaikkia julkaisuja. Kahdeksan yliopiston vuoden 2010 julkaisutiedoista tehty selvitys (JURE I -työryhmän raportti) osoitti, että näiden yliopistojen WoS-julkaisuista noin 85 prosenttia löytyy myös kyseisten yliopistojen omista aineistoista. Julkaisun puuttuminen voi johtua esimerkiksi siitä, että sen tekijä ei enää julkaisun ilmestyttyä ole yliopiston palveluksessa tai ei ole muusta syystä raportoinut julkaisua yliopistonsa julkaisurekisteriin. Lisäksi korkeakoulujen raportoimat julkaisutiedot eivät sisällä tietoja niiden saamista viittauksista, joten ainoastaan julkaisujen lukumäärään perustuvat tilastot ja indikaattorit ovat mahdollisia. Vuonna 2011 yliopistot raportoivat tiedot yhteensä 31 834 2 julkaisusta, joista 25 810 (81 %) on niille annetun julkaisutyyppiluokituksen perusteella julkaistu tieteellisillä julkaisukanavilla. Julkaisuista raportoidaan seuraavat tiedot: (Huom. Kaikista julkaisutyypeistä ei raportoida kaikkia kenttiä) Yliopisto Julkaisuvuosi Julkaisutyyppi Tieteenalat (1-6 kpl) Koulutusalat (1-6 kpl) Julkaisun tekijät Yliopistoon kuuluvat julkaisun tekijät Yliopiston alayksikkö Julkaisun tekijöiden lukumäärä Kansainvälinen yhteisjulkaisu (kyllä/ei) Julkaisun nimi 2 Yliopistojen väliset yhteisjulkaisut laskettu vain kertaalleen. 15
Julkaisuvuosi Volyymi Numero Sivut Artikkelinumero Julkaisun kieli Lehden / Sarjan nimi ISSN ISBN Emojulkaisunnimi Emojulkaisun toimittajat Kustantaja Julkaisun kustannuspaikka Julkaisumaa DOI tunniste Pysyvä verkko-osoite Avoin saatavuus Lähdetietokannan koodi EVO-julkaisu (kyllä/ei) Tehdyn selvityksen perusteella OKM:lle raportoidut julkaisut sisältävät jonkin verran puutteellisia tai virheellisiä tietoja (TUTKI-ohjausryhmälle laadittu raportti 13.6.2012). Puutteet koskivat esimerkiksi koulutus- ja tieteenalojen merkintää sekä julkaisujen metatietoja. Esimerkiksi sama julkaisu esiintyi useamman yliopiston listoilla, tekijöiden järjestys saattoi vaihdella täydellisessä tekijälistassa. Joitakin julkaisuja oli ilmoitettu kansainvälisiksi yhteisjulkaisuiksi, vaikka niiden alkuperäisissä tekijätiedoissa esiintyi vain yksi tekijä tai vain suomalaisia organisaatioita. Osa näistä virheistä korjataan tarkastusvaiheessa (esimerkiksi yliopistojen sisäiset duplikaatit, vääränmuotoiset ISSN-tunnukset ja tieteenalakoodit), eivätkä ne näin ollen päädy lopulliseen aineistoon. Ongelmallisimpia analyysien kannalta ovat ristiriitaiset julkaisutyppiluokitukset sekä puutteelliset julkaisukanavan tiedot, mikä vaikeuttaa julkaisujen yhdistämistä julkaisufoorumiluokituksiin. Erityisesti sarjoilta kustantaja oli usein jätetty ilmoittamatta. Kirjoitusasut vaihtelivat huomattavasti, mikä vaikeuttaa julkaisufoorumiluokitusten kirjaamista. Koko aineistossa oli 293 sellaista vähintään kahden yliopiston välistä julkaisua, joille oli annettu eri julkaisutyyppiluokka eri yliopistoissa. Tyypillisimmät tapaukset olivat artikkeleita, jotka oli luokiteltu toisessa yliopistossa vertaisarvioiduksi ja toisessa vertaisarvioimattomaksi artikkeliksi. Lisäksi tieteellisissä lehdissä julkaistua artikkelia oli kirjattu sekä alkuperäis- että katsausartikkeliksi. Lisäksi löytyi julkaisuja, jotka oli toisessa yliopistossa kirjattu tieteelliseksi ja toisessa ammatti- tai suurelle yleisölle suunnatuksi. Julkaisutiedonkeruun ongelmia on käsitelty RAKETTI-TUTKI-osahankkeen alaisessa asiantuntijatyöryhmässä https://confluence.csc.fi/pages/viewpage.action?pageid=18782457. Työryhmän tehtävänä on antaa toimenpide-ehdotuksia tiedon laadun ja yhdenmukaisuuden parantamiseksi lokakuun 2012 loppuun mennessä. Esimerkiksi Julkaisufoorumin julkaisukanavalistan täydentäminen ja ajantasaistaminen 16
ja listan käyttö korkeakoulujen omissa tiedonkeruuprosesseissa parantaa tietojen laatua ja helpottaa julkaisujen yhdistämistä Julkaisufoorumin tasoluokituksiin. Mahdollisetanalyysit Tällä hetkellä Vipusesta on mahdollista saada yliopistojen raportoimista julkaisutiedoista korkeakoulukohtaiset julkaisumäärät tieteenaloittain, koulutusaloittain, julkaisutyypeittäin sekä julkaisufoorumiluokituksen mukaan Lisäksi julkaisumääriä voi tarkastella sen mukaan, ovatko ne julkaistu ulkomailla ja ovatko ne avoimesti saatavilla, eli ns. open access -julkaisuja (Kuva 1). Kuva 4.1. Vipusesta nykyisin saatavilla olevat julkaisutietojen raportit. 17
Kuva 4.2. Esimerkki julkaisujen analyysikuutiolla tehtävästä summatasoisesta analyysista. Aineistosta on mahdollista tuottaa summatasoista tietoa OKM:n käytössä olevien analyysikuutioiden avulla. Kuutiota voidaan käyttää ad hoc-analyyseihin exceliä selaamalla (Kuva 4.2). Kuutiosta on tehty erillisiä parametrisoitavia raportteja julkaistavaksi Vipunen-portaaliin. Tällä hetkellä julkaisukuution avulla on Vipusessa olevien dimensioiden lisäksi mahdollista tarkastella julkaisutoimintaa kansainvälisten yhteisjulkaisemisen sekä julkaisun kansainvälisyyden mukaan. Julkaisuista kerätään myös sellaisia tietoja, joista olisi johdettavissa indikaattoreita, mutta niitä ei ainakaan toistaiseksi ole viety analyysikuutioon avulla, eikä niitä näin ollen ole mahdollista raportoida myöskään Vipunen-portaalissa. Näitä tietoja ovat muun muassa: - julkaisujen ositetut määrät (esim. kirjoittajien lukumäärän ja yliopistojen suhteen) - kirjoittajien määrä - yhteisjulkaisut muiden yliopistojen kanssa - eri julkaisukanavilla julkaistut julkaisut - eri kielillä julkaistut julkaisut Julkaisujentekijöidentunnistaminen Tällä hetkellä julkaisuja ei kytketä tietojen raportointivaiheessa henkilöihin, joten tekijäkohtaiset analyysit eivät ole toistaiseksi mahdollisia. Esimerkiksi samannimisiä henkilöitä ei voida erottaa toisistaan luotettavasti eikä eri aikoina tuotettuja julkaisuja voida yhdistää samaan henkilöön, mikäli henkilön nimi muuttuu. Julkaisujen tekijöitä ei näin ollen voida yhdistää henkilötiedonkeruussa kerättäviin tietoihin. Siksi myöskään esimerkiksi suunnitellusta kansallisesta Julkaisuportaalista (Kansalliskirjastossa käynnissä oleva pilottiprojekti) ei toistaiseksi voida hakea julkaisuja tekijäkohtaisesti. Henkilön linkittäminen julkaisun tekijään voitaisiin toteuttaa esimerkiksi siten, että kullakin yliopiston henkilöstöön kuuluvalla olisi oma ID-numeronsa, joka kytkettäisiin yliopistossa julkaisun tallennusvaiheessa julkaisuun. Samaa ID-numeroa käytettäisiin henkilöstötiedonkeruussa, joka pohjautuu henkilös- 18
tön palvelusuhdejaksoihin. Henkilöstötiedonkeruussa kullekin henkilölle kirjataan henkilötunnuksen lisäksi korkeakoulukohtainen henkilönumero, jota voisi mahdollisesti käyttää myös julkaisutiedonkeruussa. Tämä edellyttäisi kuitenkin yliopistoilta lisätyötä ja muutoksia tiedonkeruuseen, tosin jo nyt monissa yliopistoissa julkaisutietojärjestelmä on yhteydessä henkilötietojärjestelmään, ja ne julkaisujen tekijät, jotka ovat omasta yliopistosta, kytketään näiden henkilötietoihin. Menettely tosin jättää ulkopuolelle ne henkilöt, jotka eivät ole varsinaisessa palvelussuhteessa yliopistoon, mutta ovat siihen muuten affilioituneet (esimerkiksi apurahatutkijat ja emeritusprofessorit). Jos julkaisutiedot kytkettäisiin OKM:n henkilöstötiedonkeruun tietoihin, olisi mahdollista seurata myös esimerkiksi eri tutkijanuravaiheessa olevien tutkijoiden julkaisutoimintaa. Henkilöstötiedonkeruussa henkilöille liitettyjä tietoja ovat: yliopisto, tiedekunta, laitos, toimipaikka, nimike, merkittävin tutkinto, tutkinnon suoritusmaa, sukupuoli, syntymävuosi, kansalaisuus, äidinkieli, nimitystapa (vakinainen/määräaikainen), työsuhteen kesto (kokoaikainen/osa-aikainen), koulutusala, tieteenala, tehtäväjaottelu, tutkijanuravaihe ja henkilöstöryhmä. Tulisi kuitenkin ratkaista se, miten eri organisaatioissa työskennellyt henkilö voitaisiin yhdistää samaksi henkilöksi. Yhtenä vaihtoehtona tulisi selvittää HAKA-tunnistautumisen 3 hyödynnettävyyttä. HAKA kattaa yliopistojen ja ammattikorkeakoulujen tutkimus- ja opetushenkilöstön. Lisäksi Hakan kautta voidaan tunnistaa myös sellaisia henkilöitä, jotka eivät ole palvelussuhteessa organisaatioon, mutta ovat siihen jotenkin muuten affilioituneet ja saaneet käyttäjätunnuksen (esim. jatko-opiskelijat, apurahatutkijat, emeritukset). HAKAsta kuitenkin puuttuu sellainen toiminnallisuus, jonka avulla eri organisaatioissa työskennellyt henkilö voitaisiin yhdistää samaksi henkilöksi ja jolla henkilön organisaatiohistoria säilyisi järjestelmässä. Samoin tulisi selvittää kansainvälisen ORCID-tunnistusjärjestelmän hyödyntämismahdollisuudet (ks. http://orcid.org). 4.2 Kansainvälisetviite-javiittaustietokannat ThomsonReutersinWebofScience Thomson Reutersin Web of Science -tietokanta pyrkii kattamaan jokaiselta tieteenalalta tärkeimmät kansainväliset lehdet (yhteensä yli 12 000 nimikettä) ja konferenssisarjat (yli 150 000). Thomson Reuters on luokitellut jokaisen lehden kuuluvaksi yhteen tai useampaan tieteenalaan, joita on kaikkiaan noin 250. Yksittäisille julkaisuille ei ole määritelty mitään tieteenaloja. Jokainen julkaisu edustaa täsmälleen yhtä julkaisutyyppiä, joista bibliometristen analyysien kannalta tärkeimmät ovat Article, Letter ja Review. Thomson Reutersin tietokantaa on hyödynnetty bibliometriikassa kansainvälisesti jo useamman vuosikymmenen ajan (kattava aineisto ulottuu aina vuoteen 1900 asti), ja sen edut ja puutteet tunnetaan hyvin. Kansallisen käytön kannalta suurimmat ongelmat liittyvät tietokannan organisaatiodatan virheisiin, minkä vuoksi aineiston mielekäs hyödyntäminen edellyttää organisaatioiden tarkistamista osoitetie- 3 Haka-käyttäjätunnistusjärjestelmä perustuu korkeakoulujen muodostamaan luottamusverkostoon, jonka operaattori on CSC. Luottamusverkoston jäseneksi voivat liittyä yliopistot, ammattikorkeakoulut, yliopistosairaalat, tutkimuslaitokset ja näiden toimintaa tukevat organisaatiot. Haka-verkostoon kuuluvien organisaatioiden henkilöstö ja opiskelijat voivat käyttää kotiorganisaationsa käyttäjätunnuksia kirjautuessaan eri palveluihin. Käyttäjien henkilötietoja voidaan siirtää palveluihin kirjautumisen yhteydessä. 19
tojen avulla. Muita, kaikkia käyttäjiä koskevia ongelmia ovat virheet viittaustiedoissa sekä kirjoittajien ja heidän affiliaatioidensa välisen kytkennän puuttuminen vuotta 2008 edeltävästä aineistosta. Uudemmassa aineistossa kunkin kirjoittajan affiliaatiot on kirjattu näkyviin. Erot tietokannan kattavuudessa tieteenalojen välillä ovat huomattavia, ja se kattaa parhaiten niiden alojen julkaisuja, jotka julkaisevat tutkimustuloksensa tyypillisesti kansainvälisissä tieteellisissä lehdissä. Kattavuus on paras luonnon- ja lääketieteissä, mutta heikko yhteiskunta- ja humanistisissa tieteissä, jossa julkaistaan paljon kirjoja ja kokoomateoksia ja joissa kansallinen julkaiseminen on tärkeää. Taulukko 4.1. WoS-tietokannan kattavuus yliopistojen raportoimista julkaisuista vuonna 2010. Perustuu kahdeksan yliopiston JURE I -työryhmälle toimittamaan testiaineistoon. Kaikki julkaisut Tieteelliset julkaisut Ei-suomenkieliset artikkelit tieteellisissä lehdissä lkm löytyy WoSista lkm löytyy WoSista lkm löytyy WoSista Luonnontieteet 4 662 39 % 4 203 43 % 2 554 71 % Tekniikka 1 791 20 % 1 577 23 % 551 64 % Lääke- ja terveystieteet 3 317 52 % 2 880 60 % 2 247 77 % Maatalous- ja metsätieteet 648 27 % 429 41 % 230 76 % Yhteiskuntatieteet 4 488 6 % 3 265 8 % 841 32 % Humanistiset tieteet 3 397 3 % 2 479 4 % 475 19 % Opetus- ja kulttuuriministeriöllä on tällä hetkellä käytössään Thomson Reutersin Web of Science - raakadata, joka kattaa vuosien 1990 2011 julkaisut. Raakadataan vuosittain keväällä tehtävä uusi päivitys sisältää suuren osan ei kuitenkaan läheskään kaikkia - edellisen vuoden julkaisuista ja paljon vielä tätä edeltävänkin vuoden materiaalia. Tätä aiempien vuosien osalta vuosittaiset lisäykset ovat pienempiä. Raakadatatiedostot ovat suoraan tekstimuotoisia, yksi sisältökenttä riviä kohti (lisärivit tarvittaessa mahdollisia), rivin alussa kahden merkin koodi kertomassa mikä kenttä on kyseessä. Koska tieteellisten julkaisujen lukumäärä kasvaa jatkuvasti, myös päivitysdatan koko on vuosi vuodelta suurempi. Vuoden 2010 data vie pakkaamattomana noin 10 Gt levytilaa. Thomson Reutersin kanssa tehdyn sopimuksen mukaan CSC säilyttää WoS-raakadataa ja tuottaa siitä analyysit OKM:lle. ElsevierinScopus Elsevier-kustantamon julkaisu- ja viittaustietokantatuote Scopus ilmestyi markkinoille vuonna 2004. Siihen on koottu yhtenäiseen formaattiin useampia pienempiä aineistoja. Scopus-formaatissa dataa on mahdollista saada taaksepäin vuoteen 1996 asti. Nykyään Scopus luetteloi materiaalia yli 18 500 kansainvälisestä tieteellisestä lehdestä ja sadoista kirja- ja raporttisarjoista. Elsevier käyttää omassa tieteenalaluokittelussaan yli 330 luokkaa, ja jokaisen julkaisun tiedoissa ilmoitetaan erikseen mitä tieteenaloja julkaisun katsotaan edustavan. Julkaisutyyppejä on hiukan vähemmän kuin Thomson Reutersin luokittelussa, mutta tärkeimmät tyypit (Article, Letter ja Review) on toki eroteltu. Koska Scopus on suhteellisen uusi tulokas, sen käyttö bibliometrisissä analyyseissa on ollut toistaiseksi vähäisempää, eikä mahdollisia ongelmia tai selviä etuja ole raportoitu kirjallisuudessa yhtä kattavasti kuin Thomson Reutersin aineiston osalta. Organisaatioiden tunnistuksen suhteen Scopuksen dataa joudutaan joka tapauksessa tarkistamaan samoin kuin Thomson Reutersin organisaatiodata. Tekijätietojen 20
kirjaamisen osalta Scopus on ainakin muodollisesti edistyneempi kuin Web of Science, sillä Elsevier on indeksoinut julkaisujen tekijät koko aineiston käsittävällä numeroinnilla, joka erottaa samannimiset tutkijat. Tämän luotettavuudesta ei kuitenkaan ole mitään arviota. Scopuksen tieteenalakohtaisessa kattavuudessa on sama epäsuhta luonnon- ja lääketieteiden hyväksi kuin Web of Science -aineistossa. Opetus- ja kulttuuriministeriön hankkima Scopus-aineisto kattaa vuodet 2000 2010. CSC:n hallinnoima Scopuksen raakadata on xml-formaatissa, joka sisältää huomattavasti sisältöä kuvaavia kenttien aloitusja lopetusmerkkejä. Lisäksi datassa on jonkin verran toistoa. Nämä seikat yhdessä suuren kattavuuden kanssa saavat aikaan sen, että Scopuksen raakadata vaatii huomattavan määrän levytilaa. Vuoden 2010 datan koko on yli 100 Gt, yli kymmenen kertaa niin paljon kuin Thomson Reutersin data samalta vuodelta. Datan suuren koon vuoksi sen käsittely ei ole yhtä suoraviivaista kuin Web of Sciencen tapauksessa, vaan Scopus vaatii enemmän puhtaasti teknistä valmistelua. WebofSciencenjaScopuksenvertailu Vuodesta 2003 eteenpäin Scopus kattaa enemmän suomalaisia julkaisuja kuin Web of Science (Kuva 4.3). Scopus sisältää jonkin verran WoSia enemmän muita kuin tieteellisissä lehdissä julkaistuja artikkeleita, mutta vuodesta 2006 eteenpäin sen kattavuus on parempi myös Article, Review- ja Letterjulkaisutyyppien osalta. Scopuksen kattaa paremmin suomalaisia julkaisuja erityisesti yhteiskuntatietiessä, maatalous- ja metsätieteissä sekä tekniikan alalla. Kun kaikki julkaisutyypit otetaan huomioon, tekniikan alalla vuosien 2006 2008 julkaisumäärä Scopuksessa on lähes kaksinkertainen WoSiin verrattuna. WoS sisältää jonkin verran Scopusta enemmän luonnontieteiden ja humanististen tieteiden alojen lehdissä julkaistuja suomalaisia Article, Review- ja Letter-artikkeleita (Kuva 4.5). Myös yliopistojen välillä on eroja tietokantojen kattavuudessa: WoS on kattavampi erityisesti monialaisissa Helsingin, Itä-Suomen ja Turun yliopistoissa, kun taas Scopus kattaa enemmän teknillisten yliopistojen sekä Oulun yliopiston julkaisuja (Taulukko 4.2). Julkaisujen lukumäärä 16000 14000 12000 10000 8000 6000 4000 2000 0 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Kaikki suomalaiset julkaisut Scopuksessa Kaikki suomalaiset julkaisut ISIssa Suomalaiset Article-, Letterja Review-julkaisut Scopuksessa Suomalaiset Article-, Letterja Review-julkaisut ISIssa Kuva 4.3. Suomalaisten* julkaisujen lukumäärät Scopus- ja WoS-viitetietokannoissa 2000-luvulla. 21
*) vähintään yhden tekijän osoitteena Finland 100 % 80 % 60 % 40 % 20 % 0 % -20 % -40 % -60 % -80 % Suhteellinen ero ositetuissa julkaisumäärissä, julkaisutyypit Article, Review ja Letter (Scopus-WoS)/WoS Luonn. 2000-2002 2003-2005 2006-2008 Tekn. Lääk. ja terv. Maatal- ja metsät. Yht.kun.t. Hum. Moniala 200 % 150 % 100 % 50 % 0 % -50 % Yht. -100 % Suhteellinen ero osittamattomissa julkaisumäärissä, kaikki julkaisutyypit (Scopus-WoS)/WoS 2000-2002 2003-2005 2006-2008 Luonn. Tekn. Lääk. ja terv. Maatal- ja metsät. Yht.kun.t. Hum. Moniala Yht. Kuva 4.4. Suhteellinen ero Scopuksen ja WoSin sisältämien suomalaisten julkaisujen lukumäärissä: (Scopus-WoS)/Wos. Positiivinen arvo tarkoittaa, että Scopus on päätieteenalalla kattavampi, negatiivinen arvo puolestaan tarkoittaa korkeampia julkaisumääriä WoSissa. Taulukko 4.2. Suhteellinen ero Scopuksen ja WoSin sisältämien julkaisujen lukumäärissä yliopistoittain: (Scopus-WoS)/Wos. Positiivinen arvo tarkoittaa, että Scopus on yliopiston julkaisumäärissä kattavampi, negatiivinen arvo puolestaan tarkoittaa korkeampia julkaisumääriä WoSissa. Tyypit Article, Letter ja Review, ositetut julkaisut 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Aalto-yliopisto 14 % 30 % -23 % -56 % -58 % -84 % 44 % 115 % 116 % 123 % Helsingin yliopisto -89 % -6 % 36 % -10 % -157 % -23 % -145 % -115 % -101 % -142 % Itä-Suomen yliopisto 8 % -91 % -82 % -127 % -134 % -122 % -68 % -73 % -124 % -118 % Jyväskylän yliopisto -17 % -59 % -28 % -14 % -29 % 39 % 75 % -16 % -36 % 15 % Lapin yliopisto 1 % 2 % 6 % -3 % -2 % 2 % -2 % -4 % 5 % 0 % Lappeenrannan tekn. yliop. 13 % 4 % 6 % 8 % 22 % 0 % -1 % 30 % 36 % 14 % Oulun yliopisto 14 % 30 % 10 % -15 % 17 % 53 % 9 % 26 % 33 % 77 % Sibelius-akatemia -1 % -2 % -2 % 2 % 0 % -1 % -2 % -3 % -1 % -1 % Svenska Handelshögsk. -5 % 1 % 0 % -4 % 4 % 27 % 8 % 11 % 11 % 13 % Tampereen tekn. yliop. 44 % 13 % -11 % -16 % -31 % -5 % -26 % 1 % 140 % 42 % Tampereen yliopisto 0 % 8 % -20 % 16 % -12 % -1 % -21 % 7 % -29 % -75 % Teatterikorkeakoulu 0 % 0 % 0 % -1 % 0 % 0 % 0 % 0 % -1 % 0 % Turun yliopisto -16 % -137 % -181 % -152 % -194 % -144 % -77 % -124 % -159 % -79 % Vaasan yliopisto 1 % 12 % 8 % 13 % 11 % 24 % 23 % 18 % 23 % 29 % Åbo Akademi 1 % -2 % -21 % -5 % -19 % -21 % -1 % 36 % 27 % 50 % 22
Scopus antaa selvästi korkeampia suhteellisia viittausindeksejä Suomelle kuin WoS (Kuva 4.5), mutta se pätee useimpiin muihinkin. Ilmiö selittyy kiinalaisten sarjojen suurella edustuksella Scopuksessa. Niihin vittaavat käytännössä vain kiinalaiset tutkijat, joten nämä sarjat pudottavat koko maailman viittauskeskiarvoja, ja siis nostavat kaikkien saatujen viittausten suhteellista arvoa. Kuva 4.5. Suomalaisten julkaisujen suhteelliset viittausindeksit Scopus- ja WoS-viitetietokannoissa 2000- luvulla. GoogleScholar Google Scholar on aineistoltaan huomattavasti kattavampi kuin Thomson Reuters tai Scopus ja se sisältää myös muita kuin kansainvälisiä journaalijulkaisuja (esim. kirjoja, konferenssijulkaisuja, esitelmiä, työpapereita). Tieto ei kuitenkaan ole yhtä standardimuotoista kuin kv. viitetietokannoissa (esim. WoS, Scopus), vaan haun tuloksena tulee muutakin kuin julkaisuja (esimerkiksi ei-tieteellistä kirjallisuutta ja viittauksia). Google ei myöskään paljasta, mistä lähteistä se hakee viitetietoja, joten on vaikea arvioida, mitkä julkaisut ovat siellä edustettuina. Lisäksi Google Scholarista ei voi hakea tietyn organisaation julkaisuja, vaan se soveltuu toistaiseksi vain yksittäisten tutkijoiden julkaisu- ja viittausmäärien laskemiseen. Tästä syystä sitä ei käytetä yleensä esimerkiksi maiden tai organisaatioiden vertailuissa. Mahdollisetanalyysit Koska Thomsonin ja Elsevierin CSC:lle toimittamat raakadatatiedostot ovat tekstimuotoisia, niiden käyttö edellyttää jalostamista sekä aineistojen siivoamista. CSC:ssä on tehty laajasti pohjatyötä WoSin ja Scopuksen osoitteiden siivoamisessa sekä tieteenalojen luokittelussa. Nämä toimenpiteet voidaan toistaa vuosittain päivittyvällä aineistolla. Prosessia ei kuitenkaan voida kuitenkaan täysin automatisoida, sillä WoSin ja Scopuksen aineistoihin tulee pieniä muutoksia joka vuosi (esimerkiksi uusia kirjoitusasuja osoitteille tms.). 23
Sellainen aineisto esimerkiksi OKM:n ja Suomen Akatemian käyttöön, josta käyttäjä voi itse tehdä ad hoc -tyyppisiä analyyseja, edellyttää raakadatan jalostamista ja sellaisen käyttöliittymän luomista aineistoon, jolla käyttäjä voisi tehdä aineistosta tarvittavat analyysit. Jotta aineistosta tehtävät analyysit olisivat mahdollisimman pitkälle vertailukelpoisia, olisi selvitettävä mahdollisuuksia toteuttaa sellainen tietotekninen työkalu, esimerkiksi analyysikuutio, joka laskee CSC:n tuottamista tuloksista yhdenmukaisin menetelmin käyttäjän rajaamalle julkaisujoukolle automaattisesti valmiiksi useita bibliometrisiä indikaattoreita. Näitä voisivat olla esimerkiksi julkaisujen määräja suhteellinen viittausindeksi, ilman viittauksia jääneiden ja omalla tieteenalallaan viitatuimpaan kymmenykseen kuuluvien julkaisujen osuus jne. Näin minimoidaan laskuvirheiden mahdollisuudet, ja eri käyttäjien erilaisin perustein rajaamia julkaisujoukkoja koskevat indikaattorit ovat varmasti identtisin menetelmin laskettuja. Taulukko 4.3. Luonnontieteiden alan lehdissä vv. 1990 2008 julkaistujen suomalaisten Web of Science - julkaisujen suhteellisen viittausindeksin kehitys organisaatioittain. (Lähde: Sitaatioindeksityöryhmän II raportti) Suhteellinen viittausindeksi (tieteenalapohjainen) 1990 1993 1994 1997 1998 2001 2002 2005 2006 2008 Yhteensä 1990 2008 Koko Suomi yhteensä 0,92 0,99 0,99 1,01 1,05 1,00 Yliopistot yhteensä 0,90 1,00 1,01 1,03 1,06 1,01 Ammattikorkeakoulut yhteensä - - - - - 0,73 Valtion tutkimuslaitokset yhteensä 1,03 0,94 0,99 0,97 1,07 1,00 Yliopistolliset sairaalat yhteensä 0,85 1,04 0,93 1,08 0,97 0,99 Sairaanhoitopiirit, muut yhteensä* - - - - - 0,89 Yritykset yhteensä 0,92 0,99 0,79 0,79 0,75 0,84 Fysiikan tutkimuslaitos (HIP) - - 1,47 1,49 1,47 1,45 Aalto-yliopisto 1,05 1,19 1,28 1,21 1,08 1,17 Metsäntutkimuslaitos 0,98 1,30 1,29 1,04 1,14 1,16 Helsingin yliopisto 1,01 1,18 1,15 1,18 1,21 1,15 Terveyden ja hyvinvoinnin laitos 0,84 1,00 1,26 1,12 1,51 1,14 Suomen ympäristökeskus - 0,91 0,91 1,14 1,20 1,06 Valtion teknillinen tutkimuskeskus 1,33 0,92 0,96 0,98 1,16 1,05 Helsingin yliop. keskussairaala 0,85 1,14 0,93 1,06 1,02 1,01 Jyväskylän yliopisto 0,75 0,99 1,03 0,92 1,20 1,00 Åbo Akademi 0,95 0,80 0,92 1,17 1,04 0,99 Itä-Suomen yliopisto 0,68 0,90 0,92 0,92 0,98 0,90 Turun yliopisto 0,84 0,83 0,84 0,92 0,91 0,87 Ilmatieteen laitos - 0,79 0,84 0,80 0,92 0,84 Oulun yliopisto 0,71 0,81 0,76 0,83 0,90 0,81 Tampereen teknillinen yliopisto - 0,71 0,76 0,66 0,93 0,77 Tampereen yliopisto 0,63 0,86 0,75 0,84 0,71 0,75 Huom. Taulukossa mukana ovat ne organisaatiot, joiden osuus yhteensä vv. 1990 2009 on vähintään 1 %. Viittausindeksi on esitetty, jos julkaisuja on vähintään 50. *) Sairaanhoitopiireihin kuuluvat terveydenhuollon toimintayksiköt (pl. yliopistolliset sairaalat) Aineistosta on mahdollista tuottaa vuosittain perusanalyysi julkaisujen määrästä ja niiden saamista viittauksista tutkimusorganisaatioittain ja tieteenaloittain. Taulukossa 3 on esimerkki sellaisesta tilastosta, 24
joka aineistosta on mahdollista tuottaa. Suomalaisten tutkimusorganisaatioiden julkaisutoimintaa kuvaavassa Sitaatioindeksityöryhmän II raportissa esitettiin julkaisujen määrään (kokonaismäärä ja ositettu määrä) sekä viittausmääriin perustuvia tunnuslukuja (tieteenalaan suhteutettu viittausindeksi, sarjaan suhteutettu viittausindeksi, maailman viitatuimpaan % ja 10 prosenttiin kuuluvien julkaisujen osuus) tutkimusorganisaatioittain sekä päätieteenaloittain 4. Tilastot olisi mahdollista tuottaa myös tarkemmalla tieteenalaluokituksella, esimerkiksi OKM:n 67-luokkaisen tieteenalaluokituksen mukaan. Lisäksi viittausja julkaisumääriin perustuvia indikaattoreita voisi tarjota monipuolisemmin (esimerkiksi ilman viittauksia jääneiden julkaisujen osuus sekä monitieteisyys- ja kansainvälisyysindeksit). Tällaisen tilastomassan julkaiseminen ja selaaminen on kuitenkin epäkäytännöllistä yhden raportin muodossa, joten tulisi selvittää raporttien julkaisemista esimerkiksi Vipunen-raportointiportaalissa. Kansalliset analyysit WoS-aineistosta ovat toistettavissa joka vuosi, joskin muutokset aineistoihin tuottavat jonkin verran työtä. Myös uusia indikaattoreita kehitellään jatkuvasti, joten alalla kehitettävien uusien indikaattoreiden seuranta ja soveltaminen vaatii resursseja. Yliopistojen tuottamia julkaisutietoja on mahdollista yhdistää WoS- ja Scopus-julkaisuihin tunnistusalgoritmin avulla. Julkaisuaineistojen yhdistäminen mahdollistaa esimerkiksi yliopiston aineiston ja kansainvälisten aineistojen kattavuuden vertailu suhteessa toisiinsa (vrt. JURE I -raportti). Jos yliopistojen julkaisujen tekijät linkitetään tulevaisuudessa henkilöihin, ne voidaan tarvittaessa liittää myös niihin WoS- tai Scopus-julkaisuihin, jotka esiintyvät yliopistojen keräämissä tiedoissa. Näin ollen myös julkaisujen määrää ja vaikuttavuutta voidaan selvittää myös suhteessa tutkijanuravaiheeseen, tutkijan ikään ja sukupuoleen jne. Vertailu on kuitenkin mahdollista vain niiden julkaisujen osalta, jotka on raportoitu yliopistojen tiedonkeruussa. Kehitteillä on useita kansainvälisiä tutkijan identifiointijärjestelmiä (Thomson Reitersin ReseacrherID, ORCID, Scopuksen oma identifiointi), mutta niiden kehitys on vasta alkuvaiheessa. Aineistosta olisi myös mahdollista erikseen sovittavana palveluna tuottaa esimerkiksi kiinnostuneille korkeakouluille ja Suomen Akatemialle räätälöityjä analyyseja. Lisäksi aineistoista on mahdollista laskea julkaisukanavia koskevia indikaattoreita (esim. JIF, SNIP, SJR) Julkaisufoorumin käyttöön. 4 Joitakin analyyseja esitettiin myös Julkaisufoorumi-hankkeen paneelialojen luokittelun mukaisesti, mutta luokittelu todettiin soveltumattomaksi tieteenalojen luokitteluun yleisemmin kansallisessa tutkimustoiminnan seurannassa, sillä se on tehty muun muassa paneelijäsenten henkilökohtaisten asiantuntemusalojen perusteella. 25
5 EhdotusCSC:nbibliometriikkatehtävistävuodesta2013eteenpäin Tässä luvussa esitellään ne bibliometriikkaan liittyvät tehtävät, joita CSC:n voi tarjota OKM:lle vuodesta 2013 eteenpäin. OKM voi ehdotuksen perusteella päättää, mitkä tehtävistä sisällytetään OKM:n ja CSC:n vuosisopimukseen. Tämä ehdotus ei sisällä tai kuvaile tai mitoita niitä tehtäviä, jotka vuonna 2013 tehdään RAKETTI-TUTKI-osahankkeessa. Tehtävät on jaettu neljään osa-alueeseen: 1. Korkeakoulujen vuosittainen julkaisutiedonkeruu 2. Korkeakoulujen julkaisutietojen tilastointi ja raportit 3. WoS- ja Scopus-aineistojen käsittely, analyysit ja raportit 4. Julkaisufoorumille tarjottavat palvelut Kunkin osa-alueen osalta tehtävät on jaoteltu suppeampiin perustehtäviin sekä mahdollisiin laajennuksiin (ks. Taulukot 5.1 5.5). Kussakin kohdassa on kuvattu tehtävän nykytila, se mitä asiasta on aiemmin CSC:n ja OKM:n välillä sovittu ja millä rahoituksella asioita on hoidettu kuluvana vuonna 2012. 5.1 Korkeakoulujenjulkaisutiedonkeruuseenliittyvättehtävät Kukin yliopisto toimitti vuoden 2011 julkaisujensa tiedot OKM:ään maaliskuun 2012 puolivälissä sähköpostitse excel-tiedostoina. Alun perin tarkoitus oli, että yliopistot siirtäisivät tiedot suoraan CSC:n palvelimella olevan KOTA-järjestelmän kautta muiden OKM:n tiedonkeruiden tapaan, mutta julkaisutietojen lataus tietovarastoon ja automaattinen virheentarkistus ei ollut tiedonkeruun ajankohtaan mennessä vielä valmis. Yliopistoilta saaduissa julkaisutiedoissa oli useita muodollisia virheitä (puuttuvia tietoja, eikoodistojen mukaisia arvoja). Tietoja käsiteltiin CSC:ssä siten, että niistä poistettiin yhden yliopiston sisäiset duplikaatit (yliopiston aineistossa mainittu kaksi kertaa sama julkaisu) ja yliopistojen välisten yhteisjulkaisujen julkaisutyypit yhdenmukaistettiin. Korjatut julkaisutiedot lähetettiin yliopistoille tarkistettaviksi, minkä jälkeen yliopistot lähettivät tarkistetut tiedot takaisin OKM:ään. Tämän jälkeen julkaisuille lisättiin julkaisufoorumiluokitukset keskitetysti CSC:ssä elokuussa 2012. Tarkistusten jälkeen siirtotiedostot käsiteltiin CSC:n paikallisvarastoon (data mart). Julkaisutietojen tarkistusprosessin hoitaminen manuaalisesti edellyttää CSC:ssä noin 2 htkk:n vuosittaista työmäärää. Jatkossa tarkoituksenmukaisinta olisi tarkistusprosessin automatisointi siten, että yliopistot saisivat virhelokin suoraan ladatessaan julkaisutietoja KOTA-latausalueelle. Latausjärjestelmä tuottaisi automaattisen virheentarkistuksen tiettyjen kenttien osalta (esim. virheelliset koulutus- ja tieteenalaluokitukset, vääränmuotoiset ISSN-numerot ja puuttuvat pakolliset tiedot) ja lisäisi automaattisesti julkaisuille julkaisufoorumiluokituksen. Systeemin automatisoinnin jälkeen manuaalista työtä ei tarvittaisi ja tarkistusprosessi nopeutuisi. Järjestelmän automatisointi edellyttää kuitenkin erillistä kehittämisprojektia, joka vaatii noin 10 htkk:n työpanosta. Ainakin seuraavat vuonna 2012 manuaalisesti hoidetut tehtävät voitaisiin jatkossa automatisoida: - yliopistojen sisäisten duplikaattien tunnistaminen - yliopistojen välisten yhteisjulkaisujen tunnistaminen - virheellisten/puutteellisten tietojen tarkistus 26
- julkaisujen yhdistäminen julkaisufoorumiluokituksiin Suorien tiedonkeruiden hoitamisesta on sovittu CSC:n tietovarastopalveluiden kanssa, mutta tähän mennessä julkaisujen tarkistus tai tarkistusprosessin kehittäminen eivät ole kuuluneet CSC:n vuosisopimukseen suorista tiedonkeruista, ja siksi ne on kirjattu tähän selvitykseen. Vuonna 2012 tietojen tarkistus hoidettiin RAKETTI-TUTKI-hankkeen resursseilla. Tiedonkeruun systematisointi ja automatisointi voitaisiin ottaa kuitenkin käyttöön aikaisintaan vuoden 2013 julkaisujen tiedonkeruussa, joka tapahtuu maaliskuussa 2014. Käyttöönoton ajankohta riippuu kuitenkin siitä, onko kehittämisprojektille käytettävissä riittävästi henkilöresursseja vuonna 2013. Korkeakoulujen vuosittainen julkaisutiedonkeruu Nykytilanne: @ JUFO @ Kansal liskirjast o @ @ KK OKM CSC @ Latausalue Paikallisva rasto Analyysi kuutio Vipunen Tavoitetila: Julkaisukanavatietokanta JUFO Kansalliskirjasto OKM KK Latausalue Paikallisv arasto Ydintieto varasto Analyy sikuuti o Vipunen Kuva 5.1 Korkeakoulujen vuosittaisen tiedonkeruuprosessin nykytilanne ja tavoitetila. Jatkossa tavoitteena on ladata yksittäisjulkaisut XDW-mallin mukaiseen kantaan. Tätäkään tehtävää ei kuitenkaan ole toistaiseksi sisällytetty CSC:n vuosisopimukseen suorista tiedonkeruista, ja XDW-mallin mukaisen kannan kehittäminen edellyttäisi julkaisujen osalta noin 4 htkk:n työpanosta. Tiedonkeruuseen liittyviin tehtäviin voidaan myös liittää vuosittainen korkeakoulujen julkaisutiedonkeruun ja tietojen laadun kehittämistyö, jota on vuosien 2010 2011 tietojen osalta tehty osana RAKETTI- TUTKI-osahankkeen resursseilla sen alla toimineissa työryhmissä (JURE I -työryhmä 2011 ja TUTKIjulkaisutiedonkeruutyöryhmä 2012). Tietojen laadun kehittämiseen liittyviä tehtäviä ovat - analyysi tiedonkeruun onnistumisesta - aineistojen yhdistäminen WoS- ja Scopus-aineistoihin 27
- arvio kattavuudesta suhteessa WoS- ja Scopus-aineistoihin - korjatut ja täydennetyt tiedot ja palaute yliopistoille Nämä tehtävät edellyttävät vuosittain noin 3 htkk:n työpanosta. Taulukko 5.1. Korkeakoulujen julkaisutiedonkeruuseen liittyvät tehtävät. 1) Korkeakoulujen julkaisutiedonkeruuseen liittyvät tehtävät Manuaalisesti tehtävää tarkistustyötä CSC:ssä: yliopistojen sisäisten duplikaattien tunnistaminen yliopistojen välisten yhteisjulkaisujen tunnistaminen virheellisten/puutteellisten tietojen tarkistus julkaisujen yhdistäminen julkaisufoorumiluokituksiin (yhteistyössä TSV:n kanssa) julkaisukanavatietokannan kytkeminen virheloki yliopistoille Mahdolliset laajennukset: Tarkistustyön automatisointi (viimeistään 2013 tiedoilla) Vuosittain kerättäville julkaisutiedoille korkeakoulujen tietomallin (XDW) mukainen kanta (vrt. VIRTA) Vuosittainen korkeakoulujen julkaisutiedonkeruun ja tietojen laadun kehittämistyö: o analyysi tiedonkeruun onnistumisesta o aineistojen yhdistäminen WoS- ja Scopus-aineistoihin o arvio kattavuudesta suhteessa WoS- ja Scopus-aineistoihin o korjatut ja täydennetyt tiedot ja palaute yliopistoille 5.2 Korkeakoulujenjulkaisutietojentilastointijaraportit Korkeakoulujen suorien tiedonkeruun tietovarastoon viedyistä tiedoista muodostetaan CSC:ssä analyysikuutioita OKM:n käyttöön. Esimerkiksi julkaisuista muodostetun kuution avulla julkaisumääriä voi tarkastella seuraavien dimensioiden mukaan: - yliopisto - koulutusala - tieteenala - julkaisutyyppi - julkaisumaa (kotimaa/ulkomaa) - open access -tieto - kansainvälinen yhteisjulkaisu - julkaisufoorumiluokitus Näiden tietojen päivittäminen analyysikuution vuosittain on kirjattu CSC:n vuosisopimukseen suorista tiedonkeruista. Toistaiseksi OKM ei ole sopinut CSC:n kanssa muiden dimensioiden viemisestä ana- 28
lyysikuutioon. Julkaisuista kerätään myös sellaisia tietoja, joista on johdettavissa indikaattoreita, mutta niitä ei ainakaan toistaiseksi ole sovittu vietäväksi analyysikuutioon, esimerkiksi 5 : - julkaisujen ositetut määrät (esim. kirjoittajien lukumäärän ja yliopistojen suhteen) - kirjoittajien määrä - yhteisjulkaisut muiden yliopistojen kanssa - eri julkaisukanavilla julkaistut julkaisut - eri kielillä julkaistut julkaisut Näiden tietojen lisääminen analyysikuutioon edellyttäisi noin 3 htkk:n kehittämistyötä, minkä jälkeen ne voitaisiin hoitaa suorien tiedonkeruisiin liittyvänä pysyvänä työnä (ei lisää pysyvää vuosittaista työmäärää). Tietojen vieminen analyysikuutiossa mahdollistaisi myös ko. tietoihin liittyvien raporttien julkaisemisen Vipusessa. Taulukko 5.2. Korkeakoulujen julkaisutietojen raportointiin liittyvät. 2) Korkeakoulujen julkaisutietojen raportointi Summatiedot: Kuutiot kuten tänä vuonna Vipuseen vietävät raportit kuten tänä vuonna Tietojen siirto julkaisuportaaliin Julkaisuportaalin ylläpito (Kansalliskirjasto ylläpitää) Mahdolliset laajennukset Kuutiolla tehtävien analyysimahdollisuuksien monipuolistaminen julkaisujen ositettu määrä (eri ositustavoilla) kirjoittajien määrä yhteisjulkaisujen määrä yliopistojen väliset yhteisjulkaisut eri julkaisukanavilla julkaistut julkaisut julkaisukieli OKM voi tehdä raportteja Vipuseen 5.3 WoS-jaScopus-aineistojenkäsittely,analyysitjaraportit CSC:ssä WoS- ja Scopus-aineistojen käsittelyä sekä perusindikaattoreiden laskentaa on kehitetty osana JURE-projektin Sitaatioindeksityöryhmiä, ja työtä on tehty RAKETTI-TUTKI-resursseilla. 5 Ammattikorkeakoulujen julkaisutietojen osalta kaikkia indikaattoreita ei välttämättä ole mielekästä tuottaa. 29
Nykytilanne: JUFO WoSraakad ata Scopusraakadat a CSC OKM Raportteja, esim. Sitaatioindeksi-tr Tavoitetila: Scopusraakadat a WoSraakada ta OKM CSC SA Erilliset bibliom. analyysit YO Analyysikuutio OKM SA Vipunen Kuva 5.2. WoS- ja Scopus aineistojen käsittely ja analyysit vuosittain. Nykytilanne ja tavoitetila. Jatkossa aineistojen jalostaminen (mm. osoitteiden perkaaminen vuosittain ja tieteenalojen yhdistäminen Tilastokeskuksen luokitukseen) ja seuraavien perusindikaattoreiden laskenta voitaisiin sisällyttää CSC:n vuosisopimukseen. - Julkaisumäärät (ei-ositettu ja ositettu) - Suhteellinen viittausindeksi (tieteenalapohjainen ja sarjapohjainen) - Top10- ja Top5-indeksit - Viittauksia saaneiden julkaisujen osuus - Em. indikaattorit kullekin vuodelle ja nelivuotiskaudelle kaikille suomalaisille tutkimusorganisaatioille ja tieteenaloille Aineistojen jalostus ja indikaattoreiden laskenta edellyttävät vuosittain 1 htkk:ta WoS-aineiston ja 2 htkk:ta Scopus-aineiston osalta. Tiedot julkaistaisiin vuosittain esimerkiksi Vipusessa siten, että ne ovat julkisesti kaikkien saatavilla. Myös muita indikaattoreita voidaan kehittää ja laskea tarvittaessa (esim. kansainvälisyys- ja monitieteisyysindeksit), ja bibliometriikan tutkimusalalla kehitetäänkin jatkuvasti uusia indikaattoreita. Indikaattoreiden kehittämistyö ja alan kansainvälisen kehityksen seuranta edellyttää CSC:ssä noin 1 htkk:n vuosittaista henkilötyöpanosta. OKM:n ja Suomen Akatemian käyttöön voidaan tuottaa myös analyysityökalu, jonka avulla käyttäjä voi tehdä analyyseja WoS- ja Scopus-aineistoista myös perusindikaattoreita tarkemmalla tasolla (ks. analyysityökalun kuvaus Liitteessä 3). Analyysityökalu voidaan toteuttaa mahdollisesti samalla tekniikalla 30