Bibliometriikka yliopiston tutkimuksen arvioinnissa OKM:n Bibliometriikkaseminaari korkeakouluille

Transkriptio

1 Bibliometriikka yliopiston tutkimuksen arvioinnissa OKM:n Bibliometriikkaseminaari korkeakouluille Leena Huiku Tampereen teknillinen yliopisto

2 TUT RAE paneelia, 23 laitosta, 1127 tutkijaa, 2500 julkaisua Kattoi vuodet Koostui kolmesta osa-alueesta: kansainvälisestä vertaisarvioinnista laitosten itsearvioinneista julkaisujen bibliometrisistä analyyseista Ensimmäinen lajiaan TTY:ssä Web of Science (WoS) -tietokannasta julkaisut, syväanalyysi teetettiin Leidenin yliopiston CWTS-yksikössä Lisäksi tuotettiin TUT RAE Browser selain, jossa tietoa tutkijoista, julkaisuista ja asiantuntijatehtävistä Bibliometrisen analyysin osapuolet: arvioinnin johto: ohjaus- ja johtoryhmä arviointitoimisto kirjasto 2

3 Arvioinnin tavoitteet 3 Tutkimuksen laatu ja tieteellinen vaikuttavuus suhteessa kansainväliseen tasoon Yhteiskunnallinen vaikuttavuus Tunnistaa tutkimusalueet, joissa on potentiaalia kehittyä kansainvälisesti tunnustetuiksi tutkimusyksiköiksi Saada ehdotuksia, joiden avulla laitokset ja yliopiston johto voivat kehittää TTY:n tutkimustoimintaa

4 Bibliometrisen analyysin lähtökohdat Arviointiyksikköinä laitokset 4 Tulokset yliopiston, paneelien ja laitosten tasolla Prospektiivinen näkökulma: arvioitiin tulevaisuuden potentiaalia Bibliometrisessä analyysissä tarkoitti sitä, että julkaisut haettiin WoS-tietokannasta tutkijan nimen perusteella, jolloin myös muissa organisaatioissa julkaistut artikkelit otettiin mukaan ajanjaksolta Julkaisutyypit: Article, Proceedings Paper, Review Normalisoidut indikaattorit

5 Bibliometrinen analyysi: tuloksia 5 Lähde: TUT Research Assessment Exercise 2011: Bibliometric report

6 Tulokset: indikaattoreiden yhdistäminen ja visualisointi 6 Lähde: TUT Research Assessment Exercise 2011: Bibliometric report

7 Bibliometriikasta 7 Julkaisut ovat tieteellisen kommunikaation keskeinen väline ja tärkeitä tutkimuksen tuotoksia Bibliometriikka voi tarkoittaa: Lukumääriä: julkaisut tyypeittäin, kv/kotim, panos-tuotos, Viittausanalyysiä Viittaukset vaikuttavuuden mittarina: kuinka paljon muut tutkijat käyttävät selvityksen kohteena olevassa yksikössä tuotettuja tutkimustuloksia lähteenä omissa julkaisuissaan Kehitetty indikaattoreita, jotka kuvaavat yksikön julkaisujen saamia viittauksia suhteessa odotusarvoon (=kv. taso)

8 Bibliometriikasta: tuloksia 8 Julkaisutoimintaa analysoimalla voidaan selvittää Asemoidaan yliopiston tutkimustoiminnan taso suhteessa alan kansainväliseen tasoon Tutkimuksen vaikuttavuutta ja näkyvyyttä Yhteistyöverkostoja ja yhteisjulkaisemisen vaikutusta viittausten kertymiseen Kansainvälistymistä Yksikön tutkimusprofiilia Julkaisutoiminnan eroja eri tieteenaloilla Julkaisukanavan vaikutusta viittausten kertymiseen Julkaisutoiminnan kehitystrendejä

9 WoS-tietokannan kattavuus 9 Lähde: Moed, H Citation Analysis in Research Evaluation. Springer.

10 Paneeliarviointi vs. viittausanalyysi 10 Laajuus (Scope) Oikeellisuus (Validity) Luotettavuus (Reliability) Hinta (Cost) Paneeliarviointi Kattava, kokonaisvaltainen Riippuu arvioijien valinnasta Riippuu arvioijien valinnasta Miten paneeliarviointi organisoitu Viittausanalyysi Suppea, tarkastelunäkökulmana julkaisutoiminta Riippuu tieteenalasta ja arviointiyksikön valinnasta Riippuu tieteenalasta, tietokannan valinta ja kattavuus keskeistä Arvioinnin taso ja laajuus Lähde: Waltman & Wouters Citation analysis: Rationale and comparison with peer review. CWTS Course 'Measuring Science and Research Performance'

11 TTY:llä paneeliarviointi vs. viittausanalyysi 11 Paneeliarviointi ja bibliometrinen analyysi haluttiin pitää toisistaan riippumattomina Panelistit eivät saaneet bibliometrisen analyysin tuloksia käyttöönsä Jälkeenpäin tarkasteltuna: bibliometrinen analyysi tuki suurimmaksi osaksi vertaisarvioinnin tuloksia

12 Hyviä puolia 12 Luvut helppoja, paneeliarvioinnit sanallisia Mittausvirheen arviointi materiaalinkeruu (tietokannan virheet tekijänimissä ja organisaationimissä) valittujen menetelmien järkevyys oman julkaisurekisterin käyttö, yliopiston verifioimat julkaisut ratkaisu Vertailtavuus: jos menetelmät samat, saadaan vertailukelpoisia tuloksia

13 Haasteita 13 Bibliometriset menetelmät eivät ole standardoituja indikaattoreiden laskentatavat vaihtelevat menetelmät erilaisia Retrospektiivinen vs. prospektiivinen Kansalliset selvitykset retrospektiivisiä -> Tulokset erilaisia Tietokannan valinta: WoS, Scopus eivät kata kaikkia tieteenaloja ja julkaisutyyppejä kattavasti: Tietotekniikassa konferenssiartikkelit tärkeitä, jäivät pääasiassa ulkopuolelle Julkaisujen määrä oltava riittävä -> tilastollinen luotettavuus Leidenin suositus väh. 50 julkaisua

14 Haasteita 14 Viittauksen merkitys Kuka on tutkija? Rajaukset vaikuttavat tuloksiin Tulosten tulkinta vaatii menetelmien tuntemusta. Kuka tulkitsee?

15 Seurauksia ja mitä jatkossa 15 Kiinnostus julkaisutoimintaa kohtaan kasvoi Julkaisuseuranta tärkeää: näkyvyys kv. tietokannoissa Vaikutukset julkaisukäytäntöihin: julkaisuprofiilien muuttuminen kohti WoS-julkaisemista Yliopistojen yhteistyö mahdollisuus: vertailtavuus Julkaisufoorumi tuo laadun tarkasteluihin Tärkeää niillä aloilla, joilla WoS-kattavuus matala Leiden kehittää indikaattoreita WoS-konferenssiosioon Bibliometriikka tutkimustietojärjestelmän kautta?