Bibliometriikan hyödyntäminen yliopiston tutkimushallinnossa Ilkka Niemelä Vararehtori, Aalto-yliopisto
Yliopiston tiedonhallinnan haasteita Yliopisto tarvitsee toimintansa seurantaan ja kehittämiseen hyvin monipuolisen tietopohjan, jonka kerääminen ja hallinnointi on haastavaa: Suoritusmittarit Urajärjestelmiin (tenure track / lecturer track) liittyvä arviointi Rekrytointiin liittyvä arviointi Tutkimuksen arvioinnit (RAE) Opetuksen arvioinnit (TEE) Scientific (and Artistic) Advisory Boards Benchmarking Opintojen etenemisen seuranta ja opiskelijapalaute Tutkimusaineistot Asiakirjat ja sopimukset Talouden seuranta Henkilöstöhallinto
Bibliometriikan hyödyntäminen Bibliometriikkaa hyödynnetään laajasti monella kehittämiseen ja johtamiseen liittyvällä alueella; Suoritusmittarit Urajärjestelmiin (tenure track / lecturer track) liittyvä arviointi Rekrytointiin liittyvät arviointi Tutkimuksen arvioinnit (RAE) Opetuksen arvioinnit (TEE) Scientific (and Artistic) Advisory Boards Benchmarking Opintojen etenemisen seuranta ja opiskelijapalaute Tutkimusaineistot Asiakirjat ja sopimukset Talouden seuranta Henkilöstöhallinto
Suoritusmittarit Suoritusmittarit ovat oleellinen osa kehittämis- ja johtamistoimintaa. Julkaisut ovat keskeinen osa yliopiston tulosta. Julkaisujen laadulla ja vaikuttavuudella yhä suurempi painoarvo. Julkaisujen määrä ei suoraan kerro laadusta/vaikuttavuudesta mutta tätä voidaan lähestyä esim. luokittelemalla julkaisukanavia ja tarkastelemalla viittaustietoja Haasteita bibliometriikan käytölle suoritusmittareissa: - Alakohtaisuuden huomioiminen (julkaisukanavaluokittelun kattavuus ja osuvuus; viittauskäytäntöjen erot) - Retrospektiivisyys
Suoritusmittarit Kun halutaan tarkastella enemmän tulevaisuusperspektiiviä, mittaristo voidaan kerätä väestönlaskentaperiaatteella (tarkasteltavan yksikön nykyisen henkilöstön tekemien julkaisujen pohjalta). Jos halutaan painottaa historiallista näkökulmaa, mittaristo voidaan kerätä yksikössä tehdyistä julkaisuista. Aallossa - Useita aineistoja käytössä (WoS, Scopus, Google Scholar) - Alakohtaisuutta huomioidaan koulu- ja laitostasolla käyttämällä alanormalisoitua viittausindeksiä ( Leiden Crown indicator ) ja alakohtaisia suppeampia julkaisukanavaluetteloita. - Käytetään sekä väestönlaskentapohjaisia että historiatietoihin perustuvia mittareita Usein halutaan seurata mittareita, jotka kertovat ko. yksikön houkuttelevuudesta rekrytoitaessa avainhenkilökuntaa. Aallossa esim. seurataan hakijoiden tasoa ja tässä hyödynnetään bibliometriikkaa
Urajärjestelmiin liittyvä arviointi Aallossa akateemisen avainhenkilökunnan urajärjestelmiin (professorien ja lehtorien urapolut) liittyy säännönmukainen arviointi (tutkimus, opetus, palvelu/ykv). Arviointi perustuu asiantuntijoiden tekemään kokonaisvaltaiseen vertaisarviointiin Mutta erityisesti tutkimustoiminnan arvioinnissa bibliometriikka on hyvä apu, jota asiantuntijat joka tapauksessa hyödyntävät: - Tutkimustoiminnan yleinen laatu ja vaikuttavuus - Merkittävät julkaisut - Yhteistyöverkostot Haasteita - Alakohtaisuuden huomioiminen - Uravaiheen ( akateemisen iän ) huomioiminen Aallon perusanalyysi (kirjasto tuottaa) - Käytetään kolmea aineistoa: WoS, Scopus, Google Scholar - Ensimmäisen julkaisu julkaisuvuosi, julkaisujen määrä, viittausten määrä, h-indeksi - Julkaisujen määrät julkaisuluokittain
Rekrytointiin liittyvä arviointi Akateemisiin tehtäviin käytetään pääsääntöisesti kilpailullista rekrytointimenettelyä. Kun yliopistot kansainvälistyvät, avoimissa hauissa (esim. professorin urapolku, postdoc paikat) hakijamäärät kasvavat ja hakijoiden ammattimainen, läpinäkyvä ja tasapuolinen arviointi on keskeistä. Useimmissa tapauksissa käytetään asiantuntija-arviointia, jossa bibliometrikkaa käytetään tukena. Käyttö on samankaltaista kuin urajärjestelmiin liittyvässä arvioinnissa mutta erona on se, että ko. henkilöiden julkaisut on lähtökohtaisesti tehty muualla. Bibliometriikka on hyvä apu esim. paikallistamaan potentiaaliset hakijat suuresta hakijajoukosta - Tutkimustoiminnan yleinen laatu ja vaikuttavuus - Merkittävät julkaisut - Yhteistyöverkostot Haasteita - Alakohtaisuuden huomioiminen - Uravaiheen ( akateemisen iän ) huomioiminen
Tutkimuksen arviointi, SABit, Benchmarking Tutkimuksen arvioinnissa bibliometriikalla tärkeä tukirooli Arviointeja tehdään yliopistojen omista lähtökohdista - Tarkemmin seuraavassa esityksessä (Leena Huiku, TTY) Mutta myös yleisimmistä näkökulmista (esim. Akatemian tieteenalaarviot) Tieteellisten tukiryhmien työtä tuetaan usein bibliometrisella aineistolla. Kehittämistoiminnan osana on tärkeää pystyä vertailemaan omaa toimintaa muihin (benchmarking). Bibliometriikka antaa työkaluja vertailla tutkimuksen laajuutta, laatua ja vaikuttavuutta. Aallossa bibliometriikka keskeistä näillä kaikilla alueilla ja käytössä esim. Säännöllisissä tutkimuksen arvioinneissa Koulujen tieteellisten tukiryhmien (SAB) toiminnassa Benchmarking-toiminnassa
Yhteenveto Yliopistot hyödyntävät jo nyt bibliometrista tietoa monipuolisesti Jatkossa käyttö monipuolistunee entisestään (oma kompetenssi tarpeen). Ei riitä, että tarkastelussa käytetään yliopistossa tehtyjä julkaisuja vaan tarvitaan globaalia aineistoa: - Väestölaskentaperiaatteen käyttö - Urajärjestelmiin liittyvät arviot (aiemmat ansiot) - Rekrytointeihin liittyvät arviot (hakijoiden ansiot ja vertailut) - Tutkimuksen arviointi ja tieteelliset tukiryhmät (vertailu) - Benchmarking Alakohtaisuus huomioitava aineistojen kattavuudessa, julkaisukanavien luokittelussa sekä viittauskäytäntöjen eroissa (alanormalisoidut viittausindeksit) Julkaisukanavien laatuluokittelu (Julkaisufoorumityö) on haastavaa ja kattavuus vaatii panostusta (kaikki merkittävät foorumit luokitelluksi) Bibliometriikka on hyvä renki mutta huono isäntä