Kirjaston rooli tutkimuksen arvioinnissa: asiantuntijapaneeli Anne Lehto moderaattori, Suomen yliopistokirjastojen neuvoston (SYN:n) bibliometriikkakoulutus, Hanken 12.3.2012 1
Yliopisto Arvioinnin nimi Arvioinnin ajankohta Aalto-yliopisto Aalto RAE* 2009 2008-2009 Helsingin yliopisto (HY) Tutkimuksen ja tohtorikoulutuksen arviointi 2010-2012 2010-2012 Tampereen teknillinen yliopisto (TTY/TUT) Tampereen teknillisen yliopiston tutkimuksen arviointi, TUT RAE Syksy 2010-syksy 2011 Lappeenrannan teknillinen yliopisto (LTY/LUT) LUT RAE Maaliskuu 2012 Oulun yliopisto (OY) Suomen Akatemian tieteenala-arviointi, ks. Myös Liitteet 3-4 19.5.-14.6.2011 *RAE= Research Assessment Exercise 2
Yliopisto Arvioinnin tavoite Arvioinnin kohde Aalto -selvittää yleisesti perustettavan Aalto-yliopiston tutkimuksen tasoa, identifioida kv huippututkimusalat ja edistää kv tason tutkimusta. pyrkimys myös kehittää arviointiprosessia. Aalto-yliopiston muodostavien yliopistojen (HSE, TKK, TaiK) tutkimuksen arviointi, väestölaskentamenetelmä: tutkimusaktiivinen henkilöstö 1.10.2008. (kattoi vuodet 2003-2008) HY TTY LTY OY -tunnistaa Helsingin yliopiston erilaisista lähtökohdista tehtävää korkeatasoista tutkimusta ja tohtorikoulutusta sekä tuottaa tietoa siitä, millä ehdoilla ja edellytyksillä tuloksia on tuotettu. -arvioida TTY:n tutkimuksen laatua ja tieteellistä vaikuttavuutta suhteessa kv-tasoon sekä yhteiskunnallista vaikuttavuutta. -tunnistaa tutkimusalueet, joissa potentiaalia kehittyä kansainvälisesti tunnustetuiksi tutkimusyksiköiksi sekä saada ehdotuksia, joiden avulla laitokset ja yo:n johto voivat kehittää TTY:n tutkimustoimintaa. -kehittävää arviointia, LUT:n tutkimustoiminta arvioidaan suhteessa kunkin tieteenalan kv-tasoon ja käytäntöön. -tämänhetkisen laatuprofiilin analysoiminen tunnistamalla vahvuudet ja potentiaali. Tärkeä LUT:n tutkimustoiminnan tulevaisuuden kannalta. -julkaisutoiminnan arviointi biologian laitoksen ekologian ja kehitysbiologian tutkijoista. Vuodet 2006-2010 TTY:n tutkimustoiminta, arviointiyksikköinä laitokset, arviointi kattoi vuodet 2005-2010 2005-2010 julkaisut kaikilta LUT:n aloilta Biologian laitos (toimeksiantaja) 3
Yliopisto Kirjaston rooli Kirjaston käyttämä aika / resursointi Aalto HY TTY LTY -vastasi yli 2000 tutkijan julkaisutietojen keruusta ja web-pohjaisen arviointityökalun eli ns. RAEbrowserin kehittämisestä ja tuottamisesta -tuotti arviointipaneeleja varten bibliometrista informaatiota ns. ei-wos-tieteenaloilta, ts. humanistisista tieteistä, yhteiskuntatieteistä ja tietojenkäsittelytieteestä. Kirjaston edustaja on myös arvioinnin ohjausryhmän jäsen. -osallistuminen jääviysselvitykseen -materiaalin kerääminen bibliometrista analyysiä ja arviointia varten -osallistuminen raportin kirjoittamiseen -haut tietokannoista WoS ja Scopus, 476 tutkijaa mukana, ks. lisää Liite 1. 1 300 h / erillinen korvaus kirjastolle Kokonaisuudessaan mahdotonta sanoa, mutta bibliometrisiin analyyseihin käytettiin 1107 työtuntia maaliskesäkuussa 2011. / Bibliometriikkaan perehtyi opintopiirimäisesti ja kahdessa koulutuksessa (Aalto-yliopisto 01/2011 ja Leidenin yliopisto (CWTS) 03/2011) noin 20 henkilöä. Näistä 13 osallistui bibliometristen analyysien tekemiseen. Työaika 1 700 h / 2-3 tietoasiantuntijaa sekä 1 tutkimusapulainen (2,5 kk). Kirjastonjohtaja, arvioinnin projektipäällikkö ja koordinaattori (käytettyä työaikaa ei ole laskettu) 581,7 h / 1 suunnittelusihteeri, 1 suunnittelija, 4 informaatikkoa, 1 kirjastonhoitaja, 1 kirjastonjohtaja vetovastuun kantoi 1 informaatikko OY -kirjaston informaatikot tekivät bibliometriset analyysit[al] n. 70 h / kirjaston informaatikot tekivät (ei ylimääräistä resursointia) 4
Yliopisto Arvioinnin bibliometriset menetelmät Arvioinnin muut menetelmät, asiantuntijapaneeli ym. Aalto -erillinen ISI-tietojen pohjalta tehty Bibliometric analysis (ruotsalainen konsultti), asiantuntijapanelistien RAE- browserissa ISI- Scopus ja omat julkaisurekisteritiedot julkaisuista sitaatioineen ja Impact factorit 9 kv-asiantuntijapaneelia HY TTY -Leidenissä tehtiin WoS-aineistosta viittausanalyysejä, normalisointeja jne., HULibissa yksinkertaisia, mutta informatiivisia analyysejä tutkimustietokanta TUHATin Excel-aineistosta (12.4.2011) -tutkijoiden julkaisu- ja viitetietojen kerääminen WoS- ja Scopus-tietokannoista. Viittausanalyysi WoS-tietokannasta teetettiin Leidenin yliopiston CWTS-yksikössä. CWTS= The Centre for Science and Technology Studies Kv-asiantuntijapaneelit, huippututkijoita eri tieteenaloilta. Arviointi koostui kolmesta osiosta: 1) Kv-vertaisarviointi 2) Laitosten itsearviointi 3) Julkaisujen bibliometriset analyysit LTY Bibliometrisen analyysin indikaattorit ks. Liite 2. -itsearviointi, asiantuntijapaneelit, bibliometrisen analyysin tulokset OY -viittaukset, IF-arvot, H-indeksit eri henkilöstöryhmiltä, aikarajat ---- 5
Yliopisto Kirjaston asiantuntija bibliometriikkakoulutuksen paneelissa Aalto Irma Pasanen HY Maria Forsman TTY Leena Huiku LTY Iris Tahvanainen OY Päivi Kytömäki 6
Kysymyksiä 1. Oliko itsestään selvää, että kirjasto on mukana tutkimuksen arvioinnissa vai olitteko itse tässä aktiivisia yliopiston johdon/hallinnon suuntaan? 2. Tiesittekö heti miten lähteä liikkeelle? 3. Miten arvioisitte omaa toimintaanne, missä onnistuitte erittäin hyvin? Mitä opittiin? Onko jotain mitä tekisitte nyt toisin? 4. Tulevaisuudensuunnitelmat? 7
LIITE 1. LTY: kirjaston rooli o haut tietokannoista WoS ja Scopus, 476 tutkijaa mukana o julkaisurekisterin päivitysten valvonta ja koordinointi o julkaisurekisteriin tarvittavien muutosten suunnittelu ja teettäminen o tiedonkeruun ja siihen liittyvän tiedonhallinnan suunnittelu ja osin myös toteutus ja siinä yhteyshenkilönä toimiminen tietokannan toteuttajaan o tiedonkeruun toimintaprosessien suunnittelu ja ohjeistus o tutkijoiden ohjeistus o aikataulutuksen suunnitteluun osallistuminen ja kirjaston tehtävien osalta myös sen valvominen, että tutkijat noudattivat aikataulua omalta osaltaan o tiedotuksen suunnitteluun osallistuminen ja tiedottaminen kirjaston osalta o arviointihankkeen työryhmiin osallistuminen o yhteistyön koordinointi bibliometrisen analyysin toimittajan kanssa 8
LIITE 2. LTY: bibliometrisen analyysin indikaattorit 1. Aineistossa olleiden artikkelien kokonaismäärä 2. Aineistossa olleiden artikkelien lukumäärä osituksen jälkeen 3. Artikkelien saamat viittaukset 4. Artikkelien saamat viittaukset kaksivuotisen aikaikkunan kautta tarkasteltuna 5. Artikkelien saamat viittaukset normalisoituna yksikön käyttämien aikakauslehtien suhteen 6. Tieteenalanormalisoitu käytettyjen aikakauslehtien vaikuttavuus 7. Tieteenalanormalisoitu artikkelien vaikuttavuus 8. Artikkelien osuus 5 % eniten viitatuimmissa 9. Artikkelien sisältämien viittausten tuoreus 10. Keskimääräinen maiden lukumäärä per artikkeli (kansainvälinen yhteistyö) 11. Keskimääräinen kirjoittajien lukumäärä per artikkeli 12. Itseviittausten %-osuus 13. Ilman viittauksia jääneiden artikkelien %-osuus 9
Liite 3. OY: tutkimuksen arviointeja 1)Tiedekunnan rahanjakoa varten ajankohta: elokuun alku 2011 arvioinnin kohde: Luonnontieteellinen tiedekunta (toimeksiantaja) arvioinnin tavoite: tiedekunnan sisäinen rahanjako, tiedekunnan tutkijoiden julkaisut 2010 SoleCrissistä kirjaston käyttämä aika: n. 20 h resursointi: kirjaston informaatikot tekivät (ei ylimääräistä resursointia) bibliometriset menetelmät: 1) julkaisujen IF-arvot 2) parhaat kategoria-sijoitukset 3) 1.kvartaalin julkaisut 4) top5%-julkaisut 2)Tutkijoiden 10 vuoden julkaisujen saamat siteeraukset ajankohta: toukokuu 2011 arvioinnin kohde: Biocenter arvioinnin tavoite: tutkijoiden siteeraukset resursointi: kirjaston informaatikot tekivät (ei ylimääräistä resursointia) bibliometriset menetelmät: WoS, (+JCR):n tarjoamat menetelmät 10
Liite 4. OY: tutkimuksen arviointeja 3) Tutkijoiden artikkeleiden saamat viittaukset ja lehtien IF:t ajankohta: tammi-helmikuu 2012 arvioinnin kohde: Lääketieteellinen tiedekunta arvioinnin tavoite: viranhakua varten kirjaston käyttämä aika: 10 h resursointi: kirjaston informaatikot tekivät (ei ylimääräistä resursointia) bibliometriset menetelmät: IF:t 4) Tuotantotalouden osaston julkaisutoiminnan arviointi 2007-2011 ajankohta: tammi-helmikuu 2012 arvioinnin kohde: Teknillinen tiedekunta/tuotantotalouden laitos arvioinnin tavoite: julkaisutoiminnan arviointi ko. ajalta, lehdille ja konferenssijulkaisuille JUFOn julkaisuluokitus ja IF, artikkeliviittaukset (Scopus, WoS, GS) kirjaston käyttämä aika: n. 30 h resursointi: kirjaston informaatikot tekivät (ei ylimääräistä resursointia) bibliometriset menetelmät: JUFO, JCR, Scopus, WoS, Google Scholar 11