Analyysiraporttien kirjoittaminen SYN:n bibliometriikkaseminaari 2, Julkaisutoiminnan arviointi. Tampereen teknillinen yliopisto

Transkriptio

1 Analyysiraporttien kirjoittaminen SYN:n bibliometriikkaseminaari 2, Julkaisutoiminnan arviointi Leena Huiku Tampereen teknillinen yliopisto

2 TTY:n tutkimuksen arviointi TUT RAE paneelia, 23 laitosta, 1127 tutkijaa, 2500 julkaisua Kattoi vuodet Koostui kolmesta osa-alueesta: al kansainvälisestä vertaisarvioinnista laitosten itsearvioinneista julkaisujen bibliometrisistä analyyseista Ensimmäinen lajiaan TTY:ssä Web of Science (WoS) -tietokannasta julkaisut, syväanalyysi teetettiin Leidenin yliopiston CWTS-yksikössä Lisäksi tuotettiin TUT RAE Browser selain, jossa tietoa tutkijoista, julkaisuista ja asiantuntijatehtävistä Bibliometrisen analyysin osapuolet: arvioinnin johto: ohjaus- ja johtoryhmä arviointitoimisto kirjasto

3 Lähtökohdat Arviointiyksikköinä laitokset 3 Tulokset yliopiston, paneelien ja laitosten tasolla Prospektiivinen näkökulma: arvioitiin tulevaisuuden potentiaalia Bibliometrisessä analyysissä tarkoitti sitä, että julkaisut haettiin WoS-tietokannasta tutkijan nimen perusteella, jolloin myös muissa organisaatioissa i julkaistut t artikkelit otettiin mukaan ajanjaksolta Julkaisutyypit: Article, Proceedings Paper, Review Normalisoidut indikaattorit

4 Bibliometriikasta 4 Julkaisutoimintaa analysoimalla voidaan selvittää Asemoidaan yliopiston tutkimustoiminnan tkim taso suhteessa alan kansainväliseen tasoon Tutkimuksen vaikuttavuutta ja näkyvyyttä Yhteistyöverkostoja ja yhteisjulkaisemisen vaikutusta viittausten kertymiseen Kansainvälistymistä Yksikön tutkimusprofiilia Julkaisutoiminnan eroja eri tieteenaloilla Julkaisukanavan vaikutusta viittausten kertymiseen Julkaisutoiminnan kehitystrendejä

5 Arvioinnin prosessi 5 Syksy 2010 Hanke käynnistyi kevät Laitosten itsearvioinnit 2011 Bibliometrisen analyysin materiaali koottiin WoStietokannasta TUT RAE Browser selain kesäkuu Paneelivierailut ja raportit 2011 Data Leiden yliopiston i CWTS-yksikköön syksy 2011 Bibliometrisen analyysin tulokset syyskuussa Bibliometrinen raportti julkistettiin marraskuussa

6 Raportti saatavilla verkossa 6

7 Raportin tavoitteet 7 Raportissa pyrittiin avaamaan käsitteistöä ja määrittelyjä sekä visualisoimaan tuloksia, tiedeyhteisö tottunut lukemaan kaavioita Keskityttiin TTY:n tuloksiin, teoriaosuus pieni, tarjolla runsaasti kirjallisuutta aiheesta Ei tulkintaa ja johtopäätöksiä, ovat yliopiston johdon asia

8 Tulosten oikeellisuus ja luotettavuus 8

9 Tulokset 9 Tulokset Leidenin yliopistosta excel-tiedostona Dokumentaatio puutteellista

10 Tulokset: visualisointi 10

11 Bibliometrinen analyysi: tuloksia 11

12 Indikaattoreiden yhdistäminen 12 Kun yhdistellään indikaattoreita, on aina varmistuttava siitä, että niiden välillä on riippuvuus Riippuvuus voidaan todentaa joko tilastollisella analyysillä tai kirjallisuuden pohjalta TTY:llä käytettiin kirjallisuutta ja asia varmistettiin Leidenista Käytännössä käytettiin samoja yhdistelmiä kuin Leiden käyttää omissa analyyseissään

13 Kaavioista ja kuvista 13 Kuvat tuotettiin excelin perustoiminnoilla, ei käytetty varsinaisia tilasto-ohjelmia tai kuvankäsittelyohjelmia x-y-koordinaatistossa x-akselilla syy, y-akselilla seuraus Syy-seuraus -suhteet ovat aina jossain määrin satunnaisia, voidaan sanoa, että syy nostaa seurauksen todennäköisyyttä, mutta ei määrää sitä varmasti Esim. jos julkaisee korkean impaktin lehdessä, todennäköisyys, että yksittäiseen artikkeliin kertyy paljon viittauksia i on suurempi kuin se, että julkaisee matalan impaktin lehdessä, mutta yksittäisen artikkelin viittausten kertymistä se ei varmasti ennusta

14 Tulokset: indikaattoreiden yhdistäminen ja visualisointi 14 Lähde: TUT Research Assessment Exercise 2011: Bibliometric report

15 Taulukot vs. kaaviot 15 Ongelmana laitokset, joiden tulokset eivät olleet tilastollisesti merkitseviä eli julkaisuja alle 50, raja laskettiin 40 Näytetäänkö tulokset taulukoissa kuvissa TTY:llä oli laitoksia, joiden tulokset olivat hyviä, mutta eivät tilastollisesti valideja Tuloksia ei voitu näyttää kuvissa koska olisi ollut Tuloksia ei voitu näyttää kuvissa, koska olisi ollut epäreilua niitä kohtaan, joilla paljon julkaisuja

16 Taulukot vs. kaaviot 16 Ratkaistiin siten, että tulokset olivat mukana taulukoissa, mutta ei kaavioissa Leidenin ohje: keskusteltava yliopistossa, näytetäänkö j y p y vai ei

17 Raportin kirjoittaminen 17 Tutkimuksen arvioinnin koordinaattorilla tutkijatausta (TaY Tiedon, tieteen, teknologian ja innovaatioiden tutkimuskeskus TaSTI) Koordinaattori ei ollut mukana aineiston keräämisessä Tärkein lähdemateriaali Leidenin tulokset Sparraus tärkeää: kannattaa testata ajatuksiaan mahdollisimman laajalti ja erilaisen taustan omaavilla lukijoilla: TTY:llä ohjaus- ja johtoryhmä Aluksi tuloksista sai tiedottaa vain rehtori

18 Raportin kirjoittaminen: lähdemateriaaleja 18 Moed, H.F. (2010). Citation Analysis in Research Evaluation. Dordrecht: Springer. Karolinska Institutet Bibliometrics Project Group (2008). Bibliometrics. i Publication Analysis as a Tool for Science Mapping and Research Assessment Stockholm, 10 p.