Analyysiraporttien kirjoittaminen SYN:n bibliometriikkaseminaari 2, Julkaisutoiminnan arviointi Leena Huiku Tampereen teknillinen yliopisto 12.3.2013
TTY:n tutkimuksen arviointi TUT RAE 2010-2011 2 5 paneelia, 23 laitosta, 1127 tutkijaa, 2500 julkaisua Kattoi vuodet 2005 2010 Koostui kolmesta osa-alueesta: al kansainvälisestä vertaisarvioinnista laitosten itsearvioinneista julkaisujen bibliometrisistä analyyseista Ensimmäinen lajiaan TTY:ssä Web of Science (WoS) -tietokannasta julkaisut, syväanalyysi teetettiin Leidenin yliopiston CWTS-yksikössä Lisäksi tuotettiin TUT RAE Browser selain, jossa tietoa tutkijoista, julkaisuista ja asiantuntijatehtävistä Bibliometrisen analyysin osapuolet: arvioinnin johto: ohjaus- ja johtoryhmä arviointitoimisto kirjasto
Lähtökohdat Arviointiyksikköinä laitokset 3 Tulokset yliopiston, paneelien ja laitosten tasolla Prospektiivinen näkökulma: arvioitiin tulevaisuuden potentiaalia Bibliometrisessä analyysissä tarkoitti sitä, että julkaisut haettiin WoS-tietokannasta tutkijan nimen perusteella, jolloin myös muissa organisaatioissa i julkaistut t artikkelit otettiin mukaan ajanjaksolta Julkaisutyypit: Article, Proceedings Paper, Review Normalisoidut indikaattorit
Bibliometriikasta 4 Julkaisutoimintaa analysoimalla voidaan selvittää Asemoidaan yliopiston tutkimustoiminnan tkim taso suhteessa alan kansainväliseen tasoon Tutkimuksen vaikuttavuutta ja näkyvyyttä Yhteistyöverkostoja ja yhteisjulkaisemisen vaikutusta viittausten kertymiseen Kansainvälistymistä Yksikön tutkimusprofiilia Julkaisutoiminnan eroja eri tieteenaloilla Julkaisukanavan vaikutusta viittausten kertymiseen Julkaisutoiminnan kehitystrendejä
Arvioinnin prosessi 5 Syksy 2010 Hanke käynnistyi kevät Laitosten itsearvioinnit 2011 Bibliometrisen analyysin materiaali koottiin WoStietokannasta TUT RAE Browser selain kesäkuu Paneelivierailut ja raportit 2011 Data Leiden yliopiston i CWTS-yksikköön syksy 2011 Bibliometrisen analyysin tulokset syyskuussa Bibliometrinen raportti julkistettiin marraskuussa
Raportti saatavilla verkossa http://www.tut.fi/idcprod/groups/public_news/@l102/@news/@p/documents/liit/p021003.pdf 6
Raportin tavoitteet 7 Raportissa pyrittiin avaamaan käsitteistöä ja määrittelyjä sekä visualisoimaan tuloksia, tiedeyhteisö tottunut lukemaan kaavioita Keskityttiin TTY:n tuloksiin, teoriaosuus pieni, tarjolla runsaasti kirjallisuutta aiheesta Ei tulkintaa ja johtopäätöksiä, ovat yliopiston johdon asia
Tulosten oikeellisuus ja luotettavuus 8
Tulokset 9 Tulokset Leidenin yliopistosta excel-tiedostona Dokumentaatio puutteellista
Tulokset: visualisointi 10
Bibliometrinen analyysi: tuloksia 11
Indikaattoreiden yhdistäminen 12 Kun yhdistellään indikaattoreita, on aina varmistuttava siitä, että niiden välillä on riippuvuus Riippuvuus voidaan todentaa joko tilastollisella analyysillä tai kirjallisuuden pohjalta TTY:llä käytettiin kirjallisuutta ja asia varmistettiin Leidenista Käytännössä käytettiin samoja yhdistelmiä kuin Leiden käyttää omissa analyyseissään
Kaavioista ja kuvista 13 Kuvat tuotettiin excelin perustoiminnoilla, ei käytetty varsinaisia tilasto-ohjelmia tai kuvankäsittelyohjelmia x-y-koordinaatistossa x-akselilla syy, y-akselilla seuraus Syy-seuraus -suhteet ovat aina jossain määrin satunnaisia, voidaan sanoa, että syy nostaa seurauksen todennäköisyyttä, mutta ei määrää sitä varmasti Esim. jos julkaisee korkean impaktin lehdessä, todennäköisyys, että yksittäiseen artikkeliin kertyy paljon viittauksia i on suurempi kuin se, että julkaisee matalan impaktin lehdessä, mutta yksittäisen artikkelin viittausten kertymistä se ei varmasti ennusta
Tulokset: indikaattoreiden yhdistäminen ja visualisointi 14 Lähde: TUT Research Assessment Exercise 2011: Bibliometric report 2005-2010
Taulukot vs. kaaviot 15 Ongelmana laitokset, joiden tulokset eivät olleet tilastollisesti merkitseviä eli julkaisuja alle 50, raja laskettiin 40 Näytetäänkö tulokset taulukoissa kuvissa TTY:llä oli laitoksia, joiden tulokset olivat hyviä, mutta eivät tilastollisesti valideja Tuloksia ei voitu näyttää kuvissa koska olisi ollut Tuloksia ei voitu näyttää kuvissa, koska olisi ollut epäreilua niitä kohtaan, joilla paljon julkaisuja
Taulukot vs. kaaviot 16 Ratkaistiin siten, että tulokset olivat mukana taulukoissa, mutta ei kaavioissa Leidenin ohje: keskusteltava yliopistossa, näytetäänkö j y p y vai ei
Raportin kirjoittaminen 17 Tutkimuksen arvioinnin koordinaattorilla tutkijatausta (TaY Tiedon, tieteen, teknologian ja innovaatioiden tutkimuskeskus TaSTI) Koordinaattori ei ollut mukana aineiston keräämisessä Tärkein lähdemateriaali Leidenin tulokset Sparraus tärkeää: kannattaa testata ajatuksiaan mahdollisimman laajalti ja erilaisen taustan omaavilla lukijoilla: TTY:llä ohjaus- ja johtoryhmä Aluksi tuloksista sai tiedottaa vain rehtori
Raportin kirjoittaminen: lähdemateriaaleja 18 Moed, H.F. (2010). Citation Analysis in Research Evaluation. Dordrecht: Springer. Karolinska Institutet Bibliometrics Project Group (2008). Bibliometrics. i Publication Analysis as a Tool for Science Mapping and Research Assessment Stockholm, 10 p. http://ki.se/content/1/c6/01/79/31/introduction_to_bibliometrics_v1.3.pdfto