Laatukoulutus 22.05.2007 TUTKIMUKSEN LAADUN MITTAREISTA Tutkimuspäällikkö Sirkka-Liisa Korppi-Tommola
Miten tutkimuksen laatua mitataan? Tutkimuksen arvioinnissa käytettyjä mittareita Opetusministeriön käyttämät mittarit Bibliometriset aineistot julkaisujen laadun mittareina Mittarit ja tieteenalojen väliset erot
Tutkimuksen kokonaisarviointi Jyväskylä I. Tutkimuksen laatu 1.tieteellinen merkittävyys ja erinomaisuus 2.kansallinen ja kansainvälinen yhteistyö 3.julkaisut (käyttäen 7-portaista asteikkoa) 4.tohtorikoulutus ja post doctoral -aktiviteetit 5.tutkimusstrategia ja tieteellinen johtajuus II. Yhteiskunnallinen vaikuttavuus 6. tutkimuksen käytännön merkitys yhteiskunnalle/suuren yleisön tietoisuuteen saattaminen
Tutkimuksen kokonaisarviointi Aineistoja laadun arvioinnissa 1. Tieteellinen erinomaisuus, merkittävyys Kuvaukset laitoksen tärkeimmistä tutkimustuloksista ja niihin liittyvät julkaisut> vertaisarviointi - viittaukset julkaisuihin> sitaatiotietokannat 2. Kansallinen ja kansainvälinen yhteistyö - yhteisprojektit - yhteisjulkaisut - laadulla kilpailtu tutkimusrahoitus 4. Tohtorikoulutus ja post docit /henkiset resurssit - Tohtorikoulutettavat ja tohtoritutkinnot, tohtoritutkijoiden määrä
Tutkimuksen kokonaisarviointi Julkaisut tutkimuksen laadun mittarina Mittarina referoitujen, kv-tieteellisissä lehdissä ilmestyneiden artikkeleiden osuus kaikista tieteellisistä julkaisuista (lähde:kota-tietokanta) KOTA MÄÄRITTELYT Yliopiston laitosten henkilökunnan julkaisemien tieteellisten julkaisujen lukumäärä/kalenterivuosi. LUOKITTELU Asiantuntijoiden hyväksymät referee-artikkelit. Kokoomateoksissa tai painetuissa kongressijulkaisuissa ilmestyneet artikkelit. Monografiat. Yliopistojen omissa sarjoissa julkaistut artikkelit. JAOTTELU: Suomessa julkaistut, ulkomailla julkaistut.
Opetusministeriön käyttämät tutkimuksen tuloksellisuusmittarit Suomen Akatemian nimeämät huippuyksiköt Tieteellisten julkaisujen määrä suhteutettuna tutkimushenkilöstön määrään Oma aktiivisuus kansainvälisessä tutkimusyhteistyössä
Bibliometriset aineistojen käytettävyys yliopistojen julkaisujen laadun ja tuottavuuden arvioinnisssa Olli Poropudas, Maija Miettinen, Jorma Selovuori, Hanna-Mari Pasanen: OPM:n julkaisuja 2007:2 Hankkeen tavoite: Selvittää bibiliometristen aineistojen käytettävyys yliopistojen välisessä vertailussa (ja kaukotavoitteena yliopistojen rahanjaossa?) Käytetyt tietolähteet - julkaisut : KOTA, ISI NCR *) - viittaukset (NCR) - henkilötyövuodet (Tilastokeskus) luokitukset (KOTA, NCR, ISI) *) ISI= Institute for Scientific Information (ISI Web of Knowledge) NCR= National Citation Report
Johtopäätöksiä Yliopistojen tieteellinen tuottavuus (NCR) 2001-2003, 1996-98=100 Jyväskylän yliopisto Tampereen teknillinen yo Lappeenrannan tek. yo Joensuun yliopisto Teknillinen korkeakoulu Yliopisto Tampereen yliopisto Åbo Akademi Vaasan yliopisto Turun yliopisto Yliopistojen keskiarvo Kuopion yliopisto Oulun yliopisto Helsingin yliopisto 0 20 40 60 80 100 120 Tuottavuus, 1996-98=100 Olli Poropudas 24.4.2007
Johtopäätökset: Viittauskerroin yliopistoittain 2000-04, 1995-99=100 Åbo Akademi 145,3 Yliopisto Yliopistojen keskiarvo Jyväskylän yliopisto Turun yliopisto Helsingin yliopisto Oulun yliopisto Kuopion yliopisto Joensuun yliopisto Tampereen yliopisto Tampereen teknillinen yo. Teknillinen korkeakoulu 131,8 129,1 128,4 125,4 119,7 116,2 114,1 112,2 106,8 106,3 Lappeenrannan teknillinen yo. 76,4 0 20 40 60 80 100 120 140 160 1995-99=100 Olli Poropudas 24.4.2007
Johtopäätökset: Yliopistojen tieteellinen tuottavuus (NCR) tieteenaloittain 2001-2003, 1995-97=100 Humanistiset tieteet Maatalous-metsätieteellinen Yhteiskuntatieteet Hammaslääketiede Tieteenala Teknistieteellinen Psykologia Lääketiede Tieteenalojen keskiarvo Eläinlääketiede Kauppatiede Luonnontiede 0 20 40 60 80 100 120 140 Tieteellinen tuottavuus, 1995-97=100 Olli Poropudas 24.4.2007
Johtopäätökset - ISIn aineistot, jako kahteen: luonnon-, lääketiede, tekniikka YES, yhteiskunta-, humanistiset tieteet NO - Shanghain lista on muotopuoli - luonnon-, lääketiede, tekniikka jne. ISIn aineistot käyttökelpoisia yliopistojen välisessä vertailussa -yliopistojen tieteellinen tuottavuus laskenut Olli Poropudas: 24.4.2007 tiedeneuvoston kokous
European Reference Index for Humanities (ERIH) Tavoitteena humanististen tieteiden näkyvyyden parantaminen ja vertailtavuuden lisääminen: 1. yhteiset arviointikriteerit 2. kansainväliset tieteenalojen väliset vertailut 3. selkeät julkaisukanavat 4. tutkimustulosten saavutettavuus paranee
ERIH käytännön toteutus aloitettu 2003 ESF:n Standing Committee for the Humanities 15 tieteenalaa mukana (antropologia, arkeologia, taiteiden tutkimus ja taidehistoria, antiikin tutkimus, naistutkimus, historia, tieteen historia ja filosofia, kielitieteet, kirjallisuus, musiikkitieteet, Aasian ja Afrikan tutkimus, kasvatustieteet, filosofia, psykologia, teologia ja uskontotieteet) Lista tieteellisistä lehdistä ja julkaisuista kullekin tieteenalalle
ERIH - julkaisulistat Julkaisut jaettu kategorioihin A, B, C A = huipputason kansainvälinen julkaisu (10-25 %) B = kansainvälinen hyvätasoinen julkaisu C = kansallinen julkaisu (monissa maissa hyvin tärkeitä; vrt. kielialue) Please read carefully the ERIH guidelines.you should be aware that the distinction between the categories A,B and C is not primarily qualitative; rather, the categorisation also factors in issues such as scope and audience as explained in the guidelines. Lähde: www.esf.org/erih
ERIH nykytila Ensimmäiset listat julkaistaan vuoden 2007 aikana (maalis-, kesä- ja lokakuussa http://www.esf.org/erih Otteita listasta Linguistics Journal of African Languages and Linguistics A Journal of Applied Linguistics C Journal of Artificial Intelligence Research A Journal of Celtic Linguistics A Journal of Child Language A Journal of Chinese Linguistics A Journal of Communication A Journal of Comparative Germanic Linguistics A Journal of Deaf Studies and Deaf Education B
JY:n tutkimusstrategia MITTARIT Strategian toteutumista mitataan erityisesti tutkimuksen laadun, kansainvälisen vaikuttavuuden ja verkottumisen näkökulmasta. Mittareilla seurataan kehitystrendejä ja prosentuaalisia muutoksia. Lähtötasona on vuosi 2006. Kehitystä seurataan sekä yliopistotasolla että tieteenalakohtaisesti. Tärkeimmät mittarit ovat Suomen Akatemian, ERC:n, pohjoismaisen ministerineuvoston ja vastaavien nimeämät huippuyksiköt ja akatemiaprofessuurit, tieteellisten artikkeleiden ja muiden tieteellisten julkaisujen kokonaismäärän kehitys, kansainvälisten tieteellisten julkaisujen määrän kehitys (Lähde: ISI Web of Science), laadulla kilpailtu, erityisesti Suomen Akatemian, Tekesin, EU:n ja muu kansainvälinen tutkimusrahoitus,
Mittarit jatkuu koordinoidut EU:n rahoittamat tutkimushankkeet, kansainvälisen haun kautta rekrytoidut ulkomaiset professorit ja tutkijat, tieteiden rajapinnoilla syntyneet innovaatiot ja/tai yhteisjulkaisut, tieteellisissä konferensseissa pidetyt kutsutut esitelmät, järjestetyt tieteelliset konferenssit, sektoritutkimuslaitosten kanssa perustetut yhteisvirat tai muut yhteiset resurssit, kansainväliset tutkimusyhteistyöhön ja tutkijakoulutukseen fokusoidut yhteistyösopimukset.