Eläketurvakeskuksen tutkimuksen ulkoinen arviointi Susan Kuivalainen
Arvioinnin sisältö ETK tilasi ulkoisen arvioinnin tutkimustoiminnastaan keväällä 2013. Arvio tutkimustoiminnasta yleisesti ja painopistealueittain (tieteellinen laatu, eläkepoliittinen relevanssi, painottuminen, tulokset, viestintä ja hyödyntäminen, merkitys ETK:n strategian toteuttamisessa, tutkimuksen resurssit ja toimintatapa), arvio tutkimustoiminnan tuloksellisuudesta ja vaikuttavuudesta sekä kehittämisehdotuksia tutkimustoiminnan suuntaamiseksi. Kolme arvioijaa: Olli Kangas (Kela), Jukka Pirttilä (Tampereen yliopisto), Jussi Simpura (THL).
Toteutus Käynnistystapaaminen 15.5.2013, jossa tutkimustoiminnan esittely, keskustelua tehtävästä ja materiaalin antaminen Arviointi käynnistetty 1.6.2013. Arvioijien keskinäinen työnjako tutkimuksiin tutustumisesta; kokoontumiset kerran kuukaudessa. Haastattelukierros tutkimustoiminnan vaikuttavuudesta (7 haastattelua: työeläkelaitokset, tutkimustahot, ministeriöt). Arvion suullinen esittely 11.12.2013, raportin luovutus 21.12.2013 ja lopullinen versio 20.1.2014.
Arvio tutkimustoiminnasta yleisesti Yleiskatsaus ETK:n tutkimustoiminnasta ja sen toimintaympäristöstä on myönteinen. Tutkimustoiminta varsin laajaa, ja on merkittävä osa ETK:n toimintaa. Suhteellinen etu vakaa rahoitusasema ja tietovarannot sekä muu organisaatiosta saatava tuki tutkimukselle (viestintä ym.) keskimääräistä paremmat edellytykset tutkimukselle ETK:n tutkimustoiminta verkostoituminen neljälle kehälle: 1) työeläkekysymyksiä sivuavat (talous)tutkimuslaitokset, 2) muut asiantuntijalaitokset, mm. TTL, 3) yliopistot ja 4) kansainvälinen yhteistyö.
Arvio tutkimuksesta painoalueilla Tutkimusohjelma on selkeä ja hyvin ennakoiva. Työurat ja eläkkeelle siirtyminen + Ajantasaisen tiedon tuottaja, eläkepolitiikan ydintä, tiedolla tärkeä merkitys, suunnitelmallista tutkimusta + Tärkeitä, huolellisia ja luotettavia tutkimuksia, osin innovatiivisiakin Eläketurvan rahoitus + Pts-työ + Mikrosimulointimallin kehittäminen Eläkkeiden riittävyys + Erittäin relevantti alue, tematiikasta kattavaa tutkimustoimintaa + Tuotettu tärkeää tietoa, laatu on luotettavaa, tulokset käyttökelpoisia - Julkaisut omissa sarjoissa, vertaisarvioituja julkaisuja vähän - Ambitiotasoa korkeammaksi, lisää kv. yhteistyötä ja julkaisemista
Tuloksellisuus Arvioinnissa hyödynnetty VATU-kehikkoa, jossa tuloksellisuus = Palvelukyky (asiakaspalvelun tavoitteiden ja laadun toteutuminen) Aikaansaannoskyky (kyky saada resursseilla tuloksellisuutta) Tuottavuus ja taloudellisuus (tuotosten ja panosten suhde; panokset tuotannontekijöinä tai rahana) Vaikuttavuus (tavoitteeksi asetettujen yhteiskunnallisten tilojen saavuttamisen aste) Arvioijien kysymys: voisiko tutkimustoiminnan tavoitteita asettaa tarkemmin näiden pohjalta? Arvio: palvelukyky hyvä, aikaansaannoskyky kohtalainen tai hyvä, tuottavuus ja taloudellisuus hyväksyttävällä tasolla.
Vaikuttavuus Sidosryhmien mielestä merkittävä laitos, jonka asiantuntemukseen luotetaan ja joka saa palveluistaan korkean arvosanan. Tutkimustoiminnan vaikuttavuus liittyy erityisesti uudistusten valmisteluun, arviointiin ja seurantaan. Tutkimuksilla erilaiset kohdeyleisöt, niihin viitataan vaihtelevasti. Yleisvaikutelmana on, että verrattuna muihin vastaavankaltaisiin tutkimuslaitoksiin ETK:n tutkimus näyttää toimivan tehokkaasti ja suhteellisen pienillä resursseilla. ETK:n tutkimuksen etuna on myös suhteellisen matala organisaatio ja suora ja toimiva yhteys ETK:n johtoon. Eläketurvakeskus 7
Yhteenveto Ohjelmallinen, huolellinen, varovainen, tuottelias. Yleisvaikutelma laadusta varsin positiivinen. Tutkimus suuntautuu eläkepoliittisesti erittäin relevantteihin teemoihin, katvealueita ei juuri jää. Päällekkäisyyttä muihin laitoksiin ei ole. ETK on luotettava tiedon tuottaja ja tulokset ovat relevantteja. Tutkimus on vaikuttavaa. Tutkimustieto helposti saatavilla, tutkimus vastaa ETK:n strategiaa, ja on vaikuttavaa. Kokonaisarvio tutkimuksen laadusta ja sen yhteiskunnallisesta merkityksestä on hyvin myönteinen.
Kriittisempiä huomioita Tutkimus on lähes yksinomaan kotimaista ja julkaisufoorumina ETK:n julkaisusarja Vähäinen kansainvälinen yhteistyö Vertailevien tutkimusten vähäinen määrä Tutkimustulokset eivät leviä laajalle yleisölle Tutkimustoimintaa leimaa tietty konservatiivisuus: Ei ole tieteellisesti kunnianhimoinen, kokeileva ja yllätyksellinen, ei ole akateemisia meriittejä etsivä tai kansainvälisesti suuntautunut. Seuraamuksia Tuoko ohjelmallisuus jäykkyyttä ja konservatiivisuutta? Nykyisen eläkejärjestelmän vaihtoehtoja ei pohdita tai tuoda esille. Kansainväliseen julkaisemiseen ei panosteta vaikka siihen olisi edellytykset. Suomen eläkejärjestelmä tunnetaan kansainvälisesti huonosti (vrt. Ruotsi)
Arvioinnin kehittämisehdotukset Tieteellisen laadun ja kattavuuden kehittäminen Aihevalintojen laajentaminen (eläkejärjestelmien) kansainvälisiin vertailuihin Kansainvälisen yhteistyön vahvistaminen Ekonometristen arvioiden vahvistaminen Tutkimusrahoitus (ulkopuolinen) selvemmäksi Avoimen datan mahdollisuuksien selvittäminen