TIIVISTELMÄ Olli Kangas, Jukka Pirttilä ja Jussi Simpura Ulkoinen arviointi ETK:n tutkimustoiminnasta Eläketurvakeskuksen keväällä 2013 käynnistämän ulkoisen arvioinnin tavoite oli saada riippumaton arvio ETK:ssa harjoitettavasta tutkimustoiminnasta. Arvioinnin kohteena olivat ETK:n tutkimustoiminnan sisältö (tieteellinen laatu, eläkepoliittinen relevanssi, kattavuus, tulokset, hyödyntäminen, resurssit ja toimintatapa) sekä toiminnan tuloksellisuus ja vaikuttavuus. Arviointiryhmään kuuluivat Olli Kangas (KELA, tutkimusyksikkö), Jukka Pirttilä (Tampereen yliopisto) ja Jussi Simpura (THL, suunnitteluyksikkö). Arvioijilla on kokemusta niin sosiaalipolitiikan, taloustieteen kuin tiedon käytön ja päätöksenteon kysymyksistäkin ja politiikkarelevantista sektoritutkimuksesta. Ryhmä täydensi saamaansa materiaalia (mm. ETK:n strategia, tutkimusohjelma 2010 2014, tutkimusjulkaisut ja ETK:n asiakaskyselyjen tulokset) sidosryhmähaastatteluilla. Yleiskatsaus ETK:n tutkimustoiminnasta ja sen toimintaympäristöstä Yleiskatsaus ETK:n tutkimustoiminnasta ja sen toimintaympäristöstä on myönteinen. Tutkimustoiminta on suomalaisittain katsoen varsin laajaa, ja se kattaa hyvin monia eläkepolitiikan kiinnostavia aloja. Etuna on, että tutkimustoiminnassa voidaan yhdistää tutkimusta ja käytännöllisempää tilasto- ja aktuaarityötä kiintoisalla tavalla. Tutkimuksen toimintamahdollisuuksia tukee pääsy ETK:n tietovarantoihin. Tutkimustoiminnalle on Suomen nykyoloissa vakaat resurssit, mikä on selvä organisatorinen vahvuus ja takaa pitkäjänteisyyttä.
Ulkoinen arviointi ETK:n tutkimustoiminnasta tiivistelmä 2 ETK:n tutkimustoiminta verkostoituu neljälle kehälle. Tärkeimpänä on yhteistyö muiden työeläkekysymyksiä tutkivien laitosten kanssa. Toisella yhteistyökehällä ovat muut asiantuntijalaitokset. Kolmannella kehällä tulevat kotimaiset yliopistot, joissa on melko vähän ETK:n erikoisalaan liittyviä yhteistyön kiinnittymiskohtia. Neljäs, uloin verkostoitumisen kehä on kansainvälinen yhteistyö, joka ei ole kovin suuressa roolissa lukuun ottamatta 2 3 kansainvälistä yhteishanketta. ETK:n tutkimustoiminta painoalueittain: laatu, relevanssi ja painottuminen Tutkimustyö keskittyy kolmelle painoalueelle: työurat ja eläkkeellesiirtyminen, eläkejärjestelmän rahoituksen kestävyys ja eläketurvan riittävyys. Kolmijako muodostaa hyvän kokonaisuuden. Tutkimusohjelma on selkeä. Tutkimus on suunnitelmallista ja ohjelmallista, mikä varmistaa sen eläkepoliittista relevanssia. Painoalueilla tehty tutkimus on huolellisesta ja luotettavaa ja ne tuottavat tärkeää ja ajantasaista tietoa. Työurien pidentämisen ja eläkkeelle siirtymisen -painoalueella tutkimus tuottaa ajantasaista kuvaa työurien pituudesta ja työssä jatkamisesta. Tällä tiedolla on suuri merkitys arvioitaessa eläkepolitiikan tavoitteiden toteutumista sekä tavoitteiden tarkistamisen ja niiden saavuttamiseen tarvittavien toimenpiteiden tarvetta. Teeman ympärillä on koko joukko varsin mielenkiintoisia yhteiskuntapoliittisesti tärkeitä hankkeita, joissa käytetään rekisteriaineistoja, kysely- ja haastattelututkimuksia ja näitten yhdistelmiä. Osa-alueella on tehty myös huomattavaa taloustieteellistä arviointitutkimusta. Eläkkeiden rahoituksen kestävyys -painoalueella pitkän aikavälin laskelmat ovat keskeisiä. Maksutasoraporttien erityisenä ansiona on, että niissä hahmotetaan kokonaiskustannuksia. Kollektiivisten eläkejärjestelmien kirjon huomioiminen muuttaa myös kuvaa eläkemaksuista ja -kustannuksista, ja tämän esiintuominen on tärkeää. Eläkejärjestelmien kestävyyden ja oikeudenmukaisuuden tarkastelu on tuottanut joukon erinomaisia tutkimuksia, joiden pohjalta on tehty myös kansainvälisiä tieteellisiä julkaisuja. Eläketurvan riittävyys -painoalue on tärkeä osa eläketurvan tuotospuolta. Laajemmat, toimitetut kokoomatutkimukset, joihin on kerätty aiempien tutkimusten tuloksia tai tuotettu uutta tietoa toimivat eläketurvan käsikirjoina. Tutkimusten laatu on luotettavaa ja tulokset käyttökelpoisia eläkepolitiikan onnistumisen arvioinnissa. Tutkimus vanhuusköyhyydestä on hyvä esimerkki aiheesta, jolla on sekä eläkepoliittista merkitystä että kiinnostavuutta laajemmin yhteiskunnallisessa keskustelussa. Painoalueiden tutkimukset on julkaistu ensisijassa ETK:n omissa raporttisarjoissa. Vertaisarvioinnin läpikäyneitä Tutkimuksia-sarjan julkaisuja on vähän. Pääosa tutkimusraporteista on kuvailevia kvantitatiivisia rekisteri- ja tilastoaineistoihin perustuvia julkaisuja. Pitemmälle meneviä analyysimenetelmiä on käytetty vähemmässä määrin. Vaativimmat ekonometriset tutkimukset on tehty yhteistyössä ulkopuolisten tutkijoiden kanssa.
Ulkoinen arviointi ETK:n tutkimustoiminnasta tiivistelmä 3 Julkaisutoiminnan keskittyminen ETK:n omaan julkaisusarjaan on perusteltua. Tutkimusten lähtökohtana on tukea kansallista eläkepoliittista päätöksentekoa ja tuottaa sitä palvelevaa tietoa. Myös pitäytyminen kuvailevaan tutkimusotteeseen on sikäli ymmärrettävää ja perusteltuakin, että ETK:n tutkimuksen tavoitteena on palvella suomalaista eläkesektoria ja kansallista päätöksentekoa. Osa tutkimuksista on sen luonteisia, että niillä olisi myös annettavaa kansainväliseen eläkepolitiikkaa koskevaan tieteelliseen keskusteluun. Monet teemat, jotka ovat kansainvälisestikin kiinnostavia ja merkittäviä, jäävät vain kansalliseen tietoisuuteen ja vaille sitä huomiota, joka niille kuuluisi. Tutkimuksissa olisi aineksia niin teeman, aineistojen kuin käytettyjen metodienkin puolesta vaativaan kansanväliseen julkaisemiseen. ETK:n tutkimustoiminnan tuloksellisuus Tutkimustoiminnan tuloksellisuutta arvioitiin soveltamalla valtion vaikuttavuus- ja tuloksellisuusohjelman (VATU) käsitekehikkoa. Kehikossa tuloksellisuutta tarkastellaan neljällä pääulottuvuudella: vaikuttavuus (tavoitteeksi asetettujen yhteiskunnallisten tilojen saavuttaminen), palvelukyky (asiakaspalvelun tavoitteiden ja laadun toteutuminen), aikaansaannoskyky (kyky saada resursseilla tuloksellisuutta) ja tuottavuus (tuotosten ja panosten suhde). Koska tutkimustoiminnalle ei ole asetettu VATU-kehikon mukaisia tavoitteita, arviointi on useimmassa kohdassa suuntaa antava. Arvioinnin luonteva lähtökohta on ETK:n strategia tuottaa ymmärrettävää, käyttökelpoista ja laajasti hyödynnettävää asiantuntijatietoa eläketurvan arviointiin ja kehittämiseen. Yleiskuva on, että ETK pääsee tutkimustoiminnassaan hyvään ymmärrettävyyteen sen keskeisen asiakaspiirin kannalta. Tutkimusaiheitten merkitys on helppo ymmärtää, valitut tutkimusotteet ovat yleensä selkeitä ja kieliasu on keskimäärin helppoa arkikieltä. Painoalueittaisen arvioinnin ja haastattelujen perusteella kokonaisvaikutelma on, että tutkimustieto on varsin käyttökelpoista. Asiakastutkimukset vahvistavat kuvaa hyvästä palvelukyvystä. Tutkimustoiminnan aikaansaannoskykyä tarkasteltiin arvioimalla tutkimushenkilöstön osaamista ja toiminnan laatua. Henkilöstön osaaminen painottuu vahvaan keskimääräiseen osaamiseen. Pienessä tutkimusyksikössä henkilöstövalinnat ovat avainasemassa, ja ETK:lla onkin ollut mahdollisuus rekrytoida joukkoon Suomen johtavia nimiä eräillä tutkimusaloilla. Pienen joukon osaamisprofiilin kapeutta on voitu paikata yhteistyöllä taloustutkimuslaitosten kanssa. ETK:n tutkimustoiminnan tuotteet suuntautuvat kansallisen päätöksenteon tueksi, siksi kansainvälisten bibliometristen arvioiden käyttö ei ole järkevää. Tutkijat osallistuvat merkittävällä panoksella erilaisiin asiantuntijatehtäviin (muistioiden laadinta yms.), joten tuottavuusodotus voidaan asettaa alemmalle tasolle kuin puhtaammin tutkimusjulkaisemiseen keskittyvissä laitoksissa. Tutkimuksilla on erilaiset kohdeyleisöt ja niihin viitataan vaihtelevasti. Tutkimukset eivät ole tunnettuja laajan yleisön keskuudessa. Julkaisutoiminnan
Ulkoinen arviointi ETK:n tutkimustoiminnasta tiivistelmä 4 vaikuttavuutta parantaa, että tutkimukset ovat hyvin saatavilla sähköisesti. Yleisesti ottaen ETK:n tutkimustoiminnan laatu on hyvää, kansallisen keskitason yläpuolella. Vaikuttavuus välittyy eläkepolitiikkaan yhtäältä työeläkejärjestelmän suurten uudistusten ja toisaalta konkreettisissa yksittäisten uudistusten pohjustamisessa ja seurannassa. ETK:n tutkimuksella on ollut suuri merkitys erilaisten työuria, eläkkeellejäämisikiä ja eläkereformeja pohtineitten työryhmien toiminnalle. Haastatteluissa välittyi kuva ETK:sta merkittävänä laitoksena, jonka asiantuntemukseen luotetaan. Yhteenvetona on, että ETK:n tutkimustoiminnan palvelukyky on hyvä, sen aikaansaannoskyky kohtalainen tai hyvä ja sen tuottavuus ja taloudellisuus hyväksyttävällä tasolla. Yleisvaikutelmana on, että verrattuna muihin vastaavankaltaisiin tutkimuslaitoksiin ETK:n tutkimus näyttää toimivan tehokkaasti ja suhteellisen pienillä resursseilla. Sen etuna on myös suhteellisen matala organisaatio ja suora ja toimiva yhteys ETK:n johtoon. Arviointihavaintojen yhteenveto ETK:n tuottamassa tutkimuksessa on paljon perinteisen asiantuntijalaitoksen piirteitä: ohjelmallisuutta, jota toimeksiantajat voivat seurata; huolellisuutta pysyä toimeksiantajien asettamissa rajoissa; varovaisuutta tulkintojen tekemisessä; ja tuotteliaisuutta, jotta työeläkejärjestelmästä käytävässä keskustelussa olisi riittävästi ajantasaista tietoa ajankohtaisista aiheista. Yleisvaikutelma ETK:n tutkimustoiminnan tieteellisestä laadusta on varsin positiivinen. Tutkimustoimintaa leimaa huolellinen kuvaileva ote. ETK:n tutkimus suuntautuu kokonaan teemoihin, jotka ovat eläkepoliittisesti erittäin relevantteja. Tutkimusohjelma kattaa merkittävimmät työeläkkeisiin liittyvät kysymykset. Päällekkäisyyttä muitten tutkimuslaitosten toiminnan kanssa ei ole. Tutkimus vastaa hyvin ETK:n strategiaa ja on merkittävä osa ETK:n toimintaa. Kokonaisarvio tutkimuksen laadusta ja sen yhteiskunnallisesta merkityksestä on hyvin myönteinen. Kehittämisehdotukset Tutkimustoiminnan toimintaympäristö ei rohkaise tutkimustoimintaa tieteellisesti kunnianhimoisiin, menetelmiä kokeileviin ja yllättäviä aiheita tarkasteleviin tutkimuksiin. Seurauksena tiukasta pitäytymisestä asiantuntijalaitoksen rooliin saattaa seurata tiettyä konservatiivisuutta. Koska ETK:n tutkimus on pääsääntöisesti luonteeltaan kansallista, tieto suomalaisesta eläkejärjestelmästä sen hyvyydestä tai huonoudesta ei juuri leviä maamme ulkopuolelle. Tässä ETK voisi nostaa profiiliaan ja eräiltä osin tutkimuksen ambitiotasoa. Samalla kun ensiarvoisesta tehtävästä, eläkepolitiikan päätöksentekoa tukevasta tehtävästä, on pidettävä kiinni, sen ohella on pyrittävä julkaisemaan tärkeimpiä havaintoja myös kansainvälisillä tieteellisillä foorumeilla. Pyrkimys voisi olla se, että suurimmista ja tärkeimmiksi katsotuista
Ulkoinen arviointi ETK:n tutkimustoiminnasta tiivistelmä 5 teemoista tehtäisiin ainakin yksi kansainvälisille foorumeille tarkoitettu tutkimusjulkaisu. Eläketurvan vertaileva tarkastelu omalta osaltaan vähentäisi edellä sanottua olemassa olevaan maailmaan pitäytymistä ja siitä johtuvaa konservatismia. Ehdotuksia ETK:n tutkimuksen edelleen kehittämiseksi 1. Tieteellisen laadun ja kattavuuden kannalta aihevalintojen laajentaminen eläkejärjestelmien välisiin vertailuihin Koska ETK on osa suomalaista eläkeinstitutionaalista ratkaisua, on ymmärrettävää, ettei tutkimuksessa käsitellä erilaisten eläkeinstituutioiden suhteellisia etuja tai haittoja. Tutkimusosasto olisi luonteva paikka, jolle voisi sallia vapauksia ja kannustaa boksin ulkopuoliseen ajatustyöhön toteutuneiden instituutioiden onnistumisesta. Sosiaalitieteissä se tarkoittaisi institutionaalisia vertailuja, kun taas taloustieteissä voitaisiin panostaa erilaisten eläkejärjestelmien normatiiviseen arvioon pyrkivään periaatteelliseen mallinnukseen. 2. Pontevampi pyrkimys kansainväliseen julkaisemiseen Kansainväliset vertaisarvioidut julkaisut tarjoavat selkeän laadunvarmistuskeinon. Kansainvälisiin julkaisuihin suuntautuminen ja sitä kautta yhteistyömahdollisuuksien lisääminen olisi varmasti hyödyllistä. 3. Ekonometrisiin arvioihin ja evaluointitutkimuksiin panostaminen Kunnianhimoisesti toteutettaviin ekonometrisiin arvioihin eläkejärjestelmän parametrien ja eläkepoliittisten ratkaisujen vaikutuksista työuriin pitäisi panostaa enemmän. Painopistettä voisi siirtää kuvailevasta tutkimuksesta evaluointitutkimukseen. 4. Aineistojen avoimen saatavuuden edistäminen ja mahdollisuuksien selvittäminen ETK:lla on käytettävissään kansainvälisestikin erinomaiset aineistot työhistoriasta ja eläkkeiden nykyisestä määräytymisestä. Aineistojen tulisi olla ulkopuolisten tutkijoiden saatavilla riittävän helposti ja niiden olemassaolosta tulisi tiedottaa enemmän. Näiden aineistojen mahdollisimman täysimääräinen käyttö on kansallisen eläkepolitiikan kannalta olennaista. 5. Tilaustutkimusten rahoituksen selventäminen ETK rahoittaa myös tilaustutkimuksia, mutta niiden tarkoitus tutkimuksen kokonaisuuden kannalta voisi olla selkeämpi. Ulkopuolisilta tulevien tutkimusten roolia strategiassa voisi selkeyttää.
Eläketurvakeskus 00065 ELÄKETURVAKESKUS Puhelin 029 411 20 Faksi 09 148 1172 Pensionsskyddscentralen 00065 PENSIONSSKYDDSCENTRALEN Telefon 029 411 20 Fax 09 148 1172 Finnish Centre for Pensions FI-00065 Eläketurvakeskus Finland Telephone +358 29 411 20 Fax +358 9 148 1172 www.etk.fi > tutkimus, tilastot, ennusteet