Myönteisiä tuloksia valtioneuvoston selvitys- ja tutkimustoiminnan hankearvioinneista

Transkriptio

1 Näkökulmia ajankohtaisiin yhteiskunnallisiin kysymyksiin ja poliittisen päätöksenteon tueksi. Myönteisiä tuloksia valtioneuvoston selvitys- ja tutkimustoiminnan hankearvioinneista Valtioneuvoston selvitys- ja tutkimustoiminnan palaute kertoo toiminnan vaikuttavuudesta tiedolla johtamiseen Valtioneuvoston kanslian koordinoimalla valtioneuvoston yhteisellä selvitys- ja tutkimustoiminnalla (VN TEAS) tuotetaan tietoa päätöksenteon, tiedolla johtamisen ja toimintakäytäntöjen tueksi. Vuosittain laadittavalla tutkimussuunnitelmalla pyritään varmistamaan tutkittuun tietoon perustuva pohja yhteiskunnallisen päätöksenteon tueksi. Suunnitelmalla ohjataan selvitys- ja tutkimustoimintaa hallituksen valitsemille, hallituksen ja ministeriöiden toiminnan kannalta oleellisille painopistealueille. Tutkimushankkeet käynnistyvät avoimen määrärahahaun tuloksena. Hankkeita on vuodesta 2014 kevääseen 2018 mennessä käynnistetty noin 260 kappaletta. Valtioneuvoston selvitys- ja tutkimustoiminnan ensimmäiset hankekohtaiset arviointipalautteet kerättiin vuonna Tavoitteena on ollut selvittää, missä ja miten hankkeissa tuotettua tietoa on hyödynnetty ja miten hankkeiden tulokset ovat tukeneet päätöksentekoa. Keräämällä hankekohtaista tietoa toimintaa voidaan kehittää myös jatkossa. Arviointikyselyt koostuvat pian hankkeen päätyttyä lähetettävistä palautekyselyistä ja myöhemmin lähetettävistä jälkiseurantakyselyistä. Palautekyselyllä arvioidaan hankkeen ja loppuraportin onnistumista ja jälkiseurantakyselyllä pidemmän aikavälin vaikuttavuutta. Kyselyt lähetetään tutkijoille eli hanketoimijoille sekä ministeriöiden asiantuntijoista koostuville ohjausryhmille, jotka ohjaavat hankkeita. Tähän esitykseen on koottu kyselyillä saatuja tuloksia.

2 Saatujen vastausten perusteella näyttää sille, että VN TEAS -toiminta vastaa sille asetettuihin tavoitteisiin. VN TEAS -hankkeet tukevat tiedolla johtamista ja vahvistavat virkamiesten osaamista. Tutkijoille merkittävin hyöty toiminnasta liittyy yhteistyöverkostojen luomiseen tiedon hyödyntäjien kanssa sekä uusien projektien ja hankkeiden syntymiseen. Kriittisimmin hanketoimijat suhtautuvat määrärahan riittävyyteen suhteessa työmäärään. Vastaukset väittämiin hanketoiminnan onnistumisesta ja tuotetun tiedon hyödyntämisestä ovat varsin myönteisiä. Avovastauksissa vastaajat kiinnittävät enemmän huomiota siihen, miten toimintaa tulisi kehittää. Kehittämisnäkökulma otetaan myös tämän esityksen lopussa esille, jotta toiminta on jatkossakin laadukasta ja vastaa sille asetettuihin tavoitteisiin. Hankearviointi käytännössä Palaute ohjausryhmiltä ja hanketoimijoilta katsaus arviointiaineistoon Ensimmäiset kyselyt lähetettiin ohjausryhmille ja hanketoimijoille kesäkuussa Jälkiseurantakysely kattoi vuosina päättyneet hankkeet (näille hankkeille lähettiin vain pidemmän aikavälin vaikuttavuutta arvioiva jälkiseurantakysely) ja palautekysely kevään 2017 aikana päättyneet hankkeet. Tämän jälkeen palautteita on kerätty säännöllisesti sähköisillä kyselyillä. Tuloksista on tehty kaksi kokoavaa esitystä, kesäkuulta 2017 ja Tässä esityksessä keskitytään jälkimmäisen esityksen tuloksiin ja kerrotaan, mikäli tuloksissa on mahdollista muutosta. Palautekyselyihin on vastannut 120 ohjausryhmäläistä ja 78 hanketoimijaa. Jälkiseurantakyselyistä vastauksia on saatu 76 ohjausryhmäläiseltä ja 82 hanketoimijalta. 1 Vain osa ohjausryhmäläisistä ja hanketoimijoista on vastannut arviointikyselyihin. Kokonaisuutena vastausten määrä on kuitenkin riittävän suuri, jotta se antaa kuvan valtioneuvoston selvitys- ja tutkimustoiminnan vaikutuksista ja 1 Jälkiseurantakyselyjä on lähetetty 95 hankkeelle ja vastauksia saatu ohjausryhmistä 53 hankkeesta ja hanketoimijoilta 50 hankkeesta. Palautekyselyjä on lähetetty 99 hankkeelle ja vastauksia saatu ohjausryhmistä 62 hankkeesta ja hanketoimijoilta 56 hankkeesta.

3 tuloksellisuudesta. Lisäksi avovastausten perusteella voi nähdä toistuvia teemoja toiminnan kehittämiseksi. On myös todettava, että tietoa voidaan hyödyntää vuosienkin päästä, eikä voida vielä edes arvioida kuinka paljon tietoa tullaan hyödyntämään. Tulokset ja johtopäätökset Seuraavaksi esitetään tulokset vuoden 2018 arviointiyhteenvedosta. 2 Ensimmäisen arviointiyhteenvedon (2017) tulokset 3 on esitetty alemmassa pylväässä samassa kaaviossa. Palautekysely ohjausryhmille, vastaajia , vastaajia 35 (1=eri mieltä 5=samaa mieltä) Hankkeen toteutus oli asiantuntevaa Hankkeen tuotokset, kuten loppuraportti, ovat laadultaan korkeaa tasoa Yhteistyö hankkeen toteuttajien ja ohjausryhmän välillä oli toimivaa Eri hallinnonalojen edustajat saivat näkemyksensä hyvin kuuluviin hankkeen aikana Hankkeessa tuotettu tieto oli oikea-aikaista ja relevanttia päätöksenteon tarpeisiin nähden Hanke auttoi lisäämään yhteistyötä ja tiedonvaihtoa muiden hallinnonalojen kanssa Ohjausryhmän toiminta oli tehokasta Ohjausryhmä tuki hankeen laadukasta toteutusta Hankkeen viestintä oli onnistunutta Ohjausryhmätyöskentelyn edellyttämä työmäärä oli sopiva 4,24 4,31 4,11 3,97 4,14 4,11 4,16 4,03 4,15 4,06 3,83 3,53 3,94 3,97 4,13 4,17 3,74 3,60 3,99 3,80 2 Vuoden 2018 yhteenvetoesityksessä on koottu tulokset päättyneistä hankkeista seuraavasti: palautekyselyistä huhtikuulta 2017 maaliskuulle 2018 ja jälkiseurantakyselyistä tammikuulta 2017 lokakuulle Vuoden 2017 yhteenvetoesityksessä on koottu tulokset päättyneistä hankkeista seuraavasti: palautekyselyistä tammi maaliskuulta 2017 ja jälkiseurantakyselyistä vuosina päättyneistä hankkeista.

4 Oheinen kaavio kuvaa ohjausryhmäläisten näkemyksiä vuoden aikana päättyneistä hankkeista (huhtikuu 2017 maaliskuu 2018). Kyselyistä saatujen vastausten perusteella näyttäisi sille, että tutkimushankkeet ovat onnistuneet tavoitteessaan ministeriöiden näkökulmasta. Loppuraportteja pidetään laadukkaina (arvio 4,11/5) ja hankkeiden toteutusta asiantuntevana (4,24/5). Myös yhteistyö hanketoimijoiden ja ohjausryhmien välillä vaikuttaisi olleen toimivaa (4,14/5). Hyvää palautetta on saatu myös kysymykseen, joka koskee hankkeessa tuotetun tiedon oikea-aikaisuutta ja relevanttiutta päätöksenteon tarpeisiin nähden (4,15/5). Hieman alle neljän keskiarvosta jäädään kysymyksissä, jotka koskevat ohjausryhmän työmäärää (3,99/5) ja toiminnan tehokkuutta (3,94/5) sekä yhteistyön lisääntymistä ja tiedonvaihtoa muiden hallinnonalojen kanssa (3,83/5). Heikoimman lukeman saa kysymys hankkeen viestinnän onnistumisesta (3,74/5). Tällä kysymyksellä viitataan hanketoimijoiden oman viestintäsuunnitelman toteutumiseen. Palautekysely hanketoimijoille, vastaajia , vastaajia 23 (1=eri mieltä 5=samaa mieltä) Hanke edisti tiedon tuottajien ja tiedon hyödyntäjien välistä vuorovaikutusta Hanke edisti eri tiedon tuottajien välistä vuorovaikutusta Hallinnolliset käytännöt olivat toimivat VN TEAS -toiminnan ohjeistus oli selkeä Hallinnollisen työn osuus hankkeessa oli kohtuullinen Ohjausryhmän kautta saatiin riittävästi tietoa hankkeen toteutuksen tueksi Yhteistyö hankkeen toteuttajien ja ohjausryhmän välillä oli toimivaa ja edisti hankkeen toteutusta Käytettävissä oleva määräraha oli riittävä tavoitteisiin nähden Hankkeen yhteiskunnalliset tavoitteet olivat selkeät Tietotarve oli selkeästi määritelty 2,58 3,13 4,52 4,17 4,31 4,35 4,00 3,92 4,26 3,59 4,04 4,23 4,00 4,36 3,78 3,67 4,44 4,26 4,08 4,17

5 Myös hanketoimijoille suunnatussa kyselyssä tulokset ovat varsin myönteisiä. Hanketoimijat ovat suhteellisen tyytyväisiä muuhun paitsi käytettävissä olevaan määrärahaan (2,58/5). Vuoden 2018 lukema on tippunut melko paljon vielä kevään 2017 tuloksista. Ilmeisesti työmäärä suhteessa rahoitukseen on yllättänyt hanketoimijoita. Myös hallinnollisen työn määrää koskevan kysymyksen vastausten (3,59/5) tyytyväisyys on laskenut viime arviointikierroksesta jonkin verran. Tyytyväisyys on noussut erityisesti vastauksissa väittämään hanke edisti tuottajien ja tiedon hyödyntäjien välistä vuorovaikutusta. Hanketoimijat myös kokevat hankkeen yhteiskunnalliset tavoitteet selkeinä (4,44/5) ja ovat tyytyväisiä sekä eri tiedon tuottajien väliseen vuorovaikukseen (4,31/5) että ohjausryhmän kanssa tehtyyn yhteistyöhön. Myös VN TEAS -ohjeistuksen selkeys - väittämän vastausten kohdalla on hienoista nousua. Hanke edisti poikkitieteellistä tutkimusta eri tahojen kesken ja vuorovaikutusta eri ministeriöiden välillä, joka oli erittäin arvokasta työn toteutuksen kannalta. Jälkiseurantakysely ohjausryhmille 2017 päättyneistä hankkeista vastaajia 45, (suluissa päättyneet hankkeet, vastaajia 31) kyllä ei en osaa sanoa ei koske hankettamme 84,5 % (83,9 %)* 71,1 % (67,7 %)* 73,3 % (64,5 %)* 75,0 % (74,2 %)* 11,1 % (16,1 %)* 0 % 4,4 % 4,5 % (0%)* 0 % 24,4 % (32,3 %)* 15,6 % 25,0 % (16,1 %)* (16,1 %)* 6,7 % 4,4 % (6,5 %)* (12.9 %)* 0 % 0 % (6,5 %)* (3,2 %)* Oletko hyödyntänyt tietoa omassa työssäsi? Onko hankkeessa tuotettua tietoa voitu hyödyntää myös muissa yhteyksissä (esim. valtioneuvoston ulkopuolella)? Onko hankkeessa tuotettua tietoa hyödynnetty uusien politiikkatoimenpiteiden suunnittelussa ja/tai niiden valmistelussa? Onko hankkeessa tuotettu tieto mielestäsi auttanut yhteiskunnallisiin haasteisiin vastaamisessa?

6 Ohjausryhmille suunnatussa jälkiseurantakyselyssä kaikki väittämät saavat paremman arvion kuin ensimmäisessä kyselyssä (kyllä-vastausten osuus). Kysymykseen Onko hankkeessa tuotettua tietoa hyödynnetty uusien politiikkatoimien suunnittelussa ja/tai niiden valmistelussa annettujen kyllävastausten määrä on selkeästi noussut. Virkamiehet myös kokevat selvitys- ja tutkimustoiminnan tukevan heidän omaa osaamistaan: 84,4 % on tätä mieltä. Tukea yhteiskunnallisiin haasteisiin vastaamiseen saa 75 % vastaajista. 71,1 % kokee pystyvänsä hyödyntämään tuotettua tietoa myös muissa yhteyksissä (esim. yrityksissä, tutkimuslaitoksissa ja yliopistoissa). Jälkiseurantakysely hanketoimijoille 2017 päättyneistä hankkeista vastaajia 49, (suluissa päättyneet hankkeet, vastaajia 33) kyllä ei ei osaa sanoa ei koske hankettamme 71,4 % (75,8 %)* 77,6 % (75,8 %)* 51,0 % (66,7 %)* 0 % (6,1%)* 28,6 % (18,1 %)* 0 % 14,3 % 8,1 % (12,1 %)* (12,1 %)* 0 % 29,0 % (24,2 %)* 16 % (9,1 %)* 4 % Onko hankkeessa tuotettua tietoa hyödynnetty muissa selvitys- tai tutkimushankkeissa? Onko hanke synnyttänyt yhteistyötä tiedon hyödyntäjien kanssa? Onko hanke synnyttänyt yhteistyötä muiden tiedon tuottajien kanssa? Pidemmän aikavälin vaikuttavuutta arvioivissa hanketoimijoiden jälkiseurantakyselyissä kyllävastausten määrä on noussut hieman kysymyksen Onko hanke synnyttänyt yhteistyötä tiedon hyödyntäjien kanssa? yhteydessä. Tutkijat kokevat myös, että tietoa voidaan hyödyntää muussa selvitys- ja tutkimustoiminnassa, vaikkakin tässä on hienoista laskua. Sen sijaan suurempaa laskua on havaittavissa hankkeiden hyödyssä synnyttää yhteistyötä muiden tiedon tuottajien, kuten yritysten, tutkimuslaitosten ja yliopistojen, kanssa. Tämä on hieman ristiriidassa palautekyselyn hyvään tulokseen vastaavassa kysymyksessä. Ilmeisesti tämän kaltainen yhteistyö ei välttämättä kanna kovin pitkälle hankkeen päätyttyä. Toisaalta en osaa sanoa -vastausten määrä on myös melko suuri.

7 Valtioneuvostossa hankkeiden tuloksia on hyödynnetty: politiikkatoimien valmistelussa, lainsäädännön linjauksissa ja tausta-aineistona, hallituksen kärkihankkeiden valmistelussa, uusien ohjauskeinojen suunnittelussa, neuvotteluiden pohjana Tietoa hyödynnettiin kansallisen energia- ja ilmastostrategian ja keskipitkän aikavälin ilmastosuunnitelman valmistelussa. Hankkeen aikana käyty keskustelu sekä lopputuotos on ollut taustalla maakuntauudistuksen ja kasvupalvelu-uudistuksen valmistelussa. VN TEAS hankkeen tuotoksia hyödynnetään mm. kärkihankkeiden valmistelussa, ja uusien ohjauskeinojen suunnittelussa. Hankkeen tuloksia on esitelty erilaisissa tilaisuuksissa ml. päätöksentekijät. Ne ovat tuoneet syvempää tietoa keskusteluun ja sitä kautta vaikuttaneet erilaisten toimenpiteiden pohdintaan. Tuloksia on hyödynnetty myös muissa yhteyksissä: viittauksina muussa tutkimuksessa ja uusien hankkeiden suunnittelussa erilaisissa yritysten ja järjestöjen seminaareissa sekä keskustelutilaisuuksissa, koulutusohjelmien suunnittelussa ja korkeakoulujen pääsykoemateriaaleina, julkisessa keskustelussa laajemminkin

8 Kehittämiskohteita jatkoa ajatellen Arviointikyselyissä on nostettu esille myös toiminnan edelleen kehittämiseen liittyviä näkökulmia. Yleisvaikutelma on, että vastaajat kokevat VN TEAS -toiminnan kehittyneen alkuvaiheesta tähän päivään ja toiminnasta on myös tultu tietoisemmiksi. Valtioneuvoston kanslian koetaan onnistuneen koordinoivassa ja hallinnollisessa työssä. Myös kanslian viestinnällinen tuki saa monelta hanketoimijalta kiitosta. Tietotarvekuvaukset ja tiedon oikea-aikaisuus Arviointikyselyjen palautteessa kiinnitetään huomiota laadukkaaseen ja täsmälliseen tietotarvekuvausten laadintaan. Epäselvästi ilmaistu tietotarve heikentää usein hankkeessa tuotetun tiedon hyödynnettävyyttä. Avovastauksissa tuodaan esille myös VN TEAS -toiminnan haaste vastata nopeisiin päätöksenteon tietotarpeisiin. Palautekyselyssä väittämä Hankkeessa tuotettu tieto oli oikeaaikaista ja relevanttia päätöksenteon tarpeisiin nähden saa hyvän arvion (4,15/5), mutta ilmeisesti kaikkien hankkeiden osalta tässä ei onnistuta vaan tieto ehtii vanheta suhteessa politiikkatoimien sykliin. Laadukas ohjaus ja poikkihallinnollisuus Onnistunut hanke tarvitsee laadukasta ohjausta eli sitoutuneita ja osaavia ohjausryhmäläisiä. Ohjausryhmän jäsenet kokevat saavansa hankkeista eväitä omaan työhönsä. Haasteeksi avovastausten perusteella nousee kuitenkin se, että kaikissa hankkeissa into sitoutua hankkeen ohjaukseen ei välttämättä ole kovin suurta. Ohjausryhmien avovastauksissa toivotaan kiinnitettävän erityistä huomiota myös VN TEAS -kriteeriin hallinnonalojen välisestä horisontaalisesta yhteistyöstä. Vastauksissa tuodaan esille, että osa tutkimuksista palvelee vain yhtä hallinnonalaa. Tutkimuksen riippumattomuus Avovastauksissa on pohdittu hankkeiden ohjauksen onnistumista ja tieteellisen tutkimuksen riippumattomuutta. Hanketoimijat ovat antaneet hyviä arvioita vuorovaikutuksesta ohjausryhmien kanssa, mutta joskus ohjauksessa voi ilmetä haastetta siinä, miten paljon tutkimuksen tilaaja voi

9 ohjeistaa tutkimusta. Valtioneuvoston kanslia edellyttää kuitenkin kaikilta VN TEAS -toimintaan osallistuvilta hyvän tieteellisen käytännön noudattamista. Toimintamalli on hyödyllinen ja mielestäni tukee valtakunnan tason päätöksentekoa. Kehittämistä on vielä sen suhteen, miten tasapainoillaan hankkeen aikaisen tuen ja tutkimuksen tekemisen välillä. Kohti entistä tuloksellisempaa VN TEAS -toimintaa Näiden arviointitulosten valossa VN TEAS -toiminta näyttää palvelevan sille asetettuja tavoitteita. Toimintaa pyritään myös kehittämään entistä sujuvammaksi ja tutkijakenttää kuuntelevammaksi, esimerkiksi tietotarpeiden yhteiskehittämisen kautta. Yhteiskehittäminen on myös yksi keino saada paremmin muotoiltuja tietotarpeita. Selvitys- ja tutkimustoiminnan hankehallintaan kehitetään parhaillaan sähköistä asiointijärjestelmää, johon myös palautekyselyt liitetään jatkossa. Sähköisen asiointijärjestelmän avulla hankkeiden elinkaarta voidaan hallinnoida joustavammin ja asiakaslähtöisemmin heti alkuvaiheesta palautekyselyihin saakka. Tavoitteena on saada mahdollisimman kattava kuva toiminnan vaikuttavuudesta. VN TEAS -toiminta on ollut toteuttajien näkökulmasta erinomaisen notkea väline. Mielestäni on hyvä, että VN TEAS -toiminnan vuosisuunnitelmissa nostetaan esiin eri ministeriöiden tietotarpeita ja niihin pyydetään ratkaisuehdotuksia tutkimussuunnitelmien muodossa. Tällä menettelyllä on saatu aitoa ja hyvää kilpailua sekä pystytty tietenkin varmistamaan se, että selvitys- ja tutkimustoiminta on kiinni niissä teemoissa ja sisällöissä, jotka ovat hallitusohjelman ja päätöksenteon näkökulmasta keskeisiä. Lisätietoja: Sanna Malkki, projektisuunnittelija, valtioneuvoston kanslia