Teksti: TEIJO PYYKKÖNEN, JARI LÄMSÄ, KAARLO LAINE Eurojen valvontaa ja liikkujien laskentaa liikunnan arviointi voisi olla paljon muutakin Kuva: ANTERO AALTONEN LIIKUNTA & TIEDE 53 4/ 2016 65
Mediaa kiinnostavat tilintarkastukset ja poliitikkoja tiivistetyt tunnusluvut. Hyvä niin, mutta kannattaa liikunnan seurantaa ja arviointia miettiä myös laajemmin. Nyt olisi aika panostaa arviointija toimintakulttuurin kehittämiseen: luotettavaan tietopohjaan, kestäviin arviointikäytäntöihin ja yhteiseen tekemiseen. Tähän pyrkii Nexus-verkosto. Liikuntaväen mielikuvat arvioinnista ovat moninaiset, sillä arvioinnin roolia ja tehtäviä ei esimerkiksi liikuntahallinnossa ole määritelty. Joillekin arviointi on rahankäytön kontrollia, toisille toiminnan tulososkus tuntuu vahvasti siltä, että meikäläinen liikuntajärjestelmä on kuin huoleton hulivilipoika, joka elelee päivän kerrallaan ehtymättömän rikkaaksi olettamansa isänsä [veikkausvoittovaroja jakavan ministeriön] rahoilla. Näin tiivistivät Hannu Pelttari ja Timo Ojala näkemyksensä liikuntajärjestelmän seurannasta vuonna 1978. Heidän mukaansa poliittishallinnollisen ohjauk sen omaksumat liikunnan taustafunktiot (terveys, suorituskyky ym.) eivät näkyneet liikuntajärjestöjen tavoiteasettelussa siinä määrin kuin valtiovalta olisi toivonut. Seurannan ja arvioinnin mielikuvat liittyvät yhä vahvasti rahaan: mihin ja miten liikuntaeurot käytetään; lisääntyykö liikunta liikuntarahoja lisäämällä? Talouskysymykset ovat askarruttaneet niin paljon, että apua on nyttemmin haettu jopa laillisuusvalvonnan huipulta: Oikeuskansleri syynää ministeriön urheilurahan jaon (YLE 6.6.2016). Rahan käytön seurantaa ei tietenkään voi ohittaa. Jo valtionavustuslaki (688/2001) velvoittaa valtionapuviranomaisia valtionavustusten käyttö- ja seurantatietojen hankintaan ja tarvittaessa tarkastuksiin. Mutta voivat seuranta ja arviointi palvella liikunnan toimintakulttuurin kehittämistä laajemminkin. Toimintakulttuurin kehittämiseen tähtäävää systemaattista seuranta- ja arviointijärjestelmää on perään kuulutettu pitkään. Jo liikuntalakia valmistellut Liikuntalakikomitea (1976) korosti, että liikuntakulttuurin kehittäminen edellyttää toteutettavien toimenpiteiden kiinteää seuraamista ja tämän pohjalta suoritettavaa arviointia. Arviointia pyrittiin edelleen vauhdittamaan vuonna 1998 liikuntalakiin (1054/1998) lisätyllä kirjauksella: valtion liikuntaneuvoston tulee arvioida valtionhallinnon toimenpiteiden vaikutusta liikunnan alueella. Mietintöjen ja liikuntalain kirjauksista huolimatta liikunnan arviointikulttuuri on kehittynyt hitaasti. Suomalainen liikuntakulttuuri on rakentunut enemmän perinteiden ja autonomisten järjestötoimijoiden valintojen kuin julkisen ohjauksen ja arviointien pohjalta. Vasta viime vuosina on valtion liikuntaneuvosto (VLN) liikuntalain velvoittamana panostanut näkyvästi seurantaan ja arviointiin. Tehtävä ei ole vuosikymmenien kuluessa ainakaan helpottunut. Liikuntakäsitteen laajentaminen kaikkeen liikkumiseen ja toimijakentän kirjavoituminen ovat tehneet kattavasta seurannasta ja arvioinnista jokseenkin mahdottoman tehtävän varsinkin työhön osoitettujen resurssien näkökulmasta. Liikuntaneuvosto on lakisääteistä tehtäväänsä toteuttaessaan joutunut tuottamaan kokonaisarviointeja (2011, 2013, 2015), joihin se ei ole ollut itsekään täysin tyytyväinen: Arviointitehtävän toteuttaminen on osoittautunut haastavaksi. Liikuntakulttuuri on laajentunut ja arviointitieto liikuntaa edistävien toimenpiteiden vaikutuksista, vaikuttavuudesta ja tehokkuudesta on edelleen vähäistä ja hajanaista. (VLN 2015, 5) Hyvistä pyrkimyksistä huolimatta valtakunnallisen seurannan ja arvioinnin nykytila näyttäytyy alan toimijoille epämääräisenä. Erityisesti puuttuu arviointitietoa, joka kiinnittyisi liikuntapoliittisiin tavoitteisiin ja samalla tarjoaisi eväitä tulevaisuutta varten. Suomalaisen liikuntatutkimuksen perinteeseen ei juurikaan kuulu arviointitiedon kokoaminen. Liikuntatutkijoiden intressit ovat olleet enemmän tutkija- kuin politiikkalähtöistä. 2010-luvulla laadittujen arviointiraporttien hyödyntämisestä on vähän tietoa. Päätöksenteko kaipaa tuekseen kattavaa ja pitkäjänteisesti kerättyä tietoa. Laadituissa arvioinneissa tietopohja on ollut hajanaista, eritasoista ja tietotarpeita on jouduttu ratkaisemaan kiireellä kootuilla selvityksillä. Kun myös arviointien tekijät ovat itse esittäneet varauksia raportteihinsa, on ymmärrettävää, että poliittista ohjausta ja päätöksentekoa ei ole rakennettu arviointiraporttien varaan. Nämä piirteet liittyvät myös laajemmin projektiyhteiskunnan esiinmarssiin. Projektimaisuus on yksi nykyisen tietoyhteiskunnan tunnusmerkki. Projektimaisuus tarkoittaa toisaalta toimintojen moninaistumista ja erilaisten näkökulmien esille tuloa, mutta myös lyhytjännitteisyyttä, kokonaisuuksien pirstoutumista ja selkeytymättömyyttä sekä tietynlaista epävarmuutta (Roininen 2012, 13 14). Projektimaisuuden haaste ulottuu luonnollisesti myös liikuntaan ja urheiluun sekä arviointitoimintaan. Ehkä nyt kannattaisi arviointityön rinnalla panostaa systemaattisen arviointijärjestelmän raken tamiseen: seurannan ja arvioinnin tietopohjan vahvistamiseen, hyvien arviointikäytäntöjen juurruttamiseen sekä arvioinnin asiantuntiverkostojen vakiinnuttamiseen. Arviointi ei elä yksin tutkimustiedosta Erityisesti puuttuu arviointitietoa, joka kiinnittyisi liikuntapoliittisiin tavoitteisiin ja samalla tarjoaisi eväitä tulevaisuutta varten. 66 LIIKUNTA & TIEDE 53 4/ 2016
ten arvioimista: onko tavoitteet saavutettu? Viime vuosina mielikuvat ovat muuttuneet kamreerimaisesta tarkastuksesta kohti toiminnan kehittämistä. Nykyään arvioinnilta osataan odottaa muutakin kuin kiusallista kritiikkiä: Arviointi ei ole arvostelua, vaan se tuottaa havaintoja, johtopäätöksiä ja kehittämissuosituksia arvioitavan kohteen vahvuuksista ja parantamisalueista (Virtanen 2007, 25). Parhaimmillaan arviointi tukee toiminnan yhteistä kehittämistä. Tämän ajatuksen soisi ohjaavan myös liikunnan arviointia. Arvioinnin tulisi siis ohjata toimintaa sen kehittämiseksi. Roinista (2012) mukaillen arviointiohjauksen paikka olisi vuoropuhelussa eri kenttien ja toimijoiden risteyskohdissa (kuvio 1). Ilmeistä on, että liikunnan järjestöväki, poliittishallinnolliset toimijat sekä tutkijat painottavat hieman eri asioita arviointikäsityksessään. Järjestöpuolella mielikuva seurannasta ja arvioinnista lienee muokkautunut osin ministeriön valvonta- ja tarkastustoimien kautta. Toiseksi, kun hallinnossa mieluusti korostetaan liikunnan taloudellista ja yhteiskunnallista käyttöarvoa (välinearvoa), niin järjestöissä painotus on enemmän itse tekemisessä (itseisarvossa): liikunnan harrastuksessa, kisailussa ja kilpailussa. Kun arviointia toteutetaan yleensä tavoitteisiin peilaten, ohjaavat järjestöjen ja hallinnon eri lailla painottuneet tavoitteet myös erilaisiin arviointikäsityksiin. Hallinnon näkökulmasta arvioinnilla tähdätään tietoperustaiseen päätöksentekoon, tiedolla johtamiseen. Päätösten valmistelua ja arviointien laatimista on haitannut tiedon puute, mikäli liikunnan virkamiehiä ja valtion liikuntaneuvoston arviointeja on uskominen. Tutkijat ovat nämä näkemykset kokeneet osin epäluottamuslauseeksi työtään kohtaan. He ovat mieluummin korostaneet, että tutkittua tietoa on, mutta virkamiehet eivät osaa sitä hyödyntää. Tällainen näkemysero kielii liikunnan tutkijoiden ja päätöksentekijöiden vuorovaikutuksen riittämättömyydestä. Asia tulisi pikimmiten korjata, sillä vuorovaikutus tutkijoiden ja päätöksentekijöiden kesken nousee yhä oleellisemmaksi, jottei tutkimus putoaisi tiedon tuottamisen ja tiedon käyttämisen väliseen kuiluun (Niiranen 2015, 314). Kiistely tiedon olemassaolosta on saanut ylimitoitetun huomion liikunnan tietoperustaisessa johtamisessa ikään kuin tiedon olemassaolo johtaisi automaattisesti myös ohjauksen ja toiminnan muuttumiseen. Tieto yksin riittää harvoin muutosvoimaksi. Tätä korostaa myös kansanedustajia läheltä seurannut eduskunnan kirjaston johtava tietoasiantuntija Timo Turja (2012, 38): Jos yhteiskunnan etu ja tutkimustulokset ovat ristiriidassa, poliittisessa päätöksenteossa yhteiskunnan kokonaisetu painaa aina enemmän. Tutkimustieto tulisi siten ymmärtää enemmän välineeksi poliittisessa (arvojen) kamppailussa kuin itsenäiseksi muutosvoimaksi. Samoilla linjoilla ovat hallinnon tutkijat: Tutkimustiedon käyttämisessä on poliittisen päätöksenteon osalla kysymys aina myös arvojen allokoinnista, ei yksin rationaalisista, tietoon perustuvista ratkaisuista (Virtanen, Stenvall, Rannikko 2015, 24). Mitä tästä opimme? Tutkijoiden on hyvä lisätä poliittishallinnollisen päätöksenteon tuntemustaan. Samalla on syytä pitää huoli siitä, ettei tutkija innostu poliitikoksi: Jos tutkijat omaksuvat arvonsa ja toimintatapansa politiikasta, tieteen auktoriteetti häviää (Turja 2012, 36-37). Arvioinnissa tulee tutkimustiedon lisäksi ottaa huomioon tarkasteltava systeemi koko laajuudessaan: politiikka, ohjelmat/hankkeet, prosessit, orga- KUVIO 1. Arviointiohjaus osana erilaisia ohjauskeinoja (Muokattu lähteestä Roininen 2012). LIIKUNTA & TIEDE 53 4/ 2016 67
nisaatiot, keskeiset vaikuttajat jne. Arvioinnin haasteeksi ei tulisi nähdä vain tutkimustiedon puutetta kuten liikunnan arviointikeskusteluissa joskus esitetään vaan näkökulman soisi olevan laajempi. Arviointi on oma osaamisen lajinsa Arviointiosaaminen on moniulotteista. Arvioinnin tekijältä odotetaan sekä tutkimuksellista osaamista että hallinnollisten ja järjestöllisten rakenteiden tuntemusta. Petri Virtasen (2007, 139) mukaan arvioinnin tekijä on kausaalisen päättelyn taitaja. Keskiössä ovat syyt ja vaikutukset sekä niiden suhteet. Liikunta-arvioinneissa kausaaliset suhteet ovat osoittautuneet vaikeasti hahmotettaviksi. Esimerkiksi liikuntakäyttäytyminen ilmiönä on niin kompleksinen, että sen muutoksista ei hätiköityjä kausaalisuhteita kannata esittää. Osallistuessaan arviointiin tutkijat saattavat hyvinkin kokea itsensä enemmän rengiksi kuin isännäksi. Politiikka jyrää, ja hallintokin saattaa kurmuttaa: Kenen leipää syöt, sen tutkimuskysymyksiä kysyt (Niiranen 2015, 314). Myös liikuntasektorilla tutkijoiden on hyvä tiedostaa, missä arvioitavista teemoista ja resursseista on päätetty sekä missä ja miten arviointitietoa aiotaan käyttää. Vaikka arviointeihin saattaa liittyä moninaisia, joskus jopa arveluttavia intohimoja, ei tutkijan kannata ylenkatsoa arviointitutkimusta. Tieteen riippumattomuuden ei arviointitutkimuksessa tarvitse kadota. Vuokko Niirasen (2015, 310) mukaan tieteellinen tutkimus voi palvella päätöksentekijää ainakin kahdella tavalla: Ensiksi, tutkimus voi toimia käsitteellisessä merkityksessä ja laajentaa päätöksentekijän tietoperustaa ja näkemystä käsiteltävistä ongelmista ja niiden ratkaisumahdollisuuksista. Toiseksi, tutkimuksella voi olla instrumentaalinen (välineellinen) tai poliittinen merkitys, mikä korostuu tilanteissa, joissa tutkimuksen teettäminen legitimoi päätöksentekijän asemaa esimerkiksi silloin, kun päätöksille halutaan perusteita. Luotettavan arvioinnin laatiminen ei ole yksinkertainen tehtävä. Siksi myös siihen liittyvään toimintatapojen mallintamiseen ja kehittämiseen tulee kiinnittää liikunta-alalla huomiota siinä kuin tietosisältöjen kokoamiseen. Petri Virtanen (2007, 23 24) suosittaa viiden peruskysymyksen huolellista läpikäyntiä ennen varsinaista arviointia: 1) Milloin arviointia tehdään: etukäteen, jatkuvasti, jälkikäteen? 2) Mikä on arviointiasetelma ja -tehtävä? 3) Kenelle arviointia tehdään? 4) Mitä täsmälleen arvioidaan ja mitä voidaan arvioida? 5) Mitkä ovat arviointiin liittyvät motiivit? Mistä loppujen lopuksi on kyse, kun puhutaan tiedolla johtamisesta ja siihen liittyvästä arvioinnista? Liikunta-alalla kysymystä kannattaa miettiä etenkin opetus- ja kulttuuriministeriön ja valtion liikuntaneuvoston näkökulmista. Ministeriölle kuuluu valtakunnallinen ohjaus ja neuvostolle arviointi. Julkisessa toiminnassa tiedolla johtamisessa pyritään siihen, että toiminta olisi sen myötä älykkäämpää, tiivistävät Petri Virtanen, Jari Stenvall ja Pasi-Heikki Rannikko (2015, 20). Julkisen politiikan älykkyyden he katsovat muodostuvan kahdesta tekijästä: politiikan on oltava päämääriltään haluttavaa ja toteuttamiseltaan mahdollista. Minkälainen arviointipolitiikka olisi haluttavaa liikunta-alalla, jossa on lukuisia toimijoita omine tavoit teineen? Minkälaiset arvioinnit ovat toteuttamiskelpoisia eivät kurottaisi pilviin eivätkä kapsahtaisi yksinkertaisuuksiin? Mitä opittavaa meillä on jo laadituista arvioista? Miten arviointiprosesseihin voidaan osallistaa hallinnon edustajien lisäksi tutkijat ja järjestötoimijat? Avoimia kysymyksiä riittää. Nexus-verkosto tähtää käyttökelpoiseen arviointitietoon Kun liikunnan arviointi on laaja ja kompleksinen kysymys, arviointiin on syytä saada mukaan kaikki arvioinnista kiinnostuneet osaajat sekä arvioinnin kohteena ovat tahot. VALO:n, Olympiakomitean, VAU:n, KIHU:n ja LIKES:in johdolla käynnistetyn Nexus-arviointiverkoston tavoitteena on hyödyntää saatavilla olevia arviointiresursseja maksimaalisesti. Verkosto syntyi siitä törmäyksestä, kun muutamat erilaisten arviointihankkeiden toteuttajat sekä urheilujärjestöjen edustajat kokoontuivat pohtimaan keinoja ad hoc- ja projektimaisen arviointikulttuurin parantamiseksi. Ajatus jonkinlaisesta Nexus-moottorista, joka toimii välittäjänä tiedon tuottajien ja hyödyntäjien välillä, jäi elämään (kuvio 2). Nexus-työ käynnistyi syksyllä 2014, jolloin asian parissa työskennelleet henkilöt päättivät perustaa asiantuntijaryhmän edistämään arviointia liikunnassa ja urheilussa. Ryhmä laati arvioinnin strategian, jossa keskeisiksi pitkän tähtäimen tavoitteiksi nostettiin: 1. Arvioinnin ja seurannan tietopohjan vahvistaminen kokoamalla liikuntakulttuuria koskevaa keskeistä tietoa yhteen, määrittelemällä seurannan avainindikaattorit ja arvioimalla seuranta- ja arviointityötä tukevien tietojärjestelmien kehittämistarpeet. 2. Liikunnan ja urheilun seuranta- ja arviointikäytäntöjen systematisoiminen. Tavoitteena on tuottaa kentän toimijoiden ja päätöksentekijöiden tarvitsemaa tietoa toiminnasta. 3. Arviointikulttuurin edistäminen kehittämällä verkoston yhteistyötä ja osaamista arviointihankkeiden toteuttamisessa, benchmarkkaamalla muiden tahojen arviointitoimintaa ja luomalla suunnitelma liikunta-alan toimijoille suunnatusta arviointikoulutuksesta. 4. Asiantuntijaryhmän toimintatapojen vahvistaminen pysyväksi verkostoksi määrittelemällä verkoston toimintatavat ja roolit sekä varmistamalla resurssit seuranta- ja arviointityön ylläpitämiselle ja kehittämiselle. Liikunnan seuranta ja arviointi on helpointa kohdistaa organisoituneisiin julkisen tuen vastaanottajiin ja varsinaisten liikuntapaikkojen käyttöön. 68 LIIKUNTA & TIEDE 53 4/ 2016
KUVIO 2. Nexus-verkosto tiedon tuottajien ja käyttäjien vuorovaikutuksen moottorina. Liikunnan järjestökentän arviointi sopii koelaboratorioksi laajemmankin arviointikulttuurin näkökulmasta. Nexus-verkosto onkin toistaiseksi panostanut juuri järjestökentän arvioinnin kehittämiseen. Työn tavoitteena on arvioivan toimintakulttuurin kehittäminen liikunnan kansalaisjärjestöissä. Arvioinnille asetetaan yleisesti kolmenlaisia tavoitteita: kehittäminen, tilivelvollisuuden osoittaminen sekä tiedon tuottaminen. Liikunnan järjestötoiminnassa suurinta huomiota on kohdistettu viime aikoina liikuntajärjestöjen tilivelvollisuuden osoittamiseen osana valtion liikuntajärjestöjen toimintaavustuksia. Kyseinen apparaatti on viimeisen 20 vuoden ajan perustunut valtion tulosohjaukseen ja sen toimivuutta kritisoitu viime vuosina (VLN 2015; Mäkinen et al. 2015; Lehtonen & Mäkinen 2015). Vaikka varsinainen arviointi jääkin nykyjärjestelmässä piiloon, tuottavat liikuntajärjestöt vuosittain päätöksenteon tueksi paljon erilaista toiminta- ja taloustietoa päätöksenteon tueksi. Osa järjestöistä hyödyntää arviointia systemaattisesti myös omassa kehitystyössään, kun taas osa tukeutuu perinteisempiin johtamisen tukityökaluihin. Kun arviointia halutaan kehittää järjestötoiminnassa, täytyy kehittämistoiminnan painopistettä siirtää kontrolloivasta arvioinnista kehittävään arviointiin. Arvioinnin ja sen tuottaman tiedon tulee lähteä järjestöjen toiminnan kehittämisen arjesta, jolloin arviointitiedon hyödyntäminen ja arviointikulttuurin kehittyminen ovat todennäköisempiä kuin ainoastaan ulkopuolisten toteuttamien arviointiraporttien valossa. Onnistunut esimerkki arviointitoiminnan kehittämistyöstä löytyy sosiaali- ja terveysjärjestökentältä, jossa toteutettiin laaja järjestöarvioinnin kehittämishanke (Järvi-hanke) vuosina 2005 09. Hankkeen seurauksena arvioinnin rooli ja merkitykset selkeytyivät niin järjestökentällä kuin toimintaa ohjaavissa tahoissa. Järjestöarviointi on tärkeää, mutta sen varjoon ei saada jäädä omaehtoiseen liikuntaan liittyvä seuranta ja arviointi. Merkittävä osa liikunnasta tapahtuu suoran yhteiskunnallisen ohjauksen ulkopuolella. Mitä enemmän kyse on riittämättömästi liikkuvien aktivoinnista, sitä enemmän tarvitaan liikuntahallinnon ulkopuolisen hallinnon toimenpiteiden seurantaa ja arviointia. Tämä puolestaan edellyttää monitieteistä ja ilmiölähtöistä tutkimusta. Samalla tulisi malttaa arvioimasta kaikkea liikkuvaa eli tulisi keskittyä arvioimaan sitä mitä pystytään arvioimaan. Nexus-verkosto on käynnistänyt vuoropuhelua liikuntajärjestöjen ja tiedon tuottajien välillä. Verkosto on vuoden 2016 aikana koonnut seurantaa, arviointia ja tutkimusta tekeviä tahoja sekä kentän toimijoita yhteisiin tapaamisiin. Verkoston keskeinen periaate on avoimuus. Kaikki liikunnan ja urheilun arvioinnista ja seurannasta kiinnostuneet henkilöt ovat tervetulleita mukaan toimintaan. TEIJO PYYKKÖNEN Tutkimus- ja julkaisupäällikkö Liikuntatieteellinen Seura (LTS), Sähköposti: teijo.pyykkonen@lts.fi. JARI LÄMSÄ, LitM Yhteiskuntatieteiden yksikön johtaja, Kilpa- ja huippu-urheilun tutkimuskeskus (KIHU), Sähköposti: jari.lamsa@kihu.fi. KAARLO LAINE, VTT Yksikönjohtaja LINET-tutkimusyksikkö, LIKES tutkimuskeskus (LIKES), Sähköposti:kaarlo.laine@likes.fi. Lisätietoja Nexus-verkostosta: Jari Lämsä (KIHU); jari.lamsa@kihu.fi; 0400 815943; Kaarlo Laine (LIKES), kaarlo.laine@likes.fi; 020 762 9507. LIIKUNTA & TIEDE 53 4/ 2016 69
KIRJALLISUUS Lehtonen, K. ja Mäkinen, J. 2015. Liikuntajärjestöjen valtionavustusjärjestelmän kehittäminen ja tietopohjan vahvistaminen. Liikunnan ja kansanterveyden julkaisuja 310. Liikuntalakikomitean mietintö. 1976. Komiteamietintö 1976:87. Opetusministeriö. Mäkinen J., Lämsä J., Aarresola O., Frantsi J., Vihinen T., Laine K., Lehtonen K. ja Saari A. 2015. Liikuntajärjestöjen arvioinnin kehittäminen ja lajiliittokysely. KIHUn julkaisusarja nro 50. Kilpa- ja huippu-urheilun tutkimuskeskus, Jyväskylä, 46 s. Niiranen, V. 2015. Tiedolla johtaminen mistä tulossa, minne menossa? Teoksessa Virtanen, P., Stenvall, J., Rannisto, P.-H. (toim.): Tiedolla johtaminen julkishallinnossa. Tampere University Press, s. 305 318. Pelttari, H., Ojala, T. 1978. Liikuntajärjestelmän seuranta. Stadion 4/1978, s. 116 120. Liikuntatieteellinen Seura. Roininen J. 2012. Alue- ja yhdyskuntasuunnittelun arvioinnin fragmentoitunut luonne ja eheyttäminen. Aalto-yliopiston julkaisusarja: Tiede + teknologia 2/2012. Unigrafia Oy; Helsinki. Turja, T. 2012. Tiede ja politiikka eduskunnassa. Tieteessä tapahtuu 1/2012, s. 36 40. Tieteellisten seurain valtuuskunta. Valtion liikuntaneuvoston arvioinnit: - Valtion liikuntaneuvoston arvioinnit 2010: a) Valtion liikuntapoliittisten toimenpiteiden vaikutusten arviointi, b) Liikunnan edistämisen linjoista annetun valtioneuvoston periaatepäätöksen ja sen toteutumisen arviointi. Opetus- ja kulttuuriministeriön julkaisuja 2011:3. - Arviointi valtion liikuntatoimen määrärahojen kasvun tuloksista hallituskaudella 2007 2011. Valtion liikuntaneuvoston julkaisuja 2013:8. - Valtionhallinto liikunnan edistäjänä 2011 2015. Valtion liikuntaneuvoston julkaisuja 2015:4 Virtanen, P. 2007. Arviointi; arvioinnin luonne, tuottaminen ja hyödyntäminen. Edita; 249 s. Virtanen, P., Stenvall, J., Rannisto, P.-H. 2015. Julkiseen politiikkaan liittyvä oppiminen ja tietoon perustuva päätöksenteko. Teoksessa Virtanen, P., Stenvall, J., Rannisto, P.-H. (toim.): Tiedolla johtaminen julkishallinnossa. Tampere University Press, s. 9 26. VERKKOJULKAISUT http://www.likes.fi/filebank/1990-liikuntajarjestoraportti2015.pdf http://www.kihu.fi/tuotostiedostot/julkinen/2015_mki_liikuntajr_ sel60_86989.pdf SUOMEN URHEILUTUTKIMUSSÄÄTIÖN APURAHAT Suomen Urheilututkimussäätiön apurahat julistetaan haettavaksi ma 10.10.2016 klo 24.00 mennessä. Apurahat on tarkoitettu tutkimuksiin, jotka pyrkivät fyysiseen ja psyykkiseen suoritus kykyyn vaikuttavien tekijöiden selvittämiseen. Pääpaino asetetaan nuorten, uransa alkuvaiheessa olevien väitöskirjatason tutkijoiden tutkimuksille. Pekka Peltokallion rahastosta voidaan myöntää lisäksi yksi apuraha urheiluvammatutkimukseen nuorelle lääkärille. Apurahoja myönnetään kriteerit täyttäville tutkimuksille yhteensä enintään 15.000 euroa. Suomen Urheilututkimussäätiön hallitukselle osoitetut hakemukset tulee tehdä suo men, ruotsin tai englannin kielellä ja tiivistelmä suomenkielisenä sekä toimittaa Suomen Urheilu liiton toimistoon osoit teel la Radiokatu 20, 00240 Helsinki tai sähköpostilla osoitteeseen auli.miettinen @sul.fi. Hakukaavake löytyy osoitteesta http://yleisurheilu. fi/yhteystiedot/suomen-urheiluliitonsaatiot. Apurahat on tarkoitus jakaa Liikuntalääke tieteen päivillä 9. 10.11.2016 Helsingissä. Suomen Urheilututkimussäätiön hallitus 70 LIIKUNTA & TIEDE 53 4/ 2016