Vaikuttava. säätiö! Säätiöiden vaikuttavuuden arvioinnin periaatteita ja käytäntöjä. Vaikuttava. säätiö!

Transkriptio

1 Vaikuttava säätiö! Säätiöide vaikuttavuude arvioii periaatteita ja käytätöjä Vaikuttava säätiö!

2 Tee hyvää täää ja vielä parempaa huomea. Toimittajat Liisa Suvikumpu, Päivi Tikka, Pasi Saukkoe Työryhmä pj. Päivi Tikka, hallitukse jäse, Säätiöide ja rahastoje euvottelukuta Leif Jakobsso, johtaja, Sveska Kulturfode Stefa Mutae, toimitusjohtaja, Samfudet Folkhälsa Pasi Saukkoe, erikoistutkija, Cupore Veli-Markus Tapio, erityisasiatutija, Suome Kulttuurirahasto Liisa Suvikumpu, toimitusjohtaja, Säätiöide ja rahastoje euvottelukuta Kai Kilpie, asiamies, Säätiöide ja rahastoje euvottelukuta Säätiöide ja rahastoje euvottelukuta ry. Delegatioe för stiftelser och foder rf.. Helsiki isb (id.) isb (pdf) Kasi ja taitto Ae Kaikkoe / Timagi Paiopaikka DMP-Digital Media Parters Oy, Helsiki 2014

3 Sisällys Säätiöille räätälöity opas 5 I Mikä vaikuttavuus ja mikä arvioiti? 6 Vaikuttavuude määrittelemie 6 Tuottavuudesta ja vaikutuksesta vaikuttavuutee 6 Mikä vaikuttavuusarvioiti? 8 II Miksi vaikuttavuutta pitää arvioida? 9 Työvälie oma toimia kehittämiseksi 9 Vaikuttavuusarvioii haaste 9 ja mahdollisuus 10 Viesti säätiöide toimia tuloksellisuudesta 10 III Mite vaikuttavuutta arvioidaa? 11 Arvioii suuittelu lähtee säätiöstä itsestää 11 Vaikuttavuusarvioiti pähkiäkuoressa 11 Kuka arvioi? 12 Arvioii aieistot 13 Arvioii tulokset 13 Säätiöstä yhteiskutaa omasta avasta maailmaapaa 13 Lisälukemistoa 15

4 Vaikuttavuudesta tiiviisti Mitä vaikuttavuus o? Vaikuttavuus o tavoiteltua muutosta, oikeide asioide tekemistä oikei. Mitä vaikuttavuude arvioiti o? Vaikuttavuude arvioiissa selvitetää, kuika hyvi o oistuttu omie tavoitteide saavuttamisessa ja halutu muutokse aikaasaamisessa. Miksi vaikuttavuus kaattaa ottaa toimiassa huomioo? Vaikuttavuude kautta voidaa arvioida, mite hyvi säätiö toimita toteuttaa se sääöissä määrättyä tarkoitusta tai strategisia paiopisteitä. Miksi vaikuttavuude toteutumista kaattaa myös arvioida? Vaikuttavuusarvio avulla voidaa kehittää ja parataa omaa toimitaa, suuitella tulevaisuutta, tuistaa toimia keihääkärjet mutta myös mahdolliset heikkoudet.

5 Tue itsesi, saoi jo muiaie kreikkalaie. Ymmärrä vaikuttavuutesi, saoo ykyie säätiöläie. Säätiöille räätälöity opas Tämä vaikuttavuusarvioitioppaa tarkoitus o herättää säätiö toimiassa mukaa olevia pohtimaa, millaisia tuloksia säätiöissä tavoitellaa ja mite äide tavoitteide toteutumista, säätiö vaikutuksia ja vaikuttavuutta voidaa arvioida. Tiiviillä oppaalla o tarkoitus ispiroida ajattelua ja tarjota työkaluja. Säätiöide hallitukset voivat pitää vaikuttavuude arvioitia keioa oma osaamisesa kehittämisee: arvioii tulokset kertovat, mikä säätiössä toimii ja mikä voisi toimia paremmi. Yhde ala vaikuttavuude arvioitimeetelmät eivät välttämättä sovellu kaikille. Tämä opas o räätälöity säätiöketä tarpeisii, ja se äkökulmat ovat valikoitueet säätiöide erityispiirteide mukaa. Kute Neuvottelukua muideki julkaisuje, myös tämä oppaa tarkoitus o käytäö ohjeide ohella talletaa ja kehittää säätiöide hyviä käytätöjä edistäe site yhteistä hyvää. Säätiöide ja rahastoje euvottelukua hallitukse vuoa 2013 asettama vaikuttavuusarvioititoimikua puheejohtajaa o toimiut Päivi Tikka (Maj ja Tor Nessligi Säätiö) ja jäseiä Leif Jakobsso (Sveska Kulturfode), Stefa Mutae (Samfudet Folkhälsa), Pasi Saukkoe (Cupore), Veli-Markus Tapio (Suome Kulttuurirahasto) sekä Säätiöide ja rahastoje euvottelukua edustajia Liisa Suvikumpu ja Kai Kilpie. Oppaa myötä Säätiöide ja rahastoje euvottelukuta kaustaa jäsekutaasa arvioimaa toimitaasa ja vaikuttavuuttaa sääöllisesti. Vaikuttavuude seurata, arvioiti ja johtamie kaattaa vakiiuttaa osaksi jokaise säätiö toimia kehittämistä. 5

6 1 Mikä vaikuttavuus ja mikä arvioiti? Vaikuttavuude määrittelemie Lähekkäiset saat vaikutus ja vaikuttavuus merkitsevät eri asioita. Vaikutus o (tarkoitukseto) syy-seuraussuhde. Esimerkiksi myrskyllä o vaikutuksia muttei vaikuttavuutta; myrsky ei toimi tarkoituksellisesti. Vaikuttavuus o aia tarkoituksellise toimia tulos. Mitä sitte o yleishyödyllise säätiö vaikuttavuus? Yksikertaisimmillaa voidaa määritellä, että säätiö vaikuttavuus ovat e muutokset, jotka ovat sytyeet säätiö sääöissä määräty tarkoitukse mukaisella toimialla. Vaikuttavuutta ei siis ole itse toimita, vaa se seuraukset. Vaikuttavuus voi olla aieellista, hekistä tai kulttuurista, suoraa tai epäsuoraa. Säätiö vaikuttavuus voi liittyä yhtä hyvi kulttuuriperiö säilyttämisee kui uorte syrjäytymise estämisee. Vaikuttavuutta o oistumie asetettuje tavoitteide saavuttamisessa ja paiopisteide toteutumisessa. Vaikuttavuus ja vaikuttavuude arvioiti saattavat kuulostaa keiotekoiselta tehokkuude tavoittelulta ja kalliilta kosulttijargoilta. Myyttisiltä vaikuttavie määritelmie ja meetelmie taakse kätkeytyy kuiteki aito mahdollisuus kehittää säätiöide omaa toimitaa ja osaamista. Tuottavuudesta ja vaikutuksesta vaikuttavuutee Säätiö pyrkii vaikuttamaa tavalla, joka o se tarkoitukse kaalta mielekäs. Vasta tietylaise tulokse aikaasaamie muuttaa vaikutukse vaikuttavuudeksi. Esimerkiksi lääketiedettä tukeva säätiö myötäessä apuraha ala tutkijalle vaikutus o välitö ja ilmeie: tutkija rahahuolet helpottavat joksiki aikaa ja tutkimushake käyistyy. Tämä ei kuitekaa ole säätiö toimia varsiaie päämäärä. Vaikuttavuudesta voidaaki puhua vasta sitte, ku myötöpäätökse sisällölliset tavoitteet o saavutettu ku esimerkiksi apurahasaaja o tuottaut uutta lääketieteellisesti relevattia tutkimustietoa, joka avulla potilaat paraevat etistä tehokkaammi. Mite sitte usei sekoitetut termit tuottavuus ja vaikuttavuus eroavat toisistaa? Tuottavuus mittaa periteisesti resurssie ja tuotoste suhdetta, ku vaikuttavuus mittaa iide seurauksia ja aikaasaatua muutosta. Taloudellie tuottavuus tai tehokkuus ovat vai vaikuttavuude osatekijöitä: vaikuttavuus o eemmä kui tuloksetekoa. Korkea tuottavuus ilma merkittävää vaikuttavuutta o täysi mahdollista. Vaikuttavuus o tavoiteltua muutosta. 6

7 ESIMERKKI Hoitoalalla tuottavuutta voidaa arvioida laskemalla, kuika mota hoitokertaa saadaa tietyillä resursseilla. Vaikuttavuutta voidaa arvioida laskemalla, kuika mota potilasta todella paraee tietyillä resursseilla. ESIMERKKI Opetustoimiassa tuottavuutta arvioitaessa mitataa sitä, kuika mota oppitutia voidaa järjestää tietyi resurssei. Vaikuttavuutta arvioitaessa mitataa sitä, mite ja millaisi seurauksi opiskelijat oppivat tietyi resurssei järjestetyllä opetuksella; tätä voidaa mitata esimerkiksi suoritettuje vuosikurssie tai arvosaoje perusteella. VAIKUTTAVUUS Tiede ja taide Ympäristö ja yhteiskuta Talous ja hyvivoiti Sivistys ja kulttuuri Vaikutukset Tuotokset Toimita Resurssit Vaikuttavuude viitekehys. Kaavio o muokattu Luoma et al pohjalta. 7

8 Mikä vaikuttavuusarvioiti? Vaikka Suome vaurastumise myötä tietee ja taitee rahoitus o kasvaut voimakkaasti, myös raha tarvitsijoide määrä o lisäätyyt. Vaikuttavuude arvioiti o oussut yhä tärkeämmäksi, ku o ratkaistava, mihi tarkoituksee tai keelle resurssit kohdeetaa: aetaako rahaa syöpäseulotoihi, saskriiti tutkimukselle, taiteilijaresidesseihi vai iovaatiopalkitoihi. Säätiöissä o tärkeätä varmistaa, että jokaie lahjoitettu euro käytetää viisaasti ja yleistä hyvää tuottavalla tavalla. Yksityiset lahjoittajat ja yhteiskuta ovat kiiostueita säätiöide toimia tarkoituksemukaisuudesta ja läpiäkyvyydestä. Juhlapuheissa o helppo ylistää ii säätiöide toimitaa kui apurahasaajie saavuttamia tuloksiaki. Kuiteki kauiide saoje sijaa säätiöide aioa keio varmistua toimitasa vaikuttavuudesta o arvioida sitä järjestelmällisesti ja mahdollisimma objektiivisesti. Vaikuttavuusarvioiti tarjoaa mahdollisuude eakkoluulottomaa itsetutkiskeluu, joka seurauksea säätiö toimii etistä paremmi. Vaikuttavuude arvioitia ei pidä sekoittaa säätiö toimia arvioitii, kute apurahoje käyttöselostuste keräämisee tai saavutettuje tuotoste arvioitii, kute rahoitukse turvi tuotettuje tutkimusjulkaisuje määrää ja viittauskertoimii. Vaikka toimia ja se vaikuttavuude arvioiit voivatki limittyä toisiisa, iide päämäärät ja prosessit eroavat toisistaa huomattavasti. Edellise sivu Vaikuttavuude viitekehys -kaavio havaiollistaa sekä edellä maiittuje käsitteide suhdetta toisiisa että vaikuttavuude erilaisia ulottuvuuksia. ESIMERKKI Vaikuttavuude arvioiti o tullut jäädäksee eri elämäaloille ympäri maailmaa. Ruotsissa perustettii hiljattai erityie viraomaisistituutio, Mydighete för Kulturaalys, arvioimaa kulttuuriala vaikuttavuutta. Kulturaalys o saaut hallitukselta tehtäväksee selvittää, arvioida ja arvottaa kulttuurialalla toteutettuja ja ehdotettuja hakkeita. Arvioii lähtökohtaa ovat kasalliset kulttuuripoliittiset tavoitteet. Kulturaalys tekee hallitukselle ehdotuksia ja suosituksia toimepiteiksi kulttuuripolitiika kehittämiseksi. Näi vaikuttavuude arvioiti vaikuttaa parhaimmillaa suoraa ja kokreettisesti päätöksetekoo. Kulturaalys osoittaa, että valtio viraomaiset arvioivat pikemmi taidetue poliittisia ja halliollisia vaikutuksia kui varsiaisia taitee vaikutuksia. Kulturaalysi mukaa kulttuuripoliittiset tavoitteet ovat usei eemmä visioita ku yksiselitteisiä tavoitteita. ESIMERKKI Suome Akatemia selvittää sekä tietee että oma toimitasa vaikuttavuutta erilaisi arvioitihakkei. Yksi esimerkki o Akatemia ja Tekesi yhteistyöä toteuttama tutkimus- ja iovaatiotoimia vaikuttavuude arvioitihake (VINDI), joka tuloksea julkaistii arvioitiraportti (Luoma et al. 2011). Tekes ja Akatemia jatkavat vaikuttavuusidikaattorie kehittämistä ja siihe liittyvä osaamise raketamista. Säätiöide vaikuttavuus kiiostaa kaikkia Säätiöt haluavat tietää, mite e oistuvat työssää ja mite e voisivat toimia vielä paremmi. Apurahahakijat haluavat tietää, mite korkeatasoie ja merkittävä heidä rahoittajasäätiösä o yhteiskuassa. Kasalaiset haluavat tietää, mite säätiöt toimivat, mitä säätiöt rahoittavat ja mitä e saavat aikaa. Päättäjät ja poliitikot haluavat tietää, mite säätiöt voisivat palvella yhteiskutaa mahdollisimma tehokkaasti ja moipuolisesti. 8

9 Miksi vaikuttavuutta pitää arvioida? 2 Työvälie oma toimia kehittämiseksi Maailma muuttuu, ja säätiö perustaja varautuu siihe: säätiö tarkoitus saattaa olla laveasti muotoiltu eivätkä perustamisdokumetit aia kerro, mitä säätiö hallio tulisi tehdä toteuttaaksee perustaja tahtoa. Siksi säätiössä o syytä arvioida sääöllisesti, saavutetaako asetetut tavoitteet, missä ajassa ja mikälaisi kustauksi. Liia moissa säätiöissä ei tiedetä riittävä hyvi, mitä jaetuilla rahoilla todella saadaa aikaa suhteessa säätiö strategisii tavoitteisii. Säätiö vaikuttavuusarvioiilla mitataa sitä, mite hyvi säätiö toimita toteuttaa sääöissä määrättyä tarkoitusta tai strategisia paiopisteitä. Vaikuttavuusarvioiti o oiva työkalu myös tulevaisuude suuittelemisee. Arvioii tuloksea voidaa tuistaa säätiö toimia keihääkärjet ja potetiaaliset uudet toimita-alueet sekä mahdolliset heikkoudet ja ogelmakohdat. Vaikuttavuusarvioiti ei ole säätiöille ulkoapäi asetettu velvoite, vaa välie oma toimia kehittämiseksi ja paratamiseksi. Vaikuttavuusarvioiista hyötyy ee kaikkea säätiö itse. ESIMERKKI Maj ja Tor Nessligi säätiö toteuttamassa vaikuttavuusarvioiissa (2012) pyydettii kyselytutkimuksella arvioita myös apurahoje saajilta. Eräs kyselyy vastaut arvioi säätiö vaikuttavuutta seuraavasti: Säätiö merkitys o tärkeä erityisesti huippuyksikköje ulkopuoliselle tutkimukselle se toimii kui yrityshautomo, eli äistä aihioista voi kehittyä vaikka mitä. Vaikuttavuusarvioii haaste Säätiöide omatoimie vaikuttavuude arvioiti o ollut toistaiseksi vähäistä. Vaikuttavuusarvioii haasteista suurimpia o apurahoja jakavie säätiöide toimia luoe. Mitä laajempi säätiö tehtäväkettä o, sitä vaikeampaa o asettaa täsmällisiä tavoitteita sekä iide toteutumisesta kertovia idikaattoreita. Toimitaa ohjaavat perustamiskirjassa asetetut reuaehdot sekä pyrkimys jatkuvuutee ja oikeudemukaisii meettelytapoihi. Rahoituskohteide arvioiti jaetaa usei akateemise tai taideyhteisö kassa. Laajemma yhteiskuallise vaikuttavuude osalta säätiö ratkaisut kietoutuvat yhtee maamme yleise tiede-, taide- ja kulttuurirahoitukse kassa. Myös tarkasteltava aikahorisotti o säätiöketässä yleesä pitkä säätiö kvartaali o tuetusti 25 vuotta. Vaikuttamise syy-seuraussuhteet ovat myös moimutkaisia hallittaviksi. Jos koululaie kokee säätiö tuella toteutetussa taideäyttelyssä suure elämykse, ja häestä tulee vuosikymmeiä myöhemmi kasaivälisesti arvostettu kuvaveistäjä, kuika arvioida tuo yksittäise kokemukse merkitystä tapahtumie ketjussa? Kokoaisuude laajuus ja moimutkaisuus vaikeuttavat tuloste mittaamista. Vaikuttavuusarvioitii kuuluuki väistämättä epätäydellisyyde sietämie. Tarkkaa ja täydellistä tietoa ei voi saavuttaa. Arvokasta o kuiteki jo se, että asioita pohditaa aktiivisesti. Sääöllisi väliajoi korkeatasoisesti toteutettu vaikuttavuusarvioiti yhdistettyä aalyysii toimitaympäristö muutoksista auttaa säätiötä toteuttamaa tarkoitustaa mahdollisimma tehokkaasti. Vaikuttavuusarvioiti o tapa kertoa säätiö oma taria. 9

10 ja mahdollisuus Vaikuttavuude arvioiti auttaa säätiötä myös tarkastelemaa kriittisesti vakiitueita toimitatapojaa. Pohdittavia kysymyksiä ovat esim. hekilökohtaiste ja hakeapurahoje suhteellie osuus, rahoituskausie pituus, apurahoje keskimääräie koko sekä se, pyritääkö rahoitusta kohdistamaa esisijaisesti yksittäisille hekilöille tai laajemmille työryhmille ja yhteisöille. Yksi keskeisimmistä vaikuttavuude tekijöistä o tärkeide ja ajakohtaiste kysymyste tuistamie. Huippututkijalle myöetty apuraha ei johda vaikuttavuutee, jos tutkija työ kohdistuu vaikutusarvoltaa vähäise ogelma ratkaisemisee. Vaikuttavuusarvioiilla säätiö voi selvittää itsellee, mikä o se kyky vastaaottaa ja tuistaa itselle sekä yhteiskualle tärkeää tietoa. Puutteide tuistamie tekee toimia kehittämise mahdolliseksi. Moilla säätiöide kaalta keskeisillä aloilla suutauksea o julkishallio pyrkimys vähetää omaa rahoitusvastuutaa. Tulevaisuus tuoee mukaaa kasvavaa paietta lisätä sekä säätiöide keskiäistä että säätiöide, muide istituutioide ja julkishallitoa edustavie tahoje välistä yhteistyötä esimerkiksi yliopistoje ja taidelaitoste kassa. Vaikuttavuusarvioiti o omiaa terävöittämää säätiö omaa strategista suuittelua ja täte paratamaa yhteistyö edellytyksiä. Viesti säätiöide toimia tuloksellisuudesta Säätiöide merkitys yhteiskua palvelujärjestelmässä o viime vuosia kasvaut. Kehitys koskee myös säätiöitä, jotka jakavat apurahoja tieteelle ja taiteelle. Siiä missä säätiö toimitaa ohjaa perustaja tahto, säätiö suhdetta ympäröivää yhteiskutaa määrittää luottamus. Tämä luottamukse säilymie o apurahoja jakaville säätiöille kohtalokysymys. Luottamukse merkittävi ilmeemismuoto o yleishyödyllisille säätiöille suotu verovapaus. Yhteiskuta luottaa siihe, että veroedu vastapaioksi säätiöt toimivat tehokkaasti ja korkeide eettiste periaatteide ohjaamia koko yhteiskua yhteiseksi hyväksi. Omalla toimiallaa iide tulee osoittaa laajalle yleisölle olevasa luottamukse arvoisia. Maailma toimii yhä eemmä mielikuvie varassa. Säätiöt eivät voi luottaa asemasa oleva turvattu sillä, että e ajattelevat itse hoitavasa asiasa hyvi. Oma äkemys toimia merkityksellisyydestä ja laadusta ei riitä. Moiapaistuva tiedovälitys haastaa säätiöt osallistumaa ykyistä aktiivisemmi yhteiskuallisee keskusteluu. Samalla säätiöide o kyettävä välittämää laajasti ja avoimesti tietoa toimitasa tuloksista. Omaa toimitaa kriittisesti ja avoimesti tarkastelle voidaa välittää viesti, että säätiöide meestys o pitkäjäteise ja määrätietoise työ tulos ja että se kestää akaraki tarkastelu. ESIMERKKI Arvioii tarve ulottuu kaikille yhteiskua osa-alueille, ii yksityisille kui julkisilleki. Eduskua hyväksymistä budjetti- ja veikkausvoittovaroista suuataa taiteilijoille tukea, josta osa välitetää vertaisarvioitimeettelyllä Taitee edistämiskeskukse (aiemmi Taitee keskustoimikuta) kautta. Se vuotuie suora taide- ja taiteilijatuki o oi 35 miljooaa euroa. Samalla ku julkie valta o ottaut käyttöö tulosohjaukse ja -sopimukset, erilaiste arvioitityökaluje tarve o korostuut. Työkaluia voidaa käyttää availukuja, idikaattoreita, auditoiteja tai moitoroiteja. Tarkoituksea o osoittaa valtiollise tue oikeutus eli halutaa saada vastaus kysymyksee, mitä yhteiskuta saa vastieeksi taitee julkisesta tuesta. Ilmeie vastaus o, että yhteiskuta saa taidetta. Nykyaikaa tämä ei kuitekaa riitä. Jotta saadaa käsitys taiteilijoille osoitetu tue ja stipedie pitkäkestoisista vaikutuksista, myös tiedokeräämisessä vaaditaa pitkäjäteisyyttä. Lisäksi vaaditaa selkeätä tavoitteeasettelua taustalla vaikuttavalle kulttuuripolitiikalle, joho arvioitia voidaa peilata. Taitee keskustoimikua tutkimusyksikkö o keräyt tietoja viimeiset 30 vuotta taide-elämästä, taiteilijoide asemasta ja työehdoista sekä eri taitee aloje rahoituksesta. Tutkimusyksikö julkaisuje kautta o luotu tietokata, joka ataa moipuolise kuva valtiollisesta taidetuesta viimeiste 30 vuode ajalta. Säätiöt voivat hyödytää äitä tuloksia oma vaikuttavuutesa arvioiissa vertailuaieistoa. 10

11 Mite vaikuttavuutta arvioidaa? 3 Arvioii suuittelu lähtee säätiöstä itsestää Säätiö toimialle määritetyt tavoitteet muodostavat lähtökohda vaikuttavuude arvioiille. Mitä selkeämpiä tavoitteet ovat, sitä helpompaa o iide toteutumise ja säätiö toimie vaikuttavuude arvioiti. Vaikuttavuus tieteessä ja taiteissa eroaa moi tavoi toisistaa, mikä varsiki moialaisissa säätiöissä täytyy tiedostaa jo arvioii suuitteluvaiheessa. Vaikuttavuusarvioitia suuiteltaessa o säätiö omista lähtökohdista käsi määriteltävä, mitä halutaa arvioida ja mikä vuoksi. Arvioii kysymyste, tavoitteide ja meetelmie tulee olla säätiölle sopivia ii sisällöllisesti kui vaadittava työmäärä ja arvioii kustausteki suhtee. Etukätee kaattaa miettiä myös sitä, mite arvioii tuloksia halutaa ja voidaa käyttää hyväksi. Kasaviisaus o tässäki oikeassa: hyvi suuiteltu o puoliksi tehty. Säätiössä toimia kokoaisvaikuttavuus voi muodostua esimerkiksi seuraavista tekijöistä: Tieteellie ja taiteellie vaikutus väitöskirjat ja muut julkaisut uudet tieteelliset ja taiteelliset avaukset ja läpimurrot työryhmie ja verkostoje sytymie ja vahvistumie Yhteiskuallie ja kulttuurie vaikuttavuus tuloste hyödytämie päätökseteossa ja yhteiskuallisessa keskustelussa rahoitettuje hakkeide äkyvyys ja kuulluksi tulemie sivistykse ja luovuude kasvu sekä yhteise hyvä lisäätymie. Vaikuttavuusarvioiti pähkiäkuoressa Ota vastuu säätiösi vaikuttavuudesta. Keskity säätiösi tarkoituksee. Mitä varte säätiö o olemassa? Mitä se pitäisi saada aikaa? Varmista säätiösi seuratajärjestelmä systemaattisuus ja luotettavuus. Valitse säätiöllesi sopivat meetelmät ja toteuta arvioiti säätiö tarkoitukse ja tavoitteide kaalta mielekkäällä tavalla. Tulkitse arvioii tuloksia rehellisesti ja avoimesti. Julkista arvioii tulokset. Ole valmis muuttamaa säätiösi toimitatapoja tuloste edellyttämällä tavalla. Toista arvioiti sääöllisesti ja kehitä säätiösi toimitaa jatkuvasti. Koulutuksellie, ammatillie ja taloudellie vaikutus koulutus ja tutkiot keksiöt, tutkimuste sovellukset, teokset ja tapahtumat stipediaattie ja hakejohtajie toimeetulo ja urakehitys yleiset kasataloudelliset vaikutukset 11

12 Ei hyvää hevosta kehuta. Hyvä hevoe viedää kehuttavaksi. Kuka arvioi? Vaikuttavuusarvioiti voidaa toteuttaa moi tavoi. Säätiö voi tehdä arvioii itse tai teettää se ulkopuolisella asiatutijalla. Usei molempie yhdistämie takaa parhaa tulokse. Säätiö toimi- ja luottamushekilöide o syytä järjestää sääöllisi väliajoi itsearvioiteja toimia tarkoituksemukaisuudesta ja oistueisuudesta. Rehellie itsearvioiti voi olla hyviki hedelmällistä, sillä säätiö oma väki tutee orgaisaatiosa historia, tavoitteet ja tulokset kaikkei parhaite. Itsearvioiissa vaaii kuiteki objektiivisuude vajee ja ulkopuolise äkökulma puuttee riski. Tästä syystä säätiö vaikuttavuudesta o silloi tällöi aiheellista hakkia myös s. ketä äkemys eli pyytää arvioita apurahasaajilta ja muilta säätiölle tärkeiltä sidosryhmiltä. Mikäli säätiössä riittää voimavaroja ja osaamista arvioii tekemisee, sidosryhmiä voidaa lähestyä omi voimi. Arvioitikysymyste laadiassa ja saatuje tuloste tulkiassa o kuiteki objektiivisuude säilyttämiseksi eduksi kosultoida sopivia ulkopuolisia tahoja, jotka tutevat säätiö toimitaa riittävästi mutta jotka eivät kuitekaa ole mukaa toimielimissä. Arvioii puolueettomuude turvaamiseksi voidaa harkita ulkopuolise asiatutija tai ryhmä palkkaamista. Säätiö toimialasta riippue mahdollisia vaihtoehtoja ovat esimerkiksi tutkimuslaitokset sekä ajatushautomot ja kosulttitoimistot. Tarjouskilpailu auttaa sopivimma löytämisessä. Säätiö lähipiirii kuulumattoma arvioija tai arvioititiimi rekrytoitia puoltaa tuloste uskottavuude ja luotettavuude kasvu ulkopuoliste silmi katsottua. Näi saavutetaa todeäköisesti myös laajempia sidosryhmäverkostoja kui jos toimitaa vai säätiö sisältä käsi. O kuiteki tärkeätä, että arvioija tutee säätiökettää ja häellä o mahdollisuus perehtyä riittävästi selvityksesä kohteesee. Näi estetää vääriymmärryksiä ja piallisia tulkitoja. Päätettiipä arvioiti tehdä säätiö omi voimi tai teettää ulkopuolisella asiatutijalla, arvioitityöhö o varattava riittävästi työaikaa ja muita resursseja. Säätiö toimihekilöiltä ja sidosryhmiltä tarvitaa joka tapauksessa tietoja, mielipiteitä ja valmisteluapua. Säätiö o myös oltava valmis kokoamaa toimitaasa kuvaavia dokumetteja ehkä yllättävistäki paikoista ja äkökulmista. Vaikuttavuustiedo laadu ja riittävyyde ratkaisee säätiö oma motivaatio ja aloitekyky. Kuka tai ketkä osallistuvat arvioitii? Säätiö hekilöstö ja luottamushekilöt (itsekäsitys ja -arvioiti) + Relevatit sidosryhmät (äkemykset ja kokemukset säätiöstä) + Ulkopuolie tutkijaäkökulma = Vakuuttava vaikuttavuusarvioiti 12

13 Arvioii aieistot Säätiö toimia dokumetoiti ja mitattavuus ovat arvioii perusedellytyksiä. Säätiö omat arkistot ja tietokaat muodostavat dokumettiaalyysi esisijaiset aieistot. Säätiö toimia perimmäiset tavoitteet olisivat vaikeasti määriteltäviä tai mitattavia. Apurahoja, palkitoja ja avustuksia myötävät säätiöt pitävät kuiteki kirjaa tietyistä perusmuuttujista. Näitä ovat mm. vuosittai myöettävie apurahoje määrä ja säätiö oma luokittelukäytäö mukaie käyttötarkoitus, myöettyje avustuste yhteissumma ja yksittäise apuraha keskimääräie suuruus, hakupaie eli myöettyje apurahoje suhde haettuihi summii ja määrii sekä myöettyje apurahoje maatieteellie jakautumie. Keräämällä aikasarjoja apurahoista ja avustuksista säätiö pystyy seuraamaa toimitasa volyymi ja paiotuste kehittymistä. Aikasarjat mahdollistavat myös yksikertaiste vertailuje tekemise säätiöide välillä sekä säätiöide yhteise merkittävyyde ja vaikutuste arvioimise. Mikäli säätiöllä o tapaa vaatia rahoittamiltaa hakkeilta tulosraportteja, seurattavie ja hyödyettävie muuttujie määrä kasvaa. Raporteista voidaa kerätä esimerkiksi tutkimusapurahoje turvi julkaistuje tieteelliste artikkelie lukumäärät, taideprojektie yleisömäärät ja muita apurahasaajie ilmoittamia tietoja. Julkaisuaalyysillä voidaa lisäksi tarkastella ja eritellä hakkeide tuottamia julkaisuja esimerkiksi julkaisufoorumie ja viittausideksie perusteella. Mikäli säätiö äkyvyyttä tiedotusvälieissä pidetää tärkeää, media-aalyysi avulla voidaa selvittää, kuika tässä tavoitteessa o oistuttu. Media-aalyysissä käydää läpi keskeisiksi määriteltyje saoma- ja aikakauslehtie sekä muide tiedotusvälieide arkistoja ja etsitää systemaattisesti maiitoja säätiöstä ja se rahoittamista hakkeista. Maiiat luokitellaa tarkoituksemukaisella tavalla. Haastatteluilla kerätää tietoja ja käsityksiä säätiö toimi- ja luottamushekilöiltä sekä muilta tahoilta, joihi säätiö toimita välittömästi tai välillisesti vaikuttaa. Säätiö ulkopuolisia haastateltavia voivat olla esimerkiksi valikoidut apurahasaajat, säätiö toimialaa lähellä olevat kulttuurivaikuttajat, yhteiskualliset päätöksetekijät sekä koulutus-, tiede-, taide- ja kulttuuriorgaisaatioide edustajat. Taustahaastatteluilla kerätää tietoa säätiöstä arvioitityö tueksi, ku taas teemahaastatteluilla syveetää ja jäseetää käsitystä säätiö toimiasta ja se vaikuttavuudesta. Laaja vastaajakua tavoittamisee sopii postitse tai sähköisesti lähetettävä lomakekysely. Kyselyt soveltuvat parhaite suurille kohderyhmille, esimerkiksi säätiö apurahasaajille. Kysely kaattaa suuitella ii, että vastausprosetti saadaa mahdollisimma suureksi kohtuullisella työpaoksella. Arvioii tulokset Jo arvioitia suuiteltaessa o hyvä miettiä, missä muodossa tulokset halutaa säätiö käyttöö. Valmii raporti lisäksi myös lomakekysely avovastauksii saadut aoyymit vastaukset saattavat olla mielekiitoista ja ajatuksia herättävää luettavaa. Ee kaikkea o pohdittava valmiiksi, mite tuloksia käytetää säätiö toimitaa kehitettäessä. Arvioitimeetelmie ja tuloste yksityiskohtaisee ja läpiäkyvää dokumetoitii kaattaa aia pyrkiä. Arvioitiprosessi kaattaa suuitella toistettavaksi. Vahetuessaa arvioii tuloksista saa etistä eemmä irti, jos eri vuosie arvioiit o vai toteutettu keskeää vertailukelpoisella tavalla. Näi päästää arvioimaa säätiö vaikuttavuude kehitystä, joka o usei kaikkei hyödyllisitä tietoa. Vaikuttavuude arvioiti voidaa toteuttaa joko vuosittai osaa säätiö muita sääöllisiä rutiieita tai määritellysti tietyi pidemmi väliajoi. Toistuva vaikuttavuusarvioii kehä -kaavio havaiollistaa toteuttamise käytäö vaiheita. Säätiöstä yhteiskutaa omasta avasta maailmaapaa Säätiöide oma toimia tehostamise ohella vaikuttavuude arvioiilla o laajempia koko säätiökettää ulottuvia vaikutuksia. Pätevillä vaikuttavuude arvioi- Määrää voidaa mitata, laatua ja vaikutusta arvioidaa. 13

14 eilla voidaa osoittaa säätiöide tehokkuutta ja hyviä käytätöjä, vahvistaa yleistä säätiömyöteisyyttä sekä korostaa säätiöide yleishyödyllise asema merkitystä. Vaikuttavuude arvioiilla o merkitystä myös säätiörahoitukse ja julkise rahoitukse välise suhtee tulkiassa. Hyödyllisii tarkoituksii suuattu yksityie lahjoitusraha ei ole yksiselitteise myöteie asia, vaikka ii voisi helposti luulla. Jos esimerkiksi yksityisellä rahalla tuetaa voimakkaasti tiettyä alaa, poliittisille päättäjille voi muodostua kiusaus rajoittaa julkiste resurssie suutaamista samalle alalle. Vaikuttavuusarvioitie avulla säätiöide rooli ja merkitys yhteiskuassa kirkastuvat ja väärikäsityste todeäköisyys pieeee. Arvioitavuude korostamie ei saa johtaa toimia itsetarkoituksellisee jäykistymisee. Usei vaikeasti arvioitava välillie katalyyttivaikutus (syrjäytymätö uori) tarjoaa paremma paos-tuotos -suhtee kui helposti arvioitava välitö vaikutus (säätiö hakkeesta kertova artikkeli päivälehdessä). Säätiörahoitukse etu o se ketteryydessä ja joustavuudessa, eikä äistä omiaisuuksista pidä luopua. Säätiö voi reagoida opeasti tilateissa, joissa rahoituksee sytyyt katvealue kaipaa täyttämistä. Säätiöide merkitys suomalaisessa yhteiskuassa o suuri. Tätä o kuiteki vaikeata osoittaa kokreettisesti. Ei ole itsestää selvää tai helposti todistettavissa, millä tavalla ja mite merkityksellisesti säätiöt vaikuttavat. Jos säätiöt eivät itse osoita toimitasa arvoa, ei sitä tee kukaa muukaa. Kertomalla avoimesti toimiastaa ja se vaikuttavuudesta yksittäie säätiö luo uskottavaa, vilpitötä ja sisällyksekästä kuvaa koko säätiölaitoksesta. Viesti vaikuttavuudestasi säätiö sisällä ja sidosryhmille Opi arvioii tuloksista ja hyödyä iitä säätiösi toimia kehittämisessä 4 JULKISTA JA KEHITÄ 1 SUUNNITTELE Määrittele: tavoittelemasi vaikuttavuus keiot saavuttaa se mite mitata vaikuttavuuttasi tarvitsemasi tieto mite kerätä se 2 TOTEUTA Kerää tarvitsemasi tieto Toteuta arvioiti Ymmärrä keräämäsi tiedo arvo Tee johtopäätökset vaikuttavuudestasi ja vertaile tuloksia 3 ARVIOI TULOKSET Toistuva vaikuttavuusarvioii kehä. Kaavio o muokattu The Code of Good Impact Practice 2013 pohjalta. 14

15 Lisälukemistoa EFC: Ceci est pas u evaluatio guide! efc.be/programmes_services/resources/documets/ Learig_Lab5.pdf. Foudatio Ceter: Tools ad Resources for Assessig Social Impact -verkkosivusto. GEO: Evaluatio i Philathropy. Perspectives from the Field. GEO, Washigto DC Haila, Katri Kettue, Riitta Lähteemäki-Smith, Kaisa Salmie, Vesa: Vaikuttavuutta ympäristötutkimuksee Maj ja Tor Nessligi säätiö toimia arvioiti. Maj ja Tor Nessligi säätiö, Helsiki Hällström, Eeva: Metsämieste Säätiö rahoitustoimia evaluoiti ja kehittämisselvitys Metsämieste Säätiö, Helsiki Häyrye, Simo (toim.): Kulttuuri arvioiti ja vaikutuste väylät. Cupore julkaisuja 12/2005. Ispirig Impact: The Code of Good Impact Practice Kagasharju, Aki Tyi, Tero Mikkola, Teija Valta, Maija: Vaikuttavuude huomioo ottava tuottavuus vahuspalveluissa. VATT-tutkimuksia 160. Valtio taloudellie tutkimuskeskus, Helsiki Karhue, Paula: Taidetoimikutie myötämä tuki Taitee edistämiskeskus, Helsiki Kotkae, Riia Saukkoe, Pasi Mitchell, Ritva: Vietiä, vaihtoa, vaikuttavuutta. Selvitys kulttuurija tiedeistituuttie merkityksestä Suomelle. Cupore verkkojulkaisuja 12. Cupore Luoma, Päivi Raivio, Tuomas Tommila, Paula Luabba, Joha Halme, Kimmo Viljamaa, Kimmo Lahtie, Heri: Better results, more value. A framework for Aalysig the societal impact of Research ad Iovatio. Tekes Review 288/2011. www. tekes.fi/u/better_results_more_value.pdf. Mertae, Tomi: Taiteilija-apurahajärjestelmä toimivuus ja koettu vaikuttavuus. Taitee keskustoimikuta, Helsiki Mydighete för kulturaalys: Att utveckla idikatorer för utvärderig av kulturpolitik. Redovisig av ett regerigsuppdrag. Rapport 2012:2. Oesch, Pekka: Säätiöide tuki taiteille 2001 ja Tilastotietoa taiteesta ro 38. Taitee keskustoimikuta, Helsiki Oesch, Pekka: Yrityste tuki taiteille 2003 ja tue muutokset Taitee keskustoimikuta, Helsiki Oesch, Pekka: Yrityste tuki taiteille 2008 ja tue muutokset Taitee keskustoimikuta, Helsiki Oksae-Särelä, Katja: Muotoilu kasaivälistymie. Tuki, esteet ja mahdollisuudet. Taitee keskustoimikuta, Helsiki Opetusmiisteriö: Vaikuttavuusidikaattorit kulttuuripolitiika tietopohja vahvistajia. Opetusmiisteriö julkaisuja 2009:57. Rajahoka, Mervi (toim.): Vuorovaikutuksessa vaikuttamie. Hyvivoitipalveluje vaikuttavuus caseja ja keioja. Selvitys. Kolmas lähde -hake. Aalto-yliopisto Kauppakorkeakoulu Pieyrityskeskus, Helsiki Saukkoe, Pasi Herrae, Kaisa: Suome Kulttuurirahasto maakutarahastoje apurahoje vaikuttavuus. Pilottiselvitykse loppuraportti Suome kulttuurirahasto, Helsiki Soste: Arvioititoimita -verkkosivusto. Http// Suome Akatemia: Suome Akatemia tutkimusrahoitukse vaikuttavuus. Arvioitiraportti. Suome Akatemia julkaisuja 11/06. Suome Kulttuurirahasto: Aatteista tekoihi. Suome Kulttuurirahasto kulttuuripoliittiset päämäärät ja oma kulttuuritoimita. Suome Kulttuurirahasto, Helsiki Suome Kulttuurirahasto: Atamise taito. Suome Kulttuurirahasto apurahoje jao kehitys ja ykyiset periaatteet. Suome Kulttuurirahasto, Helsiki

16 Tiitta, Alla: Mite vaikuttavuus tuli tiedepolitiikkaa. Tieteessä tapahtuu 4 5/2010, Valtiovaraimiisteriö: Idikaattorit ohjaukse ja seuraa välieiä. Valtiovaraimiisteriö idikaattorityöryhmä raportti. Kasatalousosasto, keskustelualoite 73/ fi/04_julkaisut_ja_asiakirjat/01_julkaisut/02_taloudelliset_katsaukset/ idika/ame.jsp. 16