Hankkeiden vaikuttavuus ja levitys Strategisten kumppanuushankkeiden työpaja 17.12.2018
Tänään ohjelmassa ja 3 tärkeintä asiaa mukaan otettavaksi Vaikuttavuus ja levitys Erasmus+ -ohjelmassa Erilaisia työkaluja tukemaan ja auttamaan hankkeen vaikuttavuuden hahmottamista Kirkasta itsellesi ja projektitiimille: o Mikä on hankkeen perimmäinen tarkoitus ja mitä sillä halutaan saavuttaa. Mikä muuttuu hankkeen myötä, ydinviesti o Ketkä ovat mukana hankkeessa ja kehen/mihin halutaan vaikuttaa toiminta lähtee aina ihmisistä! o Kartoita relevantit levityskanavat 2
Erasmus+ -ohjelman keskeisimmät vaikuttavuustermit Impact (vaikutukset): Hankkeen mahdolliset vaikutukset yksilö-, organisaatio- (esim. käytännöt) ja järjestelmätasolla paikallisesti, alueellisesti, valtakunnallisesti ja/tai EU:n tasolla. Sustainability (jatkuvuuden varmistaminen): Hankkeen edellytykset jatkaa hankkeessa tehtyjen tuotosten hyödyntämistä ja jatkokehittämistä Erasmus+ -tuen päättymisen jälkeen. Dissemination (konkreettiset levitystoimet) Mikä muuttuu? Mitä jää elämään? Miten? Exploitation (tulosten hyödyntäminen) Exploitation mechanisms (hyödyntämismekanismit) Miten? 3
Vaikuttavuus ja levitys hakemuksen arviointikriteereissä (1/2) Miten hankkeen tuloksia/lopputuotteiden laatua arvioidaan? Mahdollinen vaikutus hankkeen aikana ja sen jälkeen o Osallistuville henkilöille ja organisaatioille o Muille kuin hankkeessa mukana oleville (paikallinen, alueellinen, kansallinen ja EU-taso) Suunniteltujen levitystoimien tarkoituksenmukaisuus o Tavoitetaanko tulevat käyttäjät (osallistuvissa organisaatioissa ja niiden ulkopuolella)? 4
Vaikuttavuus ja levitys hakemuksen arviointikriteereissä (2/2) Jos konkreettisia tuotoksia o Miten varmistetaan, että tuotokset ovat vapaasti kaikkien saatavilla? o Mitä positiivisia vaikutuksia hankkeella on myös hankerahoituksen päätyttyä? o Jatkuvuus hankerahoituksen päättymisen jälkeen? Enimmäispistemäärä 30/100 5
Vaikuttavuus hakulomakkeessa Kenen toimintaan tuloksilla/ tuotteilla on vaikutusta? Osallistujat (opettajat, opiskelijat ym.) Organisaatiot Muut kohderyhmät ja toimijat Levityssuunnitelman on tuettava haluttujen vaikutusten syntymistä! Vaikutukset eri tasoilla Paikallinen, alueellinen, kansallinen, kansainvälinen Miten vaikuttavuutta mitataan? 6
Vaikuttavuus hakulomakkeessa (1/6) 2019: KA2 Onko valittu oikean kohderyhmän hakulomake? https://webgate.ec.europa.eu/ erasmus-applications/
Vaikuttavuus hakulomakkeessa (2/6) 2019: KA2 Vaikka kysymyksessä ei ole suoraan kysytty impact -asiaa, niin kerro myös hyödyn ja vaikuttavuuden näkökulmasta. Hankkeen tavoite, tarve ja kohderyhmä Vaikuttavuus
Vaikuttavuus hakulomakkeessa (3/6) 2019: KA2 Jos hankkeessa on haettu tukea tuotteiden tekemiseen (intellectual outputs, IO): Kuvaile vaikutus/tarpeellisuus/hyöty ja siirrettävyys per lopputuote
Vaikuttavuus hakulomakkeessa (4/6) 2019: KA2 Jos hankkeessa on haettu tukea opinto- ja koulutustilaisuuksiin (learning, teaching and training activities, LTT) Mitä tapahtuu ennen jaksoa jakson aikana jakson jälkeen? Tavoitteet ja lisäarvo mukaan lukien vaikutus/hyöty suunnitelluista opinto- ja koulutustilaisuuksista hankkeen tavoitteiden näkökulmasta. Jakson tulokset? Mitä voi hyödyntää (esimerkiksi toistaa) jakson jälkeen? Mitä jää jäljelle jakson päätyttyä?
Miten vaikutuksia aiotaan mitata? Mistä tiedetään, että ollaan onnistuttu? Pohdi konkreettisia tapoja todentaa onnistumista Vaikuttavuus hakulomakkeessa (5/6) 2019: KA2 Kenen toimintaan tuloksilla/tuotteilla on vaikutusta - kuka hyötyy ja miten? Pyri kuvaamaan hankkeen vaikuttavuutta/vaikutuksia konkreettisesti. Huomioi myös partneriorganisaatiot ja -maat! Mikä on hankkeen toivottu vaikutus eri tasoilla? Perustele mitkä ovat oman hankkeesi näkökulmasta keskeiset tasot, joihin pyritään vaikuttamaan.
Vaikuttavuus hakulomakkeessa (6/6) 2019: KA2 Lyhyt kuvaus hankkeen tuloksista ja odotetuista vaikutuksista sekä hankkeen päätyttyä että mahdollisista pitkäaikaisista hyödyistä.
Vaikuttavuuden erilaiset osatekijät mukaan suunnitelmiin alusta lähtien Käyttäjien koulutus Sitoutuminen Motivaatio (opiskelijat, opettajat Levitys- ja käyttöönottosuunnitelmat Yhteistyökumppaneiden tuki ja mukanaolo Tulosten laatu Näkyvyys Ymmärrettävyys Tulosten käytettävyys ja siirrettävyys Kysyntä ja tarve Integrointi ops:iin/opetukseen/ toimintaan Soveltuvuus kohderyhmälle
Arvioijien kommentteja vaikuttavuudesta (1/2): Kiinnitä näihin huomiota hakemus voi saada enemmän pisteitä Hakemuksessa ei ole mukana (ammatillisen koulutuksen) toimijoita Suomesta: miten saadaan vaikutus (ammatilliseen) koulutukseen. Miten kohderyhmän toimijat saadaan kuvioon selkeämmin mukaan. Joissakin hakemuksissa aivan liian laveaksi ja epämääräisesti määritelty kohderyhmä. Miten hanke vaikuttaa kussakin partneriorganisaatiossa ja miten hanketta hyödynnetään jokaisessa partnerimaassa ko. alalla. Mikä on lopputuotteen X lisäarvo. Miten käytännössä voitaisiin ottaa käyttöön laajemmin. Miten taataan, että joku muu voi poimia tällaisesta mallista jotain hyötyä. Materiaalit julkisesti saatavilla, mutta kuvattu heikosti: miten hyödyttää muita kuin partneriorganisaatioita? Materiaali laitetaan webbisivulle, mutta miten muutoin hyödynnetään? Miten päivitys/ylläpito hoidetaan hankkeen päätyttyä? Miten materiaali löytyy/on saatavilla? 14
Arvioijien kommentteja vaikuttavuudesta (2/2): Kiinnitä näihin huomiota hakemus voi saada enemmän pisteitä Erityinen huomio relevanssissa ja vaikuttavuudessa: kuinka paljon vaikutusta (ammatilliseen) koulutuksen. Relevantti aihe, mutta saadaanko tällä suunnitelmalla vaikutusta aikaan: suunnitelman johdonmukaisuus ontuu. Vaikuttavuuden mittarit tai indikaattorit puuttuivat suunnitelmasta. Vaikuttavuuden kohteita ei ole määritelty. Onko hankkeen tavoite selvä? Mitä haluttaisiin havaita ja seurata. Hankkeesta hyötyä hankkeen aikana: mitä sen jälkeen? Mitä hankkeessa kehitetylle tapahtuu hankkeen jälkeen? Aika ilmeisesti loppunut kesken: vaikuttavuus ja sustainability kuvattu heikosti. Dissemination ja impact heikoin osuus hakemuksissa: vaikuttavuus jäänyt suunnittelematta. Vaikuttavuuteen olisi kaivannut enemmän tietoa ja kuvausta. 15
Vaikutusten mittaaminen ja vaikutusten arviointi Hankkeen vaikutukset suhteessa hankkeen tavoitteisiin Määrälliset ja laadulliset tavoitteet odotetut vaikutukset Hankkeen päättymisen jälkeen odotetut + odottamattomat vaikutukset Vaikutusten käsite on moniulotteinen 1. Vaikutukset yksilön vs. yhteiskunnan tasolla 2. Lyhyt- ja pitkäkestoiset vaikutukset Ei ole olemassa yhtä oikeaa vaikutusten arvioinnin ideaa, vaan useita erilaisia tapoja päätellä vaikutuksia. 16
Vaikuttavuuden mittaaminen Oleellinen osa hankkeen elinkaarta ja prosessia Saavutusten arviointi ja suositukset ja suuntaviivat tulevalle työlle ja mahdollisille parannuksille Miten aktiivisesti havaitaan ja todennetaan, että haluttuja vaikutuksia on saatu aikaiseksi? Laadulliset ja määrälliset mittarit, kuten numeeriset tiedot, osallistumiseen ja kokemuksiin liittyvä laatu Lyhyen ja pitkän aikavälin vaikutusten mittaaminen Miten arviointitietoa kerätään? Esim. kyselyt, haastattelut, havainnot, arvioinnit voivat toimia vaikuttavuuden mittaamisen apuna Millainen arviointitieto parhaiten todentaa vaikutuksia? Indikaattoreiden käyttö tavoitteiden saavuttamisen tueksi auttaa arvioimaan toimintaa huomioi hankkeen eri toiminnot indikaattoreita päätettäessä sekä ajankohta (hankkeen alku ja 17 levityssuunnitelma)
Esimerkkejä mittareista: Facts and figures related to the website of project organisers (updates, visits, consultation etc.) Numbers of meetings with key stakeholders Numbers of participants involved in discussions and information sessions (workshops, seminars, peer reviews); follow-up measures Production and circulation of products Media coverage (articles in specialised press newsletters, press releases, interviews, etc.) Visibility in the social media Participation in public events Links with existing networks and transnational partners; transfer of information and know-how Impact on regional, national, EU policy measures Feedback from end-users, other stakeholders, peers, policy-makers. 18
Malleja ja työkaluja hankkeen vaikuttavuuden hahmottamisen tueksi
Kohderyhmien ja vaikutusten kartoittaminen: Impact mapping Tavoitteet, välittömät ja välilliset muutokset (vaikutukset), joita hankkeella toteutetaan Kohderyhmä 1 Kohderyhmä 2 Haettu muutos/tulos kohderyhmässä 1: a Haettu muutos/tulos kohderyhmässä 1: b Haettu muutos/tulos kohderyhmässä 2 Tuotos tai toimenpide 1, joka vaikuttaa tuloksen toteutumiseen kohderyhmässä Tuotos tai toimenpide 2, joka vaikuttaa tuloksen toteutumiseen kohderyhmässä Tuotos tai toimenpide 1, joka vaikuttaa tuloksen toteutumiseen kohderyhmässä Sovellettu mallia: www.impactmapping.org/drawing.html
Vaikutusten mallintaminen: Vaikutuspuu Saila Tykkyläinen, Vaikuttava Yritys @SailaTy
www.erasmusplus.org.uk/impact-and-evaluation
Project staff: How will your activities affect the staff working on the project? What new experience skills and competences will they develop? How will involvement in the project develop staff continuing professional development? Partner organisations: What changes will occur in partner organisations as a result of the activities? Will organisations develop new partnerships, new products or services? Will they change their policies or procedures? YOUR IMPACT: What is the main thing your project hopes to achieve? Think about the problem or issue you are trying to solve. Learners: What change will occur for learners as a result of the activities? Will they acquire new skills or competences? Will they have new experiences that change their attitudes, opinions or aspirations? Systemic: What changes to legislation or public policy will occur in your sector or field? Will you change professional practices or methods of learning? Will you produce new recognised qualifications or accredited learning modules?
Pyramid of Change 24
Results Based Management RBM OECD definition: A management strategy focusing on performance and achievement of outputs, outcomes and impacts. More focus on the desired results rather than focusing on inputs, activities and processes. An approach utilizing results based tools for planning, monitoring, and evaluating the performance of the project. Key tool in RBM is Results chain approach, defining outputs, outcomes, impact as three different levels of results. (Source MFA). 25
Results chain Timeframe: during implementation Results Timeframe: during or at the end or after the implementation Timeframe: typically after years Inputs Activities Outputs Outcomes Impact Things we use. Resources needed to carry out activities (money, staff, time, material, equipment etc. Things we do, actions taken. What needs to be carried out to transform inputs into outputs. We often spend most of our time here.. What we produce; outputs and performance. Improved capacities, abilities, skills, systems etc. Under the control of organisation and its partners. The benefits; likely or achieved short and medium term changes Immediate effect. Institutions or people do smth differently or better (behavioural vs. performance. but focus should be more here, in the results! Why we want this project; long term changes and effects aimed at. Positive and negative, directly or indirectly, intended or unintended. 26
Impact Tool (NA NL) http://impacttool.erasmusplus.nl/stra-en/start 17/12/2018 Opetushallitus 27
Vaikuttavuusajattelun taustalla oleva logiikkaketju panos = input tuotos = output outcomes = vaikutus impact = vaikuttavuus Lähde: www.sitra.fi/artikkelit/hyvinvointi/kannattaako-vaikuttavuutta-yrittaa-mitata
What has improved when the project finishes in 2020? After one year from finishing the project: What has changed in 2021? Our dream: What do we want to achieve? Where outside the partner group have the results/outputs been taken into use? What have been the benefits for the users?
Hankkeen levitys
Levitys Dissemination = a planned process of providing information Spreading the word about the project successes and outcomes as far as possible. The first goal of dissemination and exploitation is to spread and embed the project s results. Why, what, how, when, to whom and where disseminating results will take place. Tulosten hyödyntäminen Exploitation = to use and benefit something Maximising the potential of the funded activities, so that the results are used beyond the lifetime of the project. Dissemination and exploitation as a progression that extends beyond the duration of the project, and into the future sustainability Ks. Programme Guide 2019 s. 313-318 31
Suunnittele levityksen ja tulosten hyödyntämisestä kokonaisuus ei irrallisia toimintoja Tavoitteet ja strategia 17/12/ 2018 Levityssuunnitelman on tuettava haluttujen vaikutusten syntymistä Hyödynnä suunnittelussa työkaluja ja malleja! Opetushallitus 32
Levityksen työkaluja Hankkeen nimi toimii myös viestintäkeinona, käy ilmi mistä kyse Esitteet, logot (visuaalinen ilme) Verkkosivut Sosiaalisen median työkalut (Facebook, YouTube, Twitter, Instagram), videot Lehdistö/mediatiedotteet hankkeen eri vaiheissa Seminaarit, kokoukset, näyttelyt Koulutus, tuotteiden testaus, työpajat, temaattiset seminaarit, joissa myös muita teemasta kiinnostuneita osallistujia Puheenvuorot eri tilaisuuksissa: opettajainhuone konferenssit Älä unohda lähipiiriä: Oma organisaatio ja omat kollegat Raportit, julkaisut, haastattelut medialle Paikalliset, kansalliset ja kvverkostot/kokoukset Viranomaiskontaktit Tuotteistaminen, palvelumuotoilu, palvelukonseptit Kaupallistaminen Erasmus+ -hanketietokanta (Erasmus+ Project Results Platform 33
Dissemination plan is your Marketing plan Tell people about the benefits of the project, not just about the project! The successful dissemination of "innovation" brings change to people's thinking and action. Design an entity of dissemination and the utilization of results no loose functions Make use out of existing networks, define your target groups (at all levels) Take advantage of all possible / suitable media Marketing and information from the very beginning of the project (or even before) to the end and beyond brings: 34
Levitys ja tulosten käyttöönotto hakulomakkeessa https://webgate.ec.europa.eu/erasmus-applications/
Levitys ja tulosten käyttöönotto hakulomakkeessa (1/5) 2019: KA2 Miten liitännäispartnerit (associated partners) tukevat mahdollisesti hankkeen levitystä ja jatkuvuutta.
Levitys ja tulosten käyttöönotto hakulomakkeessa (2/5) 2019: KA2 Määrittele ja perustele levitystoimien kohderyhmät. Mitä levitystoiminnoilla pyritään saamaan aikaan? Miten tuloksia levitetään ja jaetaan partneriryhmän ulkopuolelle. Jakelupolitiikka? Kerro myös mitä tuloksia jaetaan.
Levitys ja tulosten käyttöönotto hakulomakkeessa (3/5) 2019: KA2 Työjako ja resurssit Kerro mihin lopputuotteet sijoitetaan ja miten niitä pääsee käyttämään.
Levitys ja tulosten käyttöönotto hakulomakkeessa (4/5) 2019: KA2 Tuotteiden saatavuus ja avoimuus, jakelupolitiikka? Missä tuotteet ovat? Miten niitä pääsee käyttämään? Tuotteiden markkinointi ja niistä tiedottaminen?
Levitys ja tulosten käyttöönotto hakulomakkeessa (5/5) 2019: KA2 Kerro mitkä toiminnot ja tulokset jäävät käyttöön ja ylläpidettäväksi hankerahoituksen päättymisen jälkeen. Toiminnan jatkuvuus: integrointi normaalitoimintaan? Miten varmistatte tarvittavat resurssit siihen? Kerro mikä tai millainen ylläpito- tai päivitysmekanismi? Verkkosivujen ja sähköisten työkalujen ylläpito?