Arviointisuunnitelma. Levitys ja käyttöönotto. Vaikuttavuus. Strategisten kumppanuushankkeiden työpaja 17.1.2017 Tiina Pärnänen
Hankkeen arviointisuunnitelma Arviointi ja laadunvarmistus keskeinen osa laadukasta hanketoimintaa Termejä: quality assurance, quality control, monitoring/evaluation, self-assessment, ensuring, internal/external evaluation, usability/sustainability Ei kuitenkaan tiedettä, vaan hyvin käytännönläheistä toimintaa! Tarkoituksenmukaisuus: arviointisuunnitelman sisältö hankkeen suunniteltujen tavoitteiden, toiminnan ja tulosten pohjalta. Arviointia tulisi tehdä koko hankkeen elinkaaren ajan (aikataulutus, frequency) Seurantaa siitä missä mennään -> mihin suuntaan ollaan menossa -> suunnan tarkistukset Etenemisvauhdin tarkistus hankkeen lopussa toteutettu arviointi tuottaa tietoa, mutta sitä ei ehditä hyödyntää osana hankkeen toimintaa ja tuotteiden kehittämistä 17/01/2017 Opetushallitus 2
Arvioinnin hyödyt Tukee hankkeen toimintaa, johtamista ja tavoitteiden saavuttamista. Antaa keskusteluraamin hankkeesta ja toiminnoista partneriryhmässä. (Vuorovaikutus) tuo näkyviin myös hiljaista tietoa Tuo esille vahvuudet ja kehittämiskohteet. Saadaan selville mihin suuntaan ollaan menossa -> kurssinmuutos Tuottaa aineistoa päätöksentekoon hankkeessa. 17/01/2017 Opetushallitus 3
Arviointisuunnitelman sisältö Määriteltävä arvioinnin kohteet ja tarkoituksenmukaisuus. Mitä: arvioinnin kohde (prosessi/työskentely/tuotteet ) Miksi: arvioinnin tavoite Miten: sisäinen/ulkoinen arviointi ja menetelmät Milloin: aikataulu mitä/millaisia arviointitoimintoja projektin eri vaiheissa? Työsuunnitelmaan arvioinnille oma työpaketti/työvaiheet Resurssit Työaika (project management and implemantion) tai alihankintana (exceptional costs) 17/01/2017 Opetushallitus 4
Esimerkkejä arvioinnin kohteista Projektin toiminnot, työsuunnitelman eteneminen Kokoukset Levitys Tuotteet, opinto- ja koulutustilaisuudet Projektin johtaminen Partneriyhteistyö, yhteydenpito Tulosten käyttöönotto ja vaikuttavuus. 17/01/2017 Opetushallitus 5
Kuka osallistuu arviointiin? Sisäinen arviointi ja/tai ulkoinen arviointi? Loppukäyttäjät (esim. oppilaat, opiskelijat, opettajat, nuoriso, nuorisotyöntekijät jne.) Sidosryhmät (esim. työelämä, vanhemmat, muut opettajat/ohjaajat jne.? Keneltä saadaan palautetta? Keneltä tarvitaan palautetta? 17/01/2017 Opetushallitus 6
Arviointimenetelmistä Millaista tietoa kerätään? Määrällinen, laadullinen Millä tavalla arviointitietoa kerätään? lomakkeet, kyselyt, tarkistuslistat, haastattelut, havainnointi, reflektointi jne? Esimerkkejä työkaluista ja menetelmistä: Itsearviointi Vertaisarviointi Raportoinnin työkalut Johtamisen seurantajärjestelmät Testauksen toteuttaminen Palautteen kerääminen Kerätyn tiedon / palautteen hyödyntäminen! 17/01/2017 Opetushallitus 7
Testaus (pilotointi) Kun tarvitaan palautetta/käyttökokemuksia loppukäyttäjiltä ja saatu palaute voidaan hyödyntää hankkeen aikana. Pitää määritellä ja kuvata hakemuksessa: Mihin testaus tarkalleen kohdistetaan? Missä vaiheessa tai milloin testataan? Kuinka usein? Miten testaus toteutetaan? Laajuus? Kuka toteuttaa testauksen? Kenellä paras asiantuntemus? Kollegat? Kaikki partnerit omalta osaltaan? 17/01/2017 Opetushallitus 8
2017 KA202: Exchanges of Practices Arviointisuunnitelma (ja riskienhallinta) hakulomakkeessa 1/3 What are your plans for handling risks which could happen during the project (e.g. delays, budget, conflicts, etc.)? Hakemuksen valmisteluvaiheessa on hyvä miettiä myös mahdollisia riskejä tai tekijöitä, jotka voivat estää hankkeen tavoitteiden toteutumisen. Kuvaa tässä projektin riskienhallintamekanismeja. Miten tunnistetaan riskit varhaisessa vaiheessa? Miten varaudutaan niihin? Miten riskejä voi ennakoida? Millaisia ovat varajärjestelyt? Työparit? Varahenkilöt? Onko varasuunnitelmaa (Plan B)? Kuvaa hankkeen hallintokäytäntöjä ja kuinka seurataan hankkeen aikatauluja ja taloutta. Huomioi myös partnereiden rooli ja vastuut. Yhteiset pelisäännöt? 17/01/2017 Opetushallitus 9
2017 KA202: Exchanges of Practices Arviointisuunnitelma hakulomakkeessa 2/3 How will the monitoring of the project activities be carried out and by whom? Mieti millaiset arviointikäytännöt parhaiten tukevat oman hankkeesi toiminnan ja/tai tuotteiden/tuotosten laadunvarmistusta. Miten hankkeen toimintaa ja tulosten saavuttamista seurataan ja arvioidaan? How will you assess the success of your project? Miten ja milloin arviointitietoa kerätään? Miten kerätty tieto käsitellään ja otetaan huomioon? Kuka arviointiin osallistuu? 17/01/2017 Opetushallitus 10
2017 KA202: Exchanges of Practices Arviointisuunnitelma hakulomakkeessa 3/3 How will you assess the success of your project? Miten hankkeessa mitataan hankkeen tavoitteiden ja tulosten saavuttamista? Ota huomioon myös lyhyen ja pitkän aikavälin tavoitteet sekä tavoitteet eri kohderyhmien suhteen. 17/01/2017 Opetushallitus 11
2017 KA202: Development of innovation Arviointisuunnitelma hakulomakkeessa 1/4 How will you ensure proper budget control and time management in your project? Kuvaa hankkeen hallintokäytäntöjä ja kuinka seurataan hankkeen taloutta, aikatauluja ja hankkeelle käytettyä aikaa. Huomioi myös partnereiden rooli ja vastuut. 17/01/2017 Opetushallitus 12
2017 KA202: Development of innovation Arviointisuunnitelma hakulomakkeessa 2/4 How will the progress, quality and achievement of project activities be monitored? Please describe the qualitative and quantitative indicators you will use. Please give information about the involved staff, as well as the timing and frequency of the monitoring activities. Mieti millaiset arviointikäytännöt parhaiten tukevat oman hankkeesi toiminnan ja/tai tuotteiden/tuotosten laadunvarmistusta. Miten hankkeen toimintaa ja tulosten saavuttamista seurataan ja arvioidaan? Miten kerätty tieto käsitellään ja otetaan huomioon? Miten ja milloin arviointitietoa kerätään? Kuka arviointiin osallistuu? 17/01/2017 Opetushallitus 13
2017 KA202: Development of innovation Arviointisuunnitelma hakulomakkeessa 3/4 How will you evaluate to which extent the project reached its results and objectives? What indicators will you use to measure the quality of the project s results? Miten hankkeessa mitataan hankkeen tavoitteiden ja tulosten saavuttamista. Mitä määrällisiä ja laadullisia indikaattoreja käytetään, kun arvioidaan hankkeen tavoitteiden ja tulosten saavuttamista. Kerro konkreettisia esimerkkejä tälle hankkeelle sopivista indikaattoreista. 17/01/2017 Opetushallitus 14
Arviointisuunnitelma (ja riskienhallinta) hakulomakkeessa 4/4 2017 KA202: Development of innovation What are your plans for handling risks which could happen during the project (e.g. delays, budget, conflicts, etc.)? Hakemuksen valmisteluvaiheessa on hyvä miettiä myös mahdollisia riskejä tai tekijöitä, jotka voivat estää hankkeen tavoitteiden toteutumisen. Kuvaa tässä projektin riskienhallintamekanismeja. Miten tunnistetaan riskit varhaisessa vaiheessa? Miten varaudutaan niihin? Miten riskejä voi ennakoida? Millaisia ovat varajärjestelyt? Työparit? Varahenkilöt? Onko varasuunnitelmaa (Plan B)? Kuvaa hankkeen hallintokäytäntöjä ja kuinka seurataan hankkeen aikatauluja ja taloutta. Huomioi myös partnereiden rooli ja vastuut. Yhteiset pelisäännöt? 17/01/2017 Opetushallitus 15
Levitys ja tulosten käyttöönotto
Levitys Dissemination (levitys) = a planned process of providing information - spreading the word about the project successes and outcomes as far as possible. Why, what, how, when, to whom and where disseminating results will take place. Tulosten hyödyntäminen Exploitation (tulosten hyödyntäminen) = to use and benefit something. Maximising the potential of the funded activities, so that the results are used beyond the lifetime of the project. Dissemination and exploitation as a progression that extends beyond the duration of the project, and into the future the sustainability Katso Ohjelmaopas sivut 309-314 17/01/2017 Opetushallitus 17
Suunnittele levityksen ja tulosten hyödyntämisestä kokonaisuus ei irrallisia toimintoja Tavoitteet ja strategia Levityssuunnitelman on tuettava haluttujen vaikutusten syntymistä Hyödynnä suunnittelussa työkaluja ja malleja. 17/01/2017 Opetushallitus 18
Levityksen työkaluja Esitteet, logot (visuaalinen ilme) Nettisivut Sosiaalisen median työkalut (Facebook, YouTube Twitter), videot Lehdistö/mediatiedotteet hankkeen eri vaiheissa Seminaarit, kokoukset, näyttelyt Koulutus, tuotteiden testaus, työpajat, temaattiset seminaarit, joissa myös muita teemasta kiinnostuneita osallistujia Puheenvuorot eri tilaisuuksissa: opettajainhuone <-> konferenssit Raportit, julkaisut, haastattelut medialle Paikalliset, kansalliset ja kv-verkostot/kokoukset Viranomaiskontaktit Tuotteistaminen, palvelumuotoilu, palvelukonseptit Kaupallistaminen Erasmus+ -hanketietokannan (Erasmus+ Project Results Platform Älä unohda lähipiiriä: oma organisaatio ja omat kollegat 17/01/2017 Opetushallitus 19
Levitys ja tulosten käyttöönotto hakulomakkeessa 1/5 If relevant, please identify and explain the involvement of associated partners, not formally participating in the project. Please explain how they will contribute to the implementation of specific project tasks/activities or support the dissemination and sustainability of the project. (Tämä kysymys vain Development of innovation hakulomakkeessa.) Miten liitännäispartnerit (associated partners) tukevat mahdollisesti hankkeen levitystä ja jatkuvuutta. 17/01/2017 Opetushallitus 20
2017: KA2 Levitys ja tulosten käyttöönotto hakulomakkeessa 2/5 You are requested to make plans for the dissemination of your project results. Please provide answers to the questions below. What will be the target groups of your dissemination activities inside and outside your partnership? Please define in particular your target audience(s) at local/regional/national/eu level and motivate your choice. Määrittele ja perustele levitystoimien kohderyhmät. Mitä levitystoiminnoilla pyritään saamaan aikaan? Which activities will you carry out in order to share the results of your project beyond your partnership? Mitä tuloksia levitetään ja miten niitä levitetään ja jaetaan partneriryhmän ulkopuolelle. Jakelupolitiikka? 17/01/2017 Opetushallitus 21
2017: KA2 Levitys ja tulosten käyttöönotto hakulomakkeessa 3/5 Who will be responsible for the dissemination activities within your partnership and which specific expertise do they have in this area? What resources will you make available to allow for the proper implementation of your dissemination plans? Työnjako ja resurssit Erasmus+ has an open access requirement for all materials developed through its projects. If your project is producing intellectual outputs/ tangible deliverables, please describe how you intend to ensure free access for the public to a digital form of this material. If you intend to put any limitation on the use of the open licence, please specify the reasons, extent and nature of this limitation. 17/01/2017 Opetushallitus Kerro mihin lopputuotteet sijoitetaan ja miten niitä pääsee käyttämään. 22
2017: KA2 Levitys ja tulosten käyttöönotto hakulomakkeessa 4/5 How will you ensure that the project's results will remain available and will be used by others? Tuotteiden saatavuus ja avoimuus, jakelupolitiikka? Missä tuotteet ovat? Miten niitä pääsee käyttämään? Tuotteiden markkinointi ja niistä tiedottaminen? If relevant, please provide any other information you consider appropriate to give a full understanding of your dissemination plan and its expected impact (e.g. how you have identified which results are most relevant to disseminate; how you will ensure the involvement of all partners; how you see synergies with other stakeholders, etc.) 17/01/2017 Opetushallitus 23
2017: KA2 Levitys ja tulosten käyttöönotto hakulomakkeessa 5/5 What are the activities and results that will be maintained after the end of the EU funding, and how will you ensure the resources needed to sustain them? Kerro mitkä toiminnot ja tulokset jäävät käyttöön ja ylläpidettäväksi hankerahoituksen päättymisen jälkeen. Toiminnan jatkuvuus: integrointi normaalitoimintaan? Miten varmistatte tarvittavat resurssit siihen? Kerro mikä tai millainen ylläpito- tai päivitysmekanismi? Verkkosivujen ja sähköisten työkalujen ylläpito? 17/01/2017 Opetushallitus 24
Vaikuttavuus
Erasmus+ -ohjelman keskeiset vaikuttavuus -termit Impact (vaikutukset): Hankkeen mahdolliset vaikutukset yksilö-, organisaatio- (esim. käytännöt) ja järjestelmätasolla paikallisesti, alueellisesti, valtakunnallisesti ja/tai EU:n tasolla. Mikä muuttuu? Sustainability (jatkuvuuden varmistaminen): Hankkeen edellytykset jatkaa hankkeessa tehtyjen tuotosten hyödyntämistä ja jatkokehittämistä Erasmus+ -tuen päättymisen jälkeen. Exploitation (hyödyntäminen) Exploitation mechanism (hyödyntämismekanismi) Mikä jää elämään? Miten? Dissemination (konkreettiset levitystoimet) Katso Erasmus+ Programme Guide 2017 s. 309 314 17/01/2017 Opetushallitus 26
Hakemuksen arviointikriteerit: vaikuttavuus ja levitys (1/2) Miten hankkeen tuloksia/lopputuotteiden laatua arvioidaan? Mahdollinen vaikutus hankkeen aikana ja sen jälkeen Osallistuville henkilöille ja organisaatioille Muille kuin hankkeessa mukana oleville (paikallinen, alueellinen, kansallinen ja EU-taso) Suunniteltujen levitystoimien tarkoituksenmukaisuus Tavoitetaanko tulevat käyttäjät (osallistuvissa organisaatioissa ja niiden ulkopuolella)? 17/01/2017 Opetushallitus 27
Hakemuksen arviointikriteerit: vaikuttavuus ja levitys (2/2) Jos konkreettisia tuotoksia Miten varmistetaan, että tuotokset ovat vapaasti kaikkien saatavilla? Onko hankkeella positiivisia vaikutuksia myös hankerahoituksen päätyttyä Arviointialueen enimmäispistemäärä 30/100 17/01/2017 Opetushallitus 28
Arvioijien kommentteja vaikuttavuudesta (1/2): kun teet nämä asiat paremmin hakemus voi saada enemmän pisteitä Hakemuksessa ei ole mukana (ammatillisen koulutuksen) toimijoita Suomesta: miten saadaan vaikutus (ammatilliseen) koulutukseen. Miten kohderyhmän toimijat saadaan kuvioon selkeämmin mukaan. Joissakin hakemuksissa aivan liian laveaksi ja epämääräisesti määritelty kohderyhmä. Miten hanke vaikuttaa kussakin partneriorganisaatiossa ja miten hanketta hyödynnetään jokaisessa partnerimaassa ko. alalla. Mikä on lopputuotteen X lisäarvo. Miten käytännössä voitaisiin ottaa käyttöön laajemmin. Miten taataan, että joku muu voi poimia tällaisesta mallista jotain hyötyä. Materiaalit julkisesti saatavilla, mutta kuvattu heikosti: miten hyödyttää muita kuin partneriorganisaatioita. Materiaali laitetaan webbisivulle, mutta miten muutoin hyödynnetään. Miten päivitys/ylläpito hoidetaan hankkeen päätyttyä. Miten materiaali löytyy/on saatavilla? 17/01/2017 Opetushallitus 29
Arvioijien kommentteja vaikuttavuudesta (2/2): kun teet nämä asiat paremmin hakemus voi saada enemmän pisteitä Erityinen huomio relevanssissa ja vaikuttavuudessa: kuinka paljon vaikutusta (ammatilliseen) koulutuksen. Relevantti aihe, mutta saadaanko tällä suunnitelmalla vaikutusta aikaan: suunnitelman johdonmukaisuus ontuu. Vaikuttavuuden mittarit tai indikaattorit puuttuivat suunnitelmasta. Vaikuttavuuden kohteita ei ole määritelty. Onko hankkeen tavoite selvä? Mitä haluttaisiin havaita ja seurata. Hankkeesta hyötyä hankkeen aikana: mitä sen jälkeen. Mitä hankkeessa kehitetylle tapahtuu hankkeen jälkeen. Aika ilmeisesti loppunut kesken: vaikuttavuus ja sustainability kuvattu heikosti. Dissemination ja impact heikoin osuus hakemuksissa: vaikuttavuus jäänyt suunnittelematta. Vaikuttavuuteen olisi kaivannut enemmän tietoa ja kuvausta. Levittäminen ja käyttöönotto hankkeen heikkouksia. 17/01/2017 Opetushallitus 30
Vaikutusten mittaaminen tai vaikutusten arviointi Hankkeen vaikutukset suhteessa hankkeen tavoitteisiin. Määrälliset ja laadulliset tavoitteet => odotetut vaikutukset Hankkeen päättymisen jälkeen: odotetut + odottamattomat vaikutukset Vaikutusten käsite on moniulotteinen 1. Vaikutukset yksilön versus yhteiskunnan tasolla 2. Lyhyt- ja pitkäkestoiset vaikutukset Ei ole olemassa yhtä oikeaa vaikutusten arvioinnin ideaa vain useita erilaisia tapoja päätellä vaikutuksia 17/01/2017 Opetushallitus 31
Vaikuttavuuden mittaaminen Miten aktiivisesti havaitaan ja todennetaan, että haluttuja vaikutuksia on saatu aikaiseksi? Laadulliset ja määrälliset mittarit? Lyhyen ja pitkän aikavälin vaikutusten mittaaminen? Miten arviointitietoa kerätään? Millainen arviointitieto parhaiten todentaa vaikutuksia? 17/01/2017 Opetushallitus 32
Vaikuttavuus hakulomakkeessa 1. Kenen toimintaan tuloksilla/ tuotteilla on vaikutusta? Osallistujat (opettajat, opiskelijat ym.) Organisaatiot Muut kohderyhmät ja toimijat 2. Vaikutukset eri tasoilla Paikallinen, alueellinen, kansallinen, kansainvälinen Levityssuunnitelman on tuettava haluttujen vaikutusten syntymistä! 3. Miten vaikuttavuutta mitataan? 17/01/2017 Opetushallitus 33
Vaikuttavuus hakulomakkeessa (1/5) Onko valittu oikean kohderyhmän hakulomake? Vaikka kysymyksessä ei ole suoraan kysytty impact -asiaa, niin kerro myös hyödyn ja vaikuttavuuden näkökulmasta. Hankkeen tavoite, tarve ja kohderyhmä Vaikuttavuus 17/01/2017 Opetushallitus 34
Vaikuttavuus hakulomakkeessa (2/5) Kuvaile vaikutus/tarpeellisuus/hyöty per lopputuote 17/01/2017 Opetushallitus 35
Vaikuttavuus hakulomakkeessa (3/5) Lisäarvo (vaikutus/hyöty) suunnitelluista opinto- ja koulutustilaisuuksista hankkeen tavoitteiden näkökulmasta. Before - during after? Mitä voi hyödyntää (esimerkiksi toistaa) jakson jälkeen? Mitä jää jäljelle jakson päätyttyä? 17/01/2017 Opetushallitus 36
Vaikuttavuus hakulomakkeessa (4/5) Kenen toimintaan tuloksilla/tuotteilla on vaikutusta - kuka hyötyy ja miten? Pyri kuvaamaan hankkeen vaikuttavuutta/vaikutuksia konkreettisesti. Huomioi myös partneriorganisaatiot ja -maat! Millä eri tasoilla hankkeen suunniteltu vaikuttavuus näkyy? Mieti mitkä ovat oman hankkeesi näkökulmasta keskeiset tasot, joihin pyritään vaikuttamaan. Mistä tiedetään, että ollaan onnistuttu? Miten vaikutuksia aiotaan mitata? Konkreettiset tavat todentaa vaikutuksia? 17/01/2017 Opetushallitus 37
Vaikuttavuus hakulomakkeessa (5/5) Lyhyt kuvaus hankkeen tuloksista ja odotetuista vaikutuksista sekä hankkeen päätyttyä että mahdollisista pitkäaikaisista hyödyistä. 17/01/2017 Opetushallitus 38
Kiitos