Arviointisuunnitelma ja vaikutusten (vaikuttavuuden) mittaaminen Hanketyöpaja kumppanuushanketta valmisteleville Hankkeen arviointisuunnitelma Arviointi ja laadunvarmistus keskeinen osa laadukasta hanketoimintaa Termejä: quality assurance, quality control, monitoring/evaluation, selfassessment, ensuring, internal/external evaluation, usability/sustainability Ei kuitenkaan tiedettä, vaan hyvin käytännönläheistä toimintaa! Tarkoituksenmukaisuus: arviointisuunnitelman sisältö hankkeen suunniteltujen tavoitteiden, toiminnan ja tulosten pohjalta. Arviointia tulisi tehdä koko hankkeen elinkaaren ajan (aikataulutus, frequency) hankkeen lopussa toteutettu arviointi tuottaa tietoa, mutta sitä ei ehditä hyödyntää osana hankkeen toimintaa ja tuotteiden kehittämistä. 1
Arvioinnin hyödyt Tukee hankkeen toimintaa, johtamista ja tavoitteiden saavuttamista. Antaa keskusteluraamin hankkeesta ja toiminnoista partneriryhmässä. Tuo esille vahvuudet ja kehittämiskohteet. Saadaan selville mihin suuntaan ollaan menossa > kurssinmuutos Tuottaa aineistoa päätöksentekoon hankkeessa. Parantaa tulosten ja tuotteiden laatua. Tuottaa tietoa hankkeen vaikutuksista ja vaikuttavuudesta. Arviointisuunnitelman sisältö Määriteltävä arvioinnin kohteet ja tarkoituksenmukaisuus. Mitä: arvioinnin kohde (prosessi/työskentely/tuotteet ) Miksi: arvioinnin tavoite Miten: sisäinen/ulkoinen arviointi ja menetelmät Milloin: aikataulu mitä arviointitoimintoja projektin eri vaiheissa? Työsuunnitelmaan arvioinnille oma työpaketti/työvaiheet Resurssit työpäivät, alihankinta (sisäinen/ulkoinen arvioija?) 2
Esimerkkejä arvioinnin kohteista Projektin toiminnot, työsuunnitelman eteneminen Kokoukset Levitys Tuotteet, opinto ja koulutustilaisuudet Projektin johtaminen Partneriyhteistyö, yhteydenpito Vaikuttavuus! Kuka osallistuu arviointiin? Sisäinen arviointi ja/tai ulkoinen arviointi? Loppukäyttäjät, sidosryhmät jne.? Keneltä saadaan/tarvitaan palautetta? Arviointimenetelmistä Millaista tietoa kerätään? Määrällinen, laadullinen Millä tavalla arviointitietoa kerätään? lomakkeet, kyselyt tarkistuslistat, haastattelut, havainnointi,, reflektointi jne? Esimerkkejä työkaluista ja menetelmistä: Itsearviointi Vertaisarviointi Raportoinnin työkalut Johtamisen seurantajärjestelmät Testauksen toteuttaminen Palautteen kerääminen ja erityisesti palautteen hyödyntäminen 3
Testaus (pilotointi) Kun tarvitaan palautetta/käyttökokemuksia loppukäyttäjiltä ja saatu palaute voidaan hyödyntää hankkeen aikana. Pitää määritellä ja kuvata hakemuksessa: Mihin testaus tarkalleen kohdistetaan? Missä vaiheessa tai milloin testataan? Kuinka usein? Miten testaus toteutetaan? Laajuus? Kuka toteuttaa testauksen? Kenellä paras asiantuntemus? Kollegat? Kaikki partnerit omalta osaltaan? Arviointisuunnitelma hakemuksessa (1/2) Kuvaa hankkeen hallintokäytäntöjä ja kuinka seurataan hankkeen taloutta, aikatauluja ja hankkeelle käytettyä aikaa. Huomioi myös partnereiden rooli ja vastuut. [Max 5000 merkkiä] Miten hankkeen toimintaa ja tulosten saavuttamista seurataan ja arvioidaan? Mieti millaiset arviointikäytännöt parhaiten tukevat oman hankkeesi toiminnan ja/tai tuotteiden/tuotosten laadunvarmistusta. Miten ja milloin arviointitietoa kerätään? Miten kerätty tieto käsitellään ja otetaan huomioon? Kuka arviointiin osallistuu? [Max 5000 merkkiä] 4
Arviointisuunnitelma (ja riskienhallinta) hakemuksessa (2/2) Hakemuksen valmisteluvaiheessa on hyvä miettiä myös mahdollisia riskejä tai tekijöitä, jotka voivat estää hankkeen tavoitteiden toteutumisen. Kuvaa tässä projektin riskienhallintamekanismeja. Miten tunnistetaan riskit varhaisessa vaiheessa? Miten varaudutaan niihin? Miten riskejä voi ennakoida? Yhteiset pelisäännöt? Millaisia ovat varajärjestelyt? Onko varasuunnitelmaa riskien varalle (Plan B)? Varahenkilöt? Työparit? Mitä määrällisiä ja laadullisia indikaattoreja käytetään, kun arvioidaan hankkeen tavoitteiden ja tulosten saavuttamista. (Kuvaa miten hankkeessa mitataan hankkeen tavoitteiden ja tulosten saavuttamista, jos asiaa ei ole kuvattu jo aiemmissa kohdissa.) [Max 5000 merkkiä] Vaikutusten (vaikuttavuuden) mittaaminen 5
Erasmus+ -ohjelman keskeiset vaikuttavuus -termit Impact (vaikutukset): Hankkeen mahdolliset vaikutukset yksilö-, organisaatio- ja järjestelmätasolla paikallisesti, alueellisesti, valtakunnallisesti ja/tai EU:n tasolla. Sustainability (jatkuvuuden varmistaminen): Hankkeen edellytykset jatkaa hankkeessa tehtyjen tuotosten hyödyntämistä ja jatkokehittämistä Erasmus+ -tuen päättymisen jälkeen. Mikä muuttuu? Mikä jää elämään? Exploitation (hyödyntäminen), exploitation mechanism (hyödyntämismekanismi) Miten? Vaikuttavuusajattelun taustalla oleva logiikkaketju Panos = Input Tuotos = output Outcomes = Vaikutus Vaikuttavuus = Impact Lähde: Sitra, Matti Aisrich, ohtava asiantuntija, liiketoiminnan kehitys http://www.sitra.fi/artikkelit/hyvinvointi/kannattaako-vaikuttavuutta-yrittaa-mitata 6
Vaikutusten mittaaminen tai vaikutusten arviointi Hankkeen vaikutukset suhteessa hankkeen tavoitteisiin. Määrälliset ja laadulliset tavoitteet => odotetut vaikutukset Hankkeen päättymisen jälkeen: odotetut + odottamattomat vaikutukset Vaikutusten käsite on moniulotteinen Vaikutukset yksilön versus yhteiskunnan tasolla Lyhyt ja pitkäkestoiset vaikutukset Ei ole olemassa yhtä oikeaa vaikutusten arvioinnin ideaa vain useita erilaisia tapoja päätellä vaikutuksia Vaikuttavuuden mittaaminen Miten todennetaan, että haluttuja vaikutuksia on saatu aikaiseksi? Laadulliset ja määrälliset mittarit? Lyhyen ja pitkän aikavälin vaikutusten mittaaminen? Miten arviointitietoa kerätään? Millainen arviointitieto parhaiten todentaa vaikutuksia? 7
Vaikuttavuus hakulomakkeessa Kenen toimintaan tuloksilla/ tuotteilla on vaikutusta? Osallistujat (opettajat, opiskelijat ym.) Organisaatiot Muut kohderyhmät ja toimijat Vaikutukset eri tasoilla Paikallinen Alueellinen Kansallinen Kansainvälinen Miten vaikuttavuutta mitataan? Levityssuunnitelman on tuettava haluttujen vaikutusten syntymistä! Vaikuttavuus hakulomakkeessa (1/2) Kenen toimintaan tuloksilla/tuotteilla on vaikutusta - kuka hyötyy ja miten? Pyri kuvaamaan hankkeen vaikuttavuutta/vaikutuksia konkreettisesti. Huomioi myös partneriorganisaatiot ja -maat! Millä eri tasoilla hankkeen suunniteltu vaikuttavuus näkyy? Mieti mitkä ovat oman hankkeesi näkökulmasta keskeiset tasot, joihin pyritään vaikuttamaan. Miten vaikutuksia aiotaan mitata? Mistä tiedetään, että ollaan onnistuttu? Pohdi konkreettisia tapoja todentaa, miten hankkeessa on onnistuttu. 8
Vaikuttavuus hakulomakkeessa (2/2) Lyhyt kuvaus hankkeen tuloksista ja odotetuista vaikutuksista hankkeen päätyttyä sekä mahdollisista pitkäaikaisista hyödyistä.. Esimerkkejä vaikutuksista (vaikuttavuudesta) 9
Yksilötason vaikuttavuus: opiskelijat OPPIMISTULOKSET ITSETUNTO JA VOIMAANTUMINEN OPISKELU- MOTIVAATIO YHTEISKUNNALLINEN OSALLISTUMINEN TYÖLLISTYMINEN JA TYÖURALLA ETENEMINEN ALOITTELLISUUS JA YRITTÄJYYS KIELITAITO JA KULTTUURIEN TUNTEMUS Yksilötason vaikuttavuus: opettajat, muu henkilöstö AMMATILLINEN OSAAMINEN KANSAINVÄLISYYDEN EDISTÄMINEN MOTIVAATIO JA TYYTYVÄISYYS OMAAN TYÖHÖN KOULUTUKSEN JA TYÖELÄMÄYHTEYKSIEN KEHITTÄMINEN URAKEHITYKSEN SUUNNITTELU KIELITAITO JA VIERAIDEN KULTTUURIEN YMMÄRTÄMINEN 10
Esimerkkejä vaikutuksista järjestelmiin ja organisaatioihin Koulutus vastaa paremmin ympäröivän yhteiskunnan ja/tai työelämän tarpeita Yhteistyön lisääntyminen eri toimijoiden kanssa Erilaisten opintopolkujen tuominen koulutukseen Koulutusasteiden ja eri koulutusjärjestelmien välisen siirtymisen helpottaminen, läpinäkyvyyttä lisäävät työkalut Kehittää omia käytäntöjä (erikoistuminen, erityisosaamisen lisääminen) Arvioijien kommentteja vaikuttavuudesta The impact of the project is presented in broad terms, e.g. improved study plans for VET students, improved internationalisation skills etc. However, the overall impact with measurable targets (e.g. number of students benefiting from xx) is not sufficiently presented regarding the impact. The project should better describe the impact at local and national level, e.g. improved employability, growth of the sector etc. The sustainability of the project is evidenced with regard of new curriculum in the partner organisations and countries. The sustainability of the project is evidenced with regard the take-up of the new learning material by the VET institutions. In this context, however, more quantitative indicators would be beneficial. The project should have set a clearer target of updating the curricula and the pedagogies with long-term perspective in the participating organisations. 11
Hakemuksen arviointikriteerit: vaikuttavuus ja levitys (1/2) Miten hankkeen tuloksia/lopputuotteiden laatua arvioidaan? Mahdollinen vaikutus hankkeen aikana ja sen jälkeen Osallistuville henkilöille ja organisaatioille Muille kuin hankkeessa mukana oleville (paikallinen, alueellinen, kansallinen ja EU taso) Suunniteltujen levitystoimien tarkoituksenmukaisuus Tavoitetaanko tulevat käyttäjät (osallistuvissa organisaatioissa ja niiden ulkopuolella)? Hakemuksen arviointikriteerit: vaikuttavuus ja levitys (2/2) Jos konkreettisia tuotoksia Miten varmistetaan että tuotokset ovat vapaasti kaikkien saatavilla? Onko hankkeella positiivisia vaikutuksia myös hankerahoituksen päätyttyä Arviointialueen max. pistemäärä 30/100 12