Myös hankkeen arviointi pitää suunnitella
Arvioinnin määritelmiä on monia Pattonin (1997) mukaan arviointi on systemaattista informaation keräämistä toiminnan toteutuksesta, luonteesta ja vaikutuksista, jotta toiminnan arvo voidaan määritellä, sen vaikuttavuutta voidaan parantaa tai, jotta saadaan tietoa päätöksentekoon tulevaisuuden ratkaisuja varten. Arviointi on prosessi, jossa tarkastellaan systemaattisesti ja objektiivisesti politiikan, ohjelman, hankkeen/projektin tai toimenpiteen merkitystä, tehokkuutta ja vaikutuksia suhteessa niille asetettuihin tavoitteisiin (European Commission 1997).
Arvioinnin keskeiset teemat European Comission SOSIO-EKONOMISET ONGELMAT VAIKUTUKSET TARPEET TULOKSET ASIANMUKAISUUS TAVOITTEET PANOKSET TOIMENPITEET TUOTOKSET OHJELMA TEHOKKUUS VAIKUTTAVUUS HYÖTY JA JATKUVUUS ARVIOINTI
Arviointi voidaan jakaa 1 Ennakkoarviointiin (Esim. ESR-ohjelmien ennakkoarviointi) Formatiiviseen arviointiin Hankkeen aikainen arviointi, kuinka hanketta on toteutettu ja miten sen toimintaa voitaisiin parantaa (prosessiarviointi) Summatiiviseen arviointiin Kohdistuu lopputuloksiin, vaikutuksiin ja vaikuttavuuteen. Formatiivinen ja summatiivinen arviointi täydentävät toisiaan. Pelkkä lopputulosarviointi ilman edes kevyttä prosessiarviointia ei ole suositeltavaa (Seppänen-Järvelä 2004).
Arviointi voidaan jakaa 2 Itsearviointiin, jossa toiminnan toteutuksesta vastaavat työntekijät itse arvioivat työtään ja muokkaavat tätä varten erilaisia arviointimenettelyjä. Asiakkaat osallistuvat. Ulkoiseen arviointiin, jossa hankkeen ulkopuolinen taho toteuttaa arvioinnin. Prosessiarviointi voidaan toteuttaa esimerkiksi itsearviointina/sisäisenä arviointina, tai siinä voi olla tukena jokin ulkopuolinen taho vrt. vertaisarviointi
Arviointi Prosessiarvioinnin avulla seurataan ja tehdään tarvittavia täsmennyksiä ja korjausliikkeitä kehittämisprosesseissa Prosessiarvioinnissa arviointi toimii ennen kaikkea palautteena,hankkeen ohjaamisen välineenä, hankkeen laadun varmistajana. Seppänen-Järvelä, Riitta (2004); Prosessiarviointi kehittämisprojektissa https://www.julkari.fi/bitstream/handle/10024/75862/arviointiraportteja 4_04.pdf?sequence=1 Lisäksi arvioinnin kautta tehdään näkyväksi hankkeen hyvät käytännöt, tulokset ja vaikutukset. Hankkeen vaikutuksia voidaan tarkastella asiakasvaikutuksina, organisatorisina, alueellisina, yhteiskunnallisina, taloudellisina
Miten arviointituloksia hyödynnetään hankkeissa? Esimerkki Sokran Etelä-Suomen aluetilaisuus Arviointityöpaja asiakaskyselyn pohjalta kehitetään mallia kohderyhmäspesifisemmäksi toimivammaksi; kyselyn tuloksista keskustellaan rahoittajan kanssa arviointituloksia hyödynnetään juurruttamisessa, perustellaan tarvetta ja vaikuttavuutta arviointituloksia käytetään koulutuksen kehittämiseen ja räätälöintiin arvioinnin pohjalta hyvien mallien monistus ja levitys Hyvä arviointi on aina kysyntälähtöinen, sitä tarvitaan ja sitä hyödynnetään. Arviointi on perusta onnistuneelle toiminnalle, jolla on mahdollisuudet jatkua myös hankkeen päätyttyä.
Havaintoja Kehittämisprojektiin osallistuvat ymmärtävät arvioinnin merkityksen ja hyödyntämismahdollisuudet parhaiten silloin kun he itse osallistuvat arviointivälineiden suunnitteluun ja myös itse arviointiin (Seppänen-Järvelä 2004) vrt. asiakasosallisuus - arviointiosallisuus Kun projektien onnistumista tai epäonnistumista on tutkittu, on havaittu että tärkein syy liittyy siihen, miten kehittämistoiminta tai interventio on toteutettu (Seppänen- Järvelä 2004).
Mitä vaaditaan? 1 Itsearviointi/arviointi Oman toiminnan arviointi on hankkeen normaalia toimintaa. Hankkeelle valitaan sen toimintaa parhaiten tukeva arviointimenetelmä. Arviointi voidaan toteuttaa itsearviointina tai ulkoisena palveluna. Toteutumista ja tuloksia arvioidaan suhteessa hankkeen tavoitteeseen. Arvioinnissa olisi hyvä kuunnella hankehenkilöstön ja ohjausryhmän lisäksi myös yhteistyökumppaneiden ja kohderyhmän edustajia. Arvioinnin pohjalta voidaan tarvittaessa neuvotella rahoittavan viranomaisen kanssa hankkeen uudelleen suuntaamisesta. Tavoitteiden saavuttamisen lisäksi arvioinnin kohteena voi olla esim. ohjausryhmän toiminta viestintä hankkeessa tehdyt toimenpiteet ja niiden laatu hankkeen kehittämän toiminnan jatkuvuus http://www.rakennerahastot.fi/itsearviointi
Mitä vaaditaan? 2 Hankkeen tavoitteiden ja tulosten seuranta Tuensaajalla on velvollisuus raportoida rahoittavalle viranomaiselle hankkeen toimenpiteiden toteutumisesta ja tavoitteiden saavuttamisesta. Toimintaa ja tuloksia kuvaava seurantaraportti laaditaan maksatuskausittain. Raportin toimittaminen ja rahoittavan viranomaisen hyväksyntä ovat tuen maksamisen ehto. Seurantaraportin tulee kuvata selkeästi hankkeen toimintaa ja saavutettuja tuloksia. Raportissa verrataan tuloksia asetettuihin tavoitteisiin ja analysoidaan niiden toteutumista. Loppuraportissa kootaan yhteen koko hankkeen toiminta ja tulokset sekä arvioidaan hankkeen tavoitteiden toteutumista. Lisäksi arvioidaan hankkeen onnistumista ja kerrotaan, kuinka hankkeessa kehitetty toiminta jatkuu hankkeen jälkeen. Raportissa kuvataan rehellisesti hankkeen toteutuksessa kohdatut ongelmat ja tuodaan esille kehittämisehdotukset. Vinkki: Pidä hankesuunnitelma näkyvillä, kun kirjoitat raporttia. Tutustu ajoissa EURA 2014-järjestelmän raportointiohjeisiin. Vinkki: Aloita loppuraportin kirjoittaminen hyvissä ajoin ennen hankkeen päättymistä ja varaa siihen riittävästi aikaa. http://www.rakennerahastot.fi/itsearviointi
Arviointisuunnitelma/Hankehakemus Paikka/pakollisuus? Kts. edellä Hankehakemuksen suunnitelmassa tulee olla hankkeen arviointitoiminnan suuri kuva.jos arviointia varten tarvitaan erillisiä resursseja (henkilötyötunteja, euroja (ostopalvelu) myös tarkempi kuvaus. Arviointisuunnitelma voi edelleen tarkentua hankkeen alussa laadittavassa yksityiskohtaisessa hankesuunnitelmassa Hanke/arviointisuunnitelmassa mietittävä: Mitkä ovat arvioinnin tavoitteet Mitä resursseja arviointiin on käytettävissä? Missä projektin vaiheessa arviointi/arvioinnit tehdään? Onko itsearviointi oikea valinta, vai tulisiko mahdollisesti käyttää (myös) ulkopuolista arviointia? Onko arvioijalla/arvioijilla riittävää arviointiosaamista? Osataanko arviointi kohdistaa oikeisiin asioihin?
Arviointisuunnitelma - itsearviointina ja/tai ulkopuolisena arviointina (vrt. Kivipelto Hankearvioinnin asiat) 1. Hankkeen toimeenpanon arviointi ( projektiryhmän ryhmäytyminen, kohderyhmien tavoittaminen, johtaminen, viestintä, tavoiteura) Ryhmäkeskustelut, johtopäätökset, muutostarpeet, ohjausryhmän arviointi hankkeen toiminnasta Asiakaspalaute, alkumittaukset Toiminnan muutostarpeet, orastavat hyvät käytännöt (asiakkaiden ja sidosryhmien palautteen pohjalta) 2. Hankkeen tuloksellisuuden ja vaikuttavuuden (onnistumisen, hyödyllisyyden jne) arviointi Tuotokset, tulokset, vaikutukset, kustannustarkastelu, hyvät käytännöt, levittäminen Kyselyt yhteistyötahoille, verkostolle Asiakaspalaute, loppumittaukset 3. Arvioinnin johtopäätökset, suositukset
Arviointisuunnitelman tekoa ohjaa esimerkiksi https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeetja-ohjelmat/sokra/arviointi/itsearviointi/syvenna https://www.innokyla.fi/web/malli136470
Sokra tukee arviointien suunnittelua
https://www.thl.fi/fi/tutkimus-jaasiantuntijatyo/hankkeet-ja-ohjelmat/sokra/arviointi Sivulla tietoa asiakasarvioinnista, itsearvioinnista, vertaisarvioinnista ja hyvistä käytännöistä ja työ- ja toimintakyvyn mittareista Sokra tukee erityisesti itse- ja asiakasarviointien tekemistä sekä pyrkii vastaamaan hankekyselyiden (aloittavien TL 5 hankkeiden kyselyt) kautta ilmenneisiin tukitarpeisiin
Hanketukikyselyn tuloksia (Pohjois-Suomi): Miten arviointi hankkeessanne on suunniteltu tehtävän Hankkeen arviointitoimintaa ei ole vielä suunniteltu yksityiskohtaisesti 3 4 Hankkeen arviointia ohjaa tietty arviointipohja 1 Hankkeessa on tarkoitus tehdä ulkoinen arviointi 5 Hankkeessa on tarkoitus tehdä asiakasarviointia 9 3 Hankkeessa on tarkoitus tehdä vertaisarviointia 2 1 Hankkeessa on tarkoitus tehdä itsearviointia 7 4 Hankkeessa on nimetty arvioinnista vastaava henkilö 6 0 2 4 6 8 10 12 14 Kevät 2015 Kevät 2016
Millaista tukea tarvitsette arviointitoimintaanne? Emme tarvitse tukea arviointitoimintaamme 2 Muuta ohjeistusta Tietoa tuloksellisuuden ja vaikutusten arvioinnista 4 Tietoa lupaavista/hyvistä käytännöistä, niiden tunnistamisesta ja levittämisestä 8 6 Opastusta ja välineitä asiakasarviointiin 10 1 Opastusta ja välineitä vertaisarviointiin 4 1 Opastusta ja välineitä itsearviointiin 7 4 0 2 4 6 8 10 12 14 16 Kevät 2015 Kevät 2016
Itsearvioinnin avuksi https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeetja-ohjelmat/sokra/arviointi/itsearviointi/syvenna http://jml.kapsi.fi/jussi/2015/03/24/kartta-kompassikalenteri/ http://www.rakennerahastot.fi/itsearviointi#.v9av-u1-ouk
Asiakasarviointi Asiakasarviointi Asiakasosallisuus tarkoittaa, että asiakas osallistuu aktiivisesti palvelun suunnitteluun, järjestämiseen, tuottamiseen, kehittämiseen ja/tai arviointiin. Asiakkaan osallistumisesta arviointitoimintaan käytetään termiä asiakasarviointi. Asiakas voi osallistua arviointiin koko arviointiprosessin ajan tai olla mukana vain jossakin osassa esimerkiksi loppuarvioinnissa. Tilanteesta riippuen asiakasarviointiin voivat osallistua kaikki asiakkaat tai asiakkaat voidaan valita joidenkin kriteerien perusteella. Toisinaan voi myös olla tarpeen ottaa arviointiin mukaan asiakkaiden lähipiiriin kuuluvia henkilöitä
Asiakasarvioinnin työkaluja https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeetja-ohjelmat/sokra/arviointi/asiakasarviointi/syvenna https://www.innokyla.fi/web/verkosto732383/osallisuuttaja/tai-asiakaslahtoisyytta-tukevia-arvioinnin-tyovalineitatai-menetelmia
Asiakasarvioinnissa tulee muistaa Asiakkaat tulisi ottaa kehitystyöhön mukaan mahdollisimman varhaisessa vaiheessa. Pitkälle edenneessä hankkeessa asiakkailta saatavaa palautetta ei ehkä enää pystytä hyödyntämään kehittämistyössä. (Oksman 2010.) Asiakkaiden tulee tietää tiedonkeruusta. Nauhoitettaviin/videoitaviin keskusteluihin tulee pyytää asiakkaiden lupa, mieluiten kirjallisena. Luottamuksellisuuden säilyttäminen on tärkeää. Vaitiolovelvollisuuteen liittyvät asiat tulee huomioida ja selvittää silloin, jos asiakaspalautteessa tai keskusteluryhmissä tulee esiin asiakkuuksien perusteena olevia tietoja. Palautteen julkisuuteen liittyvät asiat tulee sopia yhdessä etenkin silloin, kun käsitellään henkilökohtaisia kokemuksia. Asiakasraatien ja -foorumeiden, ryhmähaastattelujen jne. ohjaajilta vaaditaan ryhmäohjauskokemusta ja herkkyyttä, vaikka hänen roolinsa itse keskustelussa olisikin vähäinen. Ohjaajan tarkoitus on ohjata keskustelua, mutta ei vaikuttaa sen lopputulokseen. Asiakaspalautteen vastaanotto vaatii taitoa. Palveluista saatu negatiivinen palaute ei ole tarkoitettu kohdistumaan tiettyyn työntekijään, eikä siitä pidä loukkaantua. Toisaalta negatiivista palautetta ei myöskään pidä jättää huomiotta, vaan sen perusteella on mietittävä mahdollisia muutoksia toimintaan
Miten arvioinnissa saadaan eri ryhmien ääni kuuluviin, esimerkiksi nuoret, ikääntyneet työttömät, maahanmuuttajat? Kyselyt ja haastattelut vaikeita, aikaa vieviä, vaativat osaamista Asiakasraati? Hyvä vaihtoehto jos asiantuntemusta käytännön suoritukseen. Osallistuva havainnointi. Etnografiset menetelmät vaativat osaamista. Ryhmähaastattelut. Potentiaalinen vaihtoehto, eri toimijaryhmät fokusryhmät (fokusryhmissä fasilitaattori, kirjuri) Eri ryhmien (fokusryhmien) pohjalta hankkeen toimijat saavat tietoa kehittämistyönsä suunnan oikeellisuudesta, tarvittavista korjausliikkeistä jne. Haaste: tiedon määrä, vaikeasti hallittava, fasilitaattorilta vaaditaan kokemusta, kysymysten oikeaa asettelua ja kykyä kuunnella Kts. Kivipelto ym. 2012
Hankepalaverit arvioinnin välineinä. Tilanne, kun arviointia ei ole suunniteltu, resursseja siihen ei ole osoitettu, mutta sitä pitäisi tehdä. Yksi tapa aloittaa on hankepalaverin yhteydessä. Arviointiin käytettävä tieto kerätään hankepalavereissa työntekijöiltä, myös asiakkailta (esimerkiksi kokouksen alussa) Arvioinnin keskeiset teemat (työmenetelmät, onnistumiset, tiedotus, yhteistyökumppanit jne.) listataan etukäteen Arviointikeskustelun tulokset ja päätökset dokumentoidaan ja käytännön toimenpiteistä sovitaan Tämän jälkeen siirrytään muihin asioihin, asiakkaat jatkavat palaverissa tarpeen mukaan (idea kts. Kivipelto ym.2012)
Arviointi ja mittaaminen Mittari on arviointiväline esimerkiksi laite, kysymyslomake, haastattelu tai työkokous, jolle on laadittu asioiden käsittelysabluuna. Esimerkkinä Kykyviisarin laadinta ja käyttö Suositeltavaa käyttää jo kehitettyjä mittareita, menetelmiä mittaamiseen, jollei mittarin, arviointivälineen kehittäminen ole hankkeen päätavoite Työ- ja toimintakykyvyn mittareita: https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeet-jaohjelmat/sokra/arviointi/mittareita Vaikuttavuus, muutos mitattaessa ennen-interventio-jälkeen
Kykyviisari ja asiakasarviointi Kykyviisari soveltuu työelämän ulkopuolella olevien työja toimintakyvyn arviointiin sekä muutoksen seurantaan. Kykyviisari tukee omaa tilannettaan arvioivan henkilön työ- ja toimintakykyä antamalla henkilökohtaista palautetta ja ehdottamalla jatkotoimia ohjaamalla arvioijaa tai hanketoimijaa tuen antamisessa ja tavoitteiden asettamisessa http://www.ttl.fi/fi/tyoura/kykyviisari/sivut/default.asp Kykyviisari on yksi tapa osoittaa projektin asiakasvaikuttavuutta (mittaus alussa-interventiomittaus lopussa)
Osallisuus ja arviointi? Miten voimme arvioida osallisuutta ja sen mahdollista muutosta hankkeen toimenpiteiden seurauksena Asiasta on vasta kehitteillä mittareita Kykyviisari mittaa erityisesti työ ja toimintakyvyn muutosta, (Kykyviisarin 2. versiossa myös osallisuuteen liittyviä kysymyksiä)
Sokran osallisuuden määrittelystä ja arvioinnista (Anna-Maria Isola) Arvioidakseen osallisuutta on määriteltävä, mitä sillä tarkoitetaan: esimerkiksi mielekkään tekemisen / yhteyksien ja sosiaalisten suhteiden / vaikuttamismahdollisuuksien / työelämämahdollisuuksien lisääntymistä / yksinäisyyden vähentymistä. Nämä on helppo kääntää tavoitteiksi ja edelleen mittareiksi -> esimerkiksi: tavoitteena mielekkään tekemisen lisääntyminen -> kysytään, onko tullut uusia harrastuksia / kokeeko, että päivittäiset tekemiset ovat merkityksellisiä Suhteellisen konkreettisia mittareita on saada tilastojen ulkopuolella olevat ihmiset tilastoihin / toimeentulotuelta työmarkkinatuelle / ihminen ansaitsee kuntoutustuen tai määräaikaisen eläkkeen kylkeen lisäansioita Sokrassa kehitetty kahdeksankysymyksinen osallisuustesti verkkoon. Testin tuloksena saa jonkin suomalaiseen mytologiaan perustuvan osallisuushahmon. https://ot.sangre.fi/osallisuustesti/julkinen
Hyvät käytännöt ja levittäminen Hyvä käytäntö, toimiva toimintatapa, joka voidaan levittää myös muihin konteksteihin Tunnistaminen (osallisuuden kannalta hyvä käytäntö?) https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeet-jaohjelmat/sokra/arviointi/mittareita Miten levitetään https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeetja-ohjelmat/sokra/arviointi/hyvat-kaytannot/siirra Hyvän käytännön levittäminen on myös suunniteltava
Tulokset ja vaikutukset Tuotokset (hankkeen aikana kehitetyt uudet tuotteet, palvelut, mallit, menetelmät, prosessit jne. + hyvät käytännöt ) Tulokset: asiakkaan kannalta, emo-organisaation kannalta, palvelujärjestelmän kannalta Vaikutukset: tavoitteiden kannalta, onnistuminen, hyöty, muutos laadulliset (kyselyt, haastattelut), määrälliset (mittarit, tilastotiedot, hankkeen seurantatiedot ) Kohdistuminen: asiakasvaikutukset, vaikutukset emoorganisaatioon, vaikutukset palvelujärjestelmään, alueelliset vaikutukset, poliittiset vaikutukset, taloudelliset vaikutukset
Asiakasarvioinnista elämänlaatumittarin avulla Voidaan kokeilla myös ns elämänlaatumittaria (RL kehittämä, ei validioitu) asiakasvaikuttavuuden arvioinnissa Mittarin osatekijöitä arvioidaan tietyn intervention, esimerkiksi, luontokuntoutus, palveluohjaus, alussa ja sen päätyttyä, muutos edustaa vaikutusta tutkitussa osatekijässä; positiivinen, negatiivinen muutos, ennallaan pysyminen Osa-alueet ovat: asiakkaan yhteisöllisyys (sosiaaliset suhteet), asiakkaan sosiaaliset taidot, asiakkaan yleinen terveydentila, asiakkaan työvalmius, asiakkaan mahdollisuus tehdä itse omaa elämäänsä koskevia valintoja (voimaantuminen), asiakkaan taloudellinen tilanne, asiakkaan mahdollisuudet työllistyä välityömarkkinoille, asiakkaan mahdollisuudet työllistyä avoimille markkinoille ja (asiakkaan koulutushalukkuus). Elämänlaatua kuvataan mallin perusvaihtoehdossa em. alueilla 5- portaisella Likert-asteikolla, jossa 1 = erittäin huono ja 5 = erittäin hyvä. Joensuu 3.3.2016
Kokemuksia mittarin osa-alueiden muutoksista Keski-Suomessa toteutetuissa elämänlaatumittarikokeilussa huomattiin, että välityömarkkinallisten projektien vaikutukset ovat kohdistuneet eri projekteissa eri seikkoihin ja työllistämispolun eri vaiheisiin. YTT-projektin (TYP-toiminnan kehittäminen Pohjoisessa Keski-Suomessa) asiakkaat olivat pitkäaikaistyöttömiä(yli 500 pv. työttömyyttä), joiden kohdalla elämänlaadun perustekijät kuten sosiaaliset suhteet, taidot ja terveydentila tulisi saattaa kuntoon ennen koulutuksellisia ja työllistämistoimenpiteitä. Tämä tavoite oli tulosten pohjalta onnistunut ja projektin (oletettavasti) palveluohjauksen tuottamat vaikutukset näkyivät myös näiden osa-alueiden muutoksina - lukuun ottamatta terveydentilaa, jonka kohdalla muutos oli valitettavan pieni. TAP-projektin keskeinen tavoite taas liittyy asiakkaiden osaamisen lisääntymiseen ja sitä kautta syntyviin vaikutuksiin. Tulokset osoittivatkin vaikutuksia työttömien asiakkaiden kohdalla tapahtuneen motivaatiotasossa sekä konkreettisissa työllistymismahdollisuuksissa. Näiden voidaan ainakin joltain osin olevan projektin toimenpiteiden (asiakkaiden ohjauksen) vaikutusta. Joensuu 3.3.2016
Arvioinnin parasta toteuttamistapaa ei voida määritellä (vrt Patton 1997) KKkiii