Hankearvioinnin monet kasvot
Arvioinnin määritelmiä on monia Pattonin (1997) mukaan arviointi on systemaattista informaation keräämistä toiminnan toteutuksesta, luonteesta ja vaikutuksista, jotta toiminnan arvo voidaan määritellä, sen vaikuttavuutta voidaan parantaa tai, jotta saadaan tietoa päätöksentekoon tulevaisuuden ratkaisuja varten. Arviointi on prosessi, jossa tarkastellaan systemaattisesti ja objektiivisesti politiikan, ohjelman, hankkeen/projektin tai toimenpiteen merkitystä, tehokkuutta ja vaikutuksia suhteessa niille asetettuihin tavoitteisiin (European Commission 1997).
Arviointi Arvioinnin avulla seurataan ja tehdään tarvittavia täsmennyksiä ja korjausliikkeitä kehittämisprosesseissa Lisäksi arvioinnin kautta tehdään näkyväksi hankkeen hyvät käytännöt, tulokset ja vaikutukset. Hankkeen vaikutuksia voidaan tarkastella asiakasvaikutuksina, organisatorisina, alueellisina, yhteiskunnallisina. Prosessiarvioinnissa arviointi toimii ennen kaikkea palautteena ja hankkeen ohjaamisen välineenä. Seppänen-Järvelä, Riitta (2004); Prosessiarviointi kehittämisprojektissa https://www.julkari.fi/bitstream/handle/10024/75862/arviointiraportteja 4_04.pdf?sequence=1
Arviointi/seuranta - esimerkki Seurannassa tuotetaan ns. neutraalia informaatiota, arvioinnissa siitä tehdään johtopäätöksiä eli tieto suhteutetaan johonkin kriteeriin ja siitä seuraa mahdollisesti joitakin toimenpiteitä. Esimerkki seurantatietoa on asiakasmäärä, arviointi näkökulma vertaa sitä asetettuun kriteeriin, jolloin määrä voidaan arvioida riittäväksi tai riittämättömäksi Vrt. Seppänen-Järvelä 2004
Arviointi voidaan jakaa 1 Ennakkoarviointiin (Esim. ESR-ohjelmien ennakkoarviointi) Formatiiviseen arviointiin Hankkeen aikainen arviointi, kuinka hanketta on toteutettu ja miten sen toimintaa voitaisiin parantaa Summatiiviseen arviointiin Kohdistuu lopputuloksiin, vaikutuksiin ja vaikuttavuuteen. Formatiivinen ja summatiivinen arviointi täydentävät toisiaan. Pelkkä lopputulosarviointi ilman edes kevyttä prosessiarviointia ei ole suositeltavaa (Seppänen-Järvelä 2004).
Arviointi voidaan jakaa 2 Itsearviointiin, jossa toiminnan toteutuksesta vastaavat työntekijät itse arvioivat työtään ja muokkaavat tätä var- ten erilaisia arviointimenettelyjä. Ulkoiseen arviointiin, jossa hankkeen ulkopuolinen taho toteuttaa arvioinnin Prosessiarviointi voidaan toteuttaa esimerkiksi itsearviointina/sisäisenä arviointina, tai siinä voi olla tukena jokin ulkopuolinen taho vrt. vertaisarviointi
Havaintoja Kehittämisprojektiin osallistuvat ymmärtävät arvioinnin merkityksen ja hyödyntämismahdollisuudet parhaiten silloin kun he itse osallistuvat arviointivälineiden suunnitteluun ja myös itse arviointiin (Seppänen-Järvelä 2004) vrt. asiakasosallisuus - arviointiosallisuus Kun projektien onnistumista tai epäonnistumista on tutkittu, on havaittu että tärkein syy liittyy siihen, miten kehittämistoiminta tai interventio on toteutettu (Seppänen- Järvelä 2004). Kts. Seuraava dia
Arvioinnin toteutus: hankkeen alussa tulisi laatia erillinen arviointisuunnitelma, jos arviointia ei ole sisällytetty hankesuunnitelmaan Arviointisuunnitelma voi olla osa hankkeen alussa laadittavaa tarkennettua hankesuunnitelmaa Hanke/arviointisuunnitelmassa mietittävä: Mitkä ovat arvioinnin tavoitteet Mitä resursseja arviointiin on käytettävissä? Missä projektin vaiheessa arviointi/arvioinnit tehdään? Onko itsearviointi oikea valinta, vai tulisiko mahdollisesti käyttää (myös) ulkopuolista arviointia? Onko arvioijalla/arvioijilla riittävää arviointiosaamista? Osataanko arviointi kohdistaa oikeisiin asioihin? Suunnitelmassa tulee olla sekä formatiivinen osuus että myös summatiivinen osuus
Arviointi voi kohdistua Hankkeeseen kokonaisuutena, kokonaisarviointi,hanke osana toimintaympäristöä Hankkeen tiettyihin osiin: tarvitaan rajauksia jotta arvioinnista tulee hallittava Työllistämishankkeissa arvioinnin kohteita voivat olla esimerkiksi kokeillut työllistämistoimet, työhön kuntoutus, tuetun työllistämisen asiakasnäkökulma tai hyödyt. Arviointi voi kohdistua toimintamuotoihin, työkäytäntöihin, prosesseihin ja palvelurakenteisiin (Kokko, Riitta-Liisa 2013) Arviointi voi kohdistua myös tiettyyn teemaan, esimerkiksi ESR-toiminnassa arvioitavia teemoja/horisontaalisia periaatteita ovat sukupuolten tasa-arvo, kestävä kehitys, yhdenvertaisuus
Arviointiin vaikuttavat mm. Kuka on arvioinnin tilaaja (rahoittaja, alueellinen organisaatio, projekti) Saatavilla oleva aineisto Arvioinnin ajankohta Resurssit (rahallinen panostus, arviointiosaaminen) Yleisohjeena voidaan pitää, että valitaan aina sellainen asetelma joka vastaa parhaiten tilaajaorganisaation tiedontarvetta ja on kokonaistaloudellisesti järkevin suhteessa tiedontarpeeseen (Virtanen, Uusikylä (2002)
Arviointisuunnitelma - itsearviointina ja/tai ulkopuolisena arviointina (vrt. Kivipelto Hankearvioinnin asiat) 1. Hankkeen toimeenpanon arviointi ( projektiryhmän ryhmäytyminen, kohderyhmien tavoittaminen, tavoiteura) Itsearviointi, ryhmäkeskustelut, johtopäätökset, muutostarpeet, ohjausryhmän arviointi hankkeen toiminnasta Asiakaspalaute, alkumittaukset Toiminnan muutostarpeet, orastavat hyvät käytännöt (asiakkaiden ja sidosryhmien palautteen pohjalta) 2. Hankkeen tuloksellisuuden ja vaikuttavuuden (onnistumisen, hyödyllisyyden jne) arviointi tuotokset, tulokset, vaikutukset, kustannustarkastelu, hyvät käytännöt,levittäminen Itsearviointi Kyselyt yhteistyötahoille, verkostolle Asiakaspalaute, loppumittaukset 3. Arvioinnin johtopäätökset, suositukset
Mitä vaaditaan? Itsearviointi/arviointi Oman toiminnan arviointi on hankkeen normaalia toimintaa. Hankkeelle valitaan sen toimintaa parhaiten tukeva arviointimenetelmä. Arviointi voidaan toteuttaa itsearviointina tai ulkoisena palveluna. Toteutumista ja tuloksia arvioidaan suhteessa hankkeen tavoitteeseen. Arvioinnissa olisi hyvä kuunnella hankehenkilöstön ja ohjausryhmän lisäksi myös yhteistyökumppaneiden ja kohderyhmän edustajia. Arvioinnin pohjalta voidaan tarvittaessa neuvotella rahoittavan viranomaisen kanssa hankkeen uudelleen suuntaamisesta. Tavoitteiden saavuttamisen lisäksi arvioinnin kohteena voi olla esim. ohjausryhmän toiminta viestintä hankkeessa tehdyt toimenpiteet ja niiden laatu hankkeen kehittämän toiminnan jatkuvuus http://www.rakennerahastot.fi/itsearviointi
Sokran arviointitoiminnasta
Sokra-arvioinnissa ei tehdä hanketason arviointia vaan aktivoidaan hankkeita tekemään itsearviointia ja esimerkiksi asiakastyytyväisyyskyselyjä, asiakasraatitoimintaa jne. (vrt.asiakasarviointi) Korostetaan arvioinnin suunnittelun dokumentaation ja hyödyn ymmärryksen merkitystä Korostetaan hankkeen arviointitoiminnan suuntaamista hankkeen resurssien mukaan pienikin voi olla kaunista Sokran arvioinnin suuntaamisessa pyritään toimimaan siten, että vastataan hankkeiden kysyntään arviointitukeen liittyen.
Aloittavien TL5 hankkeiden kysely (kesäkuu2015) Miten arviointi hankkeessanne on suunniteltu tehtävän? Hankkeen arviointitoimintaa ei ole vielä suunniteltu yksityiskohtaisesti 16 11 3 Hankkeen arviointia ohjaa rahoittajan luoma arviointipohja 5 1 Hankkeessa on tarkoitus tehdä ulkoinen arviointi 7 4 Hankkeessa on tarkoitus tehdä asiakasarviointia 20 6 4 Hankkeessa on tarkoitus tehdä vertaisarviointia 3 4 1 Hankkeessa on tarkoitus tehdä itsearviointia 19 8 5 Hankkeessa on nimetty arvioinnista vastava henkilö 16 5 3 0 5 10 15 20 25 30 35 Alueelliset Osahankkeet Valtakunnalliset
Millaista arviointiin liittyvää tukea Sokralta toivotaan Millaista tukea tarvitsette Sokralta arviointiinne liittyen? Emme tarvitse tukea arviointitoimintaamme 3 2 1 Muuta ohjeistusta 2 1 Tietoa lupaavista/hyvistä käytännöistä, niiden tunnistamisesta ja levittämisestä 21 11 4 Opastusta ja välineitä asiakasarviointiin 23 11 3 Opastusta ja välineitä vertaisarviointiin 6 10 2 Opastusta ja välineitä itsearviointiin 20 13 2 0 5 10 15 20 25 30 35 40 Alueelliset Osahankkeet Valtakunnalliset
Sokralta toivotun arviointituen kanavat Miten arviointiin liittyvää tukea ja neuvontaa tulisi jakaa? Muuten 1 1 Verkkosivujen, hankkeille laadittavan arviointioppaan jne. kautta 31 13 4 Arviointityöpajoissa 16 11 4 Seminaareissa 18 10 2 0 10 20 30 40 50 60 Alueelliset Osahankkeet Valtakunnalliset
https://www.thl.fi/fi/tutkimus-jaasiantuntijatyo/hankkeet-ja-ohjelmat/sokra/arviointi Sivulla tietoa asiakasarvioinnista, itsearvioinnista ja hyvistä käytännöistä Asiakasarviointi Asiakasosallisuus tarkoittaa, että asiakas osallistuu aktiivisesti palvelun suunnitteluun, järjestämiseen, tuottamiseen, kehittämiseen ja/tai arviointiin. Asiakkaan osallistumisesta arviointitoimintaan käytetään termiä asiakasarviointi. Asiakas voi osallistua arviointiin koko arviointiprosessin ajan tai olla mukana vain jossakin osassa esimerkiksi loppuarvioinnissa. Tilanteesta riippuen asiakasarviointiin voivat osallistua kaikki asiakkaat tai asiakkaat voidaan valita joidenkin kriteerien perusteella. Toisinaan voi myös olla tarpeen ottaa arviointiin mukaan asiakkaiden lähipiiriin kuuluvia henkilöitä.
Arvioinnin arkea, pinnalla, tilannekuvia
Arviointi ja mittaaminen Mittari on arviointiväline esimerkiksi laite, kysymyslomake, haastattelu tai työkokous, jolle on laadittu asioiden käsittelysabluuna. Esimerkkinä Kykyviisarin laadinta ja käyttö laatijana Solmu-hanke. Kykyviisari on kehitteillä oleva menetelmä, jonka avulla voi arvioida työelämän ulkopuolella olevan työikäisen työ- ja toimintakykyä. Sen avulla voi seurata myös, miten työ- ja toimintakyky muuttuvat vrt. vaikuttavuus Sokran aloittavien hankkeiden kyselyssä asiakasarviointimenetelmiä mainittiin nimeltä mm. Goal(http://www.thl.fi/toimia/tietokanta/mittariversio/150/) ESY (https://www.innokyla.fi/web/malli2668140 ) Suositeltavaa käyttää jo kehitettyjä mittareita, menetelmiä mittaamiseen, jollei mittarin, arviointivälineen kehittäminen ole hankkeen päätavoite
Hankepalaverit arvioinnin välineinä. Tilanne, kun arviointia ei ole suunniteltu, resursseja siihen ei ole osoitettu, mutta sitä pitäisi tehdä. Yksi tapa aloittaa on hankepalaverin yhteydessä. Arviointiin käytettävä tieto kerätään hankepalavereissa työntekijöiltä, myös asiakkailta (esimerkiksi kokouksen alussa) Arvioinnin keskeiset teemat (työmenetelmät, onnistumiset, tiedotus, yhteistyökumppanit jne.) listataan etukäteen Arviointikeskustelun tulokset ja päätökset dokumentoidaan ja käytännön toimenpiteistä sovitaan Tämän jälkeen siirrytään muihin asioihin, asiakkaat jatkavat palaverissa tarpeen mukaan (idea kts. Kivipelto ym.2012)
Miten arvioinnissa saadaan eri ryhmien ääni kuuluviin, esimerkiksi nuoret, ikääntyneet työttömät, maahanmuuttajat? Kyselyt ja haastattelut vaikeita, aikaa vieviä, vaativat osaamista Asiakasraati? Hyvä vaihtoehto jos asiantuntemusta käytännön suoritukseen. Osallistuva havainnointi. Etnografiset menetelmät vaativat osaamista. Ryhmähaastattelut. Potentiaalinen vaihtoehto, eri toimijaryhmät fokusryhmät (fokusryhmissä fasilitaattori, kirjuri) Eri ryhmien (fokusryhmien) pohjalta hankkeen toimijat saavat tietoa kehittämistyönsä suunnan oikeellisuudesta, tarvittavista korjausliikkeistä jne. Haaste: tiedon määrä, vaikeasti hallittava, fasilitaattorilta vaaditaan kokemusta, kysymysten oikeaa asettelua ja kykyä kuunnella Kts. Kivipelto ym. 2012
Arvioinnin parasta toteuttamistapaa ei voida määritellä (vrt Patton 1997) KKkiii