Hankearvioinnin monet tavat Oulu 11.10.2016
Arvioinnin määritelmiä on monia Pattonin (1997) mukaan arviointi on systemaattista informaation keräämistä toiminnan toteutuksesta, luonteesta ja vaikutuksista, jotta toiminnan arvo voidaan määritellä, sen vaikuttavuutta voidaan parantaa tai, jotta saadaan tietoa päätöksentekoon tulevaisuuden ratkaisuja varten. Arviointi on prosessi, jossa tarkastellaan systemaattisesti ja objektiivisesti politiikan, ohjelman, hankkeen/projektin tai toimenpiteen merkitystä, tehokkuutta ja vaikutuksia suhteessa niille asetettuihin tavoitteisiin (European Commission 1997).
Arviointi Arvioinnin avulla seurataan ja tehdään tarvittavia täsmennyksiä ja korjausliikkeitä kehittämisprosesseissa. Lisäksi arvioinnin kautta tehdään näkyväksi hankkeen hyvät käytännöt, tulokset ja vaikutukset. Hankkeen vaikutuksia voidaan tarkastella asiakasvaikutuksina, organisatorisina, alueellisina, yhteiskunnallisina, taloudellisina. Prosessiarvioinnissa arviointi toimii ennen kaikkea palautteena ja hankkeen ohjaamisen välineenä, laadun varmistajana. Seppänen-Järvelä, Riitta (2004); Prosessiarviointi kehittämisprojektissa https://www.julkari.fi/bitstream/handle/10024/75862/arviointiraportteja 4_04.pdf?sequence=1
Arviointi voidaan jakaa Itsearviointiin, jossa toiminnan toteutuksesta vastaavat työntekijät itse arvioivat työtään ja muokkaavat tätä varten erilaisia arviointimenettelyjä. Asiakkaat osallistuvat. Ulkoiseen arviointiin, jossa hankkeen ulkopuolinen taho toteuttaa arvioinnin. Prosessiarviointi (hankkeen toiminnan aikainen arviointi) voidaan toteuttaa esimerkiksi itsearviointina/sisäisenä arviointina, tai siinä voi olla tukena jokin ulkopuolinen taho vrt. vertaisarviointi
Havaintoja Kehittämisprojektiin osallistuvat ymmärtävät arvioinnin merkityksen ja hyödyntämismahdollisuudet parhaiten silloin kun he itse osallistuvat arviointivälineiden suunnitteluun ja myös itse arviointiin (Seppänen-Järvelä 2004) vrt. asiakasosallisuus - arviointiosallisuus Kun projektien onnistumista tai epäonnistumista on tutkittu, on havaittu että tärkein syy liittyy siihen, miten kehittämistoiminta tai interventio on toteutettu (Seppänen- Järvelä 2004). (Prosessiarvioinnin merkitys!)
Oulun tilaisuuteen (11.10.2016) osallistuvien hankkeiden arviointitilanne Arviointia ei ole vielä tarkemmin suunniteltu (vasta aloittaneet hankkeet 2-3) Oman toiminnan seuranta ja arviointi. Itsearviointi. (13-15) Seuranta Osallistujamäärät Budjettiseuranta, talouden seuranta Eura-seurantajärjestelmä Työntekijät arvioivat omaa toimintaa (mm. arviointipalaverit) Työntekijät haastattelevat asiakkaita Ohjausryhmän tekemä arviointi (taloudellinen ja toiminnallinen arviointi) Työnjaon toimivuus, osatoteuttajien toiminta Itsearviointia vapaamuotoisin keskusteluin Asiakasarviointi (13-15) Asiakaspalautteet/osallistujapalautteet, kyselyt Asiakkaiden haastattelut (tutkimus?) Toiminnan vaikutus asiakkaisiin (keinot, mittarit) Kykyviisari Elämänlaatumittari Sovari Työ-ja toimintakyvyn mittareita Kehittäjäasiakkaat Asiakkaiden polku palvelujen piiriin Vertaisarviointi (1 hanke)
Minkälaiselle arviointitiedolle teillä olisi käyttöä? (Oulun tilaisuuteen 11.10.osallistuvat) Arviointisuunnitelman teko * Erilaiset helppokäyttöiset asiakaspalautetyökalut, menetelmät (Vuokatin lupaukset)* Hyvät työkalut ja mittarit liittyen osallisuuteen Työkyvyn arvioinnin menetelmiä * Itsearviointitavat (kun ei tehdä asiakastyötä) * Arviointitiedon hyödynnettävyys ja erilaiset tiedonkeruumenetelmät osana hanketyötä Toimivien menetelmien esille saanti valmentavassa työssä Toiminnan vaikuttavuuden arviointi * Hankkeen vaikutusten esille saanti * Kykyviisari * Tutkimustietoa
Projektin aloittamisvaihe/ arviointi Oulu 11.10.2016
Arviointisuunnitelma/Hankehakemus Hankehakemuksessa tulee olla hankkeen arviointitoiminnan suuri kuva. Jos arviointia varten tarvitaan erillisiä resursseja (henkilötyötunteja, euroja (ostopalvelu) myös tarkempi suunnitelma. Arviointisuunnitelma voi edelleen tarkentua hankkeen alussa laadittavassa yksityiskohtaisessa hankesuunnitelmassa Hanke/arviointisuunnitelmassa mietittävä: Mitkä ovat arvioinnin tavoitteet. Miten hanke hyödyntää arvioinnin Hankkeen ja emo-organisaation suhde, tavoitteet. Mitä resursseja arviointiin on käytettävissä? Missä projektin vaiheessa arviointi/arvioinnit tehdään? tuloksia. Onko itsearviointi oikea valinta, vai tulisiko mahdollisesti käyttää (myös) ulkopuolista arviointia? Onko arvioijalla/arvioijilla riittävää arviointiosaamista? Osataanko arviointi kohdistaa oikeisiin asioihin? Miten arviointi dokumentoidaan. Kuinka usein arviointia tehdään, arviointraportit (väliarviointi, loppuarviointi) https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeet-jaohjelmat/sokra/arviointi http://www.soste.fi/media/arvioinnin-tietopankki/suunta_sostepohja.pdf https://www.innokyla.fi/web/malli136470
Arviointi/seuranta - esimerkki Seurannassa tuotetaan ns. neutraalia informaatiota, arvioinnissa siitä tehdään johtopäätöksiä eli tieto suhteutetaan johonkin kriteeriin ja siitä seuraa mahdollisesti joitakin toimenpiteitä. Esimerkki seurantatietoa on asiakasmäärä, arviointi näkökulma vertaa sitä asetettuun kriteeriin, jolloin määrä voidaan arvioida riittäväksi tai riittämättömäksi Vrt. Seppänen-Järvelä 2004
Projektin aloitusvaihe Tarkennettu toimintasuunnitelma, arviointisuunnitelman laadinta http://www.soste.fi/media/arvioinnintietopankki/suunta_sostepohja.pdf http://www.hanketuloskortti.fi/ https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeetja-ohjelmat/sokra/arviointi/itsearviointi https://kampanjat.ray.fi/legacy/files/emmi_mediabank/itse arviointiopas.pdf
Projektin toimeenpanovaihe Oulu 11.10.2016
Projektin toimeenpanovaihe Arviointitiedon keräämistä (oman toiminnan arviointi, tavoiteura) asiakasarviointi (alkumittaukset, erilaiset palautteet, asiakastyytyväisyyskyselyt, haastattelut, sidosryhmäkyselyt, yhteistyötahojen kyselyt, ohryn kyselyt) (Tilanne kun ei ole henkilöasiakkaita!) Johtopäätösten tekemistä arviointien (asiakas, sidosryhmä, hankehenkilöstö, ohry jne.) pohjalta, toiminnan linjausta, prosessien täsmennystä, muutoshakemuksia rahoittajalle, tuotoksia Hyvien, lupaavien käytäntöjen havainnointia, keräystä Tuotoksia Tuloksia Vaikutuksia
Hankepalaverit arvioinnin välineinä. Tilanne, kun arviointia ei ole suunniteltu, resursseja siihen ei ole osoitettu, mutta sitä pitäisi tehdä. Yksi tapa aloittaa on hankepalaverin yhteydessä. Arviointiin käytettävä tieto kerätään hankepalavereissa työntekijöiltä, myös asiakkailta (esimerkiksi kokouksen alussa) Arvioinnin keskeiset teemat (työmenetelmät, onnistumiset, tiedotus, yhteistyökumppanit jne.) listataan etukäteen Arviointikeskustelun tulokset ja päätökset dokumentoidaan ja käytännön toimenpiteistä sovitaan Tämän jälkeen siirrytään muihin asioihin, asiakkaat jatkavat palaverissa tarpeen mukaan (idea kts. Kivipelto ym.2012)
Miten arvioinnissa saadaan eri ryhmien ääni kuuluviin, esimerkiksi nuoret, ikääntyneet työttömät, maahanmuuttajat? Kyselyt ja haastattelut vaikeita, aikaa vieviä, vaativat osaamista Asiakasraati? Hyvä vaihtoehto jos asiantuntemusta käytännön suoritukseen. Osallistuva havainnointi. Etnografiset menetelmät vaativat osaamista. Ryhmähaastattelut. Potentiaalinen vaihtoehto, eri toimijaryhmät fokusryhmät (fokusryhmissä fasilitaattori, kirjuri) Eri ryhmien (fokusryhmien) pohjalta hankkeen toimijat saavat tietoa kehittämistyönsä suunnan oikeellisuudesta, tarvittavista korjausliikkeistä jne. Haaste: tiedon määrä, vaikeasti hallittava, fasilitaattorilta vaaditaan kokemusta, kysymysten oikeaa asettelua ja kykyä kuunnella Kts. Kivipelto ym. 2012
Arviointikyselyt/palautekyselyt Kohderyhmän huomiointi tärkeää, pystyykö vastamaan paperisiin kyselyihin, tarvitaanko avustajaa, hymiöitä Kyselyistä tulee tiedottaa etukäteen Lupa asiakaskyselyjen tekoon tulee olla (organisaatio, kunta jne) Vastaanottajien tulee antaa suostumus kyselyn tulosten käyttöön (nimettömät vastaukset) Jos ei käytetä mittaria, vaikutuksista hyödyistä jne. voidaan kysyä suoraan http://hankkeet.kuntoutussaatio.fi/artsi/wpcontent/uploads/sites/4/2015/06/opas.pdf
Hankkeen vaikutusketjuajattelu Timo Aroa lainaten
Tuotos -määritelmä Tuotokset = hankkeen aikana kehitetyt uudet tuotteet, palvelut, mallit, menetelmät, prosessit jne. + hyvät käytännöt (Timo Aro 2012).
Tulos Tuotokset muuttuvat tuloksiksi vasta sen jälkeen, kun tuotokset otetaan pysyvään käyttöön, niitä hyödynnetään normaalitoiminnassa tai niiden ansiosta on opittu toimimaan uudella tavalla. Tyypillisiä tuloksia ovat uuden oppiminen, vanhan poisoppiminen, innostuminen, motivoituminen, kiinnostuminen, hyödyntäminen. (Timo Aro 2012) Esimerkiksi kiinnostus opiskeluun on lisääntynyt Motivaatio kasvanut työllistymisen suhteen Innostunut osallistumaan taidekursseille myös jatkossa
Hyvä käytäntö (Timo Aro)
Hyvän käytännön ulottuvuuksia
Sokrassa kerätään hyviä käytäntöjä ja ns. osallisuuden palasia Keskeinen tunnusmerkki: asiakkaan vaikutusmahdollisuudet omaan palveluunsa Muut kriteerit? Reijan ja Sakarin esitys.
Vaikutukset ja vaikuttavuus Vaikutukset syntyvät tuotosten ja tulosten yhteisvaikutuksesta. Vaikutukset ilmenevät keskipitkällä ja pitkällä aikavälillä. Vaikutukset voivat olla välittömiä tai välillisiä, ennakoituja tai ennakoimattomia, aiottuja tai ei-aiottuja, taloudellisia, sosiaalisia jne. (Timo Aro 2012) Vaikutus kuvaa toiminnalla saavutettuja muutoksia. (esim. järjestetty koulutus on lisännyt kohderyhmän osaamista tai liikuntaryhmiin osallistuvien henkilöiden paino on laskenut jne. elämänlaadun osatekijät ovat parantuneet) Vaikuttavuus laajempi kuin vaikutus. Luotettava tieto vasta viiveellä, esim projektin päättymisen jälkeen, vuoden kuluttua jne. Perusajatus: vaikuttavuus kuvaa tulosta, vaikutusta ja vaikuttamisen prosessia samalla kertaa silta prosessien ja niiden vaikutusten välillä.
Vaikutusten arviointia ns. perinteisillä aineistonkeruumenetelmillä ENNEN interventio JÄLKEEN Määrällisillä aineiston keruutavoilla: Kyselyt: muutoksia keskiarvoissa ja keskihajonnoissa Mittaukset ja testaukset: tarkastele muutoksia esim. yksilön kunnon parantumisessa (esim. kuntotestaukset) tai lukemisen ja kirjoittamisen oppimisessa (esim. lukitestit) Taloudelliset tunnusluvut Laadullisilla aineiston keruutavoilla: Haastattelut: muutokset kokemuksissa, käytetyissä käsitteissä, Havainnointi: muutokset kokonaisvaltaisessa ilmaisussa (eleet, ilmeet, liikkeet, puheenvuorojen käytössä)
- mittaus ja mittarit- Vaikutuksen todentaminen asiakasvaikutukset Työ- ja toimintakyvyn mittareita https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeetja-ohjelmat/sokra/arviointi/mittareita Elämänlaadun mittareita Sovari http://www.tpy.fi/kehittaminen/laatutyo/laadullinenmittaristo/ Kykyviisari (esitys Kirsi Unkila)
Osallisuus ja arviointi? Miten voimme arvioida osallisuutta ja sen mahdollista muutosta hankkeen toimenpiteiden seurauksena Asiasta on vasta kehitteillä mittareita Kykyviisari mittaa erityisesti työ ja toimintakyvyn muutosta, (Kykyviisarin 2. versiossa myös osallisuuteen liittyviä kysymyksiä)
Sokran osallisuuden määrittelystä ja arvioinnista (Anna-Maria Isola) Arvioidakseen osallisuutta on määriteltävä, mitä sillä tarkoitetaan: esimerkiksi mielekkään tekemisen / yhteyksien ja sosiaalisten suhteiden / vaikuttamismahdollisuuksien / työelämämahdollisuuksien lisääntymistä / yksinäisyyden vähentymistä. Nämä on helppo kääntää tavoitteiksi ja edelleen mittareiksi -> esimerkiksi: tavoitteena mielekkään tekemisen lisääntyminen -> kysytään, onko tullut uusia harrastuksia / kokeeko, että päivittäiset tekemiset ovat merkityksellisiä Suhteellisen konkreettisia mittareita on saada tilastojen ulkopuolella olevat ihmiset tilastoihin / toimeentulotuelta työmarkkinatuelle / ihminen ansaitsee kuntoutustuen tai määräaikaisen eläkkeen kylkeen lisäansioita Sokrassa kehitetty kahdeksankysymyksinen osallisuustesti verkkoon. Testin tuloksena saa jonkin suomalaiseen mytologiaan perustuvan osallisuushahmon. https://ot.sangre.fi/osallisuustesti/julkinen
Asiakasarvioinnista elämänlaatumittarin avulla Voidaan kokeilla myös ns elämänlaatumittaria (RL kehittämä, ei validioitu) asiakasvaikuttavuuden arvioinnissa Mittarin osatekijöitä arvioidaan tietyn intervention, esimerkiksi, luontokuntoutus, palveluohjaus, alussa ja sen päätyttyä, muutos edustaa vaikutusta tutkitussa osatekijässä; positiivinen, negatiivinen muutos, ennallaan pysyminen Osa-alueet ovat: asiakkaan yhteisöllisyys (sosiaaliset suhteet), asiakkaan sosiaaliset taidot, asiakkaan yleinen terveydentila, asiakkaan työvalmius, asiakkaan mahdollisuus tehdä itse omaa elämäänsä koskevia valintoja (voimaantuminen), asiakkaan taloudellinen tilanne, asiakkaan mahdollisuudet työllistyä välityömarkkinoille, asiakkaan mahdollisuudet työllistyä avoimille markkinoille ja (asiakkaan koulutushalukkuus). Elämänlaatua kuvataan mallin perusvaihtoehdossa em. alueilla 5- portaisella Likert-asteikolla, jossa 1 = erittäin huono ja 5 = erittäin hyvä.
Kokemuksia mittarin osa-alueiden muutoksista Keski-Suomessa toteutetuissa elämänlaatumittarikokeilussa huomattiin, että välityömarkkinallisten projektien vaikutukset ovat kohdistuneet eri projekteissa eri seikkoihin ja työllistämispolun eri vaiheisiin. YTT-projektin (TYP-toiminnan kehittäminen Pohjoisessa Keski-Suomessa) asiakkaat olivat pitkäaikaistyöttömiä(yli 500 pv. työttömyyttä), joiden kohdalla elämänlaadun perustekijät kuten sosiaaliset suhteet, taidot ja terveydentila tulisi saattaa kuntoon ennen koulutuksellisia ja työllistämistoimenpiteitä. Tämä tavoite oli tulosten pohjalta onnistunut ja projektin (oletettavasti) palveluohjauksen tuottamat vaikutukset näkyivät myös näiden osa-alueiden muutoksina - lukuun ottamatta terveydentilaa, jonka kohdalla muutos oli pieni. TAP-projektin keskeinen tavoite taas liittyy asiakkaiden osaamisen lisääntymiseen ja sitä kautta syntyviin vaikutuksiin. Tulokset osoittivatkin vaikutuksia työttömien asiakkaiden kohdalla tapahtuneen motivaatiotasossa sekä konkreettisissa työllistymismahdollisuuksissa. Näiden voidaan ainakin joltain osin olevan projektin toimenpiteiden (asiakkaiden ohjauksen) vaikutusta.
Riittääkö mittarin antama tulos? Taustatiedot Asiakas Intervention kuvaus esim. palveluohjaus faktatieto, arvioiva tieto (kts. Seuraavan dian esimerkki) Lisäkysymykset (esim. Green Care vaikuttavat elementit)
Palautekysely: Arvioi seuraavassa palveluohjaukseen liittyviä ominaisuuksia, osaalueita. Arvioi ominaisuutta/osa-aluetta antamalla osa-alueelle kouluarvosana (4-10). (arvosana kaikista, sanallinen arvio asiakkaan niin halutessa). Cc Palveluohjauksen osa-alueet palvelusta tiedottaminen Arvosana (4-10) Sanallinen arvio palveluohjauksessa käytetty tila ilmapiiri palveluohjauksessa palvelupisteen sijainti palveluohjauksen käyttämä parityöskentelyn malli, jossa molemmat palveluohjaajat ovat yhtä aikaa paikalla henkilökohtaisen palvelun riittävyys palveluohjaajan taito kuunnella asiakasta palveluohjaajan taito edistää tilanteesi ratkaisua palveluohjaajan tietämys työllistämiseen/työttömyyteen liittyvistä asioista palveluohjaajan vuorovaikutustaidot (kyky keskustella, kyky ymmärtää asiakkaan tilanne) palveluohjaajan auttamishalukkuus palveluohjaajan joustavuus asian käsittelyssä muut osa-alueet, jotka haluat ottaa esille
Arvioinnin parasta toteuttamistapaa ei voida määritellä (vrt Patton 1997) KKkiii