Arviointi hanketyössä. Suunnittelu ja toteutus: työvälineitä ja esimerkkejä
Sokran arviointityö ja aloittavien Keski- ja Länsi- Suomen TL 5 hankkeiden arvioinnin tilaan ja tukeen liittyviä tuloksia (Aloittavien hankkeiden kysely/sokra kesäkuu 2015) Tampere 22.10.2015
Arviointityö Sokrassa Arviointityön tarkoituksena on paitsi tuottaa arviointituloksia Sokra-koordinaatiolle myös välittää tietoa arvioinnista eri tahoille (nettisivut, arviointityöpajat, seminaarit, aluetilaisuudet jne.) Arviointityöhön kuuluu oleellisena osana hankekentän kuuleminen (kolmiportainen kysely hankkeille) ja hankkeisiin liittyvän seurantatiedon perustan luominen Arviointiin liittyvä tuki hankkeille liittyy erityisesti itsearvioinnin ja asiakasarvioinnin tukeen ja opastukseen
Sokra-arvioinnissa ei tehdä hanketason arviointia vaan aktivoidaan hankkeita tekemään itsearviointia ja hankkeiden sisäistä tiedonhankintaa esimerkiksi asiakastyytyväisyyskyselyjä, asiakasraatitoimintaa jne. (vrt.asiakasarviointi). Sokran arviointiin kuuluvien kyselyiden vastausten pohjalta linjataan Sokran toimintaa hankkeisiin päin sekä viestitään myös rahoittajille hankekentän näkemyksistä. Arvioinnin suuntaamisessa pyritään toimimaan siten, että vastataan hankkeiden kysyntään arviointitukeen liittyen.
Perustietoja Keski- ja Länsi-Suomen hankkeista 1 16.10 Keski-Suomen RR-ELY-keskuksen alueella on saanut rahoituksen 15 alueellista hanketta, joista yksi ei käynnistynyt Valtakunnallisista hankkeista Party-, Sosku- ja Tenho-hankkeilla on toimintaa Keski- ja Länsi-Suomen alueella. Party-hankkeen 8 osahanketta ja hallinnoiva hanke Sosku-hankkeen 3 osahanketta Tenho-hankkeen 1 osahanke (ilmoitti kyselyssä toimivansa usealla alueella ja käsiteltiin siksi aiemmin kyselytuloksissa valtakunnallisten hankkeiden kanssa) Party-hankkeen hallinnoiva hanke toimii Länsi-Suomessa On mukana tässä esityksessä, vaikka aiemmassa hankekoonnissa valtakunnalliset hankkeet käsiteltiin erikseen
Perustietoja Keski- ja Länsi-Suomen hankkeista 2 Hankekyselyyn vastasi 4 alueellista hanketta ja 10 valtakunnallisen hankkeen osahanketta Keski- ja Länsi- Suomen alueelta. Osahankkeista 3 oli Soskun, 6 Party-hankkeen osahankkeita ja 1 Tenho-hankkeen osahanke. (Party-hallinnoiva hanke on lisäksi mukana tässä esityksessä) Kaikki alueella toimivat hankkeet, joille kysely lähetettiin, antoivat vastauksen. Vastausprosentti 100! Kahdelle alueella toimivalle osahankkeelle ei vielä lähetetty aloituskyselyä.
Miten arviointi on suunniteltu tehtävän? Hankkeen arviointitoimintaa ei ole vielä suunniteltu yksityiskohtaisesti 3 4 Hankkeen arviointia ohjaa rahoittajan luoma arviointipohja 3 1 Hankkeessa on tarkoitus tehdä ulkoinen arviointi 3 Hankkeessa on tarkoitus tehdä asiakasarviointia 2 2 1 Hankkeessa on tarkoitus tehdä vertaisarviointia 1 1 Hankkeessa on tarkoitus tehdä itsearviointia 2 4 1 Hankkeessa on nimetty arvioinnista vastaava henkilö 2 1 0 1 2 3 4 5 6 7 8 Alueellinen hanke Valtakunnallisen hankkeen osahanke Valtakunnallinen hallinnoiva hanke
Miten arviointi on suunniteltu tehtävän? Vastauksia pyydettiin tarkentamaan. Tarkennuksia olivat: Itsearviointi: Yhteinen suunnitelma Työterveyslaitoksen toteuttamana Vertaisarviointi: Eri paikkakunnat Rauman kaupunki ja Salon kaupunki Asiakasarviointi: Jyväskylän yliopisto. Mobilekysely asiakkaille ja sen laajentaminen Mielipiteet Kykyviisari Ulkoinen arviointi: Yhteistyö Jyväskylän yliopiston kanssa, vaikuttavuuden tutkiminen Nuorisotutkimusseura hoitaa arvioinnin Rahoittajan arviointipohja: Alku- ja lopettamisvaiheessa tietojenkeruu lomakkeella Keski-Suomen RR-ELYn tuloskortti Kykyviisarin käyttö
Millaista tukea ja apua arviointiin tarvitaan? Emme tarvitse tukea arviointitoimintaamme 1 Muuta ohjeistusta 1 Tietoa lupaavista/hyvistä käytännöistä, niiden tunnistamisesta ja levittämisestä 6 1 Opastusta ja välineitä asiakasarviointiin 4 5 Opastusta ja välineitä vertaisarviointiin 1 5 1 Opastusta ja välineitä itsearviointiin 3 7 0 2 4 6 8 10 12 Alueellinen hanke Valtakunnallisen hankkeen osahanke Valtakunnallinen hallinnoiva
Miten arviointiin liittyvää tietoa tulisi jakaa? Muuten Verkkosivujen, hankkeille laadittavan arviointioppaan jne. kautta 4 6 1 Arviointityöpajoissa 1 5 1 Seminaareissa 3 5 0 2 4 6 8 10 12 Alueellinen hanke Valtakunnallisen hankkeen osahanke Valtakunnallinen hallinnoiva
Muita arviointiin liittyviä toiveita Vastaajien oli mahdollista antaa avoin vastaus muista arviointiin liittyvistä toiveista. Vastauksia tuli yksi: Mahdollisuus tarpeen mukaiseen henkilökohtaiseen konsultaatioon
KEHITTÄMISTÄ EI VOI TEHDÄ ILMAN ARVIOINTIA! ( Sokran Etelä-Suomen aluetilaisuuden arviointityöpaja) Tampere 22.10.2015
Arviointisuunnitelma/Hankehakemus Paikka/pakollisuus? Hankehakemus rahoittajalle ei riitä, vaan hankkeen alussa laadittava erillinen arviointisuunnitelma Arviointisuunnitelma voi olla osa hankkeen alussa laadittavaa hankesuunnitelmaa Hankesuunnitelmassa mietittävä: Mitkä ovat arvioinnin tavoitteet? Miksi arvioidaan, kenelle arviointi tehdään? Mitä resursseja arviointiin on käytettävissä? Missä projektin vaiheessa arviointi/arvioinnit tehdään? Onko itsearviointi oikea valinta, vai tulisiko mahdollisesti käyttää (myös) ulkopuolista arviointia? Onko arvioijalla/arvioijilla riittävää arviointiosaamista? Osataanko arviointi kohdistaa oikeisiin asioihin?
Miten arviointituloksia hyödynnetään hankkeissa? Esimerkki Sokran Etelä-Suomen aluetilaisuus Arviointityöpaja asiakaskyselyn pohjalta kehitetään mallia kohderyhmäspesifisemmäksi toimivammaksi; kyselyn tuloksista keskustellaan rahoittajan kanssa arviointituloksia hyödynnetään juurruttamisessa, perustellaan tarvetta ja vaikuttavuutta arviointituloksia käytetään koulutuksen kehittämiseen ja räätälöintiin arvioinnin pohjalta hyvien mallien monistus ja levitys Hyvä arviointi on aina kysyntälähtöinen, sitä tarvitaan ja sitä hyödynnetään
Mitä vaaditaan? 1 Itsearviointi/arviointi Oman toiminnan arviointi on hankkeen normaalia toimintaa. Hankkeelle valitaan sen toimintaa parhaiten tukeva arviointimenetelmä. Arviointi voidaan toteuttaa itsearviointina tai ulkoisena palveluna. Toteutumista ja tuloksia arvioidaan suhteessa hankkeen tavoitteeseen. Arvioinnissa olisi hyvä kuunnella hankehenkilöstön ja ohjausryhmän lisäksi myös yhteistyökumppaneiden ja kohderyhmän edustajia. Arvioinnin pohjalta voidaan tarvittaessa neuvotella rahoittavan viranomaisen kanssa hankkeen uudelleen suuntaamisesta. Tavoitteiden saavuttamisen lisäksi arvioinnin kohteena voi olla esim. ohjausryhmän toiminta viestintä hankkeessa tehdyt toimenpiteet ja niiden laatu hankkeen kehittämän toiminnan jatkuvuus http://www.rakennerahastot.fi/itsearviointi
Mitä vaaditaan? 2 Hankkeen tavoitteiden ja tulosten seuranta Tuensaajalla on velvollisuus raportoida rahoittavalle viranomaiselle hankkeen toimenpiteiden toteutumisesta ja tavoitteiden saavuttamisesta. Toimintaa ja tuloksia kuvaava seurantaraportti laaditaan maksatuskausittain. Raportin toimittaminen ja rahoittavan viranomaisen hyväksyntä ovat tuen maksamisen ehto. Seurantaraportin tulee kuvata selkeästi hankkeen toimintaa ja saavutettuja tuloksia. Raportissa verrataan tuloksia asetettuihin tavoitteisiin ja analysoidaan niiden toteutumista. Loppuraportissa kootaan yhteen koko hankkeen toiminta ja tulokset sekä arvioidaan hankkeen tavoitteiden toteutumista. Lisäksi arvioidaan hankkeen onnistumista ja kerrotaan, kuinka hankkeessa kehitetty toiminta jatkuu hankkeen jälkeen. Raportissa kuvataan rehellisesti hankkeen toteutuksessa kohdatut ongelmat ja tuodaan esille kehittämisehdotukset. Vinkki: Pidä hankesuunnitelma näkyvillä, kun kirjoitat raporttia. Tutustu ajoissa EURA 2014-järjestelmän raportointiohjeisiin. Vinkki: Aloita loppuraportin kirjoittaminen hyvissä ajoin ennen hankkeen päättymistä ja varaa siihen riittävästi aikaa. http://www.rakennerahastot.fi/itsearviointi
Itsearviointi tulisi jossakin laajuudessa sisällyttää jokaisen projektin toimintaan! Tampere 22.10.2015
Itsearvioinnin funktiot nopea ja ajan tasalla oleva tieto hankkeen etenemisestä ennen kaikkea hankkeen vastuuhenkilöiden (johtamisen) työkalu apuna päätöksenteossa (esim. projektisuunnitelman mahdollinen muutostarve) osittain normaalia seurantaa ja raportointia, mutta syvällisempää; toimenpiteiden hyödyt ja vaikutukset arvioidaan myös
Milloin itsearviointi tulisi tehdä? Arviointi on hyvä tehdä hankkeen alussa, sovituin välein hankkeen aikana ja hankkeen päättyessä. Ensimmäinen itsearviointi on hyvä tehdä hankkeen alussa, n. 1-2 kuukautta hankkeen alkamisen jälkeen, jotta kaikilla osallisilla on yhteinen näkemys tulevasta toiminnasta. Hankkeen puolivälin arvioinnille hyvä ajankohta voi olla esimerkiksi samaan aikaan väliraportoinnin kanssa, mikäli rahoittaja vaatii väliraportointia. Loppuarviointi voi ajoittua esimerkiksi hankkeen lopputilaisuuden, seminaarin tms.aikoihin. (esim. Björkqvist 2014.)
Hankkeen itsearviointi osa projektin toimeenpanoa, projektin apuväline, jonka avulla hankkeen edistymistä asetettuihin tavoitteisiin nähden on mahdollista seurata. Seurantaindikaattoreiden ohella tärkeällä sijalla itsearvioinnissa ovat prosessit (asiakasprosessi, projektinhallintaprosessi, tiedotusprosessi, tuotteistamisprosessi). Arvioijat tulevat yleensä projektin sisäpiiristä (projektipäällikkö, projektin muu henkilöstö, ohjausryhmä, rahoittajan edustajat) Usein voi olla tarpeen ottaa arviointiin mukaan myös kohderyhmän ja tärkeimpien yhteistyökumppaneiden edustus (Sokrassa pidetään tärkeänä, että itsearvioinnissa on mukana asiakasosallisuuden näkökulma) Raportointi emo-organisaatiolle, sidosryhmille, rahoittajille Arviointikysymykset (tukevatko olemassa olevat prosessit projektin tavoitteiden saavuttamista, ovatko valitut keinot oikeita) Resursointi (ongelmallinen, resurssit varattava hankesuunnitelmassa/rahoitussuunnitelmassa), itsearviointi voi helposti jäädä pakollisen seurannan asteelle, arvioinnin tueksi voidaan hankkia myös ulkopuolisia asiantuntijoita (fasilitaattorit) Tuloksien hyödyntäminen (toteutuksen parantuminen, projektinhallinnan parantuminen, hyvien käytäntöjen tunnistaminen) Ongelmat (seurantajärjestelmä, resursointi, vaaleanpunaiset silmälasit, Raija dokumentointi) Lääperi
Itsearviointimenetelmä Itsearviointiin on olemassa runsaasti malleja, joista valitaan hankkeen tarpeisiin sopiva. Yksinkertaistaen arvioinnin tavoitteena on tarkastella missä on onnistuttu ja missä on parannettavaa, mitä tavoitellaan ja mitä on saatu aikaan. Näitä arvioidaan toiminnan eri osa-alueilla tarpeiden mukaan. Tarkastelua voidaan tehdä yleisellä tai yksityiskohtaisemmalla tasolla tarpeista ja hankkeen koosta riippuen. (RAY: Itsearviointi Toiminnan kehittämisen välineenä, Björkqvist :Leena Kartta, kompassi kalenteri) Esimerkkejä itsearviointityökaluista (moniste). Itsearvioinnista tietoa (moniste)
Tietoa itsearvioinnista ja sen tekemisestä tulossa Sokran nettisivuille https://www.thl.fi/fi/tutkimus-ja-asiantuntijatyo/hankkeetja-ohjelmat/sokra
Asiakasosallisuudesta Asiakasosallisuus tarkoittaa, että asiakas osallistuu aktiivisesti palvelun suunnitteluun, järjestämiseen, tuottamiseen, kehittämiseen ja /tai arviointiin. Asiakasosallisuutta voidaan jaotella seuraavasti:tietoosallisuus, Suunnitteluosallisuus, Päätösosallisuus, Toimintaosallisuus sekä Arviointiosallisuus, joka tarkoittaa, että palvelusta saadun palautteen kulku päättäjille ja viranomaisille on varmistettu ja että organisaatiolla on valmiudet muuttaa palveluiden rakenteita palautteen pohjalta. (Leemann Lars & Hämäläinen Riitta-Maija 2015.)
Asiakasarviointi Asiakasarvioinnissa asiakkaat osallistuvat arviointitoimintaan. Tilanteesta riippuen asiakaspalautetta voidaan kerätä koko asiakaskunnalta tai vastaajat voidaan valita joidenkin kriteerien perusteella. Toisinaan voi myös olla tarpeen ottaa arviointiin mukaan asiakkaiden (vanhukset, kehitysvammaiset, kieltä taitamattomat jne.) lähipiiriin kuuluvia henkilöitä.
Asiakasarvioinnin malleja 1 Asiakaspalautetta voidaan kerätä mm. haastatteluiden, havainnoinnin tai lomakkeiden avulla. Myös erilaisia luovia menetelmiä (esim. kuvallinen ilmaisu) voi käyttää. Asiakaspalautteen keruussa tulee huomioida asiakkaalle luonteva tapa antaa palautetta. Bikva-mallissa asiakkailta kerätään palautetta ryhmähaastattelussa, jossa he kertovat vapaasti näkemyksensä siitä, mikä palvelussa oli hyvää ja mikä huonoa. Joskus voi olla tarpeen käyttää yksilöhaastattelua tai havainnointia, jos asiakkaan tilanne sitä vaatii. (Krogstrup 2004.) Asiakasfoorumeissa voidaan kerätä asiakaskokemuksia monin eri tavoin. Samalla asiakkaat voivat vaihtaa kokemuksia ja tietoa. Asiakasfoorumit voivat olla puolistrukturoituja tai avoimia keskustelutilaisuuksia, joissa asiakkaat saavat kertoa arvionsa kyseessä olevasta palvelusta tai asiasta. Samassa foorumissa voidaan käyttää sekä avointa ryhmäkeskustelua (aiheeseen orientoiva yleiskeskustelu foorumin aiheesta tai varsinainen tiedonkeruu), pienryhmähaastattelua (tarkempi asiakkaiden mielipiteiden keruu) ja lyhyttä lomakekyselyä (taustatietojen keruu). jatkuu
Asiakasarvioinnin malleja 2 Asiakasraadit ja käyttäjäneuvostot ovat palveluiden kehittämiseen tähtääviä keskusteluryhmiä, joissa pyritään saamaan asiakkailta sellaista tietoa, jota ei saataisi esimerkiksi kyselyn avulla. Asiakasraateihin osallistuu myös henkilökunnan edustajia. Raatiin osallistuvien asiakkaiden valintaan kiinnitetään huomiota, jotta saatu palaute olisi rehellistä ja monipuolista. Raatiin osallistuvien määrän on kuitenkin oltava hallittavissa. (Oksman2010.) Kyselyssä vastaajalle esitetään täsmällisiä kysymyksiä halutuista aihepiireistä strukturoidussa kyselyssä tai lomakekyselyssä. Lomake voi olla sähköinen tai paperilomake, tai voidaan käyttää rinnakkain molempia. Kokemusasiantuntijuudessa kokemusasiantuntija-asiakas toimii esimerkiksi järjestössä tai julkisen sektorin palveluissa ammattilaisten rinnalla esimerkiksi toiminnan kehittämiseen tai tiedottamiseen liittyvissä tehtävissä (kehittäjä, arvioija, tiedottaja).
Asiakasarvioinnissa huomioitavaa Asiakkaat tulisi ottaa kehitystyöhön mukaan mahdollisimman varhaisessa vaiheessa. Pitkälle edenneessä hankkeessa asiakkailta saatavaa palautetta ei ehkä enää pystytä hyödyntämään kehittämistyössä. (Oksman 2010.) Asiakkaiden tulee tietää tiedonkeruusta. Nauhoitettaviin/videoitaviin keskusteluihin tulee pyytää asiakkaiden lupa, mieluiten kirjallisena. Luottamuksellisuuden säilyttäminen on tärkeää. Vaitiolovelvollisuuteen liittyvät asiat tulee huomioida ja selvittää silloin, jos asiakaspalautteessa tai keskusteluryhmissä tulee esiin asiakkuuksien perusteena olevia tietoja. Palautteen julkisuuteen liittyvät asiat tulee sopia yhdessä etenkin silloin, kun käsitellään henkilökohtaisia kokemuksia. Asiakasraatien ja -foorumeiden, ryhmähaastattelujen jne. ohjaajilta vaaditaan ryhmäohjauskokemusta ja herkkyyttä, vaikka hänen roolinsa itse keskustelussa olisikin vähäinen. Ohjaajan tarkoitus on ohjata keskustelua, mutta ei vaikuttaa sen lopputulokseen. Asiakaspalautteen vastaanotto vaatii taitoa. Palveluista saatu negatiivinen palaute ei ole tarkoitettu kohdistumaan tiettyyn työntekijään, eikä siitä pidä loukkaantua. Toisaalta negatiivista palautetta ei myöskään pidä jättää huomiotta, vaan sen perusteella on mietittävä mahdollisia muutoksia toimintaan.
Esimerkkejä Esimerkki asiakasarviointilomakkeesta Innokylä https://www.innokyla.fi/documents/811804/0/liite_19_a_asiakaspalaute _Pohjanmaa.pdf/9f100d10-66fa-4421-b45a-cab46a7c6f61 Jelli järjestötietopalvelu, asiakasosallisuus http://www.jelli.fi/osallisuus/osallisuudentyokalupakki/asiakasosallisuutta-lisaavat-menetelmat/ Innokylä: Osallisuutta ja asiakaslähtöisyyttä tukevia arviointimenetelmiä https://www.innokyla.fi/web/verkosto732383/osallisuutta-ja/taiasiakaslahtoisyytta-tukevia-arvioinnin-tyovalineita-tai-menetelmia Tietoa asiakasarvioinnista tulossa Sokran nettisivuille!
Kykyviisari ja asiakasarviointi Kykyviisari soveltuu työelämän ulkopuolella olevien työja toimintakyvyn arviointiin sekä muutoksen seurantaan. Kykyviisari tukee omaa tilannettaan arvioivan henkilön työ- ja toimintakykyä antamalla henkilökohtaista palautetta ja ehdottamalla jatkotoimia ohjaamalla arvioijaa tai hanketoimijaa tuen antamisessa ja tavoitteiden asettamisessa http://www.ttl.fi/fi/tyoura/kykyviisari/sivut/default.asp Kykyviisari on siis yksi tapa osoittaa projektin asiakasvaikuttavuutta
KIITOS! Kuva:http://www.keventajat.fi