Arviointipäivä Tampereella

Transkriptio

1 Arviointipäivä Tampereella

2 Arvioinnin määritelmiä on monia Pattonin (1997) mukaan arviointi on systemaattista informaation keräämistä toiminnan toteutuksesta, luonteesta ja vaikutuksista, jotta toiminnan arvo voidaan määritellä, sen vaikuttavuutta voidaan parantaa tai, jotta saadaan tietoa päätöksentekoon tulevaisuuden ratkaisuja varten. Arviointi on prosessi, jossa tarkastellaan systemaattisesti ja objektiivisesti politiikan, ohjelman, hankkeen/projektin tai toimenpiteen merkitystä, tehokkuutta ja vaikutuksia suhteessa niille asetettuihin tavoitteisiin (European Commission 1997).

3 Arviointi voidaan jakaa 1 Ennakkoarviointiin (Esim. ESR-ohjelmien ennakkoarviointi) Formatiiviseen arviointiin Hankkeen aikainen arviointi, kuinka hanketta on toteutettu ja miten sen toimintaa voitaisiin parantaa (prosessiarviointi) Summatiiviseen arviointiin Kohdistuu lopputuloksiin, vaikutuksiin ja vaikuttavuuteen. Formatiivinen ja summatiivinen arviointi täydentävät toisiaan. Pelkkä lopputulosarviointi ilman edes kevyttä prosessiarviointia ei ole suositeltavaa (Seppänen-Järvelä 2004).

4 Arviointi voidaan jakaa 2 Itsearviointiin, jossa toiminnan toteutuksesta vastaavat työntekijät itse arvioivat työtään ja muokkaavat tätä var- ten erilaisia arviointimenettelyjä. Asiakkaat osallistuvat. Ulkoiseen arviointiin, jossa hankkeen ulkopuolinen taho toteuttaa arvioinnin. Prosessiarviointi voidaan toteuttaa esimerkiksi itsearviointina/sisäisenä arviointina, tai siinä voi olla tukena jokin ulkopuolinen taho vrt. vertaisarviointi

5 Arviointikokonaisuus Prosessiarvioinnin avulla seurataan ja tehdään tarvittavia täsmennyksiä ja korjausliikkeitä kehittämisprosesseissa Prosessiarvioinnissa arviointi toimii ennen kaikkea palautteena,hankkeen ohjaamisen välineenä, hankkeen laadun varmistajana. Seppänen-Järvelä, Riitta (2004); Prosessiarviointi kehittämisprojektissa 4_04.pdf?sequence=1 Lisäksi arvioinnin kautta tehdään näkyväksi hankkeen hyvät käytännöt, tulokset ja vaikutukset. Hankkeen vaikutuksia voidaan tarkastella asiakasvaikutuksina, organisatorisina, alueellisina, yhteiskunnallisina, taloudellisina

6 Arviointi/seuranta - esimerkki Seurannassa tuotetaan ns. neutraalia informaatiota, arvioinnissa siitä tehdään johtopäätöksiä eli tieto suhteutetaan johonkin kriteeriin ja siitä seuraa mahdollisesti joitakin toimenpiteitä. Esimerkki seurantatietoa on asiakasmäärä, arviointi näkökulma vertaa sitä asetettuun kriteeriin, jolloin määrä voidaan arvioida riittäväksi tai riittämättömäksi Vrt. Seppänen-Järvelä 2004

7 Miten arviointituloksia hyödynnetään hankkeissa? Esimerkki Sokran Etelä-Suomen aluetilaisuus Arviointityöpaja asiakaskyselyn pohjalta kehitetään mallia kohderyhmäspesifisemmäksi toimivammaksi; kyselyn tuloksista keskustellaan rahoittajan kanssa arviointituloksia hyödynnetään juurruttamisessa, perustellaan tarvetta ja vaikuttavuutta arviointituloksia käytetään koulutuksen kehittämiseen ja räätälöintiin arvioinnin pohjalta hyvien mallien monistus ja levitys Hyvä arviointi on aina kysyntälähtöinen, sitä tarvitaan ja sitä hyödynnetään. Arviointi on perusta onnistuneelle toiminnalle, jolla on mahdollisuudet jatkua myös hankkeen päätyttyä.

8 Havaintoja Kehittämisprojektiin osallistuvat ymmärtävät arvioinnin merkityksen ja hyödyntämismahdollisuudet parhaiten silloin kun he itse osallistuvat arviointivälineiden suunnitteluun ja myös itse arviointiin (Seppänen-Järvelä 2004) vrt. asiakasosallisuus - arviointiosallisuus Kun projektien onnistumista tai epäonnistumista on tutkittu, on havaittu että tärkein syy liittyy siihen, miten kehittämistoiminta tai interventio on toteutettu (Seppänen- Järvelä 2004).

9 Mitä vaaditaan? 1 Itsearviointi/arviointi Oman toiminnan arviointi on hankkeen normaalia toimintaa. Hankkeelle valitaan sen toimintaa parhaiten tukeva arviointimenetelmä. Arviointi voidaan toteuttaa itsearviointina tai ulkoisena palveluna. Toteutumista ja tuloksia arvioidaan suhteessa hankkeen tavoitteeseen. Arvioinnissa olisi hyvä kuunnella hankehenkilöstön ja ohjausryhmän lisäksi myös yhteistyökumppaneiden ja kohderyhmän edustajia. Arvioinnin pohjalta voidaan tarvittaessa neuvotella rahoittavan viranomaisen kanssa hankkeen uudelleen suuntaamisesta. Tavoitteiden saavuttamisen lisäksi arvioinnin kohteena voi olla esim. ohjausryhmän toiminta viestintä hankkeessa tehdyt toimenpiteet ja niiden laatu hankkeen kehittämän toiminnan jatkuvuus

10 Mitä vaaditaan? 2 Hankkeen tavoitteiden ja tulosten seuranta Tuensaajalla on velvollisuus raportoida rahoittavalle viranomaiselle hankkeen toimenpiteiden toteutumisesta ja tavoitteiden saavuttamisesta. Toimintaa ja tuloksia kuvaava seurantaraportti laaditaan maksatuskausittain. Raportin toimittaminen ja rahoittavan viranomaisen hyväksyntä ovat tuen maksamisen ehto. Seurantaraportin tulee kuvata selkeästi hankkeen toimintaa ja saavutettuja tuloksia. Raportissa verrataan tuloksia asetettuihin tavoitteisiin ja analysoidaan niiden toteutumista. Loppuraportissa kootaan yhteen koko hankkeen toiminta ja tulokset sekä arvioidaan hankkeen tavoitteiden toteutumista. Lisäksi arvioidaan hankkeen onnistumista ja kerrotaan, kuinka hankkeessa kehitetty toiminta jatkuu hankkeen jälkeen. Raportissa kuvataan rehellisesti hankkeen toteutuksessa kohdatut ongelmat ja tuodaan esille kehittämisehdotukset. Vinkki: Pidä hankesuunnitelma näkyvillä, kun kirjoitat raporttia. Tutustu ajoissa EURA 2014-järjestelmän raportointiohjeisiin. Vinkki: Aloita loppuraportin kirjoittaminen hyvissä ajoin ennen hankkeen päättymistä ja varaa siihen riittävästi aikaa.

11 Arvioinnin kronologinen eteneminen Arviointisykli/projektisykli Arviointisuunnitel ma

12 Arviointisuunnitelma/Hankehakemus Paikka/pakollisuus? Kts. Edellä (rakennerahastot.fi) Hankehakemuksen suunnitelmassa tulee olla hankkeen arviointitoiminnan suuri kuva.jos arviointia varten tarvitaan erillisiä resursseja (henkilötyötunteja, euroja (ostopalvelu) myös tarkempi kuvaus. Arviointisuunnitelma voi edelleen tarkentua hankkeen alussa laadittavassa yksityiskohtaisessa hankesuunnitelmassa. Hanke/arviointisuunnitelmassa mietittävä: Mitkä ovat arvioinnin tavoitteet Mitä resursseja arviointiin on käytettävissä? Missä projektin vaiheessa arviointi/arvioinnit tehdään? Onko itsearviointi oikea valinta, vai tulisiko mahdollisesti käyttää (myös) ulkopuolista arviointia? Onko arvioijalla/arvioijilla riittävää arviointiosaamista? Osataanko arviointi kohdistaa oikeisiin asioihin?

13 Yksityiskohtaisemmin arviointisuunnitelman tekoa ohjaa esimerkiksi arviointiopas.pdf (oppaassa myös hankesuunnitelman ohje) (toimintasuunnitelma, arviointisuunnitelma)

14 Arviointisuunnitelma - itsearviointina ja/tai ulkopuolisena arviointina (vrt. Kivipelto-Hankearvioinnin asiat) 1. Hankkeen toimeenpanon arviointi ( projektiryhmän ryhmäytyminen, kohderyhmien tavoittaminen, johtaminen, viestintä, tavoiteura) Ryhmäkeskustelut, johtopäätökset, muutostarpeet, ohjausryhmän arviointi hankkeen toiminnasta Asiakaspalaute, alkumittaukset (muutoksen arviointi/mittarit) Toiminnan muutostarpeet, orastavat hyvät käytännöt (asiakkaiden ja sidosryhmien palautteen pohjalta) 2. Hankkeen tuloksellisuuden ja vaikuttavuuden (onnistumisen, hyödyllisyyden jne) arviointi Tuotokset, tulokset, vaikutukset, kustannustarkastelu, hyvät käytännöt, levittäminen, juurruttamisen paikat Kyselyt yhteistyötahoille, verkostolle Asiakaspalaute, loppumittaukset(muutoksen arviointi/mittarit) 3. Arvioinnin johtopäätökset, suositukset

15 Mitä halusin sanoa, muista ainakin nämä Valita arvioinnin vastuuhenkilö Tehdä arviointisuunnitelma (lyhytkin) Konkretisoida arvioinnin toteutus, kuka, miten, milloin (pienikin on kaunista) Tehdä myös oman toiminnan arviointia Valita mittari asiaksvaikutusten arviointiin (Kykyviisari ym.) Dokumentoida arvioinnin tulokset, toimia niiden perusteella, viestiä näistä Ottaa kohderyhmä mukaan arviointiin (asiakkaat, yhteistyökumppanit jne.) Miettiä ja koota hyviä käytäntöjä Arvioida onnistumisia, myös huonot kokemukset Viestiä tuloksista ja vaikutuksista (miten, kenelle) Miettiä miten hankkeen lopettaminen, siirto tehdään, emoorganisaation rooli, juurrutus, mahdollinen vaikuttavuus

16 Sivulla tietoa itsearvioinnista, asiakasarvioinnista, vertaisarvioinnista ja hyvistä käytännöistä ja työ- ja toimintakyvyn mittareista Sokra tukee erityisesti itse- ja asiakasarviointien tekemistä sekä pyrkii vastaamaan hankekyselyiden (aloittavien TL 5 hankkeiden kyselyt) kautta ilmenneisiin sekä myös työpajoissa kohdistettuihin tukitarpeisiin

17 Asiakaskyselyt TL 5 hankkeille Kyselyt 2015 ja 2016 Seuraava kysely 2017 vuoden alussa Sokran arviointiosion toimintaa suunnataan kyselyiden tulosten pohjalta!

18 Miten arviointi hankkeessanne on suunniteltu tehtävän? Vastaukset Länsi- ja Keski-Suomi. Hankkeen arviointitoimintaa ei ole vielä suunniteltu yksityiskohtaisesti 3 3 Hankkeen arviointia ohjaa tietty arviointipohja 3 3 Hankkeessa on tarkoitus tehdä ulkoinen arviointi 2 Hankkeessa on tarkoitus tehdä asiakasarviointia 2 6 Hankkeessa on tarkoitus tehdä itsearviointia (esim. SWOT) 2 4 Hankkeessa on nimetty arvioinnista vastaava henkilö Kevät 2015 Kevät 2016

19 Tarkennuksia Hankkeessa on tarkoitus tehdä itsearviointia o puolivuosittain o säännöllinen arviointi Hankkeessa on tarkoitus tehdä asiakasarviointia o hanketyöntekijät, erilaisia menetelmiä käytetään säännöllisesti o hankkeeseen osallistujien haastattelut o kysely puolivuosittain o kyselylomakkeet Hankkeessa on tarkoitus tehdä ulkoinen arviointi, prosessiarviointina vai loppuarviointina o YAMK opinnäytetyö o Yliopistoyhteistyö Hankkeen arviointia ohjaa tietty arviointipohja alku ja lopettamisvaiheessa tietojenkeruu lomakkeella Keski-Suomen RR-ELYn tuloskortti (2) hankekortti, Tamkin oma ohje

20 Millaista tukea tarvitsette Sokralta arviointiinne liittyen? Vastaukset Länsi- ja Keski-Suomi

21 Miten arviointiin liittyvää tukea ja neuvontaa tulisi jakaa? Länsi- ja Keski-Suomi vastaukset.

22 Tämän arviointipäivän vastaukset. Millaiselle tiedolle arvioinnista hankkeessasi olisi käyttöä? Helpot, käyttökelpoiset mallit, joita voidaan käyttää alahankkeissa ja soveltuvat myös huonosti suomea puhuville. (hymiöt, havainnointi) Rehellisesti sanottuna kaikki arviointi jota olen tähän asti nähnyt/käyttänyt, on perustunut siihen että tehdään rahoittaja näennäisesti tyytyväiseksi. Olisi siis erittäin mielenkiintoista kuulla, jos jossain on pystytty objektiivisesti arvioimaan ihmisten kanssa tehtävän työn vaikuttavuutta; taloudellisesti tai henkisesti. Oma toiminta, taloudellisuus ja toiminnallisuus. (Prosessiarviointi, toimijuus, osallistuva budjetointi)

23 ITSEARVIOINNISTA

24 Itsearvioinnin funktiot nopea ja ajan tasalla oleva tieto hankkeen etenemisestä ennen kaikkea hankkeen vastuuhenkilöiden (johtamisen) työkalu apuna päätöksenteossa (esim. projektisuunnitelman mahdollinen muutostarve) osittain normaalia seurantaa ja raportointia, mutta syvällisempää; toimenpiteiden hyödyt ja vaikutukset arvioidaan myös

25 Milloin itsearviointi tulisi tehdä? Arviointi on hyvä tehdä hankkeen alussa, sovituin välein hankkeen aikana ja hankkeen päättyessä. Ensimmäinen itsearviointi on hyvä tehdä hankkeen alussa, n. 1-2 kuukautta hankkeen alkamisen jälkeen, jotta kaikilla osallisilla on yhteinen näkemys tulevasta toiminnasta. Hankkeen puolivälin arvioinnille hyvä ajankohta voi olla esimerkiksi samaan aikaan väliraportoinnin kanssa, mikäli rahoittaja vaatii väliraportointia. Loppuarviointi voi ajoittua esimerkiksi hankkeen lopputilaisuuden, seminaarin tms.aikoihin. (esim. Björkqvist 2014.)

26 Hankkeen itsearviointi osa projektin toimeenpanoa, projektin apuväline, jonka avulla mm. hankkeen edistymistä asetettuihin tavoitteisiin nähden on mahdollista seurata. Seurantaindikaattoreiden ohella tärkeällä sijalla itsearvioinnissa ovat prosessit (asiakasprosessi, projektinhallintaprosessi, tiedotusprosessi, tuotteistamisprosessi). Arvioijat tulevat yleensä projektin sisäpiiristä (projektipäällikkö, projektin muu henkilöstö, ohjausryhmä, rahoittajan edustajat) Usein voi olla tarpeen ottaa arviointiin mukaan myös kohderyhmän ja tärkeimpien yhteistyökumppaneiden edustus (Sokrassa pidetään tärkeänä, että itsearvioinnissa on mukana asiakasosallisuuden näkökulma) Raportointi emo-organisaatiolle, sidosryhmille, rahoittajille Arviointikysymykset (tukevatko olemassa olevat prosessit projektin tavoitteiden saavuttamista, ovatko valitut keinot oikeita) Resursointi (ongelmallinen, resurssit varattava hankesuunnitelmassa/rahoitussuunnitelmassa), itsearviointi voi helposti jäädä pakollisen seurannan asteelle, arvioinnin tueksi voidaan hankkia myös ulkopuolisia asiantuntijoita (fasilitaattorit) Tuloksien hyödyntäminen (toteutuksen parantuminen, projektinhallinnan parantuminen, hyvien käytäntöjen tunnistaminen) Ongelmat (seurantajärjestelmä, resursointi, vaaleanpunaiset silmälasit, Raija dokumentointi) Lääperi

27 Itsearviointimenetelmä Itsearviointiin on olemassa runsaasti malleja, joista valitaan hankkeen tarpeisiin sopiva. Yksinkertaistaen arvioinnin tavoitteena on tarkastella missä on onnistuttu ja missä on parannettavaa, mitä tavoitellaan ja mitä on saatu aikaan. Näitä arvioidaan toiminnan eri osa-alueilla tarpeiden mukaan. Tarkastelua voidaan tehdä yleisellä tai yksityiskohtaisemmalla tasolla tarpeista ja hankkeen koosta riippuen. KTS:

28 Hankepalaverit arvioinnin välineinä. Tilanne, kun arviointia ei ole suunniteltu, resursseja siihen ei ole osoitettu, mutta sitä pitäisi tehdä. Yksi tapa aloittaa on hankepalaverin yhteydessä. Arviointiin käytettävä tieto kerätään hankepalavereissa työntekijöiltä, myös asiakkailta (esimerkiksi kokouksen alussa) Arvioinnin keskeiset teemat (työmenetelmät, onnistumiset, tiedotus, yhteistyökumppanit jne.) listataan etukäteen Arviointikeskustelun tulokset ja päätökset dokumentoidaan ja käytännön toimenpiteistä sovitaan Tämän jälkeen siirrytään muihin asioihin, asiakkaat jatkavat palaverissa tarpeen mukaan (idea kts. Kivipelto ym.2012)

29 ASIAKASARVIOINTI

30 Asiakasosallisuudesta Asiakasosallisuus tarkoittaa, että asiakas osallistuu aktiivisesti palvelun suunnitteluun, järjestämiseen, tuottamiseen, kehittämiseen ja /tai arviointiin. Asiakasosallisuutta voidaan jaotella seuraavasti:tietoosallisuus, Suunnitteluosallisuus, Päätösosallisuus, Toimintaosallisuus sekä Arviointiosallisuus. (Leemann Lars & Hämäläinen Riitta-Maija 2015.)

31 Asiakasarviointi Asiakasarvioinnissa asiakkaat osallistuvat arviointitoimintaan. Tilanteesta riippuen asiakaspalautetta voidaan kerätä koko asiakaskunnalta tai vastaajat voidaan valita joidenkin kriteerien perusteella. Toisinaan voi myös olla tarpeen ottaa arviointiin mukaan asiakkaiden (vanhukset, kehitysvammaiset, kieltä taitamattomat jne.) lähipiiriin kuuluvia henkilöitä

32 Asiakasarvioinnissa huomioitavaa Asiakkaat tulisi ottaa kehitystyöhön mukaan mahdollisimman varhaisessa vaiheessa. Pitkälle edenneessä hankkeessa asiakkailta saatavaa palautetta ei ehkä enää pystytä hyödyntämään kehittämistyössä. (Oksman 2010.) Asiakkaiden tulee tietää tiedonkeruusta. Nauhoitettaviin/videoitaviin keskusteluihin tulee pyytää asiakkaiden lupa, mieluiten kirjallisena. Luottamuksellisuuden säilyttäminen on tärkeää. Vaitiolovelvollisuuteen liittyvät asiat tulee huomioida ja selvittää silloin, jos asiakaspalautteessa tai keskusteluryhmissä tulee esiin asiakkuuksien perusteena olevia tietoja. Palautteen julkisuuteen liittyvät asiat tulee sopia yhdessä etenkin silloin, kun käsitellään henkilökohtaisia kokemuksia. Asiakasraatien ja -foorumeiden, ryhmähaastattelujen, fokusryhmähaastattelujen jne. ohjaajilta vaaditaan ryhmäohjauskokemusta ja herkkyyttä, vaikka hänen roolinsa itse keskustelussa olisikin vähäinen. Ohjaajan tarkoitus on ohjata keskustelua, mutta ei vaikuttaa sen lopputulokseen. Asiakaspalautteen vastaanotto vaatii taitoa. Palveluista saatu negatiivinen palaute ei ole tarkoitettu kohdistumaan tiettyyn työntekijään, eikä siitä pidä loukkaantua. Toisaalta negatiivista palautetta ei myöskään pidä jättää huomiotta, vaan sen perusteella on mietittävä mahdollisia muutoksia toimintaan.

33 Asiakasarvioinnin menetelmiä 1 Asiakaspalautetta voidaan kerätä mm. haastatteluiden (esim.fokusryhmät), havainnoinnin tai kyselylomakkeiden avulla. Myös erilaisia luovia menetelmiä (esim. kuvallinen ilmaisu) voi käyttää. Asiakaspalautteen keruussa tulee huomioida asiakkaalle luonteva tapa antaa palautetta. Bikva-mallissa asiakkailta kerätään palautetta ryhmähaastattelussa, jossa he kertovat vapaasti näkemyksensä siitä, mikä palvelussa oli hyvää ja mikä huonoa. Joskus voi olla tarpeen käyttää yksilöhaastattelua tai havainnointia, jos asiakkaan tilanne sitä vaatii. (Krogstrup 2004.) Asiakasfoorumeissa voidaan kerätä asiakaskokemuksia monin eri tavoin. Samalla asiakkaat voivat vaihtaa kokemuksia ja tietoa. Asiakasfoorumit voivat olla puolistrukturoituja tai avoimia keskustelutilaisuuksia, joissa asiakkaat saavat kertoa arvionsa kyseessä olevasta palvelusta tai asiasta. Samassa foorumissa voidaan käyttää sekä avointa ryhmäkeskustelua (aiheeseen orientoiva yleiskeskustelu foorumin aiheesta tai varsinainen tiedonkeruu), pienryhmähaastattelua (tarkempi asiakkaiden mielipiteiden keruu) ja lyhyttä lomakekyselyä (taustatietojen keruu). jatkuu

34 Asiakasarvioinnin menetelmiä 2 Asiakasraadit ja käyttäjäneuvostot ovat palveluiden kehittämiseen tähtääviä keskusteluryhmiä, joissa pyritään saamaan asiakkailta sellaista tietoa, jota ei saataisi esimerkiksi kyselyn avulla. Asiakasraateihin osallistuu myös henkilökunnan edustajia. Raatiin osallistuvien asiakkaiden valintaan kiinnitetään huomiota, jotta saatu palaute olisi rehellistä ja monipuolista. Raatiin osallistuvien määrän on kuitenkin oltava hallittavissa. (Oksman2010.) Kyselyssä vastaajalle esitetään täsmällisiä kysymyksiä halutuista aihepiireistä strukturoidussa kyselyssä tai lomakekyselyssä. Lomake voi olla sähköinen tai paperilomake, tai voidaan käyttää rinnakkain molempia. Kokemusasiantuntijuudessa kokemusasiantuntija-asiakas toimii esimerkiksi järjestössä tai julkisen sektorin palveluissa ammattilaisten rinnalla esimerkiksi toiminnan kehittämiseen, arviontiin tai tiedottamiseen liittyvissä tehtävissä (kehittäjä, arvioija, tiedottaja).

35 Tietoa menetelmistä/kansalaisraati Syksyllä 2014 eduskunnan käsittelemässä kuntalakiluonnoksessa kansalaisraati on nimetty yhdeksi keinoksi lisätä kuntalaisten osallistumis- ja vaikuttamismahdollisuuksia

36 Kysely esimerkki: Arvioi seuraavassa palveluohjaukseen liittyviä ominaisuuksia, osa-alueita. Arvioi ominaisuutta/osa-aluetta antamalla osa-alueelle kouluarvosana (4-10). (arvosana kaikista, sanallinen arvio asiakkaan niin halutessa). Cc Palveluohjauksen osa-alueet palvelusta tiedottaminen Arvosana (4-10) Sanallinen arvio palveluohjauksessa käytetty tila ilmapiiri palveluohjauksessa palvelupisteen sijainti palveluohjauksen käyttämä parityöskentelyn malli, jossa molemmat palveluohjaajat ovat yhtä aikaa paikalla henkilökohtaisen palvelun riittävyys palveluohjaajan taito kuunnella asiakasta palveluohjaajan taito edistää tilanteesi ratkaisua palveluohjaajan tietämys työllistämiseen/työttömyyteen liittyvistä asioista palveluohjaajan vuorovaikutustaidot (kyky keskustella, kyky ymmärtää asiakkaan tilanne) palveluohjaajan auttamishalukkuus palveluohjaajan joustavuus asian käsittelyssä muut osa-alueet, jotka haluat ottaa esille

37 Miten arvioinnissa saadaan eri ryhmien ääni kuuluviin, esimerkiksi nuoret, ikääntyneet työttömät, maahanmuuttajat? Kyselyt ja haastattelut vaikeita, aikaa vieviä, vaativat osaamista Asiakasraati? Hyvä vaihtoehto jos asiantuntemusta käytännön suoritukseen. Käytännön suoritus: Tammelin Mia: Kokemuksia sosiaalipalveluista Osallistuva havainnointi. Etnografiset menetelmät vaativat osaamista. (Opiskelijatyönä?) Ryhmähaastattelut. Potentiaalinen vaihtoehto, eri toimijaryhmät fokusryhmät (fokusryhmissä fasilitaattori, kirjuri) Eri ryhmien (fokusryhmien) pohjalta hankkeen toimijat saavat tietoa kehittämistyönsä suunnan oikeellisuudesta, tarvittavista korjausliikkeistä jne. Haaste: tiedon määrä, vaikeasti hallittava, fasilitaattorilta vaaditaan kokemusta, kysymysten oikeaa asettelua ja kykyä kuunnella Kts. Kivipelto ym. 2012

38 Sokran sivuilta löytyy tietoa asiakasarvioinnista: _Pohjanmaa.pdf/9f100d10-66fa-4421-b45a-cab46a7c6f61 Jelli järjestötietopalvelu, asiakasosallisuus Innokylä: Osallisuutta ja asiakaslähtöisyyttä tukevia arviointimenetelmiä Kuntoutussäätiö: Itsearviointia järjestötoimijoille Kokemusasiantuntijuudesta

39 - mittaus ja mittarit- Vaikutuksen todentaminen asiakasvaikutukset Työ- ja toimintakyvyn mittareita Sovari (sosiaalisen vahvistumisen mittari työpajatoimintaan) Kykyviisari

40 Kykyviisari ja asiakasarviointi Kykyviisari soveltuu työelämän ulkopuolella olevien työja toimintakyvyn arviointiin sekä muutoksen seurantaan. Kykyviisari tukee omaa tilannettaan arvioivan henkilön työ- ja toimintakykyä antamalla henkilökohtaista palautetta ja ehdottamalla jatkotoimia ohjaamalla arvioijaa tai hanketoimijaa tuen antamisessa ja tavoitteiden asettamisessa Kykyviisari on yksi tapa tehdä asiakasarviointia ja osoittaa projektin asiakasvaikuttavuutta

41 HANKKEIDEN TUOTOKSIA, TULOKSIA, VAIKUTUKSIA

42 Hankkeen vaikutusketjuajattelu Timo Aroa lainaten

43 Tuotos -määritelmä Tuotokset = hankkeen aikana kehitetyt uudet tuotteet, palvelut, mallit, menetelmät, prosessit jne. + hyvät käytännöt (Timo Aro 2012).

44 Tulos Tuotokset muuttuvat tuloksiksi vasta sen jälkeen, kun tuotokset otetaan pysyvään käyttöön, niitä hyödynnetään normaalitoiminnassa tai niiden ansiosta on opittu toimimaan uudella tavalla. Tyypillisiä tuloksia ovat uuden oppiminen, innostuminen, motivoituminen, kiinnostuminen, hyödyntäminen. (Timo Aro 2012) Esimerkiksi kiinnostus opiskeluun on lisääntynyt Motivaatio kasvanut työllistymisen suhteen Innostunut osallistumaan taidekursseille myös jatkossa

45 Vaikutukset ja vaikuttavuus Vaikutukset syntyvät tuotosten ja tulosten yhteisvaikutuksesta. Vaikutukset ilmenevät keskipitkällä ja pitkällä aikavälillä. Vaikutukset voivat olla välittömiä tai välillisiä, ennakoituja tai ennakoimattomia, aiottuja tai ei-aiottuja, taloudellisia, sosiaalisia, terveydellisiä, poliittisia, yhteiskunnallisia jne. (Timo Aro 2012) Niitä voidaan kuvata paitsi yksilön kannalta myös esimerkiksi hankkeissa työntekijän näkökulmasta, toimintaympäristön kannalta esimerkiksi palvelujärjestelmään kohdistuvina jne. Vaikutus kuvaa toiminnalla saavutettuja muutoksia. (esim. järjestetty koulutus on lisännyt kohderyhmän osaamista tai liikuntaryhmiin osallistuvien henkilöiden paino on laskenut jne. elämänlaadun osatekijät ovat parantuneet, osallisuus on lisääntynyt) Vaikuttavuus laajempi kuin vaikutus. Luotettava tieto vasta viiveellä, esim projektin päättymisen jälkeen, vuoden kuluttua jne. Perusajatus: vaikuttavuus kuvaa tulosta, vaikutusta ja vaikuttamisen prosessia samalla kertaa silta prosessien ja niiden vaikutusten välillä.

46 Vaikutusten arviointia ns. perinteisillä aineistonkeruumenetelmillä ENNEN interventio JÄLKEEN Määrällisillä aineiston keruutavoilla: Kyselyt: muutoksia keskiarvoissa ja keskihajonnoissa Mittaukset ja testaukset: tarkastele muutoksia esim. yksilön kunnon parantumisessa (esim. kuntotestaukset) tai lukemisen ja kirjoittamisen oppimisessa (esim. lukitestit) (kts. mittarit/asiakasvaikuttavuus) Taloudelliset tunnusluvut Laadullisilla aineiston keruutavoilla: Haastattelut: muutokset kokemuksissa, käytetyissä käsitteissä, asiantuntijan havainnoissa Havainnointi: muutokset kokonaisvaltaisessa ilmaisussa (eleet, ilmeet, liikkeet, puheenvuorojen käytössä, toiminnallisuudessa jne.)

47 Sokrassa kerätään osallisuutta lisääviä hyviä käytäntöjä ns. osallisuuden palasia

48 Hyvä käytäntö (Timo Aro)

49 Hyvän käytännön ulottuvuuksia

50 Hyvistä käytännöistä löytyy tietoa

51 Osallisuus tarkoittaa, että Ihminen kokee olevansa merkityksellinen osa kokonaisuutta. Hän tulee kuulluksi itsenään ja vaikuttaa elämänsä kulkuun ja yhteisiin asioihin. Osallisuus edellyttää yhteyttä omiin ja yhteisiin voimavaroihin, joita ovat luottamus ja keskinäinen kunnioitus, toimeentulo, palvelut, tieto, taito, toiminta ja yhteiset merkitykset. Sokran määritelmä osallisuudesta 2016 Hyvinvointia kuntiin osallisuustyöllä kts video

52 Osallisuuden palanen (Isola, A-M 2016) Osallisuutta lisäävä pieni tai iso hyvä käytäntö, esimerkiksi yhteinen toiminta, palvelun osa, vuorovaikutuksen tapa, Jos tavoitteena on esimerkiksi toimijuuden vahvistaminen, mitkä ovat keskeisimmät seikat, jotka saavat ihmisen siirtymään kohderyhmästä toimijaksi? luottamuksellisen suhteen rakentuminen, miten ammattilainen tai vertainen voi auttaa sen rakentumista? voimavarojen lisääntyminen, millä keinoin voidaan auttaa, ihmisen omat voimavarat ihmiselle itselleen näkyviin?

53 Osallisuuden palasten kriteerejä (Isola, A-M 2016) Asiakas vaikuttaa oman palvelunsa sisältöön ja paikkaan. Asiakkaalla mahdollisuus vaikuttaa toiminnan / palvelun ideointiin, suunnitteluun, toteutukseen ja arviointiin. Edistetään yhteisiin asioihin ja yhteiskunnallista vaikuttamista (esimerkiksi pienet paikalliset tai yhteiskunnalliset projektit, asennekampanjat, tapahtumat, flashmobit(1), videotietoiskut ym.) Täyttää paikallisen yhteisön (kylän, korttelin, kunnan, virtuaalisen yhteisön) jonkin sellaisen tarpeen, jota ei pystytä ratkomaan palkkatyömarkkinoilla/tekee palkkatyömarkkinoiden ulkopuolella olevien osaamisen ja panostuksen näkyväksi muiden silmissä (esim. vanhusten ulkoilutus, taide, yhteisten tilojen tekeminen) (1) on tapahtuma, jossa joukko ihmisiä kerääntyy julkiselle paikalle ja tekee ennalta sovittuna ajankohtana jotain odottamatonta. Termi tällaisille tapahtumille syntyi vuonna Tapahtumat suunnitellaan yleensä internetin välityksellä, jossa kerätään osanottajia ja sovitaan aika, paikka ja tehtävä asia. Suomeksi termistä flash mob on käytetty nimeä äkkiryhmä. (Wikipedia)

54 Osallisuuden palasia, osallisuuden käsikirja asikirja_ PAINOON_FINAL_ pdf/9b84ce07-51d4-46d e f

55 Osallisuuden arviointi Palasten yksi kriteeri liittyy siihen, että sen vaikuttavuutta voidaan arvioida (VRT. hyvät käytännöt) jollakin menetelmällä esim. toimintakyvyn muutos, osallisuuden kokemuksen muutos jne. Sokrassa on kehitetty kahdeksan-kysymyksinen osallisuustesti verkkoon. Testin tuloksena saa jonkin suomalaiseen mytologiaan perustuvan osallisuushahmon. Henna esittelee testin!

56 Kiitos! Mukavaa joulun odotusta!