Työpajatoiminnan arviointi Osaamisen kehittämisen kautta työmarkkinoille suuntaavat Välkky-hanke 4.5.
Kysymyksiä arvioinnista Mitä kaikkea pitäisi arvioida? Mikä on järkevää? Mitä kannattaa arvioida? Asiakasarviointi osana näkyvyyttä? Arviointi olemassa olon ostamisena? Johtaako tuettu työllistäminen johonkin? Miten arvioidaan ihmisten tilannetta vuoden kuluttua? Miten arvioidaan kuntouttavan työtoiminnan vaikuttavuutta? Mitä ovat vaihtoehtoiset tulokset? Miten osoitetaan, että toiminnalla on vaikutusta? Indikaattorit? Sosiaalinen kuntoutus? Miten arviointia voi käyttää perusteluna? Arvioinnin työkalut: Asiakkaan arviot? Itsearvointi? Miten pajan sijainti vaikuttaa kriteereihin (verkoston merkitys tuloksiin ja odotuksiin)? Arviointiin vaikuttavuutta? Miten arviointia voi käyttää poliittisen keskustelun välineenä? Esim. Bikva
Sisältö: 1. Johdantoa työpajatoiminnan arviointiin Miksi arvioidaan? Mitä voi arvioida? 2. Arviointi käytännössä Mitä voi arvioida: suunta-arviointimalli Vaikuttavuus-, tulokset-, prosessiarvioinnit Itse-, yhteistoiminnalliset, ulkoiset arvioinnit 3. Arvioinnin käyttö Arviointi prosessin kehittämisenä Arviointi uskottavuuden lisääjänä Arviointi poliittisena vaikuttamisena 4. Yhteenveto
Piirrä kuva omalla pajallasi tapahtuvasta arviointitilanteesta Kuvaan tulee sisältyä - arviointiprosessi, - toivon elementti sekä - ristiriitoja.
Mitä arviointi on? Perusteltujen päätelmien tekemistä toiminnan arvosta Yritys kuvata seurauksia ja vaikutuksia. Mitä työpajajaksolle osallistuneille tapahtuu pajajakson seurauksena? Tuloksellisuuden arviointia. Miten toteutuvat pajajaksolle asetetut tavoitteet? Prosessin sujuvuuden ja tarkoituksenmukaisuuden tutkimista. Teemmekö sitä, mitä lupasimme? Onko tekemisissämme tolkkua? Tehokkuuden ja taloudellisuuden erittelyä. Kustannukset suhteessa hyötyihin? Mitä tämä maksaa? Suhteessa muuhun? Asiakkaiden äänen esille tuomista. Miten pajalaiset kokivat pajajakson? Yhteistyökumppaneiden odotusten esille tuomista. Teemmekö sitä, mitä rahoittajat odottavat? Toiminnan vertaamista muihin. Miten toimimme verrattuna muihin tahoihin?
Vaikuttavuuden arviointi Mitä muutoksia pajajaksoille osallistuneille on tapahtunut pitkällä aika välillä? Millaiset muutokset ovat realistisia? Miten tunnistaa vaikutuksia, jotka eivät ole tiedossa heti? Esim: Työllistyminen Hakeutuminen koulutukseen Toimeentulotukea saavat Muiden sote-palveluiden käyttö: fyysinen ja henkinen kunto Muutokset palveluiden käytössä Oma kokemus hyödyistä: elämän hallinta ja -suunnitelmat
Tuloksellisuuden arviointi Miten toteutuivat pajajaksolle asetetut tavoitteet? Esim: Sopivien henkilöiden rekrytoituminen Henkilökohtaisten suunnitelmien laatiminen Suunnitelmien toteutuminen Pajajakson läpikäyminen Elämänhallintaan liittyvät tavoitteet: säännöllisyys, käyttäytyminen Työntekoon liittyvät tavoitteet Oppimiseen liittyvät tavoitteet
Prosessien arviointi Pajaprosessi: rekrytointi, perehdytys, työskentely, pajajakson päättäminen, eteenpäin polutus Pajalaisten kokemukset toiminnasta Ohjaajien kokemukset Yhteistyökumppaneiden kokemukset Kaikissa prosesseissa on kapeikkoja ja kitkoja, joita poistamalla prosessi paranee (kapeikkoteoria) Toiminnan kehittämisen tarpeet paljastuvat tutkimalla kitkakohtia (kehittävä työntutkimus)
Tehokkuuden ja taloudellisuuden arviointi Kokonaiskustannukset Kustannukset/pajalainen Kustannukset verrattuna muihin pajoihin tai työllistämisen muotoihin, esim. yksilövalmennus, koulutus, työkokeilu, työharjoittelu jne. Kustannukset/tulos, esim. työllistetyt Kustannukset verrattuna vaihtoehtoiseen toimintaa, esim. rikokset Kuka määrittää arvon ja mihin sitä verrataan?
Asiakaslähtöinen arviointi Asiakkaiden kokemukset pajajaksosta Koetut hyödyt Havaitut hyödyt Asiakkaiden itsearviointi
Sidosryhmäarviointi Yhteistyökumppaneiden kokemukset yhteistyöstä Yhteistyökumppaneiden kokemukset prosessista Yhteistyökumppaneiden havainnot tuloksista
Arviointikäytäntöjä Suunta-arviointimalli Vaikuttavuus-, tulokset-, prosessiarvioinnit Itse-, yhteistoiminnalliset, ulkoiset arvioinnit
Suunta-arviointityökalu Suunta on käyttökelpoinen työkalu hankkeen toimintojen suunnitteluun ja arviointiin. Työkalun avulla suunnitelmasta tulee johdonmukaisesti etenevä kokonaisuus, jossa eri osa-alueet ja -toiminnot ovat loogisessa suhteessa keskenään.
Suunnan keskeiset käsitteet Tarve on toiminnan edellytys. Kaikki toiminta perustuu havaittuun tai määriteltyyn tarpeeseen, joka voi tulla ulkopuolisilta tahoilta, kokemuksesta tai nousta teoriasta. Päämäärä on ideaalinen, visiotyyppinen tavoitetila, jota toiminnalla tavoitellaan pitkällä tähtäimellä. Tavoite on päämäärää konkreettisempi. Tavoitteella tuodaan julki niitä seikkoja, joita toiminnalla halutaan saada aikaiseksi. Keinot ovat asioita, joihin keskittymällä pyritään saavuttamaan toiminnalle asetettu tavoite tai tavoitteet (esim. koulutus, vaikuttaminen, tutkimus).
Prosessit ovat keinoihin liittyviä konkreettisia toimia. Tehtävät kuvaavat tarkemmin prosesseihin liittyviä toimia ja voivat olla hyvinkin yksityiskohtaisia ja kokonaisuuteen verrattuna pieniä toimia. Tuotokset ovat eräänlaisia välineellisiä tuloksia, joita prosessien myötä syntyy. Tällaisia ovat esimerkiksi toteutettu tilaisuus tai kirjoitettu julkaisu. Tulosten kautta kuvataan, mitä toiminnalla on saatu aikaan missä määrin on toimittu, kuten oli ajateltu, saatu aikaan se, mitä oli odotettu jne. Vaikutus on muutos, joka seuraa tuotoksista ja tuloksista. Vaikutukset ovat välittömiä ja pitkän aikavälin vaikutuksia. Vaikuttavuus sen sijaan liittyy toimenpiteiden tavoiteltuihin seurauksiin. Toisin sanoen mitkä ovat olleet ne tekijät, joiden muuttumisen kautta päämäärä on voitu saavuttaa. Vaikutusten arvioinnissa tarkastellaan ja osoitetaan muutosta, kun taas vaikuttavuuden arviointi on vaikutusten osuuden osoittamista
Vaikuttavuus-, tulokset-, prosessiarvioinnit Arvioidaanko vaikutuksia, tuloksia vai prosessia? Perustuuko arviointi luottamukseen vai epäluottamukseen? Perustuuko arviointi tarpeeseen säilyttää hyviä käytäntöjä vai tarpeeseen muuttaa?
Luottamus Säilyttäminen Olemassa olevan vahvistaminen Olemassa olevista lähtökohdista prosessien parempi toteuttaminen, sopeutuminen. Uuden etsintään kannustaminen Vahvuuksien vahvistaminen, heikkouksien minimointi, itse tunnistettuihin muutostarpeisiin reagointi, vapaa uuden etsintä Muutos Malliin toteutuksen arviointi Sääntöjen, toimintatavan, laatujärjestelmän tai brändikäsikirjan toteuttaminen.. Epäluottamus Muutokseen painostaminen Ristiriitojen analysointi, muutostarpeiden tunnistaminen..
Esimerkki arvioinnin kriteereistä Tilaajan tarve toiminnan tavoitteet Ratkaisu/tulos Työllistymisen edellytykset Parantaa työllistymisen edellytyksiä Henkilökohtaisen osaamisen ja työmarkkinavalmiuksien nostaminen Työvalmennus Painoarvo = 3 Ammatillinen osaaminen Painoarvo = 2 Sosiaaliset taidot Painoarvo = 1 Työllistää valmentautujia Hankkia tai syventää ammatillisia valmiuksia Hankkia työllistymistä helpottavia lisätaitoja Vahvistaa työyhteisössä toimimisen taitoja Päästä säännölliseen päivärytmiin sisäistää työelämän pelisäännöt Työmarkkinoiden tarpeiden tuntemus ja niihin vastaaminen Ammatillinen valmennus Syventävät ammatillisen osaamisen kurssit Toiminta osana ryhmää valmennuksen aikana Työpajan säännölliset aikataulut ja seurattavat tavoitteet
Itse-, yhteistoiminnalliset, ulkoiset arvioinnit Omasta tarpeesta lähtevät arvioinnit Ulkoisesta tarpeesta lähtevät arvioinnit Itse tehdyt arvioinnit Ulkopuolisen tekemät arvioinnit Yhteistoiminnalliset arvioinnit
Omasta tarpeesta lähtevät arvioinnit Itse toteutetut arvioinnit Esim. itsearvioinnit, vertaisarvioinnit, asiakaspalautteen systemaattinen dokumentointi jne. Esim. konsultatiivinen arviointi, kehittämisverstaat, ulkopuolisen tuella toteutetut arviointiprosessit jne.. Ulkopuoliset arvioinnit Esim. rahoittajan vaatimien tietojen kokoaminen itsearviointina jne. Onnistumisen todistaminen. Legimitointi.. Esim. rahoittajan tilaama tai määräämä ulkoinen arviointi.. Ulkopuolisesta tarpeesta lähtevät arvioinnit
Esimerkki itsearvioinnista Tilaajan kanssa yhteistoimintakeskustelu: odotukset ja asiakasohjaus Alkuhaastattelu ja sen perusteella henkilökohtainen suunnitelma Viikoittainen fiilispalaveri: ryhmäkeskustelu Kouluttajien jaksoarviointi: havainnot suhteessa tavoitteisiin (1/kk) Henkilökohtainen loppuarviointi (keskustelu kouluttajan kanssa) Pajalaisten kanssa yhteinen loppukeskustelu: mitä saimme, mitä muuttaisimme? Nimetön sähköinen kysely Tilaajan kanssa yhteistoimintapalaveri: tulosten läpikäynti, asiakasohjauksen onnistuminen Henkilökunnan kehittämispäivä: havainnot ja tarpeet muutoksiin Seurantahaastattelu (6 kk) puhelimitse
Arvioinnin käyttö Arviointi prosessin kehittämisenä Arviointi uskottavuuden lisääjänä Arviointi poliittisena vaikuttamisena
Tarvekartoitus Seuranta ja analysointi Väliarviointi Arviointi prosessien kehittäjänä Tavoitteet tilaajan kanssa Kartoitus / arviointi Valmennussuunnitelma Edellytyksenä prosessin kuvaaminen Kehitettävien asioiden tunnistaminen vaiheittain Perehdyttäminen Toiminnallinen vaihe Näkökulmia: esim. tavoite, työtavat ja välineet, oma osaaminen, säännöt, resurssit ja johtaminen, työnjaot Loppuarviointi ja palveluohjaus Loppuraportti Tärkeimpien muutettavien asioiden valitseminen
Arviointi uskottavuuden lisääjänä Vaikutusten dokumentointi Tulosten dokumentointi Asiakkaiden kokemien hyötyjen dokumentointi Sidosryhmien kokemien hyötyjen dokumentointi Kustannustehokkuuden dokumentointi Vertailu odotuksiin => Arviointiraportin kokoaminen
Arviointi poliittisena vaikuttamisena Esimerkkinä Bikva = Brygerinddragelse i Kvalitetsvurdering eli asiakkaan osallisuus laadunvarmistajana. 1) Asiakkaiden haastattelu 2) Asiakkaiden kommenttien esittäminen sidosryhmille, näiden kommentit ongelmista 3) Asiakkaiden ja sidosryhmien kommenttien esittäminen henkilökunnalle, tärkeimpien asioiden tunnistaminen 4) Yhteenvedon esittäminen johdolle, tarvittavien johdon toimien linjaaminen 5) Koko yhteenvedon esittäminen poliittisille päättäjille, poliittisten linjausten tarpeen tunnistaminen