Arviointi oman toiminnan kehittämisen tukena

Arviointi oman toiminnan kehittämisen tukena Mikko Henriksson & Outi Linnolahti Arviointi asumisen tukityön tukena -koulutustilaisuus 11.3.2016 1

Ohjelma 9:30-11 Arviointi oman toiminnan kehittämisen tukena Miksi arviointia? Arvioinnin kohdistaminen 11-12 lounas 12-13:30 ARTSI-projektin työkalut Palautteenkeruuseen Itsearviointiin Arviointitiedon hyödyntämiseen 13.30 kahvi 2

Kuntoutussäätiö kuntoutuksen suunnannäyttäjä: Yleishyödyllinen organisaatio, saamme toimintaamme avustusta mm. Raha-automaattiyhdistykseltä. Tehtävämme on edistää kestävää työtä ja toimintakykyä sekä vahvistaa kansalaisyhteiskuntaa. Autamme haastavassa elämäntilanteessa olevia kuntoutumaan työhön ja vahvistamaan elämänhallintaa omien voimavarojensa avulla. Teemme kuntoutuksen kehitystyötä kaupunkiympäristössä Helsingin Malminkartanossa. Asiantuntijaorganisaatiossamme työskentelee 80 ammattilaista. 3

Kuntoutussäätiö kuntoutuksen suunnannäyttäjä: Tähtäämme kuntoutuksen Living Labiksi, kuntoutusjärjestelmän konkreettiseksi uudistajaksi ja uudistumisen välineiden tuottajaksi koko Suomelle. Living Labissa yhdistyvät palvelut kuntoutujaasiakkaillemme ja kehittämistyö. Tuotamme työ-, opiskelu- ja toimintakykyä edistäviä kuntoutuspalveluja. Tutkimuksemme on käytäntölähtöistä. Tuotamme tietoa ja käytäntöjä työ- ja toimintakyvyn sekä elämänhallinnan parantamiseksi. Tiedolla vaikuttaminen koskettaa kaikkea toimintamme. 4

ARTSI-projektin taustaa: Arviointi pienissä sosiaali- ja terveysalan järjestöissä Sosiaali- ja terveysalan järjestöissä arviointikäytännöt ovat hyvin vaihtelevia. On järjestöjä, joissa arvioiva ajattelu ja toiminnan kehittäminen saadun palautteen perusteella tapahtuu luontevasti ja vähäeleisesti. Joillakin järjestöillä on käytössä erilaisia palautteen keräämisen menetelmiä, mutta kerätyn palautteen kunnollinen hyödyntäminen voi jäädä tekemättä. Kehittämiskohteita monesti tunnistetaan, mutta henkilöstö turhautuu kun asiat jäävät roikkumaan. 5

ARTSI-projektin taustaa: Arviointi pienissä sosiaali- ja terveysalan järjestöissä Palautelomakkeita suunniteltaessa on erityisen tärkeää huomioida palautteen analysointiin käytössä olevat resurssit. Itsearvioinnin toteuttamisessa kohdatut ongelmat näyttävät liittyvän useimmiten resurssien, osaamisen sekä riittävän helppokäyttöisen itsearviointimallin puutteeseen. Toiminnan kuvaaminen ja toimintojen auki kirjoittaminen on ollut joillekin järjestöille tarpeen. Tällä tavoin on jäsennetty paremmin järjestön tavoitteet ja se, mitä toimenpiteitä tavoitteisiin pääseminen vaatii. 6

ARTSI Arviointi ja tiedon tuottaminen systemaattiseksi sosiaali- ja terveysalojen järjestöihin 2013 2016 Tavoitteena on 1) vahvistaa järjestöjen oman toiminnan systemaattista kehittämistä ja 2) luoda valmiudet toiminnan tuloksia ja vaikutuksia koskevan tiedon keräämiseen. Tehdään RAY:n linjausten mukaisesti Näin vahvistetaan sosiaali- ja terveysjärjestöjen toimintaedellytyksiä ja toiminnan vaikuttavuutta! 7

ARTSI: Arviointi ja tiedon tuottaminen systemaattiseksi sosiaali- ja terveysalojen järjestöihin 2013 2016 Tavoitteet tarkennettuna: luodaan kohdejärjestöille niiden tarpeista lähtevät mallit ja työkalut itsearviointiin sekä tuloksia ja vaikutuksia koskevan seurantatiedon tuottamiseen. integroidaan arvioiva ajattelu ja toimintatavat kiinteäksi osaksi kohdejärjestöjen toimintaa. arviointikäytäntöjä ja arviointitiedon hyödyntämistä koskevan tietouden lisääminen yleisemmin sosiaali- ja terveysalan järjestöjen keskuudessa. 8

ARTSI-projekti Kohderyhmä Pienet, maksimissaan 10 hengen järjestöt, jotka kaipaavat tukea oman toimintansa arviointiin ja seurantatiedon tuottamiseen. Vuosina 2013 2016 kolme kehittämiskierrosta, mukana yhteensä 34 kohdejärjestöä. Muille kuin ARTSI-projektissa mukana oleville järjestöille tarjotaan tukea internetissä olevien arvioinnin työkalujen ja mallien, sekä itsearviointioppaan avulla. Lisäksi osallistutaan ja esiinnytään järjestöille ja arviointiin liittyvissä tapahtumissa. 9

10 Miksi arviointia?

Miksi arviointia? 1 Toiminnanohjaus ja koordinointi 11 Toimintojen hahmottaminen suhteessa tavoitteisiin ja resursseihin 2 Oman toiminnan kehittäminen Haasteet, onnistumiset, kehittämisideat Tavoitteet Toimintaympäristö, muutosten hallinta ja työyhteisön kehittäminen Tarvelähtöisyys Strategiset valinnat 3 Tuloksellisuustieto Tulokset, vaikutukset, vaikuttavuus

Miksi arviointia? 1 Toiminnanohjaus ja koordinointi Jäsentymättömät tai epärealistiset tavoitteet Pilkotaan tavoitteet osatavoitteiksi ja toimenpiteiksi sekä määritellään vastuut. Tarkastellaan toimintamuotojen ja tavoitteiden välisiä suhteita ARTSI:n toiminnankuvaus-työkalu Toiminnan rajaus Toimenpiteiden aikatauluttaminen ja mahdollisten välitavoitteiden asettaminen. Henkilöstövaihdoksiin varautuminen Saavutettu tietotaito häviää, joudutaan aloittamaan alusta. Arviointia tehtäessä tulee myös samalla dokumentoitua tehtyä työtä, joka helpottaa mm. henkilöstövaihdostilanteissa. 12

Miksi arviointia? 2 Oman toiminnan kehittäminen Muutokset toiminnassa Toimintaa ohjaava (uusi) uskomus tai hyvä käytäntö Toiminnan kriittinen tarkastelu Elinvoimainen järjestö tarkastelee toimintaansa ja toimintaympäristöään kriittisesti jatkuvasti ja tekee tarvittavia muutoksia toimintaan. 13

Miksi arviointia? 2 Oman toiminnan kehittäminen Muutosten tuottaminen ja hallinta Työyhteisöiltä edellytetään yhä enemmän oppimista, innovatiivisuutta ja kykyä sekä uudistua että sopeutua muutoksiin. Yhteinen perustehtävä: Kehittämistyön jatkuvuus ja muutosten onnistuminen ovat viime kädessä kiinni paitsi johdon, myös työntekijöiden sitoutumisesta.* Kehittämistyö osana arkea ei tapahdu itsestään, vaan edellyttää pitkäjänteistä ja systemaattista toimintaa, selkeästi määriteltyjä kehittämisvastuita ja koordinointia. Työyhteisön on varattava riittävästi aikaa ja tilaa yhteiselle työn tarkastelulle, keskustelulle ja kehittämistoimien toteuttamiselle (Vataja 2012) 14 *Vataja, Katri (2012): Kehittyvä työyhteisö - Itsearvioinnin hyödyntäminen työyhteisön kehittämisessä kunnallisessa sosiaalitoimessa THL 2012 Tutkimus: 86/2012

Miksi arviointia? 2 Oman toiminnan kehittäminen Haasteet, onnistumiset, kehittämisideat (SWOT vs. tulevaisuusorientaatio) Organisaatioiden ja työyhteisöjen muutostyö* Palveluprosessien kehittäminen* Työmenetelmien kehittäminen* Verkoston toiminnan tai vuorovaikutuksen kehittäminen* Toiminnan tarvelähtöisyys: palautteen kerääminen toiminnan kohderyhmiltä ja sen analysointi ja hyödyntäminen. Strategiset valinnat ja tulevaisuusorientaatio 15 *Mitä on kehittävä arviointi ja mitä hyötyä siitä on? Riitta Seppänen-Järvelä VTT, dos. Kelan tutkimusosasto. SAYFES 2013.

Näkökulmia arviointiin 16 Seppänen-Järvelä & Vataja (toim.) Työyhteisö uusille urille. Kehittäminen osaksi arjen työtä. PS-kustannus, 2009

Miksi arviointia? 2 Oman toiminnan kehittäminen Thinking evaluatively arvioivalla työotteella voi olla pysyvämpiä vaikutuksia, kuin vain ko. arvioinnin tulosten esiin tuomisella. Arvioinnin löydösten elämänkaari saattaa olla verrattain lyhyt. Löydösten tai tulosten relevanssi ja etenkin käytännön sovellettavuus voi muuttuvassa maailmassa olla hyvin lyhytaikainen. Sitä vastoin arvioivan työotteen omaksumisella voi olla jatkuva vaikutus ajattelutapaan, kokeilu- ja kehittämismyönteisyyteen ja ylipäätään tapaan nähdä asiat osana erilaisista prosesseista muodostuvaa kokonaisuutta. 17 Michael Quinn Patton (2002): A Vision of Evaluation that Strengthens Democracy. EvaluationVol 8(1): 125 139

Miksi arviointia? 3 Tuloksellisuustieto Velvoite osoittaa, mitä seurauksia asiakkaille / kohderyhmälle on tehdystä työstä. Tehdä vapaaehtoisille näkyväksi työnsä tulokset. Tiedollinen mielenkiinto: tieto on itsessään arvokasta Rahoittajat haluavat tietää, saavutettiinko rahoitetulla toiminnalla ne tavoitteet joihin rahaa oli myönnetty. tulokset, vaikutukset, vaikuttavuus 18

Vaikutukset ja vaikuttavuus mistä puhutaan? 19

Vaikuttavuuden vaade nyky-yhteiskunnassa Terveydenhuollossa vaikuttavuudella tarkoitetaan lääkkeellä tai muulla terveydenhuollon menetelmällä aikaansaatua muutosta henkilön terveydentilassa tai elämänlaadussa normaaliolosuhteissa. Poliittinen kenttä ja virkamieskoneisto janoavat todennettua tietoa ja kustannustehokkaita toimia. Vähitellen on omaksuttu vaikuttavuuden mittaamiseen tähtäävä puhetapa. Järjestötoiminnan tuloksellisuudesta ovat rahoittajan lisäksi kiinnostuneita myös järjestön kohderyhmä, jäsenet sekä yhteistyökumppanit ja sidosryhmät. 20 Leena Tervonen-Gonçalves & Eriikka Oinonen (2014): Vaikuttavuuden vaade ja vaikutelmien politiikka. Tapausesimerkkinä terveyden edistäminen. Yhteiskuntapolitiikka 5/2014.

Vaikutukset ja vaikuttavuus mistä puhutaan? Vaikutuksilla tarkoitetaan saavutettuja tavoitteiden mukaisia yksittäisiä muutoksia. On tärkeää hahmotella jo etukäteen oletettuja vaikutuksia ja tuloksia, joita kohti toiminnalla pyritään Vaikuttavuutta syntyy kun saavutetaan pidemmällä aikavälillä kokonaistavoitteen mukaisia tuloksia. Tavoitteen määrittely yleisemmällä tasolla 21

22 Lähde: Jukka Uitti: Mitä uutta HTTK oppaassa 23.10.2013

Toimenpiteiden ja vaikutusten välisten suhteiden moninaisuus 23

Vaikutukset ja vaikuttavuus mistä puhutaan? Vaikuttavuuden todentamiseen keskittyvän tieteellisen tutkimuksen tekeminen on haastavaa, aikaa vievää ja usein käyttömahdollisuuksiltaan rajallista. ARTSI-projektissa on ohjeistettu pieniä järjestöjä keskittymään tavoitteisiin ja sisältöihin nähden mielekkääseen tapaan selvittää ja osoittaa vaikutuksia ja vaikuttavuutta. Tällöin on olennaista pyrkiä: Realistiseen tavoitteen asetantaan Moninäkökulmaiseen palautteenkeruuseen Relevantteihin mittareihin Konkreettisiin näyttöihin Arviointitieto on arvokasta silloin kuin siitä on käytännön hyötyä tiedon 24 tuottajalle, sen tilaajalle ja sen kohteelle!

Outcome management Jo toiminnan suunnitteluvaiheessa tulee kiinnittää erityistä huomiota siihen, minkälaisia, ja missä muodossa olevia tuloksia tavoitellaan ja seurataan näiden toteutumista. Poliittisesta vaikuttavuus-puheesta tekoihin: Projektien ja järjestöjen johtajien täytyy suunnitella ja johtaa toiminnot siten, että osallistujat ovat merkityksellisillä tavoilla kytköksissä organisaation arvioinnin prosesseihin. Kun oletetut vaikutukset ja tulokset on selkeästi määritelty, niiden tavoittelu ylipäätään mahdollistuu! Vaikutusten hallinnointiin liittyy tietysti olennaisena osana toimintojen mittaaminen ja seuranta. 25 Key Steps in Outcome Management. Series on Outcome Management for Nonprofit Organizations. The Urban Institute.

Arvioinnin kohdistaminen

Arvioinnin kohdistaminen Panokset Prosessi (politiikka, ohjelma, hanke) Tuotokset Toimintaedellytykset Tarvelähtöisyys Tarkoituksenmukaisuus Koherenssi Toiminnan sisältö ja toteutus Strategialähtöisyys Henkiset voimavarat Kumppanuudet Toimintaprosessit Toiminnan tulokset ja vaikutukset Aiotut vs. ei-aiotut Välittömät vs. välilliset Positiiviset vs. negatiiviset 27 Mukaillen: Virtanen, Petri (2007) Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Helsinki: Edita Prima Oy

Arvioinnin kohdistaminen Arvioinnin kohde tarkoitus arviointikysymykset aineisto hyödynnettävyys Suunnitteluun kannattaa varata riittävästi aikaa ja resursseja! Henkilöstön sitouttaminen jo suunnitteluvaiheeseen! Arviointisuunnitelma tuo tehdyt valinnat näkyväksi. 28

Arvioinnin kohdistaminen Arvioinnin kohteita voi järjestöllä olla esimerkiksi: järjestöjen tarpeet ja tavoitteet, strategiat, resurssit, prosessit, tulokset, vaikutukset tai merkitykset Mitä toiminnan tavoitteen toteutumiseen ja oman toiminnan kehittämiseen liittyviä tiedontarpeita järjestössä on? Arvioinnin painopisteet voivat vaihdella vuosittain tarpeen mukaan. On tärkeä pohtia ja päättää, mitä asioita arvioidaan, minkä arvioiminen kehittää toimintaa (painopiste keskeisissä teemoissa/sisältöalueissa). 29

Arvioinnin kohdistaminen Mitä tietoja tarvitsemme rahoittajalle raportointia varten? Mitkä ovat ne järjestön tai projektin toiminnan kannalta oletetut vaikutukset, joiden toteutumista ryhdytään seuraamaan. Mitä tuloksia ja tunnuslukuja seurataan? Arvioinnin myötä tulee myös näkyväksi se, vastaako järjestön toiminta kirjattuja tavoitteita. Arvioinnin toteuttajan tulisi tunnistaa erilaisten arvojen vaikutus arvioinnin kohteeseen liittyen sekä hahmottaa kaikki asiaan vaikuttavat intressit arvioinnin suunnittelussa. 30 Patton M (2002): A Vision of Evaluation that Strengthens Democracy. Evaluation Vol 8(1): 125 139

Itsearviointi ja siihen läheisesti kytkeytyvät arvioinnin traditiot 31

Arvioinnin lähestymistapoja Toimintaan ja prosessiin kohdistuva arviointi (formatiivinen arviointi) Lopputulokseen kohdistuva arviointi (summatiivinen arviointi) Kehittävä arviointi Tulee tavoitteiltaan lähelle formatiivista arviointia, mutta lisäksi siinä nähdään tärkeänä toimijoiden laaja osallistaminen arviointiin ja toiminnan kehittämiseen alusta alkaen. 32 Patton, M.Q. (2011) Developmental evaluation: Applying complexity concepts to enhance innovation and use. New York, NY: Guilford

Kehittävä arviointi Arviointi on kehittävää silloin, kun se pitää sisällään tiedon tuottamisen lisäksi toiminnan aktiivisen kehittämisen. Kehittävässä arvioinnissa tuetaan arvioinnin kohdetta tavoitteiden toteuttamisessa ja kehittämistyössä eri tavoin, ja arvioinnin tuloksia hyödynnetään jo arviointiprosessin aikana. Kritiikkiä: Monessa mielessä houkutteleva näkökulma, mutta sisältää myös ongelmia: -mitä seuraa tilanteesta, jossa vain tutkimuksen tilaajat katsotaan keskeiseksi viiteryhmäksi. Johtaako tilanteeseen, jossa evaluaatioita tehdään vain yhteiskunnan hyväosaisten eduista lähtien. (Rajavaara, 1999) -Arvioinnin on hyvä ottaa huomioon yhteiskunnan laajempi etu, mitä se sitten onkaan. 33 Virtanen, Petri (2007) Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Helsinki: Edita Prima Oy. Rajavaara, Marketta (1999) Arviointitutkimuksen hyödynnettävyys. Teoksessa Arviointi ja asiantuntijuus, toimittajat Risto Eräsaari, Tuija Lindqvist, Mikko Mäntysaari, Marketta Rajavaara. Gaudeamus

Arviointitiedon käytettävyys Metodit Arvioinnin tuottama tieto 34 Arvioinnin traditiot

Käyttäjälähtöinen arviointi (Utilization-Focused Evaluation) Arvioinnin onnistuneisuutta pitäisi tarkastella sen suhteen, kuinka käyttökelpoista arviointitieto on. Arvioinnit tulisi suunnittella ja toteuttaa huolellisesti pitäen mielessä se, kuinka tehdyt valinnat vaikuttavat siihen, miten arviointitieto tulee olemaan hyödynnettävissä. Arviointitiedon käytettävyys: Kuinka relevantteja arviointilöydökset ovat reaalimaailmassa? Tuleeko tieto käyttöön? Mitä arviointiprosessista on mahdollisesti opittu? Käyttäjälähtöisen arvioinnin check-list*. 35 *Utilization-Focused Evaluation (U-FE) Checklist [Michael Patton 2002 & 2013] Myös muita check-listoja ym., esim: Key Evaluation Checklist (KEC) (Michael Scriven)

Valtaistava arviointi (David M. Fetterman: Empowerment Evaluation) Arvioinnin lähestymistapa joka pyrkii lisäämään projektien/ohjelmien/organisaatioiden onnistumisen todennäköisyyttä a) tarjoamalla projektien/ohjelmien tekijöille työkalut itsearvioinnin suunnitteluun ja toteutukseen & b) valtavirtaistaa arviointi osaksi projektin/ohjelman suunnittelua ja johtamista 36 Lähde: David M. Fetterman workshop 11/2015, Evaluation 2015 konferenssi, AEA.

Valtaistava arviointi (David M. Fetterman: Empowerment Evaluation) Arvioinnin tekijän tehtävänä on antaa arvioinnin kohteelle välineitä itsensä arviointiin. Arvioinnin kohteet määrittelevät arvioinnin kriteerit ja arvioinnissa sovellettavat tutkimusmenetelmät. Tällöin arvioinnin tekijä toimii käytännössä arvioitavasta kohteesta muodostuvan yhteisön valmentajana. Arviointien hyödynnettävyys kasvaa, kun arvioinnin kohteena oleva toimijajoukko saa vaikuttaa arviointiprosessin kulkuun ja lopputulokseen. Kritiikkiä: menetelmällinen yksinkertaisuus, tulosten luotettavuus ja arvioinnin tekijän roolin epämääräisyys. 37 Lähde: Petri Virtanen (2007): Arviointi

38 Itsearviointi

Itsearviointi Tässä yhteydessä itsearvioinnilla tarkoitetaan järjestön itsensä toteuttamaa oman toiminnan arviointia. Tavoitteena saada perusteltuja näkemyksiä siitä, miten toiminnassa ja sen organisoinnissa on onnistuttu, miten toimintaa tulisi edelleen kehittää ja minkälaisia tuloksia toiminnalla on saatu aikaan. Järjestön koko toiminta tulisi aina suhteuttaa siihen, mikä on toiminnalle määritelty tavoite. Arvioinnin myötä pyritään tekemään näkyväksi se, onko järjestön toiminta vastannut tavoitteita. Toiminnan toteuttaja vastaa itsearvioinnin tulosten hyödyntämisestä, vaikka itsearviointiprosessia olisi tukenut ulkopuolinen taho. 39

Kysymyksiä ja vastauksia itsearvioinnista Kuka vetää itsearvioinnin? Itsearvioinnin voi toteuttaa itse tai tukea sen toteutukseen voi saada palveluntarjoajilta (=tuettu itsearviointi). Joka tapauksessa jonkun tahon täytyy fasilitoida prosessi. Miten itsearviointi viedään läpi? Arviointi toteutetaan etukäteen sovitun mallin, työskentelytavan ja aikataulun mukaisesti. Tähän vastaa esim. ARTSI-opas! On hyvä käydä edes pintapuolisesti läpi eri arvioinnin viitekehyksiä. 40

Kysymyksiä ja vastauksia itsearvioinnista Voiko itsearviointi olla luotettavaa? Itsearviointi ei voi koskaan olla täysin neutraalia tai objektiivista, koska siihen heijastuvat aina tekijöiden arvot, asenteet ja tausta. Toisaalta itsearvioinnin tekijät tuntevat yleensä kohteensa paremmin kuin ulkoisen arvioinnin tekijät, jolloin tulosten ja kehittämisajatusten juurruttaminen on usein helpompaa. itsearvioinnin ja ulkoisen arvioinnin toteuttamiselle eri perusteet! 41

Arviointi yksistään ei riitä, arvioinnin tuottaman tiedon lisäksi on tärkeää tietää miten arviointitietoa käytetään. Tämä tarkoittaa erilaisia opittavia ajattelumalleja: Arviointitiedon oikeellisuutta ja paikkansapitävyyttä täytyy arvioida. On pohdittava arvioinnin esiin nostamia vastakkainasetteluja ja epäjohdonmukaisuuksia. Arvoja täytyy käsitellä. Löydöksiä täytyy tulkita ja tutkia oletuksia. 42

Miten toiminnan kompastuskiviin voidaan puuttua arvioinnilla? Itsearvioinnin puuttuminen Arkityössä on hankala pysähtyä ja tarkastella omaa työtä kokonaisuutena, ellei siihen ole ennalta sovittu formaattia ja ajankohtaa. Yhteistyökumppaneiden sitouttamisen ja motivoinnin vaikeus Lähimpiä sidosryhmiä voidaan osallistaa arviointiin tai arviointituloksia voidaan hyödyntää sitouttamisessa. Yhteistyökumppaneiden sitouttamisen kautta toiminnan vaikuttavuus ja hyödyt lisääntyvät merkittävästi. 43

Itsearviointi ja organisaation oppiminen On jatkuva prosessi, joka on integroitu osaksi arkea ja jossa hyödynnetään toiminnan prosesseja ja vaikutuksia koskevaa tietoa. On prosessi, jossa organisaation jäsenet jakavat ja vastaanottavat tietoa ja tulevat tietoisiksi toistensa arvoista, havainnoista ja osaamisesta. Organisaation oppimisen ja itsearvioinnin kautta on myös mahdollista tuoda näkyväksi henkilöstön hiljaista tietoa. 44

Richard Hummelbrunner: Learning, Systems Concepts and Values in Evaluation: Proposal for an Exploratory Framework to Improve Coherence. DS Bulletin Volume 46 Number 1 January 2015, ks. Myös https://csl4d.wordpress.com/2015/02/16/impact-evaluation-innovation-and-systemic-learning/ Arvioinnin ja oppimisen kolme tasoa 45

Itsearviointi ja organisaation oppiminen I Taso Arviointi keskittyy onnistumiseen tavoitteenmukaisissa toimenpiteissä Arviointi löytää lyhyen aikavälin ratkaisuja rajattuihin ongelmiin. Arviointi liikkuu oireiden tasolla ja ongelmia käsitellään usein irrallisina. Vain niitä korjaavia vaihtoehtoja pohditaan, joka ovat yhtäpitäviä lähtökohtaisten oletusten kanssa. Mikäli muita tasoja ei tarkastella, jää pohtimatta se, mikä strategia toimii paremmin kuin toinen olosuhteiden muuttuessa. Seurauksena toistuvat rutiinit jotka estävät tason II oppimisen. 46 Richard Hummelbrunner: Learning, Systems Concepts and Values in Evaluation: Proposal for an Exploratory Framework to Improve Coherence. DS Bulletin Volume 46 Number 1 January 2015, ks. Myös https://csl4d.wordpress.com/2015/02/16/impact-evaluation-innovation-and-systemic-learning/

Itsearviointi ja organisaation oppiminen II Taso II Taso Arviointi keskittyy syihin mahdollisen tuloksettomuuden taustalla, poikkeamassa tavoitteista. Nykyisten toimenpiteiden säännöt ja tavat asetetaan kriittiseen tarkasteluun. Vaihtoehtojen tarkastelu ylettyy siis nykyisiä toimenpiteitä laajemmalle. Voidaan tarkastella kriittisesti tavoitteita ja niiden määrittelyä. Pohditaan olivatko tavoitteet realistisia ja mitä olisi voitu tehdä poikkeamille. III Taso III Taso Arviointi keskittyy oppimisen tapaan ja mekanismeihin Eli arvioidaan sitä, miten toiminnassa käsitellään ongelmia ja selviydytään toimintaympäristöä koskevista muutoksista. Learning to learn, jotta voitaisiin paremmin käsitellä jatkossa ongelmatilanteita. Arvioinnin kohteena mentaaliset mallit, joiden mukaan tulkitaan palautetta. Richard Hummelbrunner: Learning, Systems Concepts and Values in Evaluation: Proposal for an Exploratory Framework to Improve Coherence. DS Bulletin Volume 46 Number 1 January 2015, ks. Myös https://csl4d.wordpress.com/2015/02/16/impact-evaluation-innovation-and-systemic-learning/ 47

Itsearviointi ja organisaation oppiminen I tason arviointi soveltuu tilanteisiin, joissa arvioidaan poikkeamia tavoitteista, virheitä ja erehdyksiä, tai hyviä käytäntöjä. II arviointia voidaan tarvita mikäli arvioidaan eri näkökulmista, pyritään sovittelemaan eri lähtökohtia ja arvoja. III tason arviointia tarvitaan kompleksisissa tilanteissa, joissa esiintyy paljon epävarmuutta ja erimielisyyksiä, tällöin täytyy arvioinnin kohteeksi ottaa käyttäytymismallit ja valtasuhteet. 48 Richard Hummelbrunner: Learning, Systems Concepts and Values in Evaluation: Proposal for an Exploratory Framework to Improve Coherence. DS Bulletin Volume 46 Number 1 January 2015, ks. Myös https://csl4d.wordpress.com/2015/02/16/impact-evaluation-innovation-and-systemic-learning/

Itsearviointi ja organisaation oppiminen Usein voi olla tilanteita, joissa käytössä oleva teoria / ajatus toimienpiteistä ja niiden tuloksellisuudesta nojaa I tason oppimiseen siinä missä arvioitsija kaipaisi II tason oppimista: eli avoimuutta tavoitteiden kriittisessä tarkastelussa ja lähtökohtaoletusten tutkimisessa. Tietoisuus oppimisen kolmesta tasosta voi auttaa tässä tilanteessa. Tasolla I käsitellään toimenpiteiden ja niiden tulosten välisiä suhteita, II tasolla erilaisia näkökulmia, ja taso III koskee tilanteita, joissa arvioidaan oppimismekanismeja. 49 Richard Hummelbrunner: Learning, Systems Concepts and Values in Evaluation: Proposal for an Exploratory Framework to Improve Coherence. DS Bulletin Volume 46 Number 1 January 2015, ks. Myös https://csl4d.wordpress.com/2015/02/16/impact-evaluation-innovation-and-systemic-learning/

Miten varmistaa arvioinnin laatu? Arviointikulttuurien monimuotoisuus asettaa haasteen laatukriteerien määrittämiselle: mikä on laatua arvioinnissa, tieteellisyys vaiko käyttöarvo?* Selkeä työnjako ja vastuut: jokainen tietää oman tehtävän ja roolin sekä merkityksen kokonaisuuden kannalta. Osa omaa työtä, ei erillinen kokonaisuus.# Huolehdi siitä, että toiminnankohderyhmä osallistuu arviointitiedon tuottamiseen ja saa myös hyödyn siitä. 50 *Evaluation 2015 seminaari, American Evaluation Association #Järjestöjen arviointi- ja kehittämisverkosto Kompassin tapaamisen kooste: Miten varmistaa arvioinnin laatu?

Arvioinnin etiikka Amerikkalaisen arviointiyhdistyksen (American Evaluation Association) eettiset ohjeet Järjestelmällisyys (Systematic Inquiry) Arviointitiedon paikkansapitävyys ja uskottavuus. Arvioitsijoiden tulisi kertoa ja selittää menetelmänsä ja lähestymistapansa riittävän yksityiskohtaisesti, jotta ulkopuoliset pystyvät ymmärtämään, tulkitsemaan ja tarkastelemaan kriittisesti arvioitsijoiden työtä. Pätevyys (Competency) Riittävä koulutus, sopiva kokemus ja kyvyt suoritettavaa arviointia varten. Erilaiset arviointistrategiat työskennellessä erilaisten ryhmien kanssa. Rehellisyys (Integrity/Honesty) Arvioitsijan vastuulla selventää menetelmien rajoitukset ja arviointitulosten yleistettävyys asiakkaalle. Jääviys Ihmisten kunnioittaminen (Respect for people) Kontekstuaaliset tekjiät (maantieteellisen sijainti, ajoitus, poliittinen ja sosiaalinen ilmapiiri, taloudelliset olosuhteet, ja muut relevantit meneillään olevat prosessit tai muutokset). Yhteiskunnallinen vastuu (Responsibilities for General and Public Welfare) Arviointeja suunniteltaessa ja raportoitaessa tulisi kaikkien arvioinnin osapuolien relevantit näkökulmat ja intressit huomioida. 51 http://www.eval.org/p/cm/ld/fid=51

Pohdi alla olevia seikkoja oman työsi ja organisaatiosi kannalta: Tavoitteet - Onko tavoitteet asetettu realistiseksi? - Onko tavoitteet kaikkien toimijoiden tiedossa? Konkreettiset näytöt - Onko oletettuja vaikutuksia pohdittu ja hahmoteltu etukäteen? Mittarit ja seurantamenetelmät - Onko toiminnalle olemassa mielekkäät mittarit tai seurannat? Palautteenkeruu - Moninäkökulmainen tiedonkeruu - Onko kaikki näkökulmat huomioitu? 52

ARTSI-itsearviointimalli ja työkalut

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU TOIMINNAN KOHDERYHMÄ TOIMINTAAN OSALLISTUVAT VAPAAEHTOISET SIDOSRYHMÄT JA YHTEISTYÖ- KUMPPANIT TYÖNTEKIJÄT PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN ITSEARVIOINNIN TOTEUTTAMINEN ARVIOINTITIEDON HYÖDYNTÄMINEN

Toiminnankuvauslomake TAVOITE Tavoite 1. NUORTEN ELÄMÄNLAATU PARANEE Nuorten itsetuntemuksen OSATAVOITE Osatavoite a. Osatavoite b. lisääntyminen TOIMENPITEET Ohjattu ryhmätoiminta Toimenpide 2 Matalan kynnyksen toiminta (liikunta, ruokailu) Nuorten toimintakyvyn parantuminen Toimenpide 2 EDELLYTYS TOIMENPITEELLE OLETETUT VAIKUTUKSET TAVOITETASO KEHITTÄMISTARPEET VASTUUHENKILÖ/ 55 AIKATAULU Osaava henkilökunta Toimintamalli kaikkien tiedossa Itsetuntemuksen kasvu Omien käyttäytymismallien tunnistaminen ja niiden muuttaminen Ohjaajien määrä (min. 2/per ryhmä) Nuoret kokevat itsetunnon lisääntyneen Ohjaajien koulutus Ryhmätoiminnasta vastaava / tj Syksy 2015 Nuoret tulevat paikalle Toimintaa järjestetään säännöllisesti Nuori oppii uusia toimintamalleja ja taitoja Nuoren vuorokausirytmi selkeytyy Toimintaa arkipäivisin (5 krt/vko) Nuorten toimintakyvyn paraneminen Toiminta on pidettävä houkuttelevana, jotta nuoret tulevat paikalle Tj Jatkuva

ARVIOINNIN SUUNNITTELU 1. Arvioinnin kohdistaminen Mitä toiminnan tavoitteen toteutumiseen ja oman toiminnan kehittämiseen liittyviä tiedontarpeita järjestössä on? Mitä tietoja tarvitsemme rahoittajalle raportointia varten? Mitä ovat ne tavoitellut tulokset ja oletetut vaikutukset, joiden toteutumista arvioidaan? PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN

ARVIOINNIN SUUNNITTELU 1. Arvioinnin kohdistaminen 2. Tiedonkeruun suunnittelu Miten ja keneltä arviointitietoa kerätään? Palautetta tulee kysyä monipuolisesti ja keskeisiltä tahoilta moninäkökulmaisuus. PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN Miten tiedonkeruu ajoitetaan? Jatkuvasti vai otostyyppisesti? Kuinka paljon resursseja on käytössä arviointia varten? Kaikkea ei tarvitse arvioida. Arvioinnin suorittamisen tapa riippuu olennaisesti tiedon tarpeesta sekä käytettävissä olevista resursseista. Se, miltä taholta tietoa kerätään, vaikuttaa siihen, mitä tietoa, miten ja missä laajuudessa tiedonkeruu toteutetaan.

Tiedonkeruun menetelmiä Kyselyt (paperinen tai sähköinen lomake) Ilmaiset sähköiset kyselyohjelmat, ARTSIssa mukana olleet järjestöt käyttäneet: Google Forms ja Surveymonkey. Haastattelut (kasvokkain tai puhelimitse, yksilö tai ryhmä) Työpajat, joissa käydään läpi tiettyjä teemoja vuorovaikutuksellisesti Toimintaan luonnollisesti kuuluvat palaverit Suullisen palautteen ja kehittämisehdotusten ylös kirjaaminen Havainnointi esimerkiksi ryhmätoiminnasta Muut tiedonkeruun ratkaisut kuten hymiöt, liikennevalovärit jne. Eri menetelmien monipuolinen yhdistäminen! 58

Määrällisen seurantiedon keruu Toiminnan kannalta olennaisten tunnuslukujen määritteleminen ja seuraaminen. RAY haluaa toimintaan osallistuneiden sukupuolen ja iän. Mahdollistaa esim. toiminnan volyymin tarkastelun ja vuosittaisen vertailun ja muutosten raportoinnin jatkossa budjetointi ja resurssointi helpottuu. Miten? Tilastointityökalu, mobiililaitteet, käsin kirjaaminen Kerätty tieto tulee olla yhdessä paikassa helposti saatavissa! Esimerkiksi toiminnan jaksotavoite voi olla se, että "vuonna 2015 kävijämäärä kasvaa 10 % matalankynnyksen toimipaikassa". Jos määriä ei vuosittain seurata, muutoksen todentaminen on mahdotonta. 59

Tiedonkeruun ja itsearvioinnin ajoittaminen Toiminnan luonne ja aikataulut määrittävät tiedonkeruun ajoitusta. Toiminnan eteneminen kalenterivuoden mukaan vs. lukuvuosisykli. Koulutuksista ja kurssimuotoisesta toiminnasta palaute heti kurssin päätyttyä. Milloin määrälliset seurantatiedot kerätään sekä kenen vastuulla keruu on? Oman toiminnan itsearviointi on hyvä tehdä kerran vuodessa, yleensä vuoden vaihteessa, jolloin tarkastellaan edellistä vuotta kokonaisuutena. Joskus on paikallaan tehdä myös puolivuosittain hieman kevyempi itsearviointi. Tiedonkeruu eri näkökulmista on syytä olla toteutettuna ennen itsearviointia! 60

Sidosryhmäkysely Selitteet: Palautteen kerääminen Palautteen hyödyntäminen Kysely vapaaehtoisille Palaute kohderyhmiltä Joulukuu Tammikuu Helmikuu Itsearviointi Marraskuu Maaliskuu Toimintakertomus TVS/Väliraportti Lokakuu Arvioinnin vuosikello Huhtikuu Seuraavan vuoden toimintasuunnitelma Vuosiselvitys Jatkorahoitushakemus Syyskuu Toukokuu Elokuu Heinäkuu Kesäkuu Palautesynteesin esittely hallitukselle Palaute kohderyhmiltä (Kevyempi itsearviointi)

ARVIOINNIN SUUNNITTELU 1. Arvioinnin kohdentaminen 2. Tiedonkeruun suunnittelu 3. Arviointitiedon analysointi Laadullisen ja numeerisen tiedon analysointitavat PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN Avokysymykset vs. numeeriset 4. Arviointitiedon hyödyntäminen Arviointitiedon suhteuttaminen toiminnan tavoitteisiin, toimintaan ja käytössä oleviin resursseihin

Arvioinnin suunnittelu Kohderyhmät Arviointikohteet/ toimintamuodot Esim. Ryhmätoiminta Avoin päivätoiminta Arviointikysymykset (mihin halutaan saada vastaus) Menetelmät ja määrälliset indikaattorit (miten ja mitä arvioidaan ja seurataan) Tavoitetasot Aikataulu (milloin toteutetaan, arvioinnin vuosikello) Tulosten hyödyntäminen Vastuuhenkilö Vapaaehtoiset Sidosryhmät Työntekijät 63

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU Kaikessa tiedon- ja palautteenkeruussa tulee huomioida seuraavat aihealueet: 1. Vastaajan taustatiedot 2. Toiminnan sisältö ja toteutus Kuinka toiminta ja valitut toimintamuodot vastaavat tavoitteisiin? Mitä määrälliset seurantatiedot kertovat? 3. Toiminnan tulokset ja vaikutukset Mitä hyötyä toiminnasta on? Ovatko oletetut vaikutukset toteutuneet? Mitä määrälliset seurantatiedot kertovat? 4. Toiminnan kehittämistarpeet

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU TOIMINNAN KOHDERYHMÄ

Kohderyhmät Kohderyhmäpalautetta kerättäessä tulee huomioida, että: palautetta kerätään kattavasti ja tarkoituksenmukaisin keinoin järjestön kaikkien toimintamuotojen kohderyhmiltä. Kohderyhmän erityispiirteet ja toiminnan erityispiirteet määrittävät miten tietoa on mahdollista kerätä. 66

Kohderyhmät 1. Taustatiedot Mitä tietoja vastaajista jo tiedetään? Mitkä tiedot ovat tarpeellisia a) toiminnan kehittämisen ja b) tulosten analysoinnin kannalta? Esim. RAY-rahoitteisessa toiminnassa rahoittaja haluaa tietää osallistujien sukupuolen ja iän. 67

Kohderyhmät 2. Toiminnan toteutus ja sisältö Toimintamuotojen kehittäminen vastaamaan entistä paremmin kohderyhmän tarpeita. Mm. toiminnan sisältö, mielekkyys, tilojen tarkoituksenmukaisuus jne. Toimintamuotojen vastaavuus tavoitteeseen. 68

Kohderyhmät 3. Tulokset ja vaikutukset Tavoitepatteristolla, johon on muotoiltu toiminnan oletetut vaikutukset väittämämuotoon. Toiminnasta saatuja hyötyjä voidaan kysyä myös avokysymyksen avulla. Koettuja hyötyjä selvitettäessä tulisi pyrkiä tarkastelemaan samoja asioita ennen ja jälkeen toimintaan osallistumisen. Pidemmän aikavälin vaikutuksia voidaan selvittää esim. seurantakyselyn tai -soiton avulla. 4. Kehittämistarpeet Mitä kehittämisideoita toimintaan osallistuvilla on? 69 Miten toiminta olisi entistä laadukkaampaa?

Neuvonta-/tukitoiminnan palautekysely Valitse parhaiten käyntisi syytä kuvaavat kohdat(voit valita useita kohtia). Tarvitsin tietoa Tarvitsin tukea. Tarvitsin ohjausta. Tarvitsin keskustelukumppania. Jokin muu, mikä? Oletko hyödyntänyt palvelua aikaisemmin? En, tämä oli ensimmäinen käyntini. Kyllä, tämä oli käyntini. Merkitse viivalle kuinka mones käynti tämä oli sinulle. Arvioi seuraavia käyntiänne koskevia väittämiä asteikolla 1-4. 1=Täysin eri 2=Jokseenkin mieltä eri mieltä Käynti oli onnistunut Tulin kuulluksi tapaamisen aikana Sain tarvitsemaani tietoa käynnin aikana Sain uusia näkökulmia ja voimavaroja arkeen Järjestön henkilökunta on asiantuntevaa Voin suositella järjestön neuvonta- /tukitoimintaa muille apua tarvitseville 3=Jokseenkin samaa mieltä 4=Täysin samaa mieltä Miten hyödyit käynnistä? Miten järjestö voisi kehittää neuvonta-/tukipalveluaan? 70 Minkä kouluarvosanan antaisit käynnistäsi? Ympyröi oikea numero. 4 5 6 7 8 9 10

Palautekysely ryhmään osallistuneille Sukupuoli Nainen Mies Ikäni 18-29 vuotta 46-62 vuotta 30-45 vuotta Yli 63 vuotta Mistä sait tietää ryhmästä? Kuulin tuttavalta Järjestön omilta sivuilta Muualta internetistä, mistä? Jostain muualta, mistä? Tähän voi lisätä vaihtoehtoja Arvioi seuraavia ryhmään liittyviä asioita. Ryhmän ohjaus oli osaavaa. 1=Täysin eri mieltä 2=Jokseenkin eri mieltä 3=Jokseenkin samaa mieltä 4=Täysin samaa mieltä Ryhmätapaamisen tilat olivat käytännölliset. Ryhmä oli sopivan kokoinen. Ryhmäkertojen sisältö oli hyvin suunniteltu. Toiminta oli mielekästä. Ryhmän kokoontumisia oli riittävästi. Ryhmän kokoontumisväli oli sopiva. 71 Ryhmä vastasi odotuksiani. Voit halutessasi kommentoida edellisiä vastauksiasi.

Arvioi, onko ryhmään osallistuminen omalta osaltasi lisännyt seuraavia asioita. Mielialani on parantunut. Toiveikkuuteni oman tulevaisuuteni suhteen on lisääntynyt. Ihmisten seurassa oleminen (sosiaalisuus) on helpottunut. Itsetuntemukseni on lisääntynyt. Itsearvostukseni on kasvanut. 1=Ei lainkaan 2=Jonkin verran 3=Melko paljon 4=Paljon Päivärytmini on parantunut/selkeytynyt. Toimintakykyni on parantunut. Voit halutessasi kommentoida edellisiä vastauksiasi. Miten kehittäisit ryhmän sisältöä ja toimintaa? Kannattiko ryhmään osallistuminen? Ei No-jaa Joo Ehdottomasti Muita terveisiä järjestäjille tai ryhmän vetäjälle. 72

Tapahtuman palautekysely Olen Nainen Ikäni Alle 18 vuotta 30-62 vuotta Mies 18-29 vuotta Yli 63 vuotta Oletko osallistunut xx-tapahtumaan aiemmin? Kyllä Ei Vastasiko xx-tapahtuma odotuksiasi? Ei lainkaan Jonkin verran Hyvin Erinomaisesti Mitä kehitettävää xx-tapahtumassa mielestäsi on? Arvioi seuraavia tapahtumaa koskevia asioita. Tapahtuman sisältö oli mielenkiintoinen. 1=Täysin eri mieltä 2=Jokseenkin eri mieltä 3=Jokseenkin samaa mieltä 4=Täysin samaa mieltä Tilat olivat tarpeeseen sopivat. Tapahtuman vetäjät olivat osaavia. Sain tapahtumasta uutta tietoa/mielenkiintoista sisältöä arkeen. Tapahtuman tarkoituksena oli xxx. Tapahtuma vastasi tätä tarkoitusta. Miten koet hyötyneesi tapahtumaan osallistumisesta? 73 Muuta palautetta ja terveisiä järjestäjille.

Koulutuksen palautekysely Koulutus johon osallistuit: Sukupuoli Nainen Mies Ikäni 18 29 vuotta 46 62 vuotta 30 45 vuotta Yli 63 vuotta Mistä sait tietää koulutuksesta? Kuulin tuttavalta Sähköpostitse Järjestön omilta sivuilta Muualta internetistä, mistä? Jostain muualta, mistä? Arvioi seuraavia koulutukseen liittyviä väittämiä asteikolla 1-4. Koulutuksen tiedotus ja markkinointi olivat onnistuneet Koulutus vastasi odotuksiani Koulutuksen tavoite oli selkeä Koulutuksen tarkoituksena oli xxx. Koulutus vastasi tätä tarkoitusta. Kouluttaja hallitsi kouluttamansa asian sisällön hyvin Koulutuksen kesto oli sopiva Ajatustenvaihto muiden koulutukseen osallistujien kanssa oli antoisaa Koulutuksen käytännön puitteet olivat hyvät (koulutustila, tarjoilut) Voin hyödyntää koulutuksessa oppimaani yhdistyksemme toiminnassa /vapaaehtoisena toimiessani 74 Mitä mieltä olet koulutuksen sisällöstä? Miten kehittäisit koulutusta? 1=Täysin eri mieltä 2=Jokseenkin eri mieltä 3=Jokseenkin samaa mieltä 4=Täysin samaa mieltä Minkä kouluarvosanan antaisit koulutukselle (4-10)?

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU TOIMINNAN KOHDERYHMÄ SIDOSRYHMÄT JA SIDOSRYHMÄT JA YHTEISTYÖ- YHTEISTYÖ- KUMPPANIT KUMPPANIT PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN TOIMINNAN KOHDERYHMÄ

Sidosryhmät ja yhteistyökumppanit Ketkä ja mitkä tahot ovat sellaisia sidosryhmiä tai yhteistyökumppaneita, jotka osaavat aidosti ottaa kantaa järjestön toimintaan. Usein hyvät valmiudet vastata sähköisiin kyselyihin. Toisaalta myös kyselyähky. Palautetta saadaan myös ilman muodollista palautteenkeruuta. Suullisesti saatu palaute on tällöin hyvä kirjata ylös mahdollisimman pian, jotta se on myöhemmin hyödynnettävissä. Yhteisiä tapaamisia voi myös hyödyntää haastatteluiden tai arviointityöpajan järjestämiseen. Erityispiirre tiedonkeruussa: yhteistyö ja sen kehittämistarpeet! 76

Sidosryhmäkysely Mitä organisaatiota edustat? Muokkaa vaihtoehdot sellaisiksi, että ne kattavat järjestönne omat sidosryhmät. Kunta Valtio Yritys Järjestö tai yhdistys Muu mikä? Kuinka hyvin tunnet XX-järjestön toimintaa? Hyvin Kohtalaisesti Huonosti En lainkaan Arvioikaa seuraavia väittämiä asteikolla 1-4 Järjestön toiminta on tarpeellista alueellanne. Järjestön toiminta on tarpeellista valtakunnallisesti. Järjestön toiminnalle on tarvetta myös jatkossa. 1=Täysin eri mieltä 2=Jokseenkin eri mieltä 3=Jokseenkin samaa mieltä 4=Täysin samaa mieltä Järjestön toiminta näyttäytyy selkeänä. Järjestön toiminta on riittävän näkyvää. Olen saanut riittävästi tietoa järjestön toiminnasta. Yhteistyömme järjestön kanssa toimii hyvin. Järjestön toiminta on tarpeeksi monipuolista. Järjestön toiminta on laadukasta. Voit halutessasi kommentoida edellisiä vastauksiasi.

Miten yhteistyötä järjestön kanssa voisi kehittää? Mitä mahdollisuuksia yhteistyölle järjestön kanssa jatkossa olisi? Kerro syitä, miksi olet ohjannut asiakkaita järjestön toimintojen piiriin. Järjestön toiminnan tavoitteena on XXXX. Tähän tavoitteeseen pyritään alla olevien toimintamuotojen avulla. Arvioi kuinka hyvin toimintamuodot mielestäsi tukevat tämän tavoitteen saavuttamista ja kuinka tärkeänä koet ne? TÄHÄN ERI TOIMINTAMUOTOJA Huonosti Melko huonosti Melko hyvin Hyvin Ei ollenkaan tärkeä Melko tärkeä Tärkeä En tunne toimintaa Voit halutessasi kommentoida edellisiä vastauksiasi. Koetko, että seuraavien asioiden on mahdollista toteutua järjestön tarjoamassa toiminnassa? 1=Ei lainkaan 2=Vähän 3=Jonkin verran 4=Paljon TÄHÄN OLETETTUJA VAIKUTUKSIA Voit halutessasi kommentoida edellisiä vastauksiasi. Miten näet asiakkaan/kohderyhmän hyötyvän järjestön toiminnasta? Miten kehittäisit järjestön toimintaa? Pitäisikö järjestön mielestäsi tarjota jotain muuta toimintaa, mitä? Pitäisikö järjestön mielestäsi luopua jostain toiminnasta, mistä/miksi?

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU TOIMINNAN KOHDERYHMÄ SIDOSRYHMÄT JA YHTEISTYÖ- KUMPPANIT TOIMINTAAN OSALLISTUVAT VAPAAEHTOISET TYÖNTEKIJÄT PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN

Vapaaehtoiset Vapaaehtoisia koskevia erityispiirteitä tiedonkeruussa: Järjestöjen tarjoama tuki vapaaehtoisille (perehdytys, koulutus). Vapaaehtoistoiminnan organisointi. Vapaaehtoisilta voi kysyä myös sitä, kuinka he kokevat oman vapaaehtoistyönsä: mitä he itse saavat vapaaehtoisena toimimisesta? Vapaaehtoiset antavat usein myös hyvin perusteltuja koko järjestön toimintaa tai tiettyjä toimintoja koskevia kehittämisideoita. 80

Kysely vapaaehtoisille Sukupuoli Nainen Mies Ikäni 7-17 vuotta 18-29 vuotta 63-79 vuotta 30-62 vuotta Yli 80 vuotta Mistä sait tietää järjestön toiminnasta? Järjestön kotisivuilta Muualta internetistä, mistä? Muilta tiedotusvälineiltä(lehdet, radio, TV) Kuulin tuttavalta Jostain muualta mistä? Mihin vapaaehtoistoiminnan muotoihin olet osallistunut? Ryhmien vetäminen Puhelinpäivystys Vertaishenkilönä toimiminen Kuinka usein teet vapaaehtoistyötä järjestössä? Viikoittain Kuukausittain Joitakin kertoja vuodessa

Mitä ajattelet sen toiminnan sisällöstä ja toteuttamistavasta missä olet mukana? 1=Täysin eri mieltä 2=Jokseenkin eri mieltä 3=Jokseenkin samaa mieltä 4=Täysin samaa mieltä Toiminta vastaa tarpeeseen Toiminta on hyvin organisoitua Toiminta tavoittaa kohderyhmän Minulla on mahdollisuus vaikuttaa toiminnan sisältöön ja toteuttamistapaan Toiminnan laadukkaaseen ylläpitoon on tarpeeksi resursseja (taloudelliset/henkilöt) Voit halutessasi kommentoida edellisiä vastauksiasi. Ota kantaa seuraaviin järjestön vapaaehtoistyöhön liittyviin väittämiin. 1=Täysin eri mieltä 2=Jokseenkin eri mieltä 3=Jokseenkin samaa mieltä 4=Täysin samaa mieltä Olen saanut riittävästi perehdytystä vapaaehtoisena toimimiseen. Järjestö on tukenut riittävästi vapaaehtoisena toimimistani. Koen, että vapaaehtoistyötäni arvostetaan. Vapaaehtoisena toimiminen on vaikuttanut myönteisesti omaan elämääni. Voit halutessasi kommentoida edellisiä vastauksiasi. Miten kehittäisit järjestön vapaaehtoisille antamaa tukea?

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU TOIMINNAN KOHDERYHMÄ SIDOSRYHMÄT JA YHTEISTYÖ- KUMPPANIT TOIMINTAAN TOIMINTAAN OSALLISTUVAT OSALLISTUVAT VAPAAEHTOISET VAPAAEHTOISET TYÖNTEKIJÄT TYÖNTEKIJÄT

Työntekijät Työntekijöiden osalta vuoden aikana kertyneet havainnot kirjataan ylös itsearviointikeskustelussa. Päiväkirjat ja muut merkinnät/huomiot pitkin vuotta Suullisesti saadun palautteen ja kehittämisideoiden ylöskirjaaminen Yksilötason itsearviointi Itsearviointikysely (jos toteutetaan ennen itsearviointikeskustelua) Seurantamatriisi Tilastointityökalu 84

Suullisen palautteen kerääminen ja hyödyntäminen -työkalu Päivämäärä Mistä palaute tullut Saatu positiivinen palaute Saatu kehittävä/ negatiivinen palaute Keskeisin kehittämisajatus Sovitut toimenpiteet / toteutusaikataulu 85

Yksilötason itsearviointi- ja seurantalomake henkilöstölle Yhdistyksen tavoitteet Miten olet edistänyt tavoitteen saavuttamista? Mikä on oma henkilökohtainen tavoitteesi? Seuranta: kuinka hyvin henkilökohtaiset tavoitteesi ovat toteutuneet? Mitä haasteita niihin on liittynyt? Millaisia kehittämisehdotuksia asettaisit itsellesi? (voit pohtia tavoitekohtaisesti tai yleisellä tasolla) Ideoita ja ehdotuksia yhdistyksen tavoitteen saavuttamiseksi (vietäväksi koko henkilöstölle.) 1. 2. 3. 4. 86

Päätavoite: XXXXX Toiminnan / projektin käynnistäminen ja yleisseuranta Toimenpide Mittari/Indikaattori Arvio nykytilasta Tavoitetaso Henkilöstön valinta Arvio asteikolla 0-5 5 Perehtyminen hanke/toimintasuunnitelmaan Kyllä/Ei Kyllä Kehittämis-/ohjausryhmän koolle kutsuminen Kyllä/Ei Kyllä Viestintäsuunnitelman laadinta Arvio asteikolla 0-5 5 Kehittämis-/ohjausryhmän kokoukset Kokousten lkm. 2-4/vuosi Kohderyhmän informointi toiminnan käynnistymisestä, tavoitteista ja toimenpiteistä sähköisen uutiskirjeen avulla Yhteydenotot kohderyhmään sekä konkreettisten aikataulujen sopiminen Yhteinen aloitustapaaminen yhteistyökumppaneiden kesken Alkukysely Välikysely Loppukysely Seurantakysely 1. Osatavoite: XXX Toimenpide Kyllä/Ei Kyllä Arvio asteikolla 0-5 5 Kyllä/Ei Toteutettu kaikille osallsitujille Kyllä/Ei Vastaajien lkm. Toteutettu kaikille osallsitujille Kyllä/Ei Vastaajien lkm. Toteutettu kaikille osallsitujille Kyllä/Ei Vastaajien lkm. Toteutettu kaikille osallsitujille Kyllä/Ei Vastaajien lkm. Mittari/Indikaattori Ryhmäkertojen lkm. Osallistujien lkm./krt Arvio nykytilasta Kyllä Kyllä Kyllä Kyllä Kyllä Tavoitetaso x/kk x hlö/krt Ryhmäkerrat (ryhmien sisällölliset toimenpiteet voi halutessaan myös kirjata) Osallistujien lkm./kk x hlö/kk Arvio asteikolla 0-5 5 Retki Osallistujien lkm x hlö Asiantuntijoiden 87 vierailut Arvio asteikolla 0-5 5

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU TOIMINNAN KOHDERYHMÄ SIDOSRYHMÄT JA YHTEISTYÖ- KUMPPANIT TOIMINTAAN OSALLISTUVAT VAPAAEHTOISET TYÖNTEKIJÄT PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN

Palautteen analysointi Palautteen analysointi edellyttää kykyä tarkastella omaa toimintaa kriittisesti ja ottaa palaute vastaan sellaisenaan. Säilytä aineistoa analysoidessa avoin mieli! Älä nojaa liikaa oletuksiin, hypoteeseihin ja vanhoihin käytäntöihin. Palautteen analysointi on syytä aikatauluttaa hyvissä ajoin. Jos analyysin tekeminen tuntuu monimutkaiselta, kannattaa asiaa lähestyä ensimmäisillä kerroilla systemaattisemmin - kokemuksen myötä työ helpottuu, eikä vie niin paljon resursseja. 89

Palautteen analysointi Numeerinen palaute kannattaa ensin lukea läpi, jotta muodostuu kokonaiskuva tuloksista. Kyselyissä avovastaukset yleensä täydentävät ja tarkentavat numeerisista vastauksista saatua kuvaa. Jos aineisto on pieni, käytä maalaisjärkeä. Parilla lukukerralla ja pohdiskelulla pystyy nostamaan keskeiset kohdat laadullisesta aineistosta. Laadullista aineistoa (kyselyiden avovastaukset, haastatteluaineistot, suullinen palaute) on helppo lähestyä luokittelun kautta. Näin saadaan esille vastauksissa toistuvat teemat. Huomioi, että yksikin kehittämisidea voi olla arvokas! Laadullisen aineiston tulosten esittämisessä esim. Wordle-sanapilvi 90

Numeerisen aineiston analysointi ja raportointi Valinta, monivalinta ja väittämä tyyppiset kysymykset. Asteikkokysymysten vastaukset kannattaa esittää kuvioina, jolloin tuloksista saa käsityksen yhdellä vilkaisulla. Analysoinnissa ja tulosten esittämisessä apuna mm. Excel ja PowerPoint. KESKIARVOT Yleisin tapa esittää asteikkokysymyksiä on keskiarvopylväs. Jos käytät asteikkokysymyksessä EOS-vaihtoehtoa, nämä vastaukset tulee poistaa joukosta ennen keskiarvon laskemista, jottei tulos vääristy. Jos EOS-vastauksia on huomattava määrä, on tämäkin tärkeä havainto, joka on syytä tuoda esiin tuloksia raportoidessa. 92

Esimerkki keskiarvopylväästä Nuorten arviot ryhmään osallistumisen vaikutuksista, lkm (N=30) Mielialani on parantunut. 3,5 Päivärytmini on parantunut/selkeytynyt. 3,4 Toimintakykyni on parantunut. 3,3 Itsetuntemukseni on lisääntynyt. 3,2 Toiveikkuuteni oman tulevaisuuteni suhteen on lisääntynyt. 3,1 Itsearvostukseni on kasvanut. 3,1 Ihmisten seurassa oleminen (sosiaalisuus) on helpottunut. 3 1 2 3 4 Asteikko: 1=Ei lainkaan, 2=Jonkin verran, 3=Melko paljon, 4=Paljon 93

Numeerisen aineiston analysointi ja raportointi SUORAT JAKAUMAT Asteikkokysymyksen tulokset voi esittää myös suorina jakaumina. Suora jakauma kertoo kuinka suuri osa vastaajista antoi väittämälle minkäkin arvon ja paljonko vastaajien näkemyksissä on hajontaa. Voit käyttää vastaajien määrää sellaisenaan tai muuntaa sen prosenttiosuudeksi. Prosenttiosuuksia esitettäessä on tärkeää ilmoittaa aineiston koko! 30 vastaajan nyrkkisääntö: sitä pienemmistä aineistoista ei ole tarkoituksenmukaista esittää osuuksia prosentteina. Suorien jakaumien esittämistä kannattaa harkita tarkoin silloin jo aineisto on todella pieni -anonymiteetti! 94

Esimerkki suorista jakaumista Yhteistyökumppaneiden näkemykset järjestön toimintamuotojen vastaavuudesta tavoitteeseen, lkm (N=30) Vertaisryhmät 2 28 Hoivaparkki 2 8 20 Koulutus 5 10 15 Liikuntaryhmät 2 6 6 14 2 Virkistyspäivät ja lomat 2 4 9 9 6 0 10 20 30 1=Huonosti 2=Melko huonosti 3=Melko hyvin 4=Hyvin En tunne toimintaa 95

Arviointitiedon tulkinta Moninäkökulmaisesti kerätystä arviointitiedosta löytyy kattavasti toiminnan ydinkohdat tarkastelujakson aikana. Kun olet analysoinut palautteen, muodosta kokonaisuudesta kehittämisehdotuksia ja kirjaa ne. Tämä vaihe on todella tärkeä ja jää usein tekemättä. Kehittämisideoiden koonti -työkalu Jos et saa käytössä olevalla kysymyksen asettelulla esiin tarvitsemiasi tietoja muokkaa lomaketta. 96

Arviointitiedon tulkinta Suhteuta esiin nousseet tulokset: Toiminnan tavoitteisiin Käytössä oleviin resursseihin Käytännön kokemuksiisi toiminnasta On hyvä verrata palvelun käyttäjien odotuksia suhteessa heidän saamiinsa hyötyihin. Vastasiko palvelu kohderyhmän tarpeisiin? Muista, että teidän järjestössänne asuu paras asiantuntemus teidän toiminnastanne ja kohderyhmistänne. 97 Järjestön henkilöstö pystyy parhaiten itse tunnistamaan palautteesta ja tuloksista mikä on relevanttia ja mikä ei.

ARVIOINNIN SUUNNITTELU TIEDON- JA PALAUTTEENKERUU TOIMINNAN KOHDERYHMÄ SIDOSRYHMÄT JA YHTEISTYÖ- KUMPPANIT TOIMINTAAN OSALLISTUVAT VAPAAEHTOISET TYÖNTEKIJÄT PALAUTTEEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN ANALYSOINTI JA KEHITTÄMISEHDOTUSTEN KIRJAAMINEN ITSEARVIOINNIN TOTEUTTAMINEN

Itsearviointi Usein arviointia tehdään jatkuvasti arkityön ohessa, mutta oman toiminnan arvioinnin äärelle on syytä pysähtyä säännöllisesti. Rahoituskohteittain tai koko järjestön itsearviointi. Henkilöstön osallistaminen itsearvioinnin kautta toiminnan suunnitteluun ja kehittämiseen. Ajoitus: vuoden vaihteessa, kun kaikki muu palaute on kerätty ja analysoitu. Nopeatempoisessa toiminnassa välitsekkaukset, jotta varmistetaan, että toiminta etenee suunnitellusti. 99

ARTSI-itsearviointilomake Työntekijät osallistuvat yhteiseen itsearviointikeskusteluun. Kirjataan työntekijöiden näkökulma. Lisäksi lomake toimii koontityökaluna: Keskusteluun on hyvä nostaa eri näkökulmista tulleita kehittämistarpeita ja -ehdotuksia. Lomakkeen strukturoitu rakenne ohjaa keskustelun kulkua vuosittain tulee käytyä samat aihealueet läpi. Ohjaa pohtimaan tulevaa (konkreettiset toimenpide-ehdotukset ja tavoitteet ensi vuodelle). Isommissa järjestöissä mahdollista toteuttaa itsearviointikysely ennen keskustelua. Kysely, jossa samat aihealueet kuin lomakkeessa. Apukysymyksistä muotoiltu väittämiä. Kyselyn tuloksista yhteenveto, joka tuodaan keskustelun pohjaksi. 100

AIHEALUEET A) Missä olemme onnistuneet? B) Mitkä ovat olleet haasteita? C) Mitä asioita voisi kehittää? D) Toimenpideehdotus kehitettävälle asialle E) Konkreettinen tavoite ensi vuodelle ja vastuuhenkilö F) Sovitut kehittämistoimenpiteet on toteutettu 1. TAVOITTEET Itsearviointilomake 2. TOIMENPITEET Toimenpide a. Toimenpide b. Toimenpide c. 3. KOHDERYHMÄT 4. RESURSSOINTI 5. SISÄINEN TYÖNJAKO 6. VIESTINTÄ JA TIEDOTUS 7. YHTEISTYÖ KUMPPANEIDEN JA SIDOSRYHMIEN KANSSA 8. HENKILÖSTÖN OSAAMINEN JA SEN KEHITTÄMINEN 9. TULOKSET 10. ARVIOINTITIETO