Arviointityöpaja Valikko-seminaari 2.11.2017
Työpajan ohjelma 13.30 Johdatus arviointiin 14.30 Kahvi 15.00 Työpajatyöskentely 15.45 Loppukeskustelu 2
Valtionavustuslaki määrittelee perustehtävämme Valtionavustuslaissa ja sitä tarkentavassa valtioneuvoston asetuksessa määritellään STEAn perustehtävät: avustusvalmistelu, avustusten maksatus, myönnettyjen avustusten valvonta ja vaikutusten arviointi. Avustusten käytön valvonnalla varmistetaan, että avustusten käytössä noudatetaan lakeja ja asetuksia sekä avustuspäätöksessä asetettuja ehtoja ja rajoituksia sekä avustusten käytön yleisehtoja toteutuneet kulut vastaavat avustushakemuksessa esitettyä talousarviota ja avustuspäätöstä avustusten käyttö on tuloksellista ja tarkoituksenmukaista. Valtionapuviranomaisen on sopivalla tavalla seurattava myöntämiensä valtionavustusten käytön tuloksellisuutta ja tarkoituksenmukaisuutta 3
Miksi arviointia ja seurantaa? Avustustoiminnan pitkän tähtäimen tavoite: Suomessa on tulevaisuudessakin monipuolinen ja aktiivinen järjestötoimijoiden kenttä, jossa aikaansa seuraavilla ja yhteistyökykyisillä järjestöillä on hyvät mahdollisuudet edistää kansalaisten terveyttä ja sosiaalista hyvinvointia. Järjestön ja STEAn on kyettävä yhdessä yhä selkeämmin osoittamaan, että avustuksiin käytetyt varat todella luovat ja lisäävät hyvinvointia Avoimuus ja läpinäkyvyysvaatimukset julkisesti rahoitetulle toiminnalle eivät tule jatkossa vähentymään pikemminkin päinvastoin. Käytössä olevat rajalliset resurssit on saatava kohdistettua mahdollisimman tuloksellisin toimintoihin. Emme kuitenkaan vertaile appelsiinejä ja omenoita vaan riittävän samankaltaisia toimintoja vertaillaan, analysoidaan ja levitetään hyviä käytänteitä. Avustustoiminnan linjauksissa korostetaan avustusten myöntämistä vaikuttaviin kohteisiin. 4
Keskeisiä havaintoja seurannan ja arvioinnin onnistumisista ja haasteista 5
Keskeiset onnistumiset Osa-alue KOKONAISUUDESSAAN SEURANTATIEDON KERÄÄMINEN SEURANTATIEDON KERÄÄMINEN KOHDERYHMILTÄ MÄÄRÄLLISET INDIKAATTORIT Kuvaus Merkittävää edistystä tapahtunut kokonaisuudessaan siinä, miten laajasti seurantatietoa kerätään. Tiedon kerääminen on säännöllisempää ja sitä kerätään myös monipuolisemmin Kohderyhmiltä kerätään seurantatietoa kaikista eniten. Kohderyhmältä saadut kehittämisehdotukset ovat olleet konkreettisia. On tuotu ilmi toiminnalla aikaansaatua koettua hyötyä. Toiminnan laajuutta on tuotu selkeämmin esiin. Toimintaan osallistuneiden määrä kerrotaan ikä- ja sukupuolijakauman mukaan OMAT INDIKAATTORIT Näitä on lähdetty kehittämään jonkin verran. Omia indikaattoreita voi ja kannattaa käyttää vielä rohkeammin. 6
Keskeiset haasteet Osa-alue SEURANTATIEDON KERÄÄMINEN TYÖNTEKIJÖILTÄ SEURANTATIEDON KERÄÄMINEN YHTEISTYÖKUMPPANEILTA Kuvaus Haasteena oikean itsearviontitavan valinta, itsearvioinnin oikea ajoitus sekä tiedon analysointi Oikeanlaisen tiedon kerääminen suhteessa toiminnalle asetettuihin tavoitteisin, tiedonkeruun ajoitus ja tiedonkeruutapa TAVOITTEIDEN ASETTAMINEN Tavoitteet usein toiminnallisella tasolla Vain yksi päätavoite, jossa kerrotaan, mitä ja miten tehdään. ei sitä, miksi tehdään. TULOSTEN RAPORTOINTI Raportoituja tuloksia ei suhteuteta asetettuihin tavoitteisiin Raportoidut tulokset eivät ole riittävän konkreettisia Raportoiduista tuloksista ei käy ilmi, kuinka monen näkemyksiin ne perustuvat ( moni koki itsensä vähemmän yksinäiseksi ; useat kokivat virkistyneensä ) Tuloksia ei suhteuteta lähtötilanteeseen. Aikaansaatua muutosta vaikea arvioida. KERÄTYN SEURANTATIEDON HYÖDYNTÄMINEN TOIMINNAN KEHITTÄMISESSÄ Kerättyä seurantatieto raportoidaan lomakkeella, mutta tietoa ei ole analysoitu, koostettu eikä sen perusteella ole tehty riittäviä johtopäätöksiä toiminnan suuntaamiseksi (esim. lomakkeella esitetään vain suoria lainauksia ja keskiarvoja pötkössä, mutta tulkinta puuttuu) 7
Keskeiset haasteet Tavoitteet Tavoitteet ovat ylätasoisia Tavoitteista ei käy ilmi mitä tavoitellaan - eivät kuvaa muutosta Mitä mieltä työntekijät/vapaaehtoiset/kohderyhmä/kumppanit ovat toiminnasta Usein kuvataan, että toimintaan ollaan tyytyväisiä, mutta ei kerrota mihin toiminnoista ollaan tyytyväisiä tai miksi Työntekijät ovat olleet tyytyväisiä toimintaan vuosien 2015 ja 2016 välisenä aikana. Vaikka avustuskohteen alaisessa toiminnassa on tapahtunut henkilöstövaihdoksia, toiminnalle asetetut tavoitteet on pystytty pääsääntöisesti saavuttamaan. Kumppaneiden kerrotaan olevan tyytyväisiä yhteistyöhön, mutta ei tuoda esille mitä mieltä yhteistyökumppanit ovat toiminnasta tai sen tuomista hyödyistä kumppaneille. Yhteistyö sujuu loistavasti Toiminnan sisältö: Kerrotaan vain osasta toiminnasta, jolloin toiminnan laajuuteen ei pysty ottamaan kantaa Toiminnan yhteys asetettuihin tavoitteisiin ei käy ilmi Kuvataan järjestön sisäisiä toimintoja, jotka eivät ole yhteydessä tavoitteiden toteuttamiseen Tulokset: Tuloksina kuvataan toimintaa/tuotoksia Tulokset eivät kuvaa tavoitteiden toteutumista/muutosta jäsenmäärä on kasvanut Tulokset eivät perustu kerättyyn seurantatietoon Indikaattoriluvut eivät täsmää 8
Arvioinnin perusteita 9
10
Seuranta- ja arviointijärjestelmän askelmerkit Määrittele toiminnan tavoitteet ja osatavoitteet Määrittele muutokset jotka haluat aikaansaada Määrittele mittarit ja toistuva tiedon keräämisen tapa tavoitteille ja tuloksille Arvioi keräämäsi tiedon avulla toiminnan etenemistä, saavutettuja tuloksia ja kehitä toimintaa edelleen Määrittele keinoille mittarit (tuotosmittarit) Määrittele keinot, joilla tavoitteisiin pyritään 11
Vastaa kysymykseen Termi Mitä tarkoitetaan Todentamisen tapa Mitä halutaan Tarve Minkä takia toimintaa tarvitaan? Mikä on ongelma, johon haluatte toiminnallanne puuttua? Tarvekartoitus Taustaselvitys lähtötilanteesta Mitä halutaan? Kohderyhmä Joukko ihmisiä, joihin toiminnalla halutaan vaikuttaa Joukko ihmisiä, joiden ajatellaan hyötyvän toiminnasta Kohderyhmäkartoitus, kohderyhmäkysely Mitä halutaan ja mitä mitataan Tavoite Tarpeen peilikuva. Mikä on tavoiteltu muutos / tila, johon toiminnallanne pyritte? Toimintasuunnitelma, vuosikello Mitä tehdään Toiminta, keinot Toiminnan sisältö ja varsinainen tekeminen Toimintasuunnitelma, vuosikello Mitä tehdään? Tuotos Konkreettinen toiminnalla aikaansaatu suorite (ns. käsinkosketeltavat asiat kuten oppaat, materiaalit, ryhmät, kävijämäärät jne.) Määrälliset seurantatiedot Tuotosindikaattorit Mitä halutaan / mitä mitataan? Tulos Toiminnalla aikaansaatu hyöty / muutos kohderyhmälle. Yleensä kuvaa koettua hyötyä toiminnasta. Saavutetut tulokset suhteutetaan aina asetettuihin tavoitteisiin! Määrälliset ja laadulliset seurantatiedot Tulosindikaattorit Mitä halutaan / mitä Vaikutus Aikaansaatu muutos (ei ainoastaan tällä toiminnalla aikaansaatu muutos) Pitkän aikavälin 12 seuranta- ja tilastotiedot
Kenelle toiminta on tarkoitettu? Kohderyhmä: Määrittele kohderyhmä aina mahdollisimman tarkasti: Kenen käyttäytymiseen / tilanteeseen tulisi vaikuttaa ensisijaisesti? Missä nämä kohderyhmät ovat maantieteellisesti? Minkä ikäisiä he ovat? Määrittele kohderyhmä niin, että voit arvioida kohderyhmän tavoittamista (tavoitimmeko juuri ne, jotka pitkin? Tavoitimmeko niin paljon kun pitikin) Kohderyhmän määrittelyyn liittyy siis määrällinen (kuinka paljon) ja laadullinen (ketkä) tavoite Muista myös, että kohderyhmä ei ole yksi tasapaksu massa vaan voi muodostua myös eri ryhmistä / segmenteistä (esim. hyvin vaikeassa elämäntilanteessa olevat nuoret mielenterveyskuntoutujat ja juuri omilleen muuttaneet, itsensä yksinäiseksi kokevat nuoret tms.) Kohderyhmän määrittelyyn kuuluu aina jonkin verran luopumisen tuskaa keitä haluamme ensisijaisesti palvella? Huom! Kohderyhmän rajaaminen ei tarkoita sitä, että kohderyhmään kuulumattomia käännytetään ovelta. Kohderyhmän selkeä määrittely auttaa kohdentamaan toimintaa ja helpottaa toiminnalla aikaansaatujen tulosten osoittamista 13
Mitä tavoittelemme? Tavoite: Tavoitteet ovat avainasemassa onnistuneessa vaikutusketjussa. Tavoitteet määrittävät mihin toiminnassa pyritään Tavoitteet ohjaavat toimintaa Tuloksia peilataan asetettuihin tavoitteisiin Tavoitteen tulee olla niin konkreettinen, että sen toteutumista pystyy itse seuraamaan ja arvioimaan Tavoitteen toteutumista tulee kyetä seuraamaan ja arvioimaan Aseta tavoitteet realistisiksi. Aseta tavoitteeksi siis vain sellaista, johon toiminnalla kyetään vaikuttamaan Aseta tavoitteet suhteessa käytettävissä oleviin resursseihin Tarvittaessa tavoitteita tulee rajata Tavoitteesta tulee käydä ilmi, mikä on aikaansaatava muutos kohderyhmässä Muista pilkkoa tavoitteet aina osa- ja välitavoitteisiin Huom! Tavoitteen konkreettisuus ei tarkoita sitä, että riman voi laskea oman tekemisen tasolle (EI: tavoitteena on järjestää ikääntyneille ryhmiä) 14
Mitä tavoittelemme? Huomio myös ero: Toiminnan laajuuteen kohdistuvat tavoitteet (kuvaavat toiminnan laajuutta kuten kuinka paljon, kuinka monta, kuinka monta kertaa) ja Tulostavoitteet (kuvaavat aikaansaatavaa muutosta kohderyhmässä) Todennettavat asiat: Toiminnalla saadaan aikaiseksi tavoitteiden mukaisia hyötyjä Eli: onnistuttiinko alkuperäiseen ongelmaan puuttumaan? Eli: kuinka paljon jokin asia muuttui? Muuttuiko riittävästi suhteessa tavoitteisiin? Arviointikriteeri /tavoitetaso Tärkeää määrittää mihin olemme tyytyväisiä! Tavoitetasolla tarkoitetaan onnistumisen kriteeriä eli milloin olemme saavuttaneet tavoitteemme (esim. tavoitteena on, että osallistujista 50% on saanut uuden ystävän toiminnan päättyessä) 15
Esimerkkejä hyvistä tavoitteista PÄÄTAVOITE: Omaishoitajien toimijuus vahvistuu sekä osallistumisen mahdollisuudet lisääntyvät. Osatavoite: Omaishoitajien tiedot ja taidot lisääntyvät. Omaishoitajat saavat rohkeutta hakea tukea tilanteeseensa. Osatavoite: Omaishoitajat saavat tukea toisiltaan yhteisen toiminnan kautta. Omaishoitajien yksinäisyys vähenee. Omaishoitajien osallistuminen mahdollistetaan omalla lähialueella. Osatavoite: Omaishoitajuus tunnistetaan jo varhaisessa vaiheessa. Omaishoitajat osaavat hyödyntää palveluja hyvinvointinsa lisäämiseksi ja osallistuvat järjestölähtöiseen toimintaan. Omaishoitoasiat ja OmaisOiva-toiminta saavat alueella näkyvyyttä. PÄÄTAVOITE: Yleishyödyllisten yhteisöjen toimintaedellytysten tukeminen Osatavoite: Yhdistyksissä toimivien ihmisten osaaminen sekä tiedot ja taidot lisääntyvät. Osatavoite: Yhdistysten vapaaehtoisten ja työntekijöiden jaksamisen lisääntyy. PÄÄTAVOITE: Maahan muuttaneiden kokemus suomalaiseen yhteiskuntaan kuulumisesta on vahvistunut Osatavoite: Maahan muuttaneille tarjottava vertaistuki on yhtenäiset laatukriteerit täyttävää ja kotoutumista tukevaa (Mittarit: Veto-verkoston jäsenmäärä, toimijaperehdytysten määrä ja koettu hyöty, vertaisohjaajakriteerien ja materiaalipankin käyttöaste, raportoidut vertaistuen hyödyt) Osatavoite: Koulutetut vertaisohjaajat osaavat tukea kotoutumista omaa kokemustaan hyödyntäen (Mittarit: todistuksen saaneiden määrä, koulutuksen koettu laatu ja hyödyllisyys, opittujen tietojen käyttöaste, tuen riittäväksi kokevien osuus) Osatavoite: Kasvokkain-pilotteihin osallistuneilla on paremmat valmiudet yhteiskunnan aktiivisena jäsenenä toimimiseen (Mittarit: yhteiskuntatietotason muutos, kotiutumisen tunteen muutos, osallistujamäärä) 16
Esimerkkejä huonoista tavoitteista Tavoite on ylätasoinen ja vaikea todentaa: Sosiaalinen eriarvoisuus ja sosioekonomiset terveyserot kaventuvat ja ylisukupolvinen huono-osaisuus vähenee Hyvinvoinnin ja yhteisöllisyyden lisääminen Tavoite kuvaa toimintaa: Tarjota koulutusta, kirjallisia materiaaleja, henkilökohtaista tukea ja työnohjausta Ei käy ilmi mitä tavoitellaan: Toiminnan tavoitteet perustuvat jäsenjärjestöjen toimintaan, jotka liittyvät myös Liiton tavoitteisiin. Liiton ja järjestöjen yhteiset hakemukseen liittyvät tavoitteet jatkuvasti muuttuvat ja kehittyvät 17
Muutamia esimerkkejä mittareista Valitkaa oman toimintanne kannalta mielekkäitä tapoja mitata ja todentaa aikaansaatua hyötyä. Huomaa, että toiminnan tuloksena voi myös olla se, että tilanne pysyy samana tai heikkenee mahdollisimman vähän Hyviä tapoja mitata muutosta ovat selkeät kyllä / ei kysymykset Hyödyttääkö saamasi tieto sinua omien viranomaisasioiden hoitamisessa kyllä / ei Otettiinko kannanottomme kunnan lasten ja nuorten hyvinvointisuunnitelman laadinnassa kyllä / ei Kysy niistä asioista, jotka kuvaavat aiottua muutosta Miten hyödyit toiminnasta? a) Saamani tiedon avulla osaan hoitaa asian x paremmin kun aikaisemmin b) Sain uusia ystäviä c) Opin uusia taitoja 18
MUUTAMIA ESIMERKKEJÄ Janoilla voi kuvata pienempiäkin muutoksia helposti. Tärkeää on tehdä alku ja loppumittaus Miten yksinäiseksi koet itsesi (toimintaan tultaessa) Miten yksinäiseksi koet itsesi (kun toiminnassa on ollut mukana esimerkiksi 6 kuukautta) MUUTOS! ERITTÄIN YKSINÄIN EN ENNEN JÄLKEEN EI LAINKAAN YKSINÄIN EN 19
Toimenpiteet - mitä tehdään? Toimenpiteet tulee kuvata avustushakemukseen ja TVS:ään selkeästi Tavoitteiden tulee ohjata toimintaa - toiminnan tulee tähdätä tavoitteiden saavuttamiseen Toiminnan kuvauksesta tulee käydä ilmi miten toimenpiteet ovat yhteydessä asetettuihin tavoitteisiin Mitä tehtäviä/toimenpiteitä toteutetaan? Kuka tekee ja mitä? Kuinka paljon? Kuinka usein? Miksi juuri nämä toimenpiteet? HUOM! muista myös kysyä, mitä mieltä toimijat (työntekijät, Toiminnan laajuuden tavoitteita vapaaehtoiset, kohderyhmä ja kumppanit) ovat toiminnasta. ESIM: Osallistujat kokivat ryhmätoiminnan mielekkääksi, mutta toivoivat ryhmäkokojen pienentämistä. Hyvä kuvaus toiminnasta: Useita ryhmiä (n=12) toimi Porin seutukunnassa; liikunnallisia, toiminnallisia sekä keskusteluryhmiä. Ryhmistä seitsemän toimi vapaaehtoisten ohjaajien vetäminä. Ryhmissä oli noin 100 säännöllistä kävijää molempien vuosien aikana ja ryhmätapaamisia oli vuosittain yhteensä yli 100. (Huom: tässä vain osa vastauksesta!) Ei näin: Tarjottu tuki ja palvelut ovat moninaisia ja monipuolisia 20
Miten todennamme toiminnan etenemistä? Todennettavat asiat: Toiminta etenee hankesuunnitelman mukaisesti Tavoitimmeko riittävästi kohderyhmää? Tavoitimmeko oikean kohderyhmän? Teimmekö mitä pitikin (oikeat asiat ja niin paljon kun pitkin) Toiminnan etenemistä ja toteutusta kuvaavat mittarit (esimerkkejä): Toimintaan osallistuneiden määrä Uusien osallistujien määrä Ryhmien kokoontumiskerrat Ryhmien määrä Aukiolopäivien määrä Lauantai-aukioloaikojen määrä 21
Tulosten ja vaikutusten esittäminen Tulokset peilataan aina tavoitteisiin! Esitettyjen tulosten tulee perustua kerättyyn seurantatietoon Esitä tulos ytimekkäästi, mutta riittävän informatiivisesti mikä muuttui, kuinka paljon ja kenelle. Vältä ilmaisua osallistujat olivat tyytyväisiä. Muista, aloita aina MIKSI eli osallistujat saivat uusia ystäviä (siksi he ovat tyytyväisiä). Muista aina erottaa toisistaan tekeminen ja tekemisellä aikaansaatu muutos. TOIMINTAA: Järjestimme osallistujille vertaistukiryhmiä kahdesti viikossa. TULOS: Osallistujista 80% koki jaksavansa arjessa paremmin ryhmätoiminnan ansiosta. Koettu muutos / hyöty perustuu henkilön omaan arvioon / näkemykseen saamastaan hyödystä. Tulos voi myös olla se, että muutosta ei tapahdu. 22
MILLAINEN ON HYVÄ SEURANTA- JA ARVIOINTIJÄRJESTELMÄ 23
TUNNUSPIIRTEITÄ Hyvä seuranta- ja arviointijärjestelmä auttaa tunnistamaan kohderyhmän tarpeet kertoo keihin ja kuinka moneen toiminta kohdistuu kertoo, miten eri toimintamuodot on koettu sidosryhmien näkökulmasta kertoo kuinka paljon on tehty, mitä on tehty ja missä kertoo, mitä hyötyä (tulokset) ja pidempikestoisia vaikutuksia toiminnasta on ollut eri sidosryhmien näkökulmasta aikatauluttaa milloin kerätään tietoa, keneltä, kuka kerää ja analysoi 24
MIHIN PARASKAAN SEURANTA- JA ARVIOINTIJÄRJESTELMÄ EI PYSTY HUOM! Seuranta- ja arviointijärjestelmä ei kuitenkaan kerro: Vastasiko toiminta kohderyhmän tarpeeseen aiotulla tavalla? Teimmekö oikeita asioita SUHTEESSA TAVOITTEISIIN Saavutimmeko aiotut tavoitteet Mitä meidän tulisi tehdä toisin? Mitkä ovat keskeiset kehittämistarpeet 25
Tiedon hyödyntämisen kulmakivet 1. Tämäkin lähtee suunnittelusta: kerää vain sellaista tietoa, josta on sinun hankkeellesi / verkostollesi hyötyä toiminnan etenemisen seurannassa ja tuloksellisuuden osoittamisessa 2. Analysoi. Tee johtopäätökset keräämäsi tiedon perusteella. Missä olimme hyviä? Mitä voisimme kehittää? 3. Tiedolla johtaminen. Rajaa, vahvista, suuntaa uudelleen, muuta, muokkaa, terävöitä jne. keräämäsi tiedon perusteella 4. Tiedolla vaikuttaminen. Keräämälläsi tiedolla osoitat parhaiten toiminnan tuloksellisuuden. Aikaansaadut tulokset hissipuhemuotoon. Räätälöi viesti aina tiedon hyödyntäjän mukaisesti 26
Peruskäsitteet SEURANTATIETOA ARVIOINTIA VAIKUTUKSET TULOKSET Aikaansaatu muutos Koettu hyöty Mitkä olivat aiottuja muutoksia? Mitkä eiaiottuja? Mitkä positiivisia ja mitkä negatiivisia? Mitä olisi tapahtunut muutenkin? TUOTOKSET AKTIVITEETIT PANOKSET Konkreettiset suoritteet Toiminnot ja niiden määrä, htv, vapaaehtoiset VAIKEUSASTE Mikä on eri toimenpiteiden merkitys tulosten aikaansaamisessa? Mikä toimi erityisen hyvin, mikä huonosti, kenelle ja miksi? Miten kerätty tieto vaikuttaa toimintaamme? Mitä muutoksia meidän pitäisi tehdä? 27
Miksi pisteitä? 28
Miksi pisteitä? Järjestöille annetut pisteet antavat sekä STEAlle että järjestöille itselleen lisää tietoa sanallisen palautteen rinnalle. Pisteiden avulla STEA löytää paremmin ne järjestöt, jotka tarvitsevat tukea toimintansa arviointiin. Pisteiden avulla voidaan osaltaan seurata toiminnan ja tulosten kehittymistä säännöllisin väliajoin. Pisteitä voidaan käyttää apuna laajemman kuvan tarkastelussa sosiaali- ja terveysjärjestöjen toiminnan kehittymisestä. Pisteytysjärjestelmää on kehitetty vuodesta 2012 alkaen. Järjestöjen toiminnan arviointi on etsinyt vuosien mittaan muotoaan. Palautteen antamisen tapaa on STEAssa pyritty aina kehittämään sellaiseksi, että siitä olisi vastaanottajalleen eniten hyötyä. Työ jatkuu yhdessä edelleen. Pisteet kertovat siitä: miten järjestö seuraa, arvioi ja kehittää toimintaansa miten hyvin tavoitteet ohjaavat toimintaa tulosten saavuttamiseksi miten valitut toteutustavat edistävät toiminnan tavoitteiden saavuttamista miten tulokset on osattu esittää miten tuloksellista toiminta on suhteessa resursseihin miten kohderyhmä on tavoitettu miten kumppanuuden tukevat tavoitteiden saavuttamista 29
Pisteytystaulukko / toimintatavat (CAF) Toiminta-arviointialueiden pisteytystaulukko Emme ole toimineet aktiivisesti ja järjestelmällisesti tässä asiassa. Ei tietoja / ei näyttöä arviointialueelta tai tiedot ovat hataria. Pisteet 0 Toimintatapa on suunniteltu / vähän näyttöä joissain toiminnoissa 1 Toimintatapa on suunniteltu ja käyttöönotettu / selkeää näyttöä toiminnan kannalta keskeisissä asioissa 2 Toimintatapa on suunniteltu, käyttöönotettu ja arviointi. Ts. tarkistamme teemmekö oikeita asioita oikealla tavalla / Vahvaa näyttöä lähes kaikkien oleellisten toimintojen osalta Toimintatapa on suunniteltu, käyttöönotettu ja arviointien pohjalta toimintaa on myös järjestelmällisesti parannettu / Erittäin vahvaa näyttöä kaikilta toiminta-alueilta Toimintatapamme ovat suunniteltuja, käyttöönotettuja ja säännöllisten arviointien pohjalta parannettuja. Vertailu-kehittämistä tehdään järjestelmällisesti ja toimintatapamme ovat jatkuvan kehittämisen kohteina / Erinomainen taso verrattaessa muihin organisaatioihin kaikilta merkityksellisiltä toiminta-alueilta. 3 4 5 30
Pisteytystaulukko: tulosarviointialueet CAF Tulos-arviointialueiden pisteytystaulukko Pisteet Tuloksia ei ole mitattu tai arvioitu ja/tai tietoja niistä ei ole saatavilla. 0 Tuloksia on mitattu/arvioitu jonkin verran ja ne osoittavat negatiivista kehitystä ja/tai tulokset eivät vastaa asetettuja tavoitteita. 1 Tulokset osoittavat tasaista kehitystä ja/tai tietyt keskeiset tavoitteet on saavutettu. 2 Tulokset osoittavat myönteistä kehitystä ja/tai suurin osa keskeisistä tavoitteista on saavutettu. 3 Tulokset osoittavat huomattavaa myönteistä kehitystä ja/tai kaikki keskeiset tavoitteet on saavutettu. 4 Erinomaisia tuloksia saavutettu jatkuvasti. Kaikki merkitykselliset tavoitteet on saavutettu. Organisaation keskeisimmät tulokset verrattuina vastaaviin organisaatioihin ovat muita parempia. 5 31
Työpaja 32
Tavoite ja tavoitetaso Toimenpiteet/ keinot Tuotokset Tulokset/ vaikutukset Millä mittareilla mitataan tavoitteiden toteutumista? Mittareiden valinta Seurantatiedon kerääminen eri näkökulmista (työntekijät, vapaaehtoiset, kohderyhmät & yhteistyökumppa nit) - Kuvaa muutosta - Mahdollisimman konkreettinen - Mitattavissa tai muulla tavoin riittävän objektiivisesti todennettavissa - Kuvaa konkreettisia toimenpiteitä ja keinoja, joilla pyritte tavoitteeseen - Mitä teette tavoitteen saavuttamiseksi? - Kuinka paljon/kuinka usein? - Konkreettiset tuotokset, joita toiminnalla on saatu aikaan - Millaisiin tuloksiin pyritte toiminnassa? - Mikä muuttuu toiminnan myötä? - Toiminnalla saavutetut hyödyt? - Ennalta sovittujen mittareiden avulla on mahdollista seurata toimintaa ja sen kehittymistä - Määrälliset ja laadulliset mittarit - Mitataan sekä toiminnan toteutumista (kuinka monta kertaa) sekä aikaansaatua muutosta - Millä tavoin seurantatietoa kerätään eri näkökulmista - Seurantatietoa tulee kerätä ja dokumentoida säännöllisesti - Tiedonkeruussa keskittyminen olennaiseen ja merkitsevään tietoon 33
Työpaja Ryhmätyö: Neljän hengen ryhmissä Kirjaa oman hankkeesi aikaansaadut tai oletettavissa olevat tulokset. Kerro vielä miten on / aiotaan mitata ja todentaa. Arvioi asteikolla 0-5, ovatko edellä esitetyt tulokset yhteydessä asettamiisi tavoitteisiin (0=ei lainkaan - 5=kuin kaksi marjaa). Mikäli annoit arvosanaksi kolmosen tai alle, pohdi, onko ongelma asettamissasi tavoitteissa vai toiminnassa Bonustehtävä: Miten olette hyödyntäneet kerättyä arviointitietoa / minkälaisia kokemuksia teillä on itsearvioinnin toteutuksesta. Jakakaa hyviä käytäntöjä tai huonoja kokemuksia. 34
Tukea arviointiin ja seurantaan STEAn aineistopankki http://www.stea.fi/aineistopankki Artsi - tukea järjestöille oman toiminnan seurantaan ja arviointiin http://hankkeet.kuntoutussaatio.fi/artsi/ Soste - kehittäminen ja arviointi järjestöissä http://www.soste.fi/elinvoimaiset-jarjestot/kehittaminen-jaarviointi-jarjestoissa.html Seuranta ja arviointi osana järjestön toimintaa https://www.youtube.com/watch?v=hcqiwghv58&feature=youtu.be Termit tutuiksi https://youtu.be/ciafzropo38 Lisätietoa pisteytyksestä http://www.stea.fi/documents/2184241/2738648/stea+tvs+ja+v %C3%A4liraportti+pisteytysperusteet/d7ede6bf-4509-8d4b-b37c- 7a76b0d0d126/ 35
Kiitos! Nina.vonhertzen-oosi@stm.fi Elina.vedenkannas@stm.fi 36