Askeleita arviointiin



Samankaltaiset tiedostot
Ajatuksia liikunta- ja hyvinvointiohjelman arvioinnista. Nuori Suomi ry Arviointipäällikkö Sanna Kaijanen

SUUNTA TOIMINNAN JA ARVIOINNIN SUUNNITTELUN TYÖKALU

1. Valmistelut ulkoisen arvioinnin tilaamiseksi

Liikkuja polku verkostotapaaminen

VÄLI- JA LOPPURAPORTOINTI

Leader-arvioinnin sparrauspäivä. Sari Rannanpää Helsinki

Järjestö 2.0 -työryhmäpäivä Antti Pelto-Huikko, erityisasiantuntija

Hanketoiminnan vaikuttavuus ja ohjaus klo

Toiminnan seuranta ja vaikuttavuuden arviointi

Arviointia pienillä resursseilla

OHJEET RAHOITUSHAKEMUS JA PROJEKTIRAPORTTI -LOMAKKEIDEN TÄYTTÄMISEEN. Rahoitushakemus Kuntarahoituksen hakeminen JOSEK Oy:ltä

Järjestöjen toiminnan arviointi ja JÄRVI-hankkeen kehittämät välineet

Tulokset ja vaikuttavuus järjestötyössä

Mitä arviointi on? Miksi pitää arvioida?

Raahen kaupunki Projektiohjeet luonnos

TARKASTUSVALIOKUNTA Minna Ainasvuori JHTT, Liiketoimintajohtaja BDO-konserni

Itsearviointi suunnannäyttäjänä

STEA-AVUSTEISEN TOIMINNAN ARVIOINTI JA PALAUTTEEN KERUU

PROJEKTIAVUSTUKSEN (C) TOIMINTASELOSTELOMAKKEEN RAY3707 TÄYTTÖOHJE. Yleistä... 1

SEURANTAMITTARIT Mitä tietoja kerätään? Mitä tekijöitä seurataan? Mitkä ovat keskeiset ulkoiset tekijät,

SAKU-strategia

MIKSI VAIKUTTAVUUTTA? Vaikuttavuusvalmentamo 29.10

SOSIAALINEN TILINPITO Kirsti Santamäki,

MAINOSTAJIEN LIITTO KAMPANJAKUVAUS

AKL Tiedolla johtaminen. Kenneth Ekström- Faros Group

ARVIOINTISUUNNITELMA

SOTE-järjestöjen alueverkosto

SAKU ry ammatillisen koulutuksen hyvinvoinnin edistämisen KUMPPANINA. Suomen ammatillisen koulutuksen kulttuuri- ja urheiluliitto, SAKU ry

HAKEMUS KKI-KEHITTÄMISHANKKEEKSI

Ei näyttöä tai puheen tasolla

Indikaattorit eli mittarit. Kepan verkkokurssi Jonna Haapanen ja Eija Mustonen

Aikuisopiskelijan viikko - Viitekehys alueellisten verkostojen yhteistyöhön

OKM:n laaturyhmän linjaukset Laadunhallintajärjestelmien itsearvioinnin toteutus ja kriteerien esittely

Näkökulmia vaikutusten arvioinneista. Kajaani Eila Linnanmäki ja Tuulia Rotko

Projektityön ABC? Petri Kylmänen, Päihdetyön asiantuntijatoiminnan valmennus, Huuko , A-klinikkasäätiö

Kuinka laadin tutkimussuunnitelman? Ari Hirvonen I NÄKÖKULMIA II HAKUILMOITUS

Kansalaisjärjestöt ja Euroopan sosiaalirahasto ESR

Tavoitteena hyvinvoinnin edistämisen kumppanuus SAKU RY:N STRATEGIA

Loppuraporttiohjeistus Innovaation siirto -hankkeille

Ihmisen. kokoisia LOPPU- RAPORTTEJA. Miten teen raportin, joka kiinnostaa muitakin kuin rahoittajaa? AISAPARIn ohjeita hanketoimijoille

Pysähdy! Nyt on syytä miettiä tämä asia uudelleen. Kiinnitä huomiosi tähän. Hienoa, jatka samaan malliin. Innokylän arviointimittari

Hyviä käytänteitä ja kokemuksia

Tutkimushankkeiden riskienhallinta

Kehittämisverkostojen kick off tule kuulemaan mistä on kysymys! Mona Särkelä-Kukko

ARVIOINTISUUNNITELMA

Reilun Pelin työkalupakki: Työkäytäntöjen kehittäminen

TYÖHAASTATTELIJANA ONNISTUMINEN I Risto Kökkö Kevätkarkelot 2012

Hankkeiden loppuraportointi

Esityksen sisältö. Ideasta hankkeeksi. Kulttuurihankkeen suunnittelu Novgorod 2013 Marianne Möller Hankeidea

Sosten arviointifoorumi Elina Varjonen Erityisasiantuntija, RAY

AIEMMIN HANKITUN OSAAMISEN TUNNISTAMINEN JA TUNNUSTAMINEN DIAKISSA

Hanketoiminnan ja hankkeiden vaikuttavuuden edistäminen

Hyvät t käytännöt t julkisiksi miksi ja miten?

Potilasturvallisuuden johtaminen ja auditointi

Projektinhallinnan periaatteita ja hyviä käytänteitä - case Leonardo da Vinci

Lopullinen versio, syyskuu 2010 Paikallisen ja alueellisen tason kestävää kehitystä koskeva integroitu johtamisjärjestelmä

TOIMIVA YHDISTYS. Yhdistystoiminnan päivittäminen

Hankkeen toiminta. ESR-koordinaattori Sanna Laiho. Uudenmaan ELY-keskus

YHDISTYKSEN VIESTINTÄ

OPISKELIJAN ITSEARVIOINNIN OHJAUS. Merja Rui Lehtori, opetuksen kehittäminen Koulutuskeskus Salpaus

PALAVA-projektin vertaisarviointi

KA2 Strategiset kumppanuushankkeet: Väliraportointi

Nonprofit-organisaation markkinointi. Dosentti Pirjo Vuokko

Jalkapalloseuran pitkäjänteinen kehittäminen

Työhönkuntoutuksen kehittämishankkeen toisen vaiheen arviointitutkimus. Palveluntuottajan näkökulma

Vinkkejä hankeviestintään

1 Arvioinnin tausta ja tarpeet Arvioinnin tavoitteet, tiedonkeruu ja resurssit Arviointitiedon käsittely ja tulosten koostaminen...

Työelämäläheisyys ja tutkimuksellisuus ylemmän amktutkinnon. Teemu Rantanen yliopettaja

Sosiaalisen arvioinnin kehittämisverkosto Ville Kujanpää

Osaaminen ja tutkinnon suorittaminen opiskelijalähtöisesti

Adoptiomaatapaamisen järjestäminen

Mikä on projekti? J Ä R J E S T Ö H A U T O M O. Matti Forsberg järjestökonsultti Järjestöhautomo Matti Forsberg

ESIPUHE... 3 SISÄLLYSLUETTELO JOHDANTO... 6

KOULUTUSKOKEILUJEN ARVIOINTI

Projektinhallinta. Kielten POP-hankkeiden koordinaattoritapaaminen Koulutus- ja kehittämiskeskus Palmenia, Ulla Pehrsson ja Johanna Heimonen

Hankkeen arviointisuunnitelma

Paja 3, Tampere

Sisäinen valvonta ja riskienhallinta. Suomen Kuntaliitto Marja-Liisa Ylitalo erityisasiantuntija

Kilpailu- ja valmennustoiminnan hyödyt ja hyödyntäminen. EuroSkills2016-koulutuspäivä Eija Alhojärvi

LUPA LIIKKUA PARASTA TÄSTÄ TYÖKALUJA ITSELLESI!

Miten kerätä tietoa toiminnan jatkuvaan kehittämiseen

Nuorten tieto- ja neuvontatyön arvioinnin ja kehittämisen työvälineet - auditointi ja osaamiskartta

Jokainen projekti on ainutkertainen. t i (Lähde: Rissanen 2002, 14)

TASA-ARVOA JA YHDENVERTAISUUTTA IHMISTEN KANSSA TYÖSKENTELYYN Mitä, miksi ja miten? Sosiaalisen osallisuuden edistämisen koordinaatiohanke Sokra

SOLID-rahastojen hakukoulutus. Mikä on projekti? , Helsinki

KAMPANJAKUVAUS Tähdellä (*) merkityt kohdat ovat pakollisia.

Arviointi ja palaute käytännössä

Terveyden edistämisen vaikutus vai vaikuttavuus? Vaikuttavuuden seurannan mahdollisuudet

Laatutähti-työkalu Oulu 1

Vaikuttavuutta työterveysyhteistyöllä vaikuttavan työterveysyhteistyön indikaattorit ja hyvät käytännöt (ESR )

OPASTUS OPINNÄYTETÖIDEN SEMINAARI-ISTUNTOIHIN

Tuotteistaminen käytännössä: TPY:n malli

TOI-hankkeiden väliraportointi: Sisällön raportointi ja liitteet. Innovaation siirto -hankkeiden koulutus

Ratkaisuja arkeen Suomen metsäkeskus Tuula Jusko HR-tiimin esimies, työsuojelupäällikkö

PCM-projektiajattelu. Projektipalvelut Tutkimus- ja kehityskeskus

Laatua yhteistyöllä. Kommenttipuheenvuoro Eeva Honkanummi Kehittämisyksikkö, Sotet, Espoon kaupunki

Tutkimuksen alkuasetelmat

KA2 Strategiset kumppanuushankkeet: Väliraportointi

Oikeat tavoitteet avain onnistuneeseen tapahtumaan

Kriteeristön esittely

Transkriptio:

Askeleita arviointiin Järjestöjen arviointifoorumi 24.9.2009 www.jarvi-hanke.fi Nella Savolainen, Terveyden edistämisen keskus ry Mervi Aalto-Kallio, Terveyden edistämisen keskus ry Paula Saikkonen, Helsingin yliopisto 1

Ydinviestit Arviointi on osa arkista työtä! Arvioinnilla on arvoa vain osana järjestön normaalia, jokapäiväistä työtä. Toiminnan suunnittelu ja arviointi tukevat toisiaan. Arviointia oppii vain tekemällä! Miksi arvioidaan? Tämän session tavoitteena on vastata kysymykseen toiminnan läpinäkyväksi tekemisen näkökulmasta. 2

Mitä arviointi on? Evaluaatio eli toiminnan arviointi, toimintatapojen korjaaminen, toiminnan lähtökohtana pidettyjen arvojen mukaisen käytännön ja aiottujen vaikutusten toteutumisen osoittaminen. Arvioinnilla tavoitellaan tietyn toiminnan arvon tai ansioiden osoittamista ja sitä tarvitaan selkiyttämään kuvaa siitä, mikä toimii ja mikä kannattaa. Colin Robson: Käytännön arvioinnin perusteet. 2001. Tammi 3

ARVIOINNIN ASKELEET Arviointisuunnitelman laatiminen 1. ASKEL: Mitä arvioidaan? Toiminnan tavoite ja ohjelmateoria arvioinnin taustalla. 2. ASKEL: Miksi arviointia toteutetaan? Arvioinnin tarpeen, tarkoituksen ja tavoitteen kirkastaminen. 3. ASKEL: Mitkä ovat olennaisia seikkoja arvioida? Arviointikysymykset 4. ASKEL: Miten onnistuminen todennetaan? Arviointikriteerit 5. ASKEL: Sisäinen vai ulkoinen arviointi? Arvioinnin toteuttaja 6. ASKEL: Tulokset ja vaikutukset vs. prosessit arvioinnin kohteena 7. ASKEL: Arvioinnin aineisto 8. ASKEL: Dokumentointi ja raportointi 9. ASKEL: Tulosten hyödyntäminen ja levittäminen 10. ASKEL: Resurssit ja tarkistus (Lähde: Arvioinnin kartta (työnimi), vuoden 2010 alussa) 4

Esimerkki. Liikuntaryhmä (Savolainen & Paija, Promo 51, 2007) Ennakoituja tai ennakoimattomia, myönteisiä tai kielteisiä, tahallisia tai tahattomia, paikallisia tai yleistettäviä 5

1.ASKEL: Mitä arvioidaan? Toiminnan tavoite ja ohjelmateoria arvioinnin taustalla Arvioinnin taustalla tulee olla ymmärrys siitä kokonaisuudesta, johon arviointi nivoutuu. Arvioinnin tekijällä on oltava käsitys toiminnan etenemisestä: mitä tehdään, miksi, kenelle, milloin, mitä ovat taustatekijät ja mitä on tarkoitus toiminnalla saavuttaa. Ohjelmateoria auttaa hahmottamaan toiminnan logiikkaa. Ohjelmateoria tarkoittaa tietoon tai kokemukseen perustuvia näkemyksiä siitä, miksi joku toiminta etenee tietyllä tavalla, ja miksi siitä on odotettavissa tiettyjä tuloksia. Arvioinnin tekijällä tulee olla käytössään kirjallinen toimintasuunnitelma tai vastaava. Toiminnan logiikan hahmottaminen on siis arvioinnin lähtökohta. Toiminnan suunnittelussa ja sen arvioinnin suunnittelussa voidaan käyttää apuna myös Tekryssä suunniteltua SUUNTA-työkalua. 6

Tarve Päämäärä Tavoitteet Panokset: resurssit rakenteet toimijat Prosessi eli millaisella toiminnalla ja välineillä vaikutuksia pyritään Tulokset saavuttamaan Välittömät vaikutukset Pitkän aikavälin vaikutukset 7

SUUNTA työkalu suunnittelun ja arvioinnin tueksi Sähköinen työkalu hankkeen suunnittelun ja arvioinnin tueksi Pohjana Terveyden edistämisen keskuksessa kehitelty Karvalakki-malli ja Arvioinnin rakennekehikko Sisältää ohjetekstejä + mahdollisuuden kirjoittaa oma suunnitelma Lopputuloksena arvioitu hankesuunnitelma ja suunnitelma toiminnan arvioimiseksi Ajatuksena, että suunnitelma voisi tallentua sähköisesti Tekryn nettisivuille, joka mahdollistaisi mm. suunnitelmaan palaamisen ja sen muokkauksen Tekstien tallennuksen omalle koneelle ja/tai tulostamisen 8

TARVE Tarpeen arviointi (esim. onko todellinen?) PÄÄMÄÄRÄ Päämäärän arviointi (esim. kuuluuko organisaatiollemme?) TAVOITE TAVOITE TAVOITE Tavoitteen arviointi (esim. onko toteuttamiskelpoinen, liittyykö päämäärään?) PROSESSI PROSESSI PROSESSI PROSESSI Prosessien ja tehtävien arviointi (esim. mihin perustuvat, vievätkö kohti tavoitetta?) miten prosesseja ja tehtäviä tullaan seuraamaan ja arvioimaan toiminnan aikana(ja millä kriteereillä? TEHTÄ- VÄT TEHTÄ- VÄT TUOTOKSET JA MUUT TULOKSET TEHTÄ- VÄT TEHTÄ- VÄT Arvioitu suunnitelma: Looginen oletuksiltaan kestävä Mahdollisuus onnistua eli saavuttaa se muutos jota tavoiteltiin Lähde: Suuntatyökalun luonnosversio, Terveyden 9 edistämisen keskus ry

Tarpeesta ja päämäärästä liikkeelle Hankkeen / toiminnan suunnittelua ja arvioinnin suunnittelua helpottaa, jos toiminnan logiikka on kirjoitettu auki Ensin on määriteltävä tarve, miksi toiminta tai hanke ylipäätänsä on tarpeellinen, ja mikä uskomus on sen taustalla Tämän jälkeen asetetaan päämäärä Mikä uskomus ohjaa päämäärän asettamista? Mikä on ohjelmateoria? Liikuntaryhmäesimerkissätarve interventiolle oli perusteltu sillä, että liikkumattomuudella on vaikutusta ihmisten sairastavuuteen. Etenkin keski-ikäiset miehet liikkuvat vähän. Tarpeen arviointi : esim. onko todellinen? Mihin tietoon perustuu? Päämääräesimerkissäoli sydän-ja verisuonisairauksien ehkäiseminen 40+ -vuotiailla miehilläliikuntaryhmien avulla. Päämäärän arviointi : esim. kuuluuko organisaatiollemme, vrt. strategiat ja toimintasuunnitelmat, mihin tietoon perustuu? 10

Tavoitteiden asettamisesta Tavoitteiden asettamisen yhteydessä mietittävä tavoitteiden määrä ja laatu Tavoitteet esimerkissä: Liikkumattomien miesten määrävähenee ja miesten kunto kohoaa. Tavoitteen arviointi esim. Liittyvätkö päämäärään? Ovatko toteuttamiskelpoisia, esim. suhteessa käytettävissä oleviin resursseihin? Mihin tietoon perustuvat? Ovatko tarpeeksi tarkkoja (miten paljon määrävähenee, ja suhteessa mihin? Miten paljon kunto kohoaa?) 11

Prosesseista tehtäviin Prosessit ovat kokonaisuuksia ja Tehtävät konkreettisia tekoja HUOM! mitenprosesseja ja tehtäviätullaan seuraamaan ja arvioimaan toiminnan aikana(ja millä kriteereillä? ) Liikuntaryhmäesimerkissäprosessit voisivat olla esim. viestintä, markkinointi, koulutus, ryhmätoiminta tms. Tehtävät voisi sitten olla esim. mainokset lehdissäja muualla, ohjaajien koulutus, tilojen vuokraus toiminnalle jne. Prosessien ja tehtävien arviointi : esim. mihin perustuvat ja onko todennäköistä, että nämä vievät kohti tavoitetta? 12

Arvioitu suunnitelma Looginen Oletuksiltaan kestävä Mahdollisuus onnistua eli saavuttaa se muutos jota tavoiteltiin! 13

2. ASKEL Miksi arviointia toteutetaan? Arvioinnin tavoite Arviointi alkaa arvioinnin tarpeen ja tarkoituksen määritellyllä. Tarve ja tarkoitus nousee ohjelmasta/toiminnasta, jota arvioidaan. Tarkoituksena voi olla arvioida esim. minkälainen ohjelma on, miten hyvin se toimii tai olivatko ohjelman tulokset siihen panostettujen resurssien arvoisia Tarpeena voi olla niin toiminnan kehittäminen, parantaminen tai arvioida tarvitaanko toimintaa lainkaan, myös ohjelman tulosten ja vaikutusten arviointi voi olla tarpeena. 14

2. ASKEL Miksi arviointia toteutetaan? Arvioinnin tarve voi kohdistua johonkin yksittäiseen asiaan tai laajempiin kokonaisuuksiin (resurssit!) Kun tarpeet ja tarkoitus on tiedossa, voidaan edetä tarkempaan arvioinnin suunnitteluun. Tulee vastata seuraaviin kysymyksiin: Miksi arvioidaan? Mitä arvioidaan? Mikä on arvioinnin tavoite/tavoitteet? 15

3. ASKEL Mitkä ovat olennaisia seikkoja arvioida? Arviointikysymykset Miltei kaikkea voi arvioida. Alkuun voi kirjata listan mahdollisista arviointikysymyksistä. Arviointikysymysten määrä ja syvyys kannattaa suhteuttaa käytettävissä oleviin resursseihin. Arviointikysymykset voivat muuttua, mikäli toiminta muuttuu tai arvioinnin kannalta nousee uusia keskeisiä tarpeita. Miten ja onko kysymykset? 16

3. ASKEL Mitkä ovat olennaisia seikkoja arvioida? Alussa määritelty arvioinnin tarve ja tarkoitus määrittävät mitä arvioidaan ja sen pohjalta muodostetaan arviointikysymykset Prosessin, tuloksen ja vaikutusten arviointi Prosessin arvioinnissa arviointikysymys kohdistuu toiminnan prosessiin (esim. Toimitaanko suunnitelman mukaisesti? Millainen on toiminnan prosessikuvaus? Miten toiminta etenee?) Kehittämisen kannalta olennaista on tietää juuri prosesseista. Tuloksien arvioinnissa arviointikysymys kohdistuu toiminnan loppupäähän (esim. Saatiinko aikaiseksi se, mitä oli tavoitteena?) tulosten todentaminen on hankalaa ilman prosessiarvointia Vaikutusten arvioinnissa arviointikysymys kohdistuu erityisesti muutoksen, johon toiminnalla tähdättiin (esim. Syntyikö kohderyhmässä muutos, jota toiminnalla tavoiteltiin?) 17

3. ASKEL Mitkä ovat olennaisia seikkoja arvioida? Prosessin arviointi Mitä vaiheita toiminnassa on? Miten toiminta etenee? Miten toimintaa parannetaan? esim. koulutusten parantaminen, ryhmien lisääminen, rekrytoinnin kehittäminen HANKE/TOIMINTA/OHJELMA - AIKAJANA 18

3. ASKEL Mitkä ovat olennaisia seikkoja arvioida? Prosessin arviointi Mitä vaiheita toiminnassa on? Miten toiminta etenee? Miten toimintaa parannetaan? esim. koulutusten parantaminen, ryhmien lisääminen, rekrytoinnin kehittäminen HANKE/TOIMINTA/OHJELMA - AIKAJANA toimintasuunnitelmaan kirjatut tavoitteena olevat tulokset Tulosten arviointi Saatiinko aikaiseksi se, mitä oli tarkoitus? (esim. koulutus toteutettiin, liikuntaryhmät perustettiin jne.) 19

3. ASKEL Mitkä ovat olennaisia seikkoja arvioida? Prosessin arviointi Mitä vaiheita toiminnassa on? Miten toiminta etenee? Miten toimintaa parannetaan? esim. koulutusten parantaminen, ryhmien lisääminen, rekrytoinnin kehittäminen toimintasuunnitelmaan kirjatut tavoitteena olevat tulokset HANKE/TOIMINTA/OHJELMA - AIKAJANA Tulosten arviointi Saatiinko aikaiseksi se, mitä oli tarkoitus? (esim. koulutus toteutettiin, liikuntaryhmät perustettiin jne.) Vaikutuksen arviointi mittaus ennen interventiota intervention toteutus mittaus jälkeen intervention Saavutettiinko aikaan muutos, jota toiminnalla tavoiteltiin? (esim. paino laski, elämänlaatu parani, alkoholinkäyttö väheni jne. 20

4. ASKEL Miten onnistuminen todennetaan? Arviointikriteerit Arviointikriteerit ovat yksiselitteisiä mittareita/tekijöitä, joiden avulla varsinainen arviointi toteutetaan Arvioinnissa kyse arvottamisesta, onnistumisesta tai epäonnistumisesta suhteessa määriteltyyn tavoitteeseen Arviointikriteereillä määritellään tavoite riittävän hyvästä onnistumisesta Jokaista arviointikysymystä kohden tulee olla ainakin yksi arviointikriteeri 21

4. ASKEL Miten onnistuminen todennetaan? Esimerkkejä arviointikysymyksistä ja kriteereistä Esim. 1. Arvioinnin tarkoituksena tarkastella 40+ -miesten rekrytointiprosessia ja siinä onnistumista Arviointikysymys: Miten rekrytointiprosessissa onnistuttiin? Arviointikriteerit: Rekrytointi toteutetaan vähintään 4 eri viestintäkanavan kautta. 30.10.2009 mennessä saadaan riittävä määrä osallistujia kasaan Mukaan saadaan rekrytoitua 100 aktiivista 40+ vuotiaista miestä. Prosessin kautta opitaan, mitkä vaiheet/tekijät rekrytointiprosessissa tulisi ottaa paremmin huomioon seuraavalla rekrytointikerralla. 22

4. ASKEL Miten onnistuminen todennetaan? Esimerkkejä arviointikysymyksistä ja kriteereistä Esim. 2. Arvioinnin tarkoituksena tarkastella 40+ -miehille tehtävää kuntoarviota ja sen merkitystä Arviointikysymys: Mikä on kuntoarvion tekemisen tavoitteena? Arviointikriteerit: Jokaiselle osallistujalle tehdään kuntoarvio.x.x. päivään mennessä. Kukin osallistuja ymmärtää kuntoarvion perusteella oman terveydentilansa nykyhetkessä. Henkilökohtaisten kuntoarviokeskustelujen pohjalta opitaan keskeisimmät haasteet ja sudenkuopat, jotka ovat 40+ -ikäisten miesten liikkumattomuuden taustalla 23

4. ASKEL Miten onnistuminen todennetaan? Esimerkkejä arviointikysymyksistä ja kriteereistä Esim. 3. Arvioinnin tarkoituksena tarkastella koko hanketta ja siinä aikaan saatuja muutoksia Arviointikysymys koskien koko hanketta: Mitä muutoksia hankkeen aikana saavutettiin 40+ miesten kunnossa? Arviointikriteerit: 70 %:lla miehistä paino on pudonnut vähintään 5 kg, 10 %:lla 10 kg 80 % miehistä harrastaa liikkumista tavalla tai toisella säännöllisesti UKK-instituutin liikuntapiirakan mukaisesti 24

5. ASKEL Sisäinen vai ulkoinen arviointi? Arvioinnin toteuttaja Sisäisellä (itsearvioinnilla) pärjää ja se on monessa suhteessa kannattavaa ja hyödyllistä Tarvetta ulkoiselle arvioinnille määrittää esim. osaaminen, resurssit, rahoittajan edellytys ja arviointikysymykset Mihin arviointikysymyksiin voidaan vastata itse? Mitkä arviointikysymyksistä ovat sellaisia, joihin vastaamiseksi tarvitaan ulkopuolista apua? Mikäli ulkoista arviointia käytetään, arvioinnin tilaamiseen kannattaa panostaa ja muistaa ylläpitää tiivistä vuoropuhelua ulkoisen arvioitsijan kanssa 25

6. ASKEL Tulokset ja vaikutukset vs. prosessit arvioinnin kohteena Taustalla on jo ymmärrys siitä, toiminnan suunnitelma ja ohjelmateoria, arvioinnin tavoite ja tarkoitus, määritellyt arviointikysymykset ja niille asetetut kriteerit Arviointikysymykset keskiössä (ks. askel 3) Vaikuttaa kerättävään aineistoon ja aineistonkeruuajankohtaan Tuloksia ja vaikutuksia ei ole ilman prosesseja 26

Prosessin arviointi Arviointia toteutetaan koko toiminnan ajan Onko toimittu suunnitellun mukaisesti? Miten prosessi etenee? Toteutuuko prosessi suunnitelman mukaisesti? Aineisto voi olla laadullista tai määrällistä Esim. rekrytointi (arviointi) kunto-kartoitus (arviointi) liikuntaryhmien perus-taminen (arviointi) ryhmiin osallistuminen (arviointi) jne. Vaikutusten arviointi Tulosten arviointi Vaikuttavuuden arviointi 27

Prosessin arviointi Arviointia toteutetaan koko toiminnan ajan Onko toimittu suunnitellun mukaisesti? Miten prosessi etenee? Toteutuuko prosessi suunnitelman mukaisesti? Aineisto voi olla laadullista tai määrällistä Esim. rekrytointi (arviointi) kunto-kartoitus (arviointi) liikuntaryhmien perus-taminen (arviointi) ryhmiin osallistuminen (arviointi) jne. Vaikutusten arviointi Tulosten arviointi Arviointi sijoittuu toiminnan loppupäähän Saatiinko aikaan se, mitä oli tarkoitus? Aineisto useimmiten määrällistä, jos laadullista käytetään määrällisen aineiston tavoin Esim. kuntokartoitus toteutettiin, liikuntaryhmät perustettiin Vaikuttavuuden arviointi 28

Prosessin arviointi Arviointia toteutetaan koko toiminnan ajan Onko toimittu suunnitellun mukaisesti? Miten prosessi etenee? Toteutuuko prosessi suunnitelman mukaisesti? Aineisto voi olla laadullista tai määrällistä Esim. rekrytointi (arviointi) kunto-kartoitus (arviointi) liikuntaryhmien perus-taminen (arviointi) ryhmiin osallistuminen (arviointi) jne. Vaikutusten arviointi Arviointi sijoittuu toiminnan alku- ja loppupäähän Onko toiminnalla päästy tavoitteisiin ja tuottanut aiottuja vaikutuksia? Ohjelmateoria! (muutoksen arviointi) Aineisto useimmiten määrällistä, jos laadullista käytetään määrällisen aineiston tavoin Esim. osallistujien paino putosi hankkeen toteutuksen aikana keskimäärin 2 kg/hlö Tulosten arviointi Arviointi sijoittuu toiminnan loppupäähän Saatiinko aikaan se, mitä oli tarkoitus? Aineisto useimmiten määrällistä, jos laadullista käytetään määrällisen aineiston tavoin Esim. kuntokartoitus toteutettiin, liikuntaryhmät perustettiin Vaikuttavuuden arviointi 29

Prosessin arviointi Arviointia toteutetaan koko toiminnan ajan Onko toimittu suunnitellun mukaisesti? Miten prosessi etenee? Toteutuuko prosessi suunnitelman mukaisesti? Aineisto voi olla laadullista tai määrällistä Esim. rekrytointi (arviointi) kunto-kartoitus (arviointi) liikuntaryhmien perus-taminen (arviointi) ryhmiin osallistuminen (arviointi) jne. Vaikutusten arviointi Arviointi sijoittuu toiminnan alku- ja loppupäähän Onko toiminnalla päästy tavoitteisiin ja tuottanut aiottuja vaikutuksia? Ohjelmateoria! (muutoksen arviointi) Aineisto useimmiten määrällistä, jos laadullista käytetään määrällisen aineiston tavoin Esim. osallistujien paino putosi hankkeen toteutuksen aikana keskimäärin 2 kg/hlö Tulosten arviointi Arviointi sijoittuu toiminnan loppupäähän Saatiinko aikaan se, mitä oli tarkoitus? Aineisto useimmiten määrällistä, jos laadullista käytetään määrällisen aineiston tavoin Esim. kuntokartoitus toteutettiin, liikuntaryhmät perustettiin Vaikuttavuuden arviointi Kokonaisarvio ja päätelmä useasta eri vaikutuksesta mikä vaikuttaa mihin, miten, milloin ja millä edellytyksillä Tarkastelee koko toiminnan vaikutuksia suhteessa asetettuun päämäärään Edellyttää usein laajempaa tiedonkeruuta yhteiskunnasta ja kansalaisten elämästä Esim. kunnon kohoamisen vaikutusten osuuden osoittaminen miesten sydän- ja verisuonisairastavuudessa ja sen merkitys väestön terveydelle 30

7. ASKEL Arvioinnin aineistot Minkälaista tietoa tarvitaan, jotta arviointikysymyksiin voidaan vastata? Tarvitaanko aineistoa prosesseista, tuloksista vai vaikutuksista? Miten olemassa olevia aineistoja voidaan arvioinnissa hyödyntää (esim. hankeraportit, toimintasuunnitelmat ja -kertomukset, ohjausryhmän kokousmuistiot, hankesuunnitelmat jne.)? Minkälaista aineistoa tarvitaan lisää? Määrällistä (erilaiset kyselylomakkeet, palautteet yms., valmiit tilastot) eli sisältyykö arviointikysymykseen ilmaisuja kuten kuinka paljon, missä määrin tai onko arviointikriteeri määritelty lukuarvona? Laadullista (haastattelut, kirjoitukset) eli ovatko arviointikysymykset pääosin miten muotoisia? Miten aineisto hankitaan, milloin ja kenen toimesta? 31

7. ASKEL Arvioinnin aineistot 1. Olemassa olevat aineistot 2. Hankkeen tai toiminnan tuottamat dokumentit 3. Arviointia varten kerättävät aineistot Määrällinen aineisto Laadullinen aineisto 32

7. ASKEL Arviointia varten kerättävät aineistot Aineiston hankintaan ryhdytään, kun arviointikysymykset sitä vaativat. Aineiston keruun lähtökohtana aina arvioinnin tarpeet. Aineiston määrän ja laadun määrittävät arviointikysymykset. Mitkä ovat käytettävissä olevat resurssit, esim. osaaminen, aika; aineiston keruu & käyttö Keskeisten käsitteiden operationalisointi 33

7. ASKEL Operationalisointi Liikkumattomat 40-vuotiaat miehet Mikä on liikkumaton? Liian vähän kunnon ylläpitämiseksi liikkuva Liian vähän kunnon kohottamiseksi liikkuva Vähän liikuntaa harrastava Milloin mies muuttuu liikkumattomaksi: viikossa, kuukaudessa, vuodessa Huom! Käsitteet omavoimaistaminen, hyvinvointi, elämänhallinta 34

7. ASKEL Laadulliset aineistot; huomioitavaa Haastattelut (yksilö, ryhmä), havainnointi, tekstiaineistot, kuvat. Mikä on paras aineistonhankinnan tapa? Perustele. Aineiston käsittely miten dokumentoidaan? Miksi näin? Miten perustelet havainnoinnin kohteen ja/tai haastateltavien valinnan? Saadaanko valitulla aineistonkeruu tavalla arvioinnin kannalta olennaista informaatiota? Kuka/ketkä aineiston keräävät mitä siitä seuraa? Mitä informanteille luvataan? 35

7. ASKEL Kyselyaineistot; huomioitavaa Onko riittävästi tietoa kysymysten muotoiluun? Kysytäänkö yhdellä väittämällä varmasti vain yhtä asiaa? Varmistetaan, että lomakkeessa väittämät ja vastausvaihtoehdot ovat jotakuinkin samantasoisia. Varmistetaan, että käytetyt asteikot ovat tarkoituksenmukaisia. Testataan lomake kohderyhmällä tai vähintään työtovereilla ennen käyttöä. Varmistetaan, että lomakkeen mukana menevä saata on tarkoituksenmukainen. Avokysymysten paikka 36

8. ASKEL Dokumentointi & raportointi Miten arviointi dokumentoidaan? Mihin aineisto kerätään? Mistä se löytyy ja miten sitä käsitellään ja raportoidaan? Milloin tuloksista raportoidaan? Minkälaisia väliraportteja tarvitaan? 37

9. ASKEL Tulosten levittäminen Loppuraportti Miten? Kenelle; toteuttaja, oman organisaation työntekijät, rahoittaja, muut järjestöt? Kuka vastaa tulosten hyödyntämisestä? 38

10. ASKEL Resurssit? Tarkistus Arviointitieto toiminnan parantamisessa Arvioinnin resurssit Arviointiosaaminen Ostetaanko osaamista Arvioinnin toteuttaja Suunnitelma suhteessa resursseihin 39

Miksi arvioidaan? Laadukkaasti tehty toiminnan suunnitelma auttaa arvioinnin tekemistä. Hyvin suunniteltu on puoliksi tehty. Laadukkaasti tehty arviointi tekee toiminnan läpinäkyväksi ja tukee toiminnan kehittämistä. Tällöin on todennäköisempää, että huomataan suunnitelman mahdolliset epäjohdonmukaisuudet ja korjataan ne ajoissa. saavutetaan toiminnalle alun perin asetetut tavoitteet ja saadaan aikaan tuloksia. Arvioinnissa on käytetty aineistoja, johon arvioinnin johtopäätökset ja suositukset perustuvat. Arviointiraportin lukijan on mahdollista seurata arvioitsijan päättelyketjua ja ymmärtää, miten lopputulemaan on tultu. 40