Ajatuksia liikunta- ja hyvinvointiohjelman arvioinnista Nuori Suomi ry 12.9.2012 Arviointipäällikkö Sanna Kaijanen
Toiminnan kehittämisen kehä Kehittämistyö ei tapahdu tyhjiössä toimintaympäristön ja asiakkaiden, kohderyhmien huomioiminen. Kukin toiminnan kehittämisen vaihe on vuorovaikutuksessa keskenään. HUOM! Sovellettu Demingin laatukehää/pdca-sykliä (Plan-Do-Check-Act)
Arviointi ohjelmasyklissä Kehittämisehdotukset Oppiva organisaatio? Kehittämiskohteet Suunnanmuutokset Uusi hanke? Ideointi / Ohjelma käyttöön Ohjelman suunnittelu Arviointisuunnitelma Miksi arvioidaan? Mitä arvioidaan? Miten arvioidaan? Analyysi ja johtopäätökset Miten analysoidaan? Miten ollaan onnistuttu? Mihin arviointitietoa peilataan? Raportointi miten? Tulosten hyödyntäminen Toteutus/ pilotointi Seuranta ja dokumentointi Mitä ja miten tietoa toiminnasta kerätään ja dokumentoidaan?
Arviointiasetelma Miksi arviointi tehdään? TARKOITUS JA KOHDE Miten tieto saadaan? MENETELMÄT Mihin onnistumista peilataan? KRITEERIT Arviointikysymykset Mitä oletuksia tai uskomuksia on toiminnan tuloksista tai vaikutuksista? TEORIA Mitä tietoa tarvitaan? AINEISTON HANKINTASTRATEGIA Sovellus. Colin Robson: Käytännön arvioinnin perusteet. 2001. Tammi
Ohjelmateoria Panos Prosessi Suoritus Tulos Konteksti Konteksti Konteksti Vaikutus & vaikuttavuus Keino jäsentää toiminnan etenemistä, siihen liittyviä syy-seuraussuhteita ja oletuksia siitä, millä edellytyksillä toiminta voi saavuttaa tavoiteltuja tuloksia ja muutoksia. Sisältää perusteluja toiminnalle ja valituille menetelmille.
Arviointikysymykset Arviointikysymykset laaditaan tarpeen, tavoitteen, kohteen ja näkökulman pohjalta. Arviointikysymyksillä haetaan vastauksia arviointitiedon tarpeeseen, ts. mitä haluamme tietää? Erilaisia kysymystyyppejä: Onko ja miten Arviointikysymykset voivat matkan varrella muuttua.
Arviointikriteerit Arviointikriteerit ovat yksiselitteisiä mittareita tai määritelmiä, joiden avulla varsinainen arviointi suoritetaan. Arviointikriteereillä kuvataan onnistumista ja ne johdetaan toiminnan tavoitteista. Vastauksia arviointikysymyksiin. Nyrkkisääntö: jokaista arviointikysymystä kohden tulee olla ainakin yksi arviointikriteeri!
Arviointimenetelmät ja -aineistot Pohdittava, miten, milloin ja kenen toimesta aineisto hankitaan ja kootaan? Prosessiarvioinnissa kerätään läpi prosessin. Tulosten arvioinnissa aineistoa on olemassa vasta lopussa, mutta sitä peilataan prosessiin ja tavoitteisiin. Vaikutusten arvioinnissa aineistoa kerätään alku- ja loppuvaiheessa. HUOM! Viimeistään aineistonkeruuvaiheessa joutuu ilmiön ja käsitteiden konkretisoinnin äärelle!
Informantit Informanttien määrittäminen tärkeää eli keneltä tietoa kerätään ja miksi Informanttien määrittely nousee arvioinnin näkökulmasta ja arviointikysymyksistä: Kenen näkökulma kiinnostaa ja on soveltuvin kehittämisen kannalta? Huomioi informanttien erityispiirteet menetelmien valinnassa, esim. iäkkäät, lapset, kielivähemmistöt tai taidottomat, kulttuurierot Yksityisyyden suoja ja etiikka!
Liikunta- ja hyvinvointiohjelman arvioinnin kohteet VALMISTELU JA KÄYTTÖÖNOTTO (PILOTOINTI) TAVOITTEET, KEINOT JA TOIMENPITEET TUOTOKSET, TULOKSET JA VAIKUTUKSET
OHJELMAN VALMISTELU JA KÄYTTÖÖNOTTO - Mikä tarve ohjelman rakentamisen taustalla on? - Miten ohjelma on rakennettu? - Ketkä ovat olleet mukana? Miten? Miten kaikki eri toimijatasot on otettu mukaan valmisteluun? Millaisia prosesseja verkostossa on käynnissä? - Miten ohjelmaa pilotoidaan? Missä? Miksi juuri kys. paikoissa? Miten? Kokemuksia? Mitä tapahtunut? Keneltä kysytään? - Miksi juuri kyseisellä tavalla rakennettu ohjelma vastaa tarpeeseen?
OHJELMAN VALMISTELU JA KÄYTTÖÖNOTTO - Tässä kohtaa arvioidaan - ohjelmaa valmistelevan ryhmän toimintaa - sen aikaansaamia tuloksia - ohjelman käyttöönottoa (pilotointia) - Prosessi- ja kuvaileva arviointi - Pilotoinnin arvioinnista saadaan arvokasta tietoa ohjelman juurruttamiseksi ja levittämiseksi sekä mahdollisten korjausliikkeiden tekemiseksi
OHJELMAN TAVOITTEET, KEINOT JA TOIMENPITEET - Millaisia tavoitteita ohjelmassa on? Mihin ohjelmalla pyritään? - Miten keinot palvelevat tavoitteita? Millaisia keinoja ohjelmassa hyödynnetään? - Mitä toimenpiteitä ohjelmassa on? Mitä ohjelmassa tapahtuu? - Ketkä toimijat ovat mukana? Yhteistyökumppanit? - Millainen toimintaympäristö?
OHJELMAN TAVOITTEET, KEINOT JA TOIMENPITEET - Tässä kohtaa arvioidaan - Mitä ohjelmassa oikein tapahtuu - Miten tavoitteisiin on päästy - Johtavatko valitut keinot ja toimenpiteet tavoitteisiin - Prosessi- ja kuvaileva arviointi
OHJELMAN TUOTOKSET, TULOKSET JA VAIKUTUKSET - Mitä konkreettisia tuotoksia ohjelmassa on syntynyt? - Millaisia tuloksia ohjelma on aikaansaanut? Tulokset suhteessa tavoitteisiin. - Onko jokin muuttunut? Mikä? Miten? - toivotut ja ei toivotut vaikutukset - odottamattomat vaikutukset - Onko vaikuttavuuden saavuttaminen mahdollista? - Tulosten ja vaikutusten arviointia
Vaikutusten ja vaikuttavuuden arviointi/karppaus Tarve: Moni suomalainen kärsii sydän- ja verisuonisairauksista, jotka johtuvat epäterveellisistä elintavoista ja ylipainosta. Elintapoihin ja ylipainoon tulisi kiinnittää huomiota. Vaikuttavuuden arviointi: Karppauksen vaikutukset sydän- ja verisuonisairauksiin väestötasolla ja pitkällä aikavälillä. Päämäärä: Elintapojen muutos ja ylipainon väheneminen väestötasolla. Tavoite: Ylipaino vähenee vähähiilihydraattisella ruokavaliolla karppauksella Turun ja Helsingin 30-50- vuotiaiden aikuisten keskuudessa kahdessa vuodessa. Keino/prosessit/tehtävät: Kaupungeissa organisoitavat karppauskamppanjat, jotka sisältävät aktiivista tiedotusta ja suosituksia karppauksen hyödyistä. Tuotos (esim.): Karppausesitteet, -suositukset sekä kampanjatapahtumat Tulos: Ylipainon väheneminen kaupunkien kohderyhmissä. Vaikutusten arviointi tarkastelee muutosta: Turun ja Helsingin 30 50-vuotiaiden aikuisten painoindeksien mittaaminen ennen ja jälkeen kampanjoinnin kahden vuoden seurantajaksolla, ja tätä kautta muutoksen osoittaminen.
Kiitokset mielenkiinnostanne! Sanna Kaijanen SOSTE Suomen sosiaali ja terveys ry sanna.kaijanen@soste.fi 040-5081716 07.05.12