M e r v i A a l t o - K a l l i o P a u l a S a i k k o n e n P i r j o K o s k i n e n - O l l o n q v i s t Arvioinnin kartalla matka teoriasta käytäntöön TERVEYDEN EDISTÄMISEN KESKUS CENTRET FÖR HÄLSOFRÄMJANDE FINNISH CENTRE FOR HEALTH PROMOTION
Terveyden edistämisen keskuksen julkaisuja 7/2009 ISSN 1455-5964 ISBN 978-952-205-039-7 Kansi ja taitto: Taina Leino, Vitale Ay Painopaikka: Kehitys Oy, Pori 2009
Saatteeksi Pitäisi olla kartta, jonka mukaan arvioinnin kentällä olisi mahdollista suunnistaa. Tämän JÄRVI-hankkeen arviointifoorumissa esitetyn toiveen siivittämänä tätä julkaisua lähdettiin ideoimaan. Arviointia voidaan toteuttaa monin eri tavoin. Tästä syystä kuva arvioinnin kokonaisuudesta saattaa jäädä pirstoutuneeksi. Eri palasten sidokset toisiinsa ja osana kokonaisuutta ovat joskus hankalia hahmottaa. Lisäksi arviointiin liitetään lukuisia, joskus vaikeitakin käsitteitä. Arvioinnista on kirjoitettu monia hyviä käsikirjoja ja muita julkaisuja 1 niin suomeksi kuin englanniksikin. Lisäksi tietoa erilaisista suunnittelun ja arvioinnin työmenetelmistä on löydettävissä monista internet-lähteistä 2. Arvioinnista saatavasta tiedosta huolimatta arviointi on saattanut jäädä toiminnasta irralliseksi. Syitä arvioinnin irrallisuuteen on ainakin kaksi. Ensinnäkin arvioinnin pitäisi olla mukana alusta asti, toiminnan tai hankkeen suunnitteluvaiheesta lähtien. Muuten arvioinnista tulee helposti päälle liimattua, eikä siitä saada aidosti tukea toimintaan tai hankkeen toteutukseen. Arviointiin joudutaan käyttämään suhteessa enemmän voimavaroja kuin jos se olisi otettu mukaan heti toiminnan tai hankkeen käynnistämisvaiheessa. Toiseksi arviointia tehdään helposti totutun kaavan mukaisesti käyttämättä sen enempää aikaa arviointikysymyksiin. Arvioinnissa saatetaan hyödyntää hyväksi havaittua työmenetelmää, vaikka se ei olisi paras mahdollinen arviointikysymyksen kannalta. Hyvä arviointi edellyttää oikeita kysymyksiä ja niihin kattavia vastauksia. Idea arvioinnin kartasta syntyi Albaekin (ks. Arviointi sosiaalipalveluissa 2001, 20) arvioinnin pääsuuntaukset sisältävästä nelikentästä. Albaekin malli oli erinomainen lähtökohta arvioinnin kokonaisuuden tarkasteluun. Tätä 1 Ks. esim. JÄRVI-hankkeessa tuotettu julkaisu Näkökulmia järjestöarviointiin ja Terveyden ja hyvinvoinnin laitoksen (ent. Stakes Finsoc) arviointiryhmän laatimat käsikirjat ja julkaisut sekä Sosiaaliportti.fi Hyvä käytäntö -sivustot. 2 Ks. esim. JÄRVI-hankkeen työkalut (www.jarjestoarviointi.fi/) ja Työterveyslaitoksen menetelmäpakki (sisältää työolojen arviointi- ja kehittämismenetelmiä) (www.ttl.fi/). 3
4 nelikenttää soveltamalla, täydentämällä ja muokkaamalla syntyi lopulta alkuperäistä mallia enää hämärästi muistuttava arvioinnin kartta. Arvioinnin kartassa on kaksi puolta: teoria ja käytäntö. Kuten yleensä, teorian tavoite on kuvata ilmiön yleiset piirteet, taustat ja merkitys. Teoriasta on apua käytännön ratkaisujen ja valintojen tekemisessä. Kirjan kolmas osio tarjoaa tukea yksittäisten arviointikysymysten ratkaisuissa kuvaamalla erilaisia arvioinnin aineistoja ja työmenetelmiä. Arvioinnin kartan tavoitteena on kuvata kokonaisuutta ja osoittaa, miten erilaiset arvioinnin teoreettisella taustalla vaikuttavat ilmiöt suuntaavat arviointia käytännössä. Arvioinnin kartassa teoria ja käytäntö ovat saman asian kaksi eri puolta ja muodostavat yhdessä kokonaisuuden. Kartta on pelkistetty malli, joka on muokattu nykyiseen muotoonsa vaiheittain tämän julkaisun työstämisen aikana. Tiettävästi tämän tyyppistä mallia tai karttaa ei ole aiemmin ainakaan Suomessa luotu. Kartta on eräänlainen prototyyppi, joka toivon mukaan jalostuu sitä paremmaksi mitä enemmän sitä käytetään ja sovelletaan käytännön arviointityössä. Muistutamme, että kartta on pintaraapaisu arvioinnin teorian ja käytännön monimuotoisuudesta. Se antanee kuitenkin riittävät ainekset suunnitella ja toteuttaa toimintaan kiinnittyvää arviointia. John Fisken (1992, 58 59) kuvaus erilaisten karttojen ja mallien luonteesta sopii hyvin myös arvioinnin kartan kuvaamiseen. Fisken mukaan kartat jäljentävät vain valittuja piirteitä kohteestaan. Tiekartassa esille nousevat eri seikat kuin samaa aluetta kuvaavasta maastokartasta. Kartta ei voi kuvata kohdettaan täydellisesti. Kartan valintaan liittyy tarkoitushakuisuus. Tiekartan avulla autoilija löytää oikean tien, maastokartan avulla marjastaja mahdollisesti hyvät sieni- tai marja-apajat. Tässä julkaisussa muotoilemme arvioinnin kartan, joka kuvaa saman asian kahta eri puolta. Teoreettinen kartta (luku 2.5) kiteyttää arvioinnin teoreettiset lähtökohdat, menetelmällinen kartta (luku 4.1) on saman asian käytännöllinen puoli. Julkaisu on tarkoitettu kaikille arvioinnista kiinnostuneille ja arviointia toteuttaville, vaikka arviointia tarkastellaan terveyden edistämisen näkökulmasta ja esimerkit liittyvät sosiaali- ja terveysjärjestöjen toiminnan arviointiin. Julkaisu sopii erityisesti niille, jotka ovat ensimmäistä kertaa astumassa arvioinnin äärelle ja pohtivat, mistä tulisi lähteä liikkeelle, mitä tulisi arvioida, miten ja milloin.
Kaikki haluavat tehdä työnsä hyvin. Arvioinnin tehtävä on auttaa tekemään työtä paremmin ja saavuttamaan asetetut tavoitteet. Lisäksi arvioinnin avulla oppii. Me uskomme, että jokainen osaa arvioida. Arviointi ei edellytä pitkää teoreettista oppimäärää, jotta siihen voi tarttua. Arvioinnin kartta on tehty apuvälineeksi arvioinnin ymmärryksen ja arvioinnin toteutuksen tueksi. Suosittelemme julkaisun läpilukemista, jonka jälkeen sitä on helppo käyttää käsikirjamaisesti. Käsikirjamaisuuden vuoksi julkaisussa on jonkin verran toistoa ja ristikkäisviitteitä. Toivomme, että mahdollisimman monet arvioinnin kentällä suunnistajista saavat kartasta toimivan aputyökalun. Kenties jossakin vaiheessa kartta osoittautuu tarpeettomaksi. Sitä ei enää tarvita perille löytämiseksi ja tarkoituksenmukaisen arvioinnin toteuttamiseksi. Reitti on tullut tutuksi. Julkaisun kirjoittaminen on ollut tekijöillekin yhdenlainen matka muiden matkojen lomassa. Toisinaan olemme olleet enemmän, toisinaan vähemmän kartalla. Eksymistä harhapoluille on tapahtunut. Toisinaan kompassia on tarvittu aika lailla, jotta johonkin päätelmään on päästy. Välillä on ollut suvantovaiheita. Erilaisten rastien ääriltä syntyi rikasta keskustelua ja kompromissiratkaisuja on tehty. Pienistä palasista syntyi kokonaisuus, yksi rasti johti toiseen ja lopulta määränpää löytyi. Mutta kukapa matkaa taittaisi yksin? Tähän julkaisuun on saatu suurta apua Terveyden edistämisen keskuksen laatu- ja arviointiryhmän asiantuntijoilta sekä joukolta ulkopuolisia kommentaattoreita, jotka ovat antaneet hyvää ja rakentavaa palautetta. Kiitokset korvaamattomasta avusta. 10.12.2009 Alppitalossa Helsingissä Mervi Aalto-Kallio Paula Saikkonen Pirjo Koskinen-Ollonqvist 5
Sisällys 1 Johdanto: Arvioinnin tarkoitus ja tarpeet... 9 I Osa: Teoria kaiken perustana 2 Arvioinnin kartta: teoria... 14 2.1 Arviointi ja terveyden edistäminen...14 2.2 Ohjelmateoria toiminnan ja arvioinnin lähtökohtana...16 2.3 Arvioinnin etiikasta ja arvioitsijan rooleista...22 2.4 Arvioinnin neljä lähestymistapaa...27 2.5 Arvioinnin teoreettinen kartta...36 Ydinkohdat... 41 II Osa: Silta teorian ja käytännön välillä 3 Arvioinnin askeleilla teoriasta käytäntöön... 44 Ydinkohdat... 55 6
III Osa: Näkyväksi tekevä käytäntö 4 Arvioinnin kartta: käytäntö... 58 4.1 Arvioinnin menetelmällinen kartta...58 4.2 Arvioinnin aineistot...61 4.3 Erilaiset työmenetelmät arvioinnin tukena...74 4.3.1 Osallistava arviointi...75 4.3.2 Tapauskohtainen arviointi...85 4.3.3 Prosessiarviointi...95 4.3.4 Tulosten ja vaikutusten arviointi...104 4.4 Arvioinnin raportointi...111 Ydinkohdat... 112 5 Arvioinnin kartta apuna arvioinnin tulevaisuudessa... 114 Lähteet... 117 Sanasto... 120 Liitteet... 123 7
1Johdanto: Arvioinnin tarkoitus ja tarpeet Tänä päivänä arvioinnilta ei voi välttyä. Nykyisellä tilivelvollisuuden aikakaudella kaikkea toimintaa tulee seurata, tarkastella ja arvioida. Arviointiin sisältyy myös toiminnan parantamisen tavoite. Arviointi on jonkin asian arvon tai ansion määrittelyä ja tämä ominaisuus erottaa sen tutkimuksesta, joka liittyy perinteisesti kuvaamiseen, selittämiseen ja ymmärtämiseen ilman arvottamista (Robson 2001, 24 25). Arvioinnista pitää hyötyä, silloin se on kannattavaa. Arvioinnissa kerättyä tietoa käytetään usein toiminnan kehittämisessä, laajentamisessa tai siitä luopumisessa. Tietoa käytetään myös vaikutusten osoittamiseen. Arviointi on keino oppia ja kehittyä omassa työssään. Lisäksi se on väline osoittaa oikeutus niille valinnoille, mitä missäkin tilanteessa on tehnyt. Arvioinnin perustana on ymmärrys arvioitavasta ohjelmasta, hankkeesta tai toiminnasta 3, jota arvotetaan asetettujen yksilöllisten, yhteisöllisten ja yhteiskunnallisten odotusten pohjalta. Arviointia varten tarvitaan tietoa ohjelman sisällöistä, siihen liittyvästä teoriasta ja keskeisistä käsitteistä. Arvioinnin tulisi kiinnittyä alusta asti ohjelman toteutukseen. Arvioinnilla sinänsä ei voi saada aikaan tuloksia. Tulokset syntyvät siinä ohjelmassa, jota arvioidaan. Arviointi on tapa arvottaa ohjelman toimintoja tai kokonaisuutta eli kertoa missä on onnistuttu tai missä olisi parantamisen varaa. Arvioinnin tuella annetaan kehittämissuosituksia tai osoitetaan toiminnan tuloksellisuus ja vaikutus. Sen avulla voidaan vastata myös kysymykseen siitä, käytetäänkö olemassa olevat resurssit parhaalla mahdollisella tavalla. Tässä mielessä voidaan ajatella, että ohjelma on isäntä ja arviointi sen renki. Arvioinnin tarkoituksena voi olla vastata kysymyksiin: minkälainen ohjelma on, miten hyvin se toimii ja olivatko ohjelman tulokset siihen panostettujen 3 Tässä julkaisussa ei nähdä periaatteellista eroa ohjelman, hankkeen tai toiminnan arvioinnissa. Jatkossa emme kuitenkaan luettele jokaisessa kohdassa erikseen kaikkia kolmea vaihtoehtoa, vaan kirjoitamme pääosin ohjelmien arvioinnista. 9
10 resurssien arvoisia. Arvioinnin suunnittelu alkaa arvioinnin tarkoituksen ja tarpeiden määrittelyllä ja perustelulla. Mitä arvioidaan ja miksi arvioidaan? Kun tiedetään arvioinnin tarpeet ja tarkoitus, edetään arvioinnin suunnitteluun, jonka pohjalta arviointi lopulta käytännössä toteutetaan. Arviointiin liittyy aina useampia henkilöitä ja se palvelee monia ihmisiä. Arvioinnin on ensisijaisesti palveltava arvioitavaa ohjelmaa, sen toimintoja ja kohteena olevia henkilöitä. Toissijaisesti arvioinnin tehtävä on palvella muita ammattilaisia tai organisaatioita. Pelkästään rahoittajaa varten tehtävä arviointi ei ole eettisesti kestävällä pohjalla. Ohjelman toteutuminen parhaalla mahdollisella tavalla on kaikkien asianosaisten etu, niin ohjelman toteuttajien, ohjelman kohderyhmän, muiden mahdollisten organisaatioiden kuin rahoittajienkin. Arvioinnin tarkoitus ja tarve on aina suhteutettava käytettävissä oleviin osaamis-, henkilö- ja taloudellisiin resursseihin. Arvioinnissa olennaista ei ole se, että arvioidaan kaikkea mahdollista ja käytetään monenlaisia arvioinnin aineistoja ja työmenetelmiä. On toki suositeltavaa käyttää erilaisia aineistoja ja työmenetelmiä, mutta se ei ole itsetarkoitus. Mikäli ison hankekokonaisuuden arviointiin on käytettävissä vain muutaman päivän työpanos kuukaudessa, arviointia suunniteltaessa kannattaa harkita, arvioidaanko koko hanketta pintapuolisemmin vai syvennytäänkö tarkemmin yhden keskeisen asian arviointiin. Arvioinnissa määrä ei ole yksiselitteisesti laadun mitta. Arvioinnin onnistuminen ei riipu siitä, että sen avulla on pystytty osoittamaan toivottu muutos, onnistuminen tai tavoitteiden saavuttaminen. Arviointi on onnistunut myös silloin, kun on kyetty osoittamaan, miksi jokin asia ei onnistunut tai miksi tavoitteita ei saavutettu. Tällöin arviointitiedon myötä toimintaa suunnataan uudestaan ja kehitetään paremmaksi ja siten tuloksekkaammaksi. Tässä julkaisussa esitetään arvioinnin kartta, joka sisältää arvioinnin teorian ja käytännön. Arvioinnin kartan tavoitteena on auttaa hahmottamaan arviointia kokonaisuutena, jossa teoria ja käytäntö kulkevat käsi kädessä. Tavoitteena on luoda ymmärrys siitä, miten arviointiin liittyvät teoreettiset taustat ohjaavat arvioinnin käytännön toteuttamiseen liittyvien valintojen ja ratkaisujen tekemistä. Vaikka julkaisussa puhutaan teoreettisesta ja menetelmällisestä kartasta eri yhteyksissä ja omissa luvuissaan, ne muodostavat silti yhden kokonaisuuden. Arvioinnin kartta on kuin kolikko; sillä on kaksi puolta.
Arvioinnin perusasiat ja käytännöt ovat pitkälti samoja riippumatta arvioinnin kohteesta. Toisin sanoen arviointi edellyttää arviointikysymysten ja kriteerien määrittelemistä. Lisäksi tarvitaan aineistoa, jonka pohjalta arviointi tehdään ja raportointia, jotta arvioinnin tuloksia voidaan hyödyntää käytännössä. Tässä mielessä samat arviointiprosessiin liittyvät seikat pätevät, on sitten kysymys kenkätehtaan toiminnasta tai muistisairauksien ehkäisystä. Hyvä arviointi edellyttää kuitenkin toimintaympäristön ja arvioitavan ilmiön jonkinlaista ymmärrystä. Ohjelman toteuttajilla on todennäköisesti hyvä ymmärrys toimintaympäristöstä, jossa arviointi suoritetaan. Tästä syystä ohjelman arviointi sisäisesti, eli ohjelman toteuttajien toimesta, on suositeltavaa. Käsillä oleva julkaisu pyrkii antamaan juuri sisäiseen arviointiin aputyökaluja. Toisinaan voidaan myös tarvita ulkopuolista arviointia, jolta toivotaan aidosti lisäarvoa ohjelmalle. Tällöin olennaista on, että ulkoisella arvioitsijalla on riittävä ymmärrys arvioinnin kohteesta ja sen toimintaympäristöstä. Julkaisun lähtökohta on, että arviointia opitaan tekemällä. Kuten missä tahansa asiassa käytännön työtä auttaa se, että ymmärtää tekemisen taustalla olevista asioista ensin tiettyjä perusasioita. Teoria ei korvaa käytännön kokemusta, mutta teorian tunteminen auttaa käytännössä. Arviointia on mahdollisuus toteuttaa paremmin, kun sitä tuntee hieman teoriassa. Ennen autolla ajamista on käytävä ensin autokoulun teoriatunnit, jotta saa käsityksen liikennesäännöistä. Teorialla on käytännön merkitystä. Tässä julkaisussa olemme alkuun kuvanneet arvioinnin kartan teoriaa, jonka tarkoitus on lisätä arvioinnin ymmärtämystä ja ohjata käytäntöön siirtymistä. Mikäli teorian jättää väliin ja siirtyy suoraan käytännön menetelmälliseen karttaan, saattaa arvioinnin kokonaisuus jäädä hahmottumatta. Kun on tutustunut kertaalleen arvioinnin teoreettiseen karttaan, voi jatkossa siirtyä helpommin suoraan käytännön kysymyksiin. Julkaisu on kirjoitettu terveyden edistämisen arviointiin kiinnittyvästä näkökulmasta. Julkaisussa on kolme osaa. Ensimmäisessä osassa käsitellään arvioinnin kartan teoriaa ja esitetään arvioinnin teoreettinen kartta. Teoriaa tarvitaan, kun yritetään ymmärtää arviointia ilmiönä. Tähän julkaisuun on nostettu valikoiden ja rajatusti joitakin teoreettisia lähtökohtia siten, että olennaiset arvioinnin käytännön toteutukseen vaikuttavat asiat tulevat käsitellyiksi. Lähdeviitteet on pyritty tuomaan selkeästi esille, jotta lukijalla on mahdollisuus tutusta alkuperäisiin lähteisiin ja laajentaa tietämystään. 11
12 Arvioinnin kartan teoreettisen osan aluksi kuvataan arvioinnin merkitystä terveyden edistämisessä. Tämän jälkeen kerrotaan ohjelmateoriasta ja korostetaan toiminnan suunnittelun tärkeyttä arvioinnissa. Seuraavaksi pohditaan arvioinnin etiikkaa ja kerrotaan arvioitsijan erilaisista rooleista ja tehtävistä. Lopuksi kuvataan arvioinnin neljä lähestymistapaa (kokeellinen, kehittävä, konstruktivistinen ja kriittinen) ja näkökulmaa (tulosten ja vaikutusten arvioinnin, prosessiarvioinnin, osallistavan arvioinnin ja tapauskohtaisen arvioinnin näkökulma). Osion päätteeksi esitetään kartta (s. 37), joka kiteyttää arvioinnin teoreettisen puolen. Toisessa osassa rakennetaan arvioinnin kymmenen askeleen kautta silta arvioinnin teoriasta käytäntöön. Kymmenen askelta auttavat laatimaan toimivan, johdonmukaisen ja teoriasta käytäntöön kiinnittyvän arviointisuunnitelman. Kolmannessa osassa kuvataan arvioinnin kartan käytännön puolta eli esitetään arvioinnin menetelmällinen kartta. Tämän jälkeen kerrotaan arvioinnin aineistoista. Käytäntöön syvennytään tutustumalla osallistavan arvioinnin, tapauskohtaisen arvioinnin, prosessiarvioinnin ja tulosten ja vaikutusten arvioinnin eri työmenetelmiin. Arvioinnin teoreettisen kartan lähestymistavat ovat työmenetelmien taustana. Julkaisussa käydään läpi jokaisesta arvioinnin näkökulmasta muutaman työmenetelmän käytännön toteutus yksityiskohtaisesti ja esitetään tähän liittyvä esimerkki. Julkaisussa on turvauduttu esimerkkien käyttöön asioiden konkretisoimiseksi. Esimerkit ovat keksittyjä ja kuvitteellisia, vaikka ne voivat osittain pohjautua todellisuuteen. Niiden keskeinen tarkoitus on avata lukijoille sitä, mitä käytännönläheinen ja toimintaan sidoksissa oleva arviointi on. Toivottavasti esimerkit rohkaisevat tarttumaan käytännön arviointityöhön etenkin, jos ne tuntuvat läheisiltä ja omaan toimintaan liittyviltä.
I Teoria kaiken perustana 13
2Arvioinnin kartta: teoria 2.1 Arviointi ja terveyden edistäminen Ennen arviointia on olennaista tuntea toimintaympäristö, jossa toimii ja johon arviointi kiinnittyy. Tässä luvussa kuvataan terveyden edistämistä, siihen liittyvää toimintaympäristöä ja arvioinnin merkitystä siinä. Moni sosiaali- ja terveysjärjestö toimii hyvinvoinnin ja terveyden edistämiseen liittyvässä toimintaympäristössä, jossa toiminnan ja siihen liittyvien käsitteiden konkretisointi on joskus vaativaa. Useat asiat ilmenevät terveyden edistämisen tavoin monitasoisesti ja näyttö toiminnan vaikuttavuudesta on haasteellista osoittaa. Vaikka tämä asettaa arvioinnille lisähaastetta, se tekee siitä samalla sitäkin tärkeämpää ja merkityksellisempää. Tästä syystä toimintaympäristön tunteminen on välttämätöntä. Terveyden edistäminen on keino vaikuttaa ihmisten terveyteen ja hyvinvointiin. Terveyttä kuvataan eri tieteenalojen ihmis- ja terveyskäsitysten näkökulmasta, yhteiskuntapolitiikan ja terveellisen ympäristön näkökulmasta. Sitä voidaan kuvata myös yksilön omina kokemuksina ja käsityksinä. (Esim. Lahtinen, Koskinen-Ollonqvist, Rouvinen-Wilenius & Tuominen 2003, 20.) Terveyden edistämiseen läheisesti liittyviä tieteenaloja ovat yhteiskuntatieteet, käyttäytymistieteet ja lääketieteet. Lääketieteessä korostuu erityisesti sairauksien hoidon hallinta. Yhteiskunnallinen näkökulma terveyteen liittyy hyvinvoinnin, elämänlaadun ja terveyden tasa-arvon toteutumisen osoittamiseen. Sosiologiassa ihmistä tarkastellaan sosiaalisena toimijana, jolloin terveyttä määrittää ihmisen kyky toimia ja selviytyä sosiaalisissa rooleissaan. Humanismin näkökulmassa ihmisillä on kyky sopeutua myönteisesti elämän ongelmiin. (Esim. Lahtinen, Koskinen-Ollonqvist, Rouvinen-Wilenius, Tuominen & Mittelmark 2005, 306 315; Rouvinen-Wilenius & Koskinen-Ollonqvist 2004, 42 44.) Terveyden edistämisen monitieteisyyden vuoksi käytännön työ ei rajaudu yhden tieteenalan edustajan tai ammattilaisen työksi, vaan se toteutuu parhaimmillaan eri ammattialojen edustajien yhteistyönä (Savola & Koskinen-Ollonqvist 2005, 46). 14
I Terveyden edistämisen toiminta voi olla terveyttä edistävää, terveyttä suojelevaa tai sairauksia ehkäisevää. Lääketieteellisessä terveyskäsityksessä päähuomio on sairauksissa. Tällöin on kyse sairauksien ja ennenaikaisen kuolleisuuden ehkäisystä eli preventiosta. Positiivinen terveyden edistäminen liittyy terveysvarannon kasvattamiseen, jolloin puhutaan laaja-alaisesta terveyden edistämisestä eli promootiosta. Terveyden edistämisessä on kysymys yksilön terveydestä ja sen taustatekijöistä. Näitä ovat esimerkiksi ikä, elinolot, sosioekonominen tausta sekä ihmisen mahdollisuudet vaikuttaa sosiaaliseen ja fyysiseen ympäristöönsä. Terveyden edistämisessä painotetaan ihmistä aktiivisena toimijana ja osallistujana. Olennaista on mieltää terveyden edistäminen laajana yhteiskunnallisena toimintana, jonka avulla lisätään ihmisten kykyä ja mahdollisuutta ottaa vastuuta omasta terveydestään. (Esim. Lahtinen ym. 2003, 20; Savola & Koskinen-Ollonqvist 2005, 11 16.) Terveyden edistämisen tavoitteina ovat mahdollisuuksien luominen, muutoksen aikaansaaminen ja terveyttä suojaavien ja vahvistavien tekijöiden ylläpito. Mahdollisuuksien luominen tarkoittaa ympäristön rakenteisiin vaikuttamista ja terveyden edellytysten parantamista (Vertio 2003, 29). Tarkoituksena on luoda mahdollisuus yksilöä ja yhteisöä suojaaville tekijöille riskitekijöitä vähentävien valintojen vahvistamiseksi (Savola & Koskinen-Ollonqvist 2005, 14). Pyöräteiden rakentaminen ja terveellisen välipalan tarjoaminen kouluissa ovat esimerkkejä mahdollisuuksien luomisesta. Muutoksen aikaansaamiseksi edellytyksenä sen sijaan on yksilöiden ja yhteisöjen perustarpeiden tyydyttyminen. Muutokseen pyrkiminen on mahdollista silloin, kun yksilöllä on riittävästi terveyttä suojaavia tekijöitä, jolloin riskitekijöiden vaikutus pienenee. Näissä tilanteissa ihmisellä on useimmiten kyky ja halu muuttaa omaa terveyskäyttäytymistään paremmaksi. Terveystiedon opettaminen on esimerkki muutoksen aikaansaamisesta. Lisäämällä oppilaiden terveysosaamista saadaan aikaiseksi positiivista terveyskäsitystä sekä voidaan ennaltaehkäistä riskikäyttäytymistä ja muuttaa terveyden kannalta epäsuotuisia käyttäytymistapoja. Vahvistaminen tarkoittaa terveyttä suojaavia tekijöitä tukevien rakenteiden luomista, niiden vahvistamista ja ylläpitoa jo saavutetulla tasolla. (Rouvinen-Wilenius & Koskinen-Ollonqvist 2004, 42 44.) Terveyspalveluiden ylläpitäminen ja kehittäminen ovat esimerkkejä vahvistamisesta. Terveyden edistämisessä arvioinnilla on tärkeä merkitys. Yhteiskunnan varoilla toteutettavalta terveyden edistämiseltä edellytetään yhä enemmän Teoria kaiken perustana 15
arviointia sen onnistumisesta, tuloksellisuudesta ja vaikutuksista. Haasteeksi terveyden edistämisen arvioinnin tekee sen monimuotoisuus, jolloin terveyden edistämistä arvioinnin kohteena on tarkasteltava moniulotteisena ilmiönä. Arvioinnilla on mahdollisuus saada tärkeää tietoa terveyden edistämistä koskevan päätöksenteon tueksi. (Koskinen-Ollonqvist, Pelto-Huikko & Rouvinen-Wilenius 2005, 5; Savola, Pelto-Huikko, Tuominen & Koskinen-Ollonqvist 2005, 4.) Yhä useammin edellytetään varmaa näyttöä minkä tahansa ohjelman tai toiminnan tuloksellisuudesta. Todellisuudessa monet asiat kietoutuvat yhteen. Haaste terveyden edistämisen ohjelmilla on se, että ei voida tarkkaan osoittaa, mitkä kaikki tekijät vaikuttavat mihinkin. Vaikka näytön osoittaminen puhtaimmillaan olisikin hankalaa tai joissain tapauksissa jopa mahdotonta, arvioinnille on silti paikkansa. Järjestelmällinen arviointitiedon tuottaminen antaa välineitä perustella terveyden edistämisen työtä tuomalla sen prosessit, tavoitteet, tuotokset ja vaikutukset näkyviksi. Terveyden edistämisen arvioinnin tarkoituksena on parantaa ohjelmia, hankkeita sekä toimintaa ja tätä kautta tehostaa näytön saamista. Se puolestaan parantaa terveyden edistäjien suorituskykyä ja lisää ohjelmien tuottavuutta. Arviointi on myös keino terveyden edistämisen politiikan, ohjelmien, käytänteiden, intervention tai palvelujen arvon tai vaikutuksen määrittämiselle. Lisäksi arviointi tarjoaa mahdollisia muutossuosituksia. (Savola ym. 2005, 7.) 2.2 Ohjelmateoria toiminnan ja arvioinnin lähtökohtana Arvioidaanpa mitä tahansa toimintaa tai ohjelmaa ja missä toimintaympäristössä tahansa, toiminnan suunnittelu sekä toiminnalle ja sen arvioinnille luotu ohjelmateoria ovat keskeisiä. Parhaimmillaan arviointi kytkeytyy toimintaan alusta asti juuri ohjelmateorian kautta, kun tehdään perusteluja valinnoille miksi ja miten ohjelman oletetaan toimivan. Toiminta ja arviointi rakentuvat ohjelmateorian pohjalta. Ohjelmateoria on keino jäsentää toiminnan etenemistä, siihen liittyviä syy-seuraussuhteita ja oletuksia siitä, millä edellytyksillä toiminta voi saavuttaa tavoiteltuja tuloksia ja muutoksia. Syy-seuraussuhteiden jäsentämisessä voidaan hyödyntää tieteellistä teoriaa, mutta se voi yhtä hyvin perustua omiin käsityksiin ja kokemuksiin tai olla näiden yhdistelmä. 16
I Ohjelmateoria auttaa valitsemaan loogisen päättelyketjun valitun päämäärän, tavoitteen, keinojen, prosessien, tehtävän, tulosten ja tuotosten välillä. Se osoittaa arvioitavan ja tarkasteltavan kohteen suhteen: johtaako yksi syy yhteen seuraukseen vai voiko arvioitavan ja kohteen välillä olla useita syitä ja seurauksia (ks. myös Dahler-Larsen 2005). Yksinkertaisimmillaan kyse on sen kirkastamisesta, miksi uskomme, että suunniteltu toiminta johtaa odotettuun tulokseen. Ohjelmateorian avulla luodaan tietoa ohjelmasta, sen toimintaympäristöstä ja sisällöstä, siihen liittyvästä teoriasta ja keskeisistä käsitteistä. Lisäksi sen laatimisessa joutuu pohtimaan ei-toivottuja vaikutuksia ja tekijöitä, jotka saattavat olla esteenä toivotun tuloksen saavuttamiseksi. Ohjelmateorian merkitys osana toiminnan ja arvioinnin suunnittelua on tästä syystä hyvin olennainen. Ohjelmateorian laatiminen edellyttää jonkin verran työtä, mutta se kannattaa. Ohjelmateoria voi tuntua osin vaikealta käsitteeltä, mutta se on vakiintunut osaksi arviointeja. Ohjelmateorian miltei synonyyminä käytetään termiä toimintalooginen malli, joka nimenä kertoo paremmin, mistä on kyse. Toisin sanoen arvioinnissa on välttämätöntä tietää, minkälainen logiikka toiminnan taustalla on. Ohjelmateorialla ja toimintaloogisella mallilla on myös eronsa ja ne ovat toisiaan täydentäviä. Eroihin ja yhtäläisyyksiin ei tässä pureuduta sen tarkemmin. Niistä ovat kirjoittaneet mm. Peter Dahler-Larsen 4 (2005) ja Huey T. Chen 5 (2005), jonka käsityksiä ohjelmateoriasta ja toimintaloogisesta mallista Pekka Borg (2005, 22 27) on tiivistänyt teoksessa Arviointi työtavaksi. Terveyden edistämisen keskuksessa on laadittu ja käytetty toiminnan arvioinnin ja suunnittelun Suunta-työkalua 6, joka auttaa laatimaan ohjelman suunnitelmasta johdonmukaisesti etenevän kokonaisuuden, jossa eri osa-alueet ja -toiminnot ovat loogisessa suhteessa keskenään. Suunta-työkalu on sovellus Logical Framework Matrix 7 -mallista ja sisältää ohjelmateoriaan liittyviä tekijöitä. Teoria kaiken perustana 4 Dahler-Larsen (2005) tarkastelee vaikuttavuuden arvioinnin mallin osana ohjelmateoriaa ja sen käytännön toteutusta. Dahler-Larsenin teos sisältää Chenin (2005) muutosmallin elementtejä. 5 Chen (2005) jäsentää ohjelmateorian toimintamallista ja muutosmallista, jossa toimintamalli sisältää oletukset siitä, minkälaisella intervention toimeenpanolla ja tuella muutosmallin prosessit voivat toimia. Muutosmalli on kuvaileva teoria, jossa osoitetaan syy-seuraussuhteiden vaikutukset. 6 Taulukon 1 vasen sarake sisältää Suunta-työkaluun sisältyviä tekijöitä. Suunta-työkalu on omana työkalunaan saatavissa Terveyden edistämisen keskuksen internet-sivuilta vuonna 2010. 7 Ks. esimerkiksi Kehitysyhteistyöjärjestöjen EU-yhdistyksestä, Kehys ry:n kotisivuilta (http://www.kehys.fi/ eu-rahoitus/tyokalut/projektisuunnittelu). 17
18 Taulukossa yksi on pyritty ottamaan huomioon arvioinnin suunnittelun taustaksi tarvittava toiminnan suunnitelma ja siihen kytkeytyvä ohjelmateoria. Taulukkoon on pyritty yksinkertaistamaan ja pelkistämään toiminnan suunnittelun, ohjelmateorian ja toimintaloogisen mallin idea siten, että se olisi helppo ottaa käyttöön toiminnan ja arvioinnin arjen suunnitteluun. Taulukon kokoamisessa on sovellettu ja hyödynnetty yllä mainittuja lähteitä ja Suuntatyökalua. Ohjelmateoriassa käytetään tyypillisesti nuolia osoittamaan asioiden välisiä suhteita. Tässä yhteydessä on laadittu taulukko, jossa ajatuksena on edetä ylhäältä alas. Hyvin merkittävää ohjelmateorian laatiminen on silloin, kun arvioidaan vaikutuksia tai vaikuttavuutta. Dahler-Larsen (2005) on kuvannut Vaikuttavuuden arviointi -käsikirjassa ohjelmateoriaa. Mikäli tulosten tarkasteluvaiheessa huomataan, ettei tavoitteita saavutettukaan, palataan tarkastelemaan ohjelmateoriaa. Ohjelmateoriasta nähdään, toimittiinko tavalla, joka oli suunniteltu tavoitteeseen pääsemiseksi. Ohjelmateoriasta nähdään myös, olivatko syyt mahdolliseen epäonnistumiseen toiminnan suunnittelussa vai vaikuttiko taustalla mahdollisesti muutosta estäviä tekijöitä, joita ei osattu toiminnan aikana ottaa huomioon. (Dahler-Larsen 2005, 38 41.) Ohjelmateorian merkitys nousee keskeiseksi juuri siitä syystä, että siinä arvioinnin suunnittelu etenee ohjelmasta käsin nousevista arvioinnin tarpeista ja perusteluista eikä arvioinnin menetelmällisistä lähtökohdista. Tässä julkaisussa käytetään käsitettä ohjelmateoria, koska se on arvioinnissa yleisesti käytössä oleva käsite. Yhtä hyvin tai jopa paremminkin tässä yhteydessä voisi puhua esimerkiksi toiminnan teoriasta tai toiminnan suunnittelusta. Monet ovat varmasti ohjelmia suunniteltaessa tehneet eräänlaista ohjelmateoriaa tietämättä koko käsitteestä mitään. Käsitteen määrittelyä tärkeämpää onkin ymmärrys siitä, mihin tämänlaista jäsennystä tarvitaan. Ohjelmateorian merkitystä toiminnan ja arvioinnin suunnittelussa halutaan korostaa, sillä se on lähtökohta arvioinnin suunnitteluun ja toteutukseen. Arvioinnin suunnitteluun palataan luvussa kolme tarkemmin. Tätä ennen arvioinnin suunnittelua helpottaa huomattavasti, kun tietää tiettyjä perusteita arvioinnista ja sen teoriapohjasta.
I Taulukko 1. Toiminnan suunnitelma ja ohjelmateoria esimerkin avulla avattuna. Toiminnan suunnitelma Tarpeen määrittely Keskeiset toimijat ja tahot Päämäärän asettaminen Kysymys siitä, mitä ohjelmalla halutaan saavuttaa pitkällä aikavälillä. Ohjelmateoreettiset kysymykset Mistä tarve nousee? Mitä ongelmia tulisi lievittää tai ratkaista? Millainen näkemys toimeksiantajalla on tarpeesta (mikäli tarve nousee ulkopuolelta)? Ketkä kuuluvat ja millä perusteella toiminnan kohderyhmään? Millaisia erityispiirteitä kohderyhmän suhteen tulisi mahdollisesti huomioida? Taustatekijöiden määrittäminen Mikä taho vastaa ohjelman toimeenpanosta? Mikä taho mahdollistaa resurssit toiminnalle? Millaisessa ympäristössä toimitaan? Millä ympäristöön liittyvillä tekijöillä voi olla vaikutusta ohjelman toteutukselle? Keitä yhteistyötahoja osallistuu toteutukseen? Missä määrin ja millä tavalla eri tahot toimivat? Millaisin edellytyksin eri tahot toimivat? Mitä erityispiirteitä ne asettavat toiminnalle? Miten ja millaiset arvot ohjaavat päämäärän asettamista? Millä panoksella juuri toimeenpaneva organisaatio pystyy vastaamaan päämäärän saavuttamiseen? Käytännön esimerkki: Vapaaehtoistyöntekijöiden tukeminen ja uusien vapaaehtoisten lisääminen Tiettyä sairautta sairastavien jäsenhenkilöiden tukihenkilöksi tarvittavien vapaaehtoistyöntekijöiden määrä on vähenemässä. Samalla tukihenkilöä kaipaavien jäsenten määrä on lisääntynyt viimeisten vuosien aikana. Uusia vapaaehtoisia tulisi saada lisää ja olemassa olevien vapaaehtoisten työtä motivoida ja kannustaa. Ensisijaisesti halutaan panostaa jo olemassa olevien vapaaehtoisten jaksamiseen ja haluun jatkaa toimintaa. Kohderyhmässä on tarpeen huomioida heidän keski-ikänsä ja oma muuttuva elämäntilanteensa ja jaksamisensa. Toimeenpanevana organisaationa toimii järjestö, jonka vapaaehtoistyöntekijät ovat tukena sairaille jäsenhenkilöille. Toiminta rahoitetaan ulkopuolisen rahoittajan avustuksella. Vapaaehtoistyöntekijöiden toimintaympäristö vaihtelee, mikä tulee ottaa huomioon. Vapaaehtoiset voivat toimia sairaaloissa, tukea tarvitsevien kotona tai sairauden tilan salliessa missä tahansa. Lisäksi tulee huomioida välimatkat, jotka saattavat olla pitkiä joidenkin tukihenkilöiden ja tukea tarvitsevien välillä. Keskeisenä yhteistyötahona toimii pitkäaikainen kumppani, hyvinvointikoulutusta tarjoava organisaatio. Käytännössä toimeenpaneva organisaatio koordinoi ja vastaa toiminnasta sekä toimii yhtenä kouluttajana. Yhteistyötaho vastaa ennalta sovitulla tavalla tietyiltä osin toiminnan toteutuksesta. Onnistunut aiempi yhteistyökokemus vahvistaa luottamusta yhteistyön toimivuudesta. Päämäärä: Vapaaehtoistyöntekijöiden reservin ylläpitäminen ja lisääminen. Keskeisiä arvoja toiminnassa ovat erityisesti tuki ja välittäminen, itsenäisyyden ja ihmisarvon kunnioitus sekä luottamus. Toimeenpaneva organisaatio pystyy vastaamaan päämäärään kiinnittämällä huomiota omien vapaaehtoisten hyvinvointiin ja antamalla vertaistukea heille sekä panostamalla rekrytointiin, jolla uusia vapaaehtoisia saadaan mukaan toimintaan. Teoria kaiken perustana 19
Toiminnan suunnitelma Tavoitteen ja tavoitteiden täsmentäminen Tavoitteiden tulee olla konkreettisia ja muotoiltu niin, että tavoitteen toteutuminen (joko kokonaan, osittain tai ei lainkaan) on mahdollista todeta. Kysymys siitä, mitä ohjelmassa halutaan saavuttaa lyhyellä aikavälillä. Ohjelmateoreettiset kysymykset Ovatko tavoitteet päämäärän kanssa yhteensopivia ts. mahdollistavatko tavoitteet päämäärän saavuttamisen? Miten paljon resursseja tarvitaan toiminnan toteuttamiseen? Millaiseen kokemukseen/ uskomukseen/ tietoon tavoitteiden valinta pohjautuu? Käytännön esimerkki: Vapaaehtoistyöntekijöiden tukeminen ja uusien vapaaehtoisten lisääminen Päämäärä on mahdollista saavuttaa seuraavien tavoitteiden kautta: selvitetään vapaaehtoistyöntekijöiden lähtötilanne jatkokoulutetaan olemassa olevia vapaaehtoistyöntekijöitä järjestetään heille hyvinvointi- ja motivaatiopäiviä luodaan rakenne vapaaehtoistyöntekijöiden vertaisringiksi järjestetään tilaisuus, jossa kerrotaan vapaaehtoistyöstä ja pyritään innostamaan uusia vapaaehtoistyöntekijöitä mukaan toimintaan Resursseja koulutukseen, hyvinvointipäiviin, vertaisrinkien toimintaan ja tilaisuuksien järjestämiseen tarvitaan x euroa. Summa perustuu tehtyihin laskelmiin. Keinojen ja prosessien valinta Keinot ovat asioita, joihin keskittymällä pyritään saavuttamaan hankkeen tavoite. Keinot on hyvä jäsentää erillisiksi toimintaprosesseiksi. Ohjelmateorian lähteet Miten ja miksi valittu toiminta vaikuttaa? Millainen tieto (tieteellinen tieto, käsitykset, kokemukset) perustelee sitä, että näin toimimalla tavoitteet saavutetaan? Vaikutussuhteiden tarkastelu Mitä teemme ja miten uskomme sen vaikuttavan (usea eri toimenpide saa aikaan saman vaikutuksen ja/tai yksi toiminta saa aikaan useita eri vaikutuksia)? Suhde tavoitteisiin ja päämääriin Onko jokaiselle tavoitteelle löydettävissä keinot ja prosessit, joilla tavoite on mahdollista saavuttaa? Esimerkinomaisesti kuvataan keinona jatkokoulutuspäivä ja sen prosessikuvaus 1. Koulutuksen suunnittelu yhteistyössä kumppanin kanssa etukäteiskyselyssä esille nousseiden tarpeiden pohjalta (aika, paikka, sisältö, materiaali) 2. Koulutustilan ja tarvittavien välineiden varaaminen ja tarjoilujen tilaaminen 3. Koulutuskutsun lähettäminen (sis. ohjelman, ajan, paikan, ilmoittautumisohjeet ja tiedon, miten järjestö tukee koulutukseen osallistumista esim. matkan ja majoituksen suhteen rahallisesti) 4. Koulutusmateriaalin laatiminen 5. Koulutuspäivän toteuttaminen Aiempi kokemus koulutusten ja hyvinvointi- ja motivaatiopäivien järjestämisestä tukee tarvetta vastaavien päivien lisäämiseen. Erityisesti aikaisemmin toteutetussa vapaaehtoisille suunnatussa kyselyssä ilmeni tarve jatkokoulutukselle. Kouluttamisen avulla lisätään osaamista ja ymmärrystä sekä vaihdetaan kokemuksia, mikä tukee vapaaehtoistyön tekemistä ja jaksamista. Uskotaan aikaisemman kokemuksen pohjalta, että koulutus 1) aktivoi tällä hetkellä passiivisia vapaaehtoisia pienimuotoiseen toimintaan, 2) auttaa vapaaehtoistyöntekijöitä jaksamaan ja toimimaan vapaaehtoisina, 3) luo vapaaehtoisille ymmärryksen siitä, miten tärkeitä he ovat ja miten arvokasta työtä he tekevät 20