Kehittämishankkeen arviointi hyötyä vai ajanhukkaa Tapauksena Mainiemen päihdetyön kehittämisyksikkö -hankkeen arviointi

Kehittämishankkeen arviointi hyötyä vai ajanhukkaa Tapauksena Mainiemen päihdetyön kehittämisyksikkö -hankkeen arviointi Aki Heiskanen Kandidaatintutkielma Tampereen yliopisto Kauppa- ja hallintotieteiden tiedekunta Yhdyskuntatieteiden laitos Kunnallispolitiikka

1 TIIVISTELMÄ 2 1 JOHDANTO 3 1.1 Tutkimuksen taustaa 3 1.2 Tutkimustehtävä ja tutkimuksen rakenne 4 2 MAINIEMEN PÄIHDETYÖN KEHITTÄMISYKSIKKÖ -HANKE 6 2.1 Taustaa kehittämisyksiköille 6 2.2 Hankkeen käytettävissä olevat resurssit ja organisointi 8 2.3 Hankkeen kohderyhmät, sidosryhmät ja yhteistyötahot 10 2.4 Mihin tarpeisiin hanke vastaa? 10 2.4.1 Päihdepoliittiset lait velvoittavat kuntia 10 2.4.2 Alkoholin kulutuksen kasvu asettaa haasteen palvelujärjestelmälle 12 2.4.3 Selvitykset ja aiemmat hankkeet perustana tarpeesta 14 3 MITÄ ARVIOINTI ON? 15 3.1 Arvioinnin määritelmiä 15 3.2 Arvioinnin teoreettinen viitekehys 16 3.3 Arvioinnin suuntautuminen 18 3.4 Projektiarviointi 20 4 ARVIOINNIN TOTEUTTAMINEN 23 4.1 Arviointityökalut ja menetelmät 23 4.2 Projektin logiikka 27 4.2.1 Tulosten logiikka 27 4.2.2 Prosessin logiikka 28 4.2.3 Projektin logiikan kriittiset osatekijät 30 4.3 Arviointikysymykset 31 4.4 Arvioinnin sisältö ja aikataulu: mitä tehdään ja milloin 31 5 POHDINTA 32 LÄHTEET 36 JULKAISEMATTOMAT LÄHTEET 38 KUVIOLUETTELO 38

2 Tampereen yliopisto Yhdyskuntatieteiden laitos HEISKANEN, AKI: Kehittämishankkeen arviointi hyötyä vai ajanhukkaa Tapauksena Mainiemen päihdetyön kehittämisyksikkö -hankkeen arviointi Kunnallispolitiikan kandidaatintutkielma, 38 sivua Lokakuu 2007 TIIVISTELMÄ Tutkielman tarkoituksena on syventää hankearviointiin liittyvää pohdintaa. Tutkielmani koostuu kirjallisuuskatsauksesta ja case-tapauksesta. Tutkielmani casetapauksena käytän Mainiemen päihdetyön kehittämisyksikkö -hankkeen arviointia, joka on suunniteltu tehtäväksi kehittämisarvioinnin näkökulmasta. Kehittämisarviointi on näkökulma, jonka kautta tarkastelen työni arviointikysymyksiä: miksi kehittämishanketta kannattaa arvioida ja miten kehittämishanketta kannattaa arvioida. Arvioinnin teoreettisen viitekehyksen muodostaa yleinen ohjelmateoria, joka jakautuu ohjelmaprosessiin ja vaikutusteoriaan. Tätä perusteoriaa on käytetty tämän casetapauksena olevan arvioinnin teoreettisena viitekehyksenä. Tapauksena olevan hankkeen arviointi toteutetaan sisäisen arvioinnin mallilla, sisäinen arviointi pitää sisällään itsearvioinnin. Kehittämisarviointi on tapa avata projektin prosessimainen polku, näin päästään arvioimaan ja oppimaan onko tehty oikeita asioita oikein. Sisäinen arviointi toteutetaan useiden eri työvälineiden avulla. Itsearvioinnit toteutetaan teema- ja lomakepäiväkirjojen avulla, päiväkirjan osaksi kuuluu myös ajankäytön arviointi. Tavoitteiden, tuotosten ja tulosten toteutumista seurataan omilla lomakkeillaan. Arviointi- ja tavoitepalavereissa arviointitieto käsitellään ja palautetaan projektin käyttöpääomaksi. Tarvittaessa arviointiaineistona voidaan rikastaa haastatteluin ja hankkeen tuottamien dokumenttien avulla. Tässä työssä on kirjallisuuskatsausta hyväksi käyttäen kuvattu ja perusteltu yksi tapa kehittämisarvioinnin suorittamiseen. Olennaisimmat huomiot kehittämisarvioinnin suorittamisesta ovat, että arviointikäytäntöjen on oltava osa hankeen rutiineja, muuten arviointi jää helposti tekemättä. Toinen asia on arvioinnin huolellinen suunnittelu, varsinkin näkökulman ja rajauksen suhteen, näin varmistetaan vastauksen saaminen hankkeen kannalta oleellisiin arviointikysymyksiin. Kolmas ja ehkäpä tärkein asia on arvioinnin mitoittaminen oikein hankkeen kokoon ja resursseihin nähden. Arviointi ei saa nousta pääosaan hankkeeseen nähden, vaan sen on pysyttävä omassa roolissaan hankkeen prosessia tukevana elementtinä. Kehittämisarvioinnin tehtävä on tuoda esiin ongelmat, joita prosessin etenemisessä kohti tavoitteita on. Samalla arvioidaan ovatko tavoitteet relevantteja ja realistisia suhteessa siihen, mitä prosessista tulee esiin arvioinnin pohjalta. AVAINSANAT: kehittämisarviointi, ohjelmateoria, hanke, sisäinen arviointi

3 1 JOHDANTO 1.1 Tutkimuksen taustaa Valitsin työni aiheeksi arvioinnin ja nimenomaan kehittämisarvioinnin monestakin syystä. Tutkielmani aihe, kehittämisarviointi hyötyä vai ajanhukkaa, kertoo paljon arviointiin liittyvästä problematiikasta ja pohdinnasta. Henkilökohtaisesti aihe on kiinnostanut pitkään johtuen siitä, että jo jonkin aikaa työelämässä olleena törmään arviointikeskusteluun jatkuvasti. Arviointikäytäntöjen kehitys liittyy hallinnon kehitykseen ensiksi 1960- ja 1970-luvuilla rationaalisuuden haasteen ja viimeksi 1980- ja 1990-luvuilla NPM-doktriinin pohjalta. Siinä missä vanhan hyvinvointivaltion kehittämisessä nojauduttiin poliittisiin ideologioihin, käytetään uudessa julkishallinnassa argumenttina arvioinnin tuloksia. Toimintaympäristön muutos, hallinnon hajauttaminen, sääntelyn purkaminen sekä siirtyminen informaatio-ohjaukseen ovat tuoneet arvioinnin osaksi suomalaista hallintoa, johtamista ja kehittämistä. Suomessa arviointitoiminnan kehittymisessä voidaan nähdä kaksi aaltoa. Ensimmäinen aalto sijoittui 1960-luvun lopusta 1970-luvun alkuun kun sosiaali-indikaattoreita, seurantaa ja arviointia pidettiin tarpeellisina suunnitteluajattelun osina. Toinen aalto alkoi 1980-luvun puolivälistä kun tulosohjaus yleistyi. Tulosohjauksen seurauksena organisaatiot halusivat tietoa päätöstensä vaikutuksista. (Arviointi sosiaalipalveluissa 2001, 1.) Arviointi on tärkeää ja vaatimukset sen suhteen oikeutettuja, mutta onko kaikilla riittävää asiantuntijuutta ottaa kantaa tähän keskusteluun? Arviointi on moniulotteinen ja laaja käsitteistöltään, näkökulmiltaan ja teoriataustoiltaan. Ei ole ollenkaan helppoa ottaa haltuun arvioinnin laaja kenttää ja ymmärtää se oikeassa tarkoituksessaan. Arviointiin liittyvä haasteellisuus sai minut kiinnostumaan tämän tutkielman aiheesta. Minulle kävi aivan samoin kuin varmasti monelle aloittelevalle arvioinnista kiinnostuneelle. Yritin hallita kaikki mahdolliset teoriat, näkökulmat ja suuntaukset, sen seurauksena olin täynnä asiaa ymmärtämättä miten ne liittyvät toisiinsa. Tämän hajaannuksen, ajan ja lisätiedon seurauksena aloin pikkuhiljaa ymmärtämään jotakin arvioinnin kokonaisuudesta. Oivalsin jotakin arvioinnin ytimestä, yksinkertaistamisen ja rajaamisen. Kuitenkaan tämä laaja perehtyminen arvioinnin perusteisiin ei varmasti tulevaisuutta ajatellen mennyt hukkaan. Petri Virtanen (2007, 32) toteaa

4 kirjassaan, että arvioinnin tekijän on tunnettava alan oppihistoriallinen tausta ja teoreettiset lähtökohdat, jotta hän voi tuntea arvioinnin nykyiset ja tulevat haasteet. Kolmas syy kiinnostukseeni arviointia kohtaan johtuu sen ajankohtaisuudesta. Valtiollinen ohjaus on muuttunut, tämä muutos on nostanut hanketyön ja arvioinnin toiminnan keskiöön. 1990-luvulla Suomen politiikan siirtyminen ohjelmaperustaiseksi ja Suomen liittyminen Euroopan unioniin toi hanketoiminnan kehittämistyön keskeisimmäksi välineeksi ja tämä kehittämistyö on luonut tarpeen myös arvioinnille (Keränen 2003, 5). Olemme siirtyneet kehittämistyön uuteen aaltoon, arviointiperusteiseen kehittämistyöhön (Lehto 2002, 2). Jokaista hanketta on arvioitava ja jokainen, varsinkin kunnallisella alalla työskentelevä liittyy tavalla tai toisella johonkin hankkeeseen. Itse olen tehnyt aktiivisesti hanketyötä jo useammassa hankkeessa, sen vuoksi tässä työssä perehdyn nimenomaan hankearviointiin ja siinä lähemmin kehittämisarvioinnin kysymyksiin. Paasion (2003, 15) mukaan sosiaalialan tulevaisuus nivoutuu ratkaisevalla tavalla kysymykseen, muodostuuko arvioinnista keskeinen osa ammatillista käytäntöä, kehittämistä ja johtamista. Toinen Paasion (2003, 15) mainitsema lähtökohta vastata tulevaisuuden haasteisiin ja mahdollisuuksiin arvioinnin lisäksi on uudenlainen suhde oppimiseen ja tulevaisuuteen. On luovuttava ajattelusta, että meillä on ainoastaan mahdollisuus sopeutua tai ajautua tulevien asioiden mukana ja siirryttävä kohti kykyä nähdä, kokea ja ymmärtää nykyhetkessä olevat tulevaisuuden mahdollisuudet ja ryhdyttävä proaktiivisesti luomaan tulevaisuutta. Itsearviointi ja oppiminen ovat kehittämisarvioinnin näkökulmasta kiinteästi toisiinsa liittyviä käsitteitä, tätä käsiteparin yhteenkuuluvuutta pyrin myös tutkielmassani avaamaan. 1.2 Tutkimustehtävä ja tutkimuksen rakenne Mainiemen päihdetyön kehittämisyksikkö -hanke on osa sosiaalialan kehittämishanketta. Kehittämisyksikkö kuuluu sosiaali- ja terveysministeriön päätöksellä rahoitettaviin hankkeisiin (Valtioneuvoston asetus 2004, 10 ), joiden tarkoituksena on palvelujen tuottaminen ja kehittäminen seudullisesti. Mainiemen päihdetyön kehittämisyksikkö hankkeen tehtävänä on kehittää kuntien peruspalveluiden päihdetyötä Hämeen päihdehuollon kuntayhtymän alueella. Kehittäminen tapahtuu yhteistyössä

5 alueen päihdetyöhön erikoistuneiden yksiköiden, ammattikorkeakoulujen, Stakesin ja Sininauhaliiton kanssa. Tämän tutkielman tarkoituksena on syventää hankearviointiin liittyvää pohdintaa keskittyen kehittämishankkeiden arvioinnin kysymyksiin ja siinä edelleen kehittämisarviointiin sosiaalialan hankkeessa. Kehittämisarvioinnin yleiset piirteet ovat johdettavissa monelle alalle, mutta sosiaalialan kompleksisuus tuo siihen omia piirteitään, joita yritän tuoda tutkielmassani haasteina ja huomioitavina asioina esiin. Tässä työssä käytettävillä käsitteillä hanke ja projekti on samansisältöinen merkitys, samoin käsitteitä kehittämisarviointi ja prosessiarviointi käytetään samansisältöisessä merkityksessä. Tutkielmani on kirjallisuuskatsaus arviointikirjallisuudesta ja lisäksi tutkielmaani kuuluu case-tapaus. Pyrin kirjallisuuskatsausta hyväksikäyttäen tuomaan asian käytäntöön case-tapaukseni kautta. Case-tapauksena on Mainiemen päihdetyön kehittämisyksikkö -hankkeen arviointi. Hankkeen arviointi- ja toteuttamissuunnitelma on tehty kehittämisarvioinnin näkökulmasta. Pyrin vastaamaan tutkielmassani seuraaviin tutkimuskysymyksiin: miksi kehittämishanketta kannattaa arvioida ja miten kehittämishanketta kannattaa arvioida. Tutkimus etenee siten, että luvussa kaksi käsittelen Mainiemen päihdetyön kehittämisyksikkö hanketta, aloitan luvun taustoittamalla asiaa hankeohjausta ja kehittämisyksikön ominaispiirteitä selvittämällä. Luvun kaksi loppuosa käsittelee casetapauksena olevan Mainiemen päihdetyön kehittämisyksikön organisaatiota ja kohderyhmää, lopuksi on monipuolisesti selvitetty mihin tarpeisiin tämä hanke vastaa. Luvussa kolme käsittelen arvioinnin teoriaa, pääkohtana luvussa on arvioinnin avainkäsitteet ja arvioinnin teoreettisen viitekehyksen muodostava yleinen ohjelmateoria. Luvussa neljä käydään läpi arvioinnin toteuttaminen case-tapauksen kautta, avaamalla tuloksen ja prosessin logiikkaa. Luvussa viisi pohditaan laajasti arviointiin liittyviä kysymyksiä, samalla ottaen kantaa myös tutkimuskysymyksiin osana pohdintaa.

6 2 MAINIEMEN PÄIHDETYÖN KEHITTÄMISYKSIK- KÖ -HANKE 2.1 Taustaa kehittämisyksiköille Sosiaali- ja terveydenhuollon hallinnon mukaan valtion tehtävänä on eri sosiaali- ja terveydenhuollon lakien perusteella suunnitella, valvoa ja ohjata palvelujen toteutumista. Sosiaali- ja terveydenhuollon palveluja valvoo valtakunnallisesti sosiaali- ja terveysministeriö ja alueellisesti lääninhallitus. Vuoden 1993 valtionosuusjärjestelmän uudistuksessa normiohjauksesta luovuttiin suurimmaksi osaksi ja tilaa annettiin laajemmalle kunnalliselle itsehallinnolle. Ohjausmenetelmät ovat muuttuneet siten, että nyt valtio ohjaa kuntia asiantuntijavirastojen kehittämien palveluille asetettujen laadullisten vaatimuksien, oppaiden ja ohjeistuksien avulla. 2000-luvulla on tullut lukuisia laatusuosituksia, jotka ohjaavat ammattilaisten työkäytäntöjä oikeaan suuntaan. Laatusuositusten lisäksi ohjauksen keinoina käytetään erilaisia ohjelmia, kehittämishankkeita, hankeavustuksia ja valtionavustuksia. Näiden eri ohjelmien ja hankkeiden sekä niiden kautta jaettavien avustuksien avulla kuntien palveluja ohjataan ja kehitetään valtiovallan strategioiden suuntaisesti. Kunta- ja palvelurakenneuudistuksen tavoitteena on luoda sekä rakenteellinen että taloudellinen perusta, jotta palvelujen järjestäminen ja tuottaminen on turvattu myös tulevaisuudessa. PARAS-hankkeen on määrä tukea ja kehittää jo käynnissä olevia hankkeita. Sosiaali- ja terveysministeriön alalla nämä hankkeet ovat Kansallinen terveydenhuoltoprojekti, Sosiaalialan kehittämishanke ja Alkoholiohjelma. Sosiaalialan kehittämishankkeella johdetaan koko valtakunnan kattavaa sosiaalialan lyhyen ajan uudistusta. Samanaikaisesti on käynnistetty Hyvinvointi 2015 -ohjelma ja sosiaalialan pitkän aikavälin kehittäminen. Sosiaalialan kehittämishankkeen tavoitteena on turvata tulevaisuudessa palvelujen saatavuus kuntien yhteistyötä lisäämällä, nyt erot palveluiden saatavuudessa ovat huomattavat eri puolilla Suomea. Palvelurakenteen ja toimintojen kehittämisen alla yhtenä valtakunnallisena osahankkeena on päihdepalvelujen kehittäminen. Päihdepalvelujen kehittämisen tavoitteena on päihdepalvelujen saattaminen vähintään laatusuositusten mukaisiksi koko maassa vuoden 2007 loppuun mennessä. Lisäksi hankkeen tavoitteena on parantaa alkoholin, huu-

7 meiden ja muiden päihteiden käyttäjien katkaisu- ja vieroitushoidon saatavuutta päihdehuollossa ja terveyskeskuksissa. Erityisiä kehittämisalueita ovat katkaisu ja vieroitushoidon kehittäminen, matalan kynnysten palvelujen varmistaminen, monipäihdekäyttöön vastaaminen ja yhteistyö poliisin kanssa hoitoonohjauksissa. Hankkeen aikana vahvistetaan osaamiskeskusten päihdeosaajaverkostoa sekä kehitetään tarpeen arviointiin perustuvia seudullisia palveluita. (Sosiaalialan kehittämishanke 2006.) Kehittämisyksiköt kuuluvat sosiaalialan kehittämishankkeessa sosiaali- ja terveysministeriön päätöksellä rahoitettaviin hankkeisiin (Valtioneuvoston asetus 2004, 10 ). Kehittämisyksiköt kuuluvat hankkeessa painoalueelle palvelujen tuottaminen ja kehittäminen seudullisesti. Tämän painopistealueen pitkän aikavälin tavoitteena on luoda koko maan kattava seudullisen yhteistyön pysyvä rakenne (kehittämisyksikkö), jossa jokaisessa kuntien yhteistyössä määrittelemällä alueella on yksi päiväkoti, vanhusten palvelukeskus, sosiaalipalvelutoimisto, päihde- ja mielenterveysyksikkö tai lasten ja nuorten psykososiaalisia erityispalveluja tuottava yksikkö, jolla asiakastyön lisäksi olisi erityinen tehtävä kehittää toimialaa ja kouluttaa henkilöstöä sekä arvioida uusia toimintatapoja ja näin lisätä oman alueensa ammatillista osaamista. (Sosiaalija terveysministeriön oppaita 2004:15.) Sosiaalialan seudullisten kehittämisyksiköiden perustamisvaiheessa on määritelty valtakunnallisesti kehittämisyksiköiden ominaispiirteet. Päämääränä on muodostaa kunnille pysyvä rakenne tutkimus- ja kehittämistoiminnalle. Kehittämisyksikkö on alansa osaava asiakaspalveluyksikkö ja henkilöstön on täytettävä alan normit ja pätevyysvaatimukset. Lähtökohtana on toiminnallisesti tarkoituksenmukainen kehittämisalue, jossa alueellisuus ja seudullisuus määritellään substanssiperusteisesti. Kehittämisyksikön tehtävänä on kehittää uusia ja parantaa olemassa olevia asiakastyön muotoja, palveluiden tuotantotapoja ja palvelurakenteita, koota alueella olevan jo tehdyn kehittämistyön ja välittää sitä toimijoille vertaisverkostoissa. Tehtäviksi on määritelty myös huolehtia alan käytäntötutkimuksesta: tutkia, kehittää ja arvioida asiakkaiden tarpeista lähtevää palvelujen tuottamista ja sosiaalityön toimintatapoja sekä olla täydennyskoulutuksen aktiivinen toimija. Kehittämisyksikön on oltava rakenteeltaan ja johtamistavaltaan kehittämisen mahdollistava verkostoitunut yksikkö.

8 Kehittämisen on oltava suunnitelmallista ja kytkeydyttävä substanssialueen strategiseen kehittämiseen. (ks. Kuvio 1.) Kuvio 1. Kehittämisyksikön ominaispiirteet 2.2 Hankkeen käytettävissä olevat resurssit ja organisointi Hallinnollisesti Mainiemen päihdetyön kehittämisyksikkö kuuluu Hämeen päihdehuollon kuntayhtymään yhtenä toimintayksikkönä. Kuntayhtymän hallinto edustaa tyypillistä kunnallista hallintojärjestelmää. Suurinta päätösvaltaa kuntayhtymässä käyttää yhtymävaltuusto, johon kuuluu edustaja jokaisesta kuntayhtymän kunnasta eli yhteensä 39 jäsentä. Ääniä valtuutetuilla on käytössään kuntien asukaslukujen suhteiden mukaisesti. Valtuuston alaisuudessa johtamisesta vastaa yhtymähallitus,

9 johon kuuluu 7 jäsentä. Hallituksen kokouksissa esittelijänä toimii kuntayhtymän johtaja. Hallituksen kokouksiin osallistuvat myös kuntayhtymän työntekijöistä vastaava ohjaaja ja vastaava sairaanhoitaja, lisäksi osallistumisoikeus hallituksen kokouksiin on valtuuston puheenjohtajistolla. (ks. Kuvio 2.) Hankkeeseen on päätoimisiksi työntekijöiksi palkattu 1.8.2007 alkaen projektipäällikkö ja kehittäjä-päihdetyöntekijä. Lisäksi hankkeen henkilöstöresursseihin on varattu rahaa viidelle pilottityöntekijälle, jotka käyttävät 20 % työajastaan hankkeeseen. Palveluina ostetaan vielä opetuksen asiantuntijan, A-klinikka toimen asiantuntijan sekä päihdehuollon erikoissuunnittelijan työpanosta 10 % kultakin. Hankkeeseen valitaan ohjausryhmä, johon alkuperäisen suunnitelman mukaisesti tullaan kutsumaan 12 14 henkilöä. Ohjausryhmän jäsenet kootaan hankkeen yhteistyötahojen johtavista työntekijöistä sekä hanketta ohjaavien organisaatioiden työntekijöistä (Stakes, Stm). Hankkeen projektiryhmään kuuluvat hankkeessa työskentelevät ihmiset (hanke- ja pilottityöntekijät) mukaan lukien ostopalveluna ostettavien palveluiden työntekijät. Hankkeessa on neljä tavoitteiden mukaista teema-aluetta, joihin jokaiseen tullaan perustamaan teemaprojektiryhmät. Teemaprojektiryhmän tehtävänä on työskennellä teemansa mukaisen tavoitteen suuntaisesti. Teemaryhmät ovat omien teemojensa osalta hankkeen työvälineenä työn suunnittelussa, toteuttamisessa ja arvioinnissa. Jokaisessa teemaprojektiryhmässä on yksi pilottityöntekijä, joka on vastuussa ryhmän toiminnan koordinoinnista yhdessä hanketyöntekijöiden kanssa. Hanketyöntekijöiden rooli on ohjaava ja pilottityöntekijät ovat mukana teemojensa osalta käytännön työssä ohjaavan roolinsa lisäksi. Periaatteena teemojen eteenpäin viemisessä on kunnan työntekijöiden osallistuminen, sekä vastuuottaminen toimintojen kehittämisestä. Teemaprojektiryhmät käytännössä suunnittelevat ja vastaavat yhdessä hanketyöntekijöiden kanssa teemaansa liittyvän tavoitteen saavuttamisesta. (ks. Kuvio 2.)

10 Kuvio 2. Mainiemen päihdetyön kehittämisyksikkö -hankkeen organisaatio 2.3 Hankkeen kohderyhmät, sidosryhmät ja yhteistyötahot Hankkeen maantieteellisenä alueena on Hämeen päihdehuollon kuntayhtymän 39 jäsenkunnan alue. Erityisesti Mainiemen kehittämisyksikön työ kohdentuu alueen kuntien sosiaali- ja terveydenhuollon peruspalvelujen toteuttamisessa mukana olevien työntekijöiden ja yksiköiden päihdetyön tukemiseen ja kehittämiseen. Tässä työssä käytetään hyväksi koko Mainiemen kuntoutumiskeskuksen henkilökunnan päihdetyön asiantuntemusta ja pyrkimyksenä on verkostoida alueella toimivia muita päihdetyön erityisyksiköitä tukemaan toimialueidensa kuntien peruspalvelujen päihdetyön kehittämistä. Kehittämistyö tapahtuu yhteistyössä alueen päihdetyöhön erikoistuneiden yksiköiden, ammattikorkeakoulujen, Stakesin ja Sininauhaliiton kanssa. 2.4 Mihin tarpeisiin hanke vastaa? 2.4.1 Päihdepoliittiset lait velvoittavat kuntia Suomessa päihdepolitiikan kehykset on säädetty laissa, lakeja on useita ja käytännössä lainsäädännön toteuttaminen on annettu kuntien tehtäväksi.

11 Perustuslain 19 velvoittaa julkista valtaa turvaamaan, sen mukaan kuin laissa tarkemmin säädetään, jokaiselle riittävät sosiaali- ja terveyspalvelut. Säännöksessä ei tarkemmin määritellä sosiaali- ja terveyspalveluiden järjestämistapaa ja se ei siten edellytä, että julkisyhteisöt itse huolehtisivat kaikkien sosiaali- ja terveyspalveluiden tuottamisesta. Lainsäädännöllä kuitenkin turvataan riittävät palvelut ja julkisen vallan on turvattava sosiaali- ja terveyspalveluiden saatavuus. Yleiset säännökset sosiaalipalveluista sisältyvät sosiaalihuoltolakiin (710/1982) ja terveydenhuoltopalveluista kansanterveyslakiin (66/1972) ja erikoissairaanhoitolakiin (1062/1989). Päihdehuollon osalta sosiaalihuoltolaki velvoittaa, että kunnan on huolehdittava päihdyttävien aineiden väärinkäyttäjien huoltoon kuuluvien palvelujen järjestämisestä sen mukaan kuin niistä erikseen säädetään. Vuonna 1987 voimaan tullut päihdehuoltolaki (41/1987) velvoittaa kunnan huolehtimaan siitä, että päihdehuolto järjestetään sisällöltään ja laajuudeltaan sellaiseksi kuin kunnassa esiintyvä tarve edellyttää. Päihdehuoltolain 7 mukaan päihdehuollon palveluja tulee antaa henkilölle, jolla on päihteiden käyttöön liittyviä ongelmia, sekä hänen perheelleen ja muille läheisilleen. Palveluja on annettava henkilön, hänen perheensä ja muiden läheistensä avun, tuen ja hoidon tarpeen perusteella. Kahdeksannen pykälän mukaan lain keskeisiksi periaatteiksi on määritelty, että päihdehuollon palveluiden piiriin voidaan hakeutua oma-aloitteisesti ja niin, että asiakkaan itsenäistä suoriutumista tuetaan. Toiminnassa on otettava ensisijaisesti huomioon päihteiden ongelmakäyttäjän ja hänen läheistensä etu. Päihdehuoltolain mukaan palvelut tulee järjestää ensisijaisesti avohuollon toimenpitein. Päihdehuoltolaki (9 yhteistoiminta) velvoittaa siihen, että päihdehuollon alalla toimivien viranomaisten ja yhteisöjen on oltava keskenään yhteistyössä. Erityistä huomiota on kiinnitettävä päihdehuollon ja muun sosiaali- ja terveydenhuollon, raittiustoimen, asuntoviranomaisten, työvoimaviranomaisten, koulutoimen, nuorisotoimen sekä poliisin keskinäiseen yhteistyöhön. Päihdehuoltoa ja asiakkaan asemaa sekä oikeusturvaa palvelujärjestelmässä ohjaavat edellä mainittujen lisäksi muutkin lait. Raittiustyölain (828/1982) mukaan raittiustyön tehtävänä on totuttaa kansalaiset terveisiin elämäntapoihin ohjaamalla heitä välttämään päihteiden ja tupakan käyttöä.

12 Sosiaalihuollon asiakkaan asemasta ja oikeuksista (812/2000) annetun lain tarkoituksena on edistää asiakaslähtöisyyttä ja asiakassuhteen luottamuksellisuutta sekä asiakkaan oikeutta hyvään palveluun ja kohteluun sosiaalihuollossa. Kyseisen lain mukaan asiakkaalla on oikeus saada selvitys toimenpide-vaihtoehdoista (5 ) ja sosiaalihuollon henkilöstön on selvitettävä asiakkaalle hänen oikeutensa ja velvollisuutensa sekä erilaiset vaihtoehdot ja niiden vaikutukset. Lain 7 pykälässä todetaan, että sosiaalihuoltoa toteutettaessa on laadittava palvelu-, hoito-, kuntoutus- tai muu vastaava suunnitelma ja suunnitelma on laadittava yhteisymmärryksessä asiakkaan kanssa. Sosiaalihuoltoa toteutettaessa on otettava huomioon asiakkaan toivomukset, mielipide ja muutoinkin kunnioitettava hänen itsemääräämisoikeuttaan (8 ). 2.4.2 Alkoholin kulutuksen kasvu asettaa haasteen palvelujärjestelmälle Suomen päihdetilanne on viime aikoina jatkuvasti heikentynyt. Vuonna 2001 2003 alkoholin kulutus kasvoi 1 3 prosentin vuosivauhtia. Kun eduskunta päätti vuonna 2003 alentaa alkoholiveroa 33 prosentilla, elettiin maltillisen kulutuksen kasvun aikaa. Maaliskuussa 2004 voimaan astunut veroale vahvisti tätä alkoholin kulutuksen kasvua voimakkaasti. Vuonna 2004 kulutus lisääntyi 10 prosenttia. Alkoholinkulutus lisääntyi edelleen vuonna 2005 kahdella ja puolella prosentilla vuoteen 2004 verrattuna, ja kokonaiskulutus nousi uusiin 10,5 litran ennätyslukemiin (Taskumatti 2006). Vuonna 2005 työikäisten miesten yleisimmäksi kuolinsyyksi tulivat alkoholisairaudet ja myrkytykset. Ne olivat yleisempi kuolinsyy kuin aiemmin vuosikymmeniä yleisimpänä ollut sepelvaltimotauti. Työikäisillä naisilla alkoholisyyt olivat lähes yhtä yleinen kuolinsyy kuin rintasyöpä. Alkoholiperäisen kuolleisuuden kasvu on ollut erityisen nopeaa vuosina 2004 ja 2005. (Tilastokeskus, tilastot 2006.) Päihdetilanteen heikentyessä päihdepalveluiden tarjonta ei ole pystynyt vastaamaan palveluiden kasvavaan tarpeeseen. (Päihdepalveluiden tila 2005, 3.) Päihdeproblematiikka on luonteeltaan sellainen, että se kuormittaa laajasti kunnan palveluita sosiaalihuollon moninaisista palveluista terveydenhuoltoon, poliisiin, asuntoviranomaisiin, työvoimatoimistoon, vankeinhoitoon, päiväkotiin ja kouluun. Yleisesti voidaan todeta, että pitkittyessään päihdeongelma vaikuttaa ihmiseen kaikilla elämän osa-alueilla ja vaikeuttaa selviytymistä arjessa. Päihdeongelma ilmenee lasten ja perheiden pahoinvointina ja vaikuttaa monen ihmisen elämään päihteiden

13 ongelmakäyttäjän lähipiirissä. Pääkaupunkiseudulla tehdyssä selvityksessä päihteiden käyttö oli useimmin huostaanoton syyksi mainittu tekijä. Alle 12-vuotiaita lapsia koskevissa huostaanotoissa päihteiden käyttö oli jopa 67 prosentissa huostaanoton syynä. (Alkoholiolot EU- Suomessa 2006, 23). Poliisi kohtaa päihdeongelmaisen monenlaisissa päivittäisissä tilanteissa. Alkoholin kulutuksen kasvu on näkynyt selkeästi siten, että poliisin päihtyneisiin henkilöihin kohdistuneet tehtävät ovat lisääntyneet. Esimerkiksi väkivallan tekoihin syyllistyneistä henkilöistä 70 prosenttia oli alkoholin vaikutuksen alaisena vuoden 2000 2004 tilastoissa (Alkoholiolot EU-suomessa 2006, 22). Päihtyneistä huolehtiminen (toimittaminen sairaanhoitoon, selviämisasemalle tai kotiin) lisääntyi tilastollisesti merkittävästi 21 prosenttia maaliskuun 2004 jälkeen. Toinen tehtävätyyppi, joka lisäsi poliisin työtä, oli naapurin metelöintiin liittyneet kotihälytykset. Niiden määrä kohosi vuoden 2004 jälkipuoliskolla ja pysyi aiempaa korkeammalla tasolla myös vuonna 2005. (Siren & Lehti 2006.) Päihdehuollon hoitokenttä on pirstoutunut. Samaa henkilöä hoitaa monta eri ihmistä (sosiaalitoimi, sairaanhoito, päihdehuolto, koulu, työterveyshuolto). Yhden päihdeongelmaisen hoidosta voi pahimmillaan tai parhaimmillaan vastata lähes kymmenenkin eri alojen ammattilaista. Usein hoidon tai kuntoutumisen suunnittelu on puutteellista. Kukaan ei koordinoi hoitoa ja täten asiakkaan kokonaisvaltaisesta hoidosta tai kuntoutumisesta on vaikea puhua. Samaan aikaan suuri joukko ihmisiä jää kokonaan palveluiden ulkopuolelle. Tulevaisuudessa kuntien taloudellinen tilanne kiristyy entisestään. Pienemmillä rahavaroilla on pystyttävä hoitamaan entistä enemmän tehtäviä ja entistä laadukkaammin. Tämä on haaste, johon myös päihdehuoltojärjestelmän on pystyttävä vastaamaan. Haasteesta selviytyminen vaatii luovuutta ja uusia toimintamuotoja, entistä enemmän yhteistyötä ja verkostoitumista. Alueelliset ja seudulliset ratkaisut ovat merkittävässä asemassa pienten kuntien asukkaiden palveluiden saatavuuden kannalta. Kysymys on myös siitä, mitä kunta- ja palvelurakenneuudistus vaikuttaa päihdetyön alueella, ainakin se tuo haasteen järjestää päihdepalvelut seudullisesti tulevaisuudessa.

14 Lisääntyvä päihteiden käyttö ja siitä seuraavat ongelmat lisäävät joka tapauksessa kuntien palvelujärjestelmään kohdistuvaa painetta. Päihteiden käyttöön ja käytön lisääntymiseen on hyvä varautua sekä miettiä varhaisen puuttumisen keinoja. Kunnissa on useita tahoja, joilla on mahdollisuus puuttua jo varhaisvaiheen merkkeihin päihteiden käytöstä tai kysyä asiaa, vaikkei merkkejä olisikaan. Kysymys on rohkeudesta ottaa asia puheeksi. Yhteistyön ja koulutuksen avulla sekä ymmärtämällä päihdetyö osana kaikkea kunnan toimintaa saadaan hyviä tuloksia aikaan. Mikäli kunnassa ei ole hyvin toimivaa päihdepalvelujärjestelmää, saattaa päihdeongelmien esiintyminen rasittaa sellaisia sosiaali- ja terveydenhuollon palveluja, jotka eivät ole tähän varautuneet (Päihdepalvelujen laatusuositukset 2002, 9). 2.4.3 Selvitykset ja aiemmat hankkeet perustana tarpeesta Lääninhallitukset selvittivät peruspalvelujen tilaa vuonna 2004. Länsi- ja Etelä- Suomen lääninhallitusten arvioinnissa päädyttiin päihdepalvelujen osalta mm. seuraavanlaisiin toimenpide-ehdotuksiin: Kunnissa on tarpeen varautua lähivuosina kasvaviin päihdehaittoihin lisäämällä ja kehittämällä laajana yhteistyönä ehkäisevää työtä sekä päihdepalveluja. Katkaisu- ja vieroitushoitoa tulee kehittää sosiaali- ja terveydenhuollon yhteistyönä niin, että kaikissa kunnissa hoitoon pääsee tarvittaessa välittömästi. Päihdeongelmaisten tulee päästä hoidon piiriin kohtuullisessa ajassa ja hoidon pohjautua yhdessä laadittuun yksilölliseen palvelu- ja hoitosuunnitelmaan. Päihdepalvelujen toteutuksessa tulee lisätä sosiaali- ja terveydenhuollon yhteistyötä. Palveluita tulee olla tarjolla tarpeen mukaan kaikissa kunnissa tarvittaessa kuntien välisenä yhteistyönä. Avopalveluita ja matalan kynnyksen palveluita tulee olla kaikissa kunnissa saatavilla lähipalveluperiaatteella. Päihdehuollon akuuttipalveluihin tulee päästä jonottamatta. Kuntouttavan laitoshoidon jonotusaikoja on lyhennettävä yksinkertaistamalla maksusitoumuskäytäntöjä ja hoidon tarpeen arviota. (Peruspalvelujen arviointi Länsi-Suomen läänissä 2004, Peruspalvelut Etelä-Suomen läänissä 2004.) Stakesin Päihdepalvelujen tila 2005- työpaperissa kiinnitetään erityistä huomiota mm. päihdetyöhön sosiaali- ja terveydenhuollon peruspalveluissa, lähipalvelujen

15 laaja-alaiseen ja kattavaan toteuttamiseen, palvelujen porrastamiseen useammalle alueelliselle tasolle ja hoidon jatkuvuudesta huolehtimiseen palveluohjauksen avulla. (Päihdepalvelujen tila 2005.) Mainiemen eri hankkeissa tehtyjen selvitysten ja käytännön kokemusten pohjalta on ilmennyt, että kuntien peruspalveluissa on paljon päihdetyön osaamista, joka vaatii realisoituakseen tuekseen päihdetyön erityisosaamista. Mainiemen Reitit selviksi -hankkeen punaisena lankana oli ajatus siitä, että päihdehuollon erityisyksiköissä, kuten Mainiemen kuntoutumisyksikössä, on paljon päihdetyön erityisosaamista, jota tulisi voida käyttää laajemmin ja monipuolisemmin toimialueen kuntien hyväksi. Reitit selviksi -hankkeen ja Ytyä perheeseen -hankkeen ansioista tämä näkemys on vain vahvistunut ja luonnollisena jatkumona Mainiemen kehittämistyölle kuntayhtymässä päätettiin ryhtyä valmistelemaan Mainiemen kehittämisyksikkö -hanketta. 3 MITÄ ARVIOINTI ON? 3.1 Arvioinnin määritelmiä Arvioinnista ei ole mahdollista esittää yksiselitteistä ja yleisesti hyväksyttyä määritelmää. Yksi syy on arvioinnin käytännönläheisyys sekä siitä johtuva suuri vaihtelevuus ja moninaisuus. Toinen syy on se, että arvioinnin sisältö ja muodot luodaan käytännön toimintaympäristöistä, joissa arviointitietoja käytetään. Tätä arvioinnin riippuvuutta ympäristöön ilmaistaan usein käsitteellä kontekstisidonnaisuus. (Sinkkonen & Kinnunen 1994, 21.) Kokonaisuutena arvioinnin käsite on vaikeasti hallittava johtuen arviointien erilaisista toteuttamistavoista. Arvioinnin käsitettä kuvataan monissa määritelmissä yleensä kahdella tai kolmella ominaisuudella: tarkoitus, arviointiprosessin luonne sekä menetelmät ja muut toteuttamistavat. Arvioinnissa selvitetään tai määritellään jonkin intervention, palvelun, tai hankkeen arvo, ja tätä tietoa hyödynnetään päätöksenteossa ja toiminnan kehittämisessä, jotta voisimme paremmin edistää hyvinvointia yhteiskunnassa. Lähtökohta arvioinnille on, että pitää haluta tietää, kuinka asiat ovat ja pitää olla rohkeutta tunnustaa, ettemme tällä hetkellä tiedä tai emme tiedä ainakaan riittävän tarkasti (Paasio 2003, 5). Toisin sanoen arvioinnissa pyritään vastaamaan todellisiin arviointikysymyksiin. Arvioinnissa pyritään arvottamaan onko jokin asia

16 hyvin vai huonosti, arvokas vai arvoton tai hyödyllinen vai hyödytön (Sinkkonen & Kinnunen 1994, 26, 35 ja 74 75). Arvioinnin ydin on, että arvioinnin kohdetta tarkastellaan suhteessa valittuun arviointiperusteeseen ja tästä näkökulmasta esitetään arvioiva päätelmä. Pattonin (1997) mukaan arviointi on systemaattista informaation keräämistä toiminnan toteutuksesta, luonteesta ja vaikutuksista, jotta toiminnan arvo voidaan määritellä, sen vaikuttavuutta voidaan parantaa tai, jotta saadaan tietoa päätöksentekoon tulevaisuuden ratkaisuja varten. Hyödyntämiseen keskittyvä arviointi tehdään tiettyjen, tarkoitettujen ensisijaisten käyttäjien kanssa yhdessä ja heitä varten käytettäväksi tiettyyn määriteltyyn tarkoitukseen. Patton korostaa erityisesti arvioinnin hyödyntämiseen liittyviä näkökohtia. 3.2 Arvioinnin teoreettinen viitekehys Arvioinnin teoreettisen viitekehyksen muodostaa yleinen ohjelmateoria, joka jakautuu ohjelmaprosessiin ja vaikutusteoriaan. Paasio (2003) käyttää ohjelmateoriasta nimitystä intervention, toiminnan teoria. Hankkeen näkökulmasta tämä voidaan ymmärtää siten, että hanke muodostaa oman hankeprosessin, josta tuotokset, tulokset ja vaikutukset ovat seurausta. EU ohjelmien arvioinneissa on käytetty esimerkiksi seuraavaa käsitekokonaisuutta (European Commission 1997). Arvioitavalla ohjelmalla on tavoitteita (objectives), jotka ovat tavoiteltuja seurauksia. Tavoitteet voivat olla tuotoksia (outputs), jotka ohjelma tuottaa suoraan, esimerkiksi palveluita taikka vaikutuksia (impacts), jotka ovat ohjelman tuottamia sosiaalis-taloudellisia muutoksia. Vaikutukset voivat olla edelleen välittömiä tuloksia (results) tai pitkän tähtäimen vaikutuksia (outcomes). (ks. Kuvio 3.) Teoreettista näkökulmaa hankearviointiin voidaan täsmentää ohjelmaperusteisen (ks. Kuvio 3.) arvioinnin viitekehyksellä, jossa hankkeen arviointi kohdistu seuraaviin kysymyksiin. Relevanssi: Kuinka merkittäviä ohjelman tavoitteet ovat suhteessa kohdealueen kehittämistarpeisiin ja valittuihin painopisteisiin paikallisesti ja alueellisesti?

17 Tehokkuus: Kuinka tehokkaasti ohjelman panoksilla on taloudellisessa mielessä saatu aikaan tuotoksia ja tuloksia? Vaikuttavuus: Kuinka hyvin ohjelmalla aikaansaadut vaikutukset vastaavat asetettuja erityis- ja yleistavoitteita? Hyöty: Kuinka hyvin ohjelman vaikutukset vastaavat kohderyhmän kehittämistarpeita? Kestävyys: Kuinka hyvin ohjelman positiiviset vaikutukset säilyvät ohjelman päättymisen jälkeen? Jatkuuko ohjelmassa hyväksi havaittu toiminta hankkeen päätyttyä? Kuvio 3. Kehityshankkeen tai ohjelman arvioinnin avainkäsitteet ja teoreettinen viitekehys (European Commision 1997) Ajatellaan esimerkkinä henkilökunnan päihdetietoisuuden lisäämistä koulutuksen avulla. Tavoitteena on räätälöidyllä koulutuksella lisätä kuntien sosiaali- ja terveydenhuollon henkilöstön valmiuksia havaita päihdeongelmia ja ottaa päihdeongelmat puheeksi. Koulutuksen avulla pyritään myös edesauttamaan yhteistyötä jalkautuvan työntekijän kanssa. Tällöin tavoitteesta lähtöisin oleva toiminta on koulutustilaisuus. Tuotos on lisääntynyt päihdetietoisuus. Tulos eli välitön vaikutus voi olla sujuva yhteistyö jalkautuvan työntekijän kanssa tai asiakkaiden kanssa päihdeasioiden pu-

18 heeksi otto jokaisessa asiakastilanteessa (mini-interventio). Pitkän tähtäimen vaikutus voi olla esimerkiksi, että koulutukseen osallistuneet sosiaali- ja terveydenhuollon ammattilaiset toimivat luonnollisena osana päihdepalvelujen palveluketjua. Jos näkökulmana on asiakasmuutoksen arviointi, voidaan pitkän tähtäimen muutoksena nähdä puheeksi oton seurauksena tapahtunut asiakkaan elämäntavan muutos ja siitä seurannut hyvinvoinnin lisääntyminen. Pitkän tähtäimen vaikutukset voivat olla positiivisia tai negatiivisia. Pitkän tähtäimen vaikutukset ovat usein tärkeimpiä mutta myös vaikeimmin tutkittavissa. 3.3 Arvioinnin suuntautuminen Arviointia voi tehdä monesta näkökulmasta. Oleellista on, että näkökulma valitaan tietoisesti ja siinä pysytään. Kaikkea ei voi arvioida, joten on mietittävä millainen ja miten tehty arviointi vastaa parhaiten projekti ja sidosryhmän tarpeisiin, mihin arviointikysymyksiin halutaan vastaus? Arviointistrategiat jaetaan kolmeen suuntautumisvaihtoehtoon Eleanor Chelimskyn (1997, 10) arvioinnin tarkoituksen mukaisessa luokittelussa. Chelimskyn mukaan arvioinnin näkökulmia voivat olla 1) tilivelvollisuusevaluaatio 2) kehittämisevaluaatio 3) tiedontuotantoevaluaatio. Tilivelvollisuusevaluaatiolla tarkoitetaan organisaatiossa tehtävää tuloksellisuusarviointia, tehokkuuden, taloudellisuuden tai vaikuttavuuden mittausta. Mallin taustalla on tarve arvioida yhteiskunnallisilla kampanjoilla saavutettuja tuloksia. Tilivelvollisuusarviointia voidaan tehdä erilaisin metodein, esimerkiksi kliinisin kokein, kustannus-hyöty -analyysia tai kontrolliasetelmia käyttäen. Olennaista arvioinnissa on evaluaattorin ja asiakkaan etäinen suhde, jotta objektiivisuus säilyisi. (Lindqvist 1999, 110.) Tiedontuotantoevaluaatiolla pyritään lisäämään tiedontuotannon näkökulmasta ymmärrystä tutkittavasta ilmiöstä. Tämän näkökulman päätavoite on ymmärtää paremmin ongelmien taustalla olevia tekijöitä ja sitä, miten nämä sekä suunnitellut toimenpiteet ja toimenpideohjelmat sopivat yhteen. (Lindqvist 1999, 112.) Kolmantena Chelimskin (1997,10) jaottelussa on kehittämisevaluaatio. Arviointi toimii tällöin työkaluna instituutioiden toiminnan kehittämiseksi. Tavoitteena voi olla esimerkiksi muutos organisaation toimintatavoissa, erilaisten indikaattorien kehittämisessä tai tiettyjen projektien parantamisessa. (Lindqvist 1999, 112.) Arviointi teh-

19 dään aina jotakin tarkoitusta varten, ja Chelimskin jaottelun mukaan tuo tarkoitus voi siis olla kehittämisen tarve (Lindqvist 1999, 112). Kehittämisarvioinnin keskeisenä kriteerinä pitäisi olla: auttaako arviointiprojekti tavoitteiden etenemistä? Kehittämisarviointi on prosessiarviointia ja kohdistuu kehittämistoimintaan ja sen etenemiseen (Hyttinen 2006, 21). Prosessin vaiheen mukaan arviointi jakaantuu yleensä kolmeen tyyppiin: ennakko-, väli- ja jälkiarviointiin. Näillä eri arviointityypeillä on toisistaan poikkeava tarkoitus, joten ne eivät ole toisiaan poissulkevia tai korvaavia. Hankkeen laatua ja vaikuttavuutta voidaan arvioida etukäteen, toteutuksen aikana tai jälkikäteen. (Keränen 2003, 10.) Hankkeen suunnitteluvaiheessa vaikuttavuutta arvioidaan aina etukäteen ja se liittyy suoraan suunnitteluanalyysien tekemiseen. Ennakkoarvioinnilla pyritään valitsemaan sellainen kehittämiskohde, jossa kehitysvaikutus on mahdollisimman hyvä. (Keränen 2003, 10.) Väliarvioinnin keskeisenä tehtävänä on toimia osana hankkeen ohjausjärjestelmää, se tulisi kytkeä osaksi ohjausryhmän ja hanketiimin työskentelyä. Väliarvioinnin tarkoituksena on tuottaa tietoa siitä, eteneekö hanke siten kuin on suunniteltu. Saavutetaanko hankkeelle asetetut tavoitteet suunnitelman mukaisesti hanke toteuttamalla vai onko hankkeen toteuttamisstrategiaa muutettava? On huomattava että hankkeen aikana tehty vaikuttavuuden arviointi on etukäteisarviointia hankkeen välittömien tulosten projisointia vaikutuksiksi vaikeuttaa mm. vaikuttavuuden pysyvyyden ongelma. Usein hankkeella on selviä positiivisia vaikutuksia, mutta hankkeen loputtua ne voivat heiketä tai jopa hävitä kokonaan. Hankeen toimenpiteiden tulisi nopeiden tulosten sijasta pyrkiä rakentamaa siltoja hankkeen jälkeiselle kehitykselle jopa niin, että hanke saisi aikaan ns. lumipalloefektin. (Keränen 2003, 11.) Jälkiarvioinnin aika on vasta jonkin ajan kuluttua hankkeen päättymisestä. Se on jälkien arviointia hankeen jälkeen, kun toimenpiteet on tehty. Vaikutusten arvioinnissa se tarkoittaa erillistä vaikutustutkimusta. Jälkiarviointi keskittyy kriittisen kokonaiskuvan muodostamiseen hankkeen roolista kehittämislohkossaan tai ympäristössään. Jälkiarviointia ei suositella itsearviointina tehtäväksi. (Keränen 2003, 11.) Sisällön mukaisessa luokittelussa tärkein kysymys valinnan pohjaksi on, millaista tietoa tässä projektissa pitäisi tuottaa. Kun kysymykseen on vastattu, voidaan arvi-

20 ointiprosessi suunnata joihinkin seuraavista tutkimustyypeistä. (Vartiainen 2001, 22.) Ensimmäinen sisällön mukainen tyyppi on tavoiteperustainen arviointi. Tavoiteperustaisen arvioinnin periaatteena on, että toiminnalle on asetettu tavoitteet, joiden saavuttamisen astetta sitten arvioidaan. Tavoitteet muodostavat kriteeristön arvioinnille, mitä täydellisempi tavoitteiden saavuttamisen aste on, sitä paremmin toiminta on onnistunut. Mallin suurin ongelma koskee sitä, miten pystytään määrittelemään sellainen tavoitteiden saavuttamisen aste, joka osoittaa että toiminta on onnistunut. (Sinkkonen & Kinnunen 1994, 82 83.) Toisen päätyypin muodostaa taloudellisia kysymyksiä korostavat arviointitutkimukset. Tämä ryhmä on merkittävä, koska yksi keskeisimmistä projektiarviointien alueista on kautta aikojen ollut kustannus-tulos vertailu. Kolmantena tyyppinä arvioinnin kentässä on implementaatiotutkimukset. Implementaatiotutkimus on lähellä formatiivista arviointia, jossa painopiste on projektien ja ohjelmien toimeenpanon onnistumisen arvioinnissa. (Vartiainen 2001, 21.) Implementaatiotutkimuksen paikkaa omana tyyppinään puolustaa sen yleisyys toimintaprosesseja arvioitaessa. Palvelun käyttäjien ja asiakkaiden tyytyväisyyttä ilmaisevat arvioinnit ovat nykyisin erittäin yleisiä. Niissä korostetaan erityisesti projektitoiminnan ja palveluiden laatua sekä asiakkaiden käsityksiä arvioitavasta toiminnasta. (Vartiainen 2001, 22.) 3.4 Projektiarviointi Projektin tarkoituksena on yleensä luoda uutta, hakea muutosta ja toteuttaa jokin kehittämistavoite. Yhä useammin projekteja käytetään myös palveluiden tuottamiseen. Projektityyppinen työskentely tuo kehittämiseen omat piirteensä ja niistä johtuvat pulmansa. Ellei kehittämistä osata jakaa osaksi organisaation työtä, projekti jää usein etäiseksi muusta organisaatiosta. Projekteissa on tärkeää hyödyntää projektimaisen työtavan edut pitämällä huolta projektin ja muun ympäristön rajapinnoista. Tällä on erityisen suuri merkitys, kun lisätään projektilla kehitettävän asian jatkuvuutta. Evaluaatiokirjallisuudessa puhutaan usein projektin logiikasta tai teoriasta. Tämä tarkoittaa sitä, että kehittämishankkeen taustalla on olettamus siitä, että tietty keino aikaansaa tietynlaisia vaikutuksia. Logiikka tuo esille sen, millaisia tuloksia tehok-

21 kailla toimenpiteillä on odotettavissa ja miksi. Prosessin logiikka tuo puolestaan esille, miten ja millaisin toimenpitein oletettu tulos on saavutettavissa. Erilaiset konseptit auttavat purkamaan vaikutusketjuiksi oletusten, tavoitteiden, keinojen ja toiminnan kokonaisuutta (Seppänen-Järvelä 2003, 16 17.) Nämä mallit lähtevät rationaalisesta suunnittelusta, mutta tässä kohtaa on tarpeen muistaa, että projektilla on myös piiloinen logiikkansa ja toivottujen vaikutusten lisäksi myös ei aiottuja, tahattomia sekä ennakoimattomia vaikutuksia (Vedung 1997). Projektilla on aina uuden luomisen tai muutoksen hakemisen funktionsa ja täten pyrkimys kehittää työstettävää menetelmää, toimintaa tai palvelua. Uuden luomiseen ja kehittämiseen liittyy olennaisesti oppiminen, ja oppiminen tapahtuu ongelmanratkaisuna ihmisten välisessä toiminnassa ja vuorovaikutuksessa. Projektiarvioinnin avulla avataan projektin prosessimainen polku, ja näin päästään arvioimaan sekä oppimaan, onko tehty oikeita asioita oikein. Arvioinnin lähestymistapojen luokitteluja tarkasteltaessa voidaan sanoa projektiarvioinnin ja kehittämisevaluaation vastaavan sisällöllisesti toisiaan. Jatkuvassa prosessiarvioinnissa arviointi toimii palautteena ja hankkeen ohjaamisen välineenä (Seppänen-Järvelä 2003, 19). Perinteisin tapa luokitella arviointitutkimusta on jaottelu formatiiviseen ja summatiiviseen arviointiin. Erottelu on hyödyllinen, koska se viittaa merkittäviin eroihin arvioinnissa. Lisäksi se on ulottuvuus, joka ymmärretään laajasti arvioinnin ammattikielessä. (Robson 2001, 80.) Formatiivinen arviointi suuntautuu toimintaprosessiin, sen pääasiana on muokata tai kehittää toimintaa. Se kohdistuu tavallisesti uusiin projekteihin, joissa projektin tavoite ei ole selvillä ja arvioinnin tarkoituksena on muokata projektia siten, että projektin tavoite saavutetaan. Formatiivisessa arvioinnissa pääkohteena on usein prosessi eli se, mitä projektissa todellisuudessa tapahtuu. Formatiivisesta arvioinnista voidaan käyttää myös nimitystä prosessiarviointi. (Robson 2001, 80.) Summatiivisella arvioinnilla tarkoitetaan tuloksiin ja vaikutuksiin suuntautunutta arviointia. Se keskittyy vastaamaan kysymykseen, mitä projektilla on saavutettu. Se voi käsitellä esimerkiksi sellaisia asioita kuin, onko projektin suunnitelma toimeenpantu, tavoitettiinko kohdeväestö ja vastattiinko heidän tarpeisiinsa. (Robson 2001, 81.) Formatiivinen ja summatiivinen arviointi ovat toisiaan täydentäviä, joten pelkkä lopputuloksen arviointi ilman prosessinarviointia ei ole suositeltavaa (Seppänen-Järvelä 2003, 19).

22 Prosessiarvioinnin toteuttamiseen ei ole olemassa yhtä oikeaa tapaa. Jokaisessa hankkeessa on omat kysymyksensä ja tarpeensa, johon tietoa haetaan. Viimeisimpänä menetelmänä prosessiarvioinnin toteuttamiseen on kehitetty evolutionaarinen menetelmä, joka on saanut vaikutteita tulevaisuuden tutkimuksesta. Tämä menetelmä sopii hyvin monimutkaisten ja vaikeasti ennakoitavissa olevien asioiden arviointimenetelmäksi, siinä siedetään epävarmuutta ja vaihtoehtoisia tulevaisuuden näkymiä ennakoidaan luomalla erilaisia polkuvaihtoehtoja tulevaisuudesta. Menetelmä perustuu ennakointiin, visioihin ja strategisiin tiekarttoihin ja on täten käyttökelpoinen pilottihankkeiden arvioinnissa, joissa yritetään muuttaa ja uudentaa sekä levittää, vakiinnuttaa ja juurruttaa kehitettyjä käytäntöjä. Useinhan hankkeen eivät jää elämään vaan hankkeessa kehitetyt toiminnat loppuvat hankkeen myötä. Tässä arvioinnissa se on otettu huomioon toteutuksen arvioinnissa, johon omana osanaan kuuluu käyttöönoton ja toiminnan juurtumisen arviointi. Lisäksi valmistelu vaiheessa arvioidaan toiminnan strateginen relevanssi eli onko hanke esimerkiksi kunnan strategian suuntaista. (Valovirta 2007.) Tämä kyseessä oleva Mainiemen päihdetyön kehittämisyksikkö -hanke on arvioitavissa jatkuvan kehittämisarvioinnin näkökulmasta. Mutta Mainiemen päihdetyön kehittämisyksikkö -hanketta voidaan ajatella myös pilottihankkeena, sen uutta luovan ja kokeilevan luonteensa vuoksi. Lisäksi hankkeen jatkoksi lupailtu pysyvä rahoitus päätetään 2-vuotisen hankkeen lopuksi, jolloin tätä arviointia voidaan pitää myös pysyvärahoitteisen kehittämisyksikön ennakkoarviointina. Silloin käytettävissä olisi evolutionaarinen ennakkoarviointimenetelmä, joka on kehitetty innovatiivisen ohjelman arviointimenetelmäksi. Menetelmän avulla arvioidaan hankkeen valmistelua, konseptointia, pilotointia ja toteutusta eli kaikkia hanketoiminnan vaiheita. Tässä ennakkoarvioinnin menetelmässä on otettu huomioon uutta luovalle kehittämistoiminnalle ominainen piirre, että koskaan ei voida täsmällisesti ennalta tietää, millä hankkeella on edellytykset onnistua. Kehittämistyötä ei voida myöskään täysin ennalta ohjelmoida, sillä yhteistyötahojen ja asiakkaiden suhtautumista uusiin toimintamalleihin ei voida selvittää kuin kokeilemalla käytännössä eli pilotoimalla. (Valovirta 2007.) Kuten edellä mainituista esimerkeistä käy ilmi, arvioinnin toteuttamiseen on nykyään monia erilaisia näkökulmia, menettelyjä ja mahdollisuuksia, joista voi poimia sopivia työkaluja ja ideoita omaan arviointiinsa.

23 4 ARVIOINNIN TOTEUTTAMINEN 4.1 Arviointityökalut ja menetelmät Arvioinnin teoreettisen viitekehyksen muodostaa yleinen ohjelmateoria, joka jakautuu ohjelmaprosessiin ja vaikutusteoriaan. Tätä arvioinnin perusteoriaa on käytetty tämän hankkeen arvioinnin teoreettisena viitekehyksenä. Tässä case-tapauksena käsiteltävässä hankkeessa arviointi toteutetaan väli- eli jatkuvana prosessiarviointina sisäisen arvioinnin mallilla. (ks. Kuvio 4.) Sisäinen arviointi pitää sisällään itsearvioinnin, jonka tarkoituksena on tuottaa ajantasaista tietoa hankkeen prosessista ja tilanteesta. Arvioinnin toteuttaminen itsearviointina edellyttää sen istuttamista projektin rutiineihin, arviointiin osallistuvilta se edellyttää arvioivaa työotetta ja reflektoivaa pohdiskelua. (Hyttinen 2006.) Itsearvioinnin motiivit ovat moninaiset mutta liittyvät ennen muuta oppimiseen ja siinä oppivan organisaation teoriaan. Organisaatiosta tulee oppiva, kun se oppii kriittisiä tapoja arvioida omaa toimintaansa ja tulee tietoiseksi siitä, että oppivaksi organisaatioksi tuleminen edellyttää ennakkoluulotonta kyseenalaistamista (Virtanen 2007, 177 178). Itsearviointi voidaan toteuttaa yksittäisen työntekijän, työyhteisön tai koko organisaation tasolla. Idea itsearvioinnissa on, että arvioinnin kohde on samalla myös arvioinnin tekijä. Jos itsearviointi tehdään kriittisesti ja eettisesti korkeatasoisesti, ei ole syytä pelätä itsearvioinnin subjektiivisuutta. (Virtanen 2007, 177.) Sisäisen arvioinnin mallissa sisäinen arvioija tekee hankearvioinnin, hänellä on käytössään projektitiimin tuottama itsearviointimateriaali ja tiivistetty tieto siitä. Arviointimateriaalina sisäisessä arvioinnissa voidaan käyttää projektitiimiltä saadun itsearvointitiedon lisäksi myös muuta materiaalia esim. hankeen tuotoksia, kyselyjä ja haastatteluja. Sisäinen arvioija analysoi arviointitiedon ja palauttaa sen projektiprosessiin pitkin matkaa. Keskeinen työväline tässä menetelmässä on arviointipalaverit, jossa arviointitiedon pohjalta pohditaan hankkeen tilannetta ja tarvittavia toimenpiteitä. Projektin logiikka on selvitettävä hankkeen arvioinnin pohjaksi ja se on syytä käydä läpi ohjaus- ja johtoryhmässä. (Hyttinen 2006, 26.)

24 Kuvio 4. Arvioinnin toteuttaminen Arviointityökalujen avulla seurataan tavoitteiden toteutumista, prosessin kulkua, ajankäyttöä sekä tulosten ja tuotosten toteutumista. Tässä arvioinnissa arvioinnin runkona käytetään päiväkirjatyöskentelyä ja arviointipalavereja, arviointitietoa tuotetaan myös ajankäytön sekä tuotosten ja tulosten seurannan kautta. (ks. Kuvio 4.) Hankkeen päätavoitteita eteenpäin vievät välitavoitteet asetetaan hankkeen alussa ja niiden toteutumista sekä muutostarpeita tarkastellaan tavoitearvioinneissa säännöllisin väliajoin. Tavoitteet muodostavat kriteeristön tavoitearvioinnille, mitä täydellisempi tavoitteiden saavuttamisen aste on, sitä paremmin toiminta on onnistunut. Tavoitteet on kirjattava konkreettisina ja realistisina, että niiden arviointi mahdollistuu. Arviointipalavereiden avulla tieto käsitellään ja palautetaan projektityöskentelyn osaamispääomaksi sekä prosessin että tavoitteiden osalta. Tavoitearvioinnissa on tärkeää, että tavoitteet ovat maanläheisiä ja uskottavia. Hankkeen päämäärä voi olla väljempikin, tästä on kuitenkin johdettava konkreettiset ja rajatut tavoitteet, jotka ovat saavutettavissa hankkeen aikana. (Hyttinen 2006, 53 54.) Tavoite on se, mihin pyritään ja keino on tapa, jolla tavoitteeseen päästään. (ks. Kuvio 5.) Pelkkä tavoitelähtöinen arviointi ilman tavoitteiden mielekkyyden ja osuvuuden arviointia on liian kapea-alainen. (Seppänen-Järvelä 2003.) Arvioinnin tulee