Prosessien arviointi workshop

Transkriptio

1 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 1 Prosessien arviointi workshop Stakes Riitta Seppänen-Järvelä kehittämispäällikkö, VTT, dosentti Stakes/FinSoc riitta.seppanen@stakes.fi p

2 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 2 Tavoitteet: Antaa valmiuksia prosessiarvioinnin toteuttamiseen kehittämisprojektissa harjaantua & ymmärtää: kehittämisen luonnetta prosessiarvioinnin tehtävää prosessiarvioinnin menetelmiä

3 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 3 Ymmärrys arvioinnista vaihtelee...

4 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 4 Vastakohtien timantti Toisaalta/ toisaalta Ambivalenssi: paljon myönteistä ja paljon kielteistä Näkee asiassa kielteisiä puolia ja uhkia - Näkee asiassa myönteisiä puolia ja mahdollisuuksia + Ei vahvoja mielipiteitä Neutraali suhtautuminen +-0

5 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 5 Arvioinnin rooli kehittämisessä tilivelvollisuusarviointi tulos- ja vaikuttavuusarviointi millaisia vaikutuksia uudella toimintatavalla on? mitkä ovat kustannukset? onko se tehokkaampi kuin aiempi käytäntö? kehittämiselle tyypillistä tulevaisuusorientaatio positiivisuususko arvolähtöisyys (ideologia) muutosorientaatio toimintakeskeisyys aika- ja kulttuurisidonnaista arviointi tiedontuottamisena kehittämisarviointi prosessiarviointi Tavoitammeko kohderyhmän? Verkostoidummeko oikeiden kumppaneiden kanssa? Kuinka voimme parantaa toimintatapaa? Toteutuuko uusi palvelu/toimintatapa kuten oli suunniteltu?

6 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 6 Projektiformaatti kehittämistyön muotona parhaimmillaan Antaa mahdollisuuden poiketa totutuista käytännöistä Tarjoaa tehtäväorientoituneen organisoitumisen rakenteen. Työväline Tarjoaa suotuisan ympäristön uusille ja epäsovinnaisille ajattelu- ja toimintatavoille Resurssina vapaampi ja liikuteltavampi Prosessi projekti Systeemikulttuuri projektikulttuuri, projektin kaksoisidentiteetti

7 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 7 projektiformaatin piirteitä määräaikaisuus, lyhytkestoisuus kehittämistoiminnan piirteitä prosessit pitkäkestoisia lineaarisuus tavoite- ja tehtäväkeskeisyys rationaalinen suunnittelu suunniteltu muutos projektin tuloksena kontrolloitavuus organisaatio suppea meanderoivuus visionäärisyys tilanne-ehtoisuus, vaikea ennakoitavuus muutoksen viivästyminen, vaikutusten sirottuminen joustavuus monitoimijaisuus, rajojen ylittäminen

8 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 8 Alkutilanne Miten määritelty? Mistä aloite? Millaisten asioiden halutaan muuttuvan? Mitä tapahtuu, jos ei tehdä mitään? Toiminta Ketkä mukana? Mitä vaatii? Miten mahdollistetaan? Kuka vastaa? Esteet ja edellytykset? Lopputilanne Mitä tavoitellaan? Mistä nähdään, mitä saatiin aikaan? Kuka hyötyy ja miten? projekti työyhteisö työyhteisön ja organisaation ristiriidat ja jännitteet organisaatio

9 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 9 Lähtökohdat: arvioinnin perustehtävä Mitä evaluaatio on? Arviointi on jonkin asian arvon tai ansion määrittelyä. Se tuottaa tietoa toiminnan ja päätöksenteon pohjaksi Tarkastelu kohdistuu tavallisesti ihmisiä koskevaan ohjelmaan, innovaatioon, palveluun, projektiin, (uuteen) toimintatapaan, interventioon, politiikaan jne

10 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 10 Formatiivinen ja summatiivinen arviointi

11 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 11 Projektiarvioinnin lähestymistapoja mukaillen Robson 2000; Patton Mille on tarve? Vastaako se mitä tarjotaan, asiakkaiden tarpeita? Mitä tapahtuu, kun uusi toimintatapa on käynnissä? Saavuttako uusi toimintatapa päämääränsä tai tavoitteensa? Mitkä ovat uuden toimintatavan vaikutukset? Kuinka kustannukset ja hyödyt suhtautuvat toisiina? Kuinka toimintatapaa voidaan parantaa? Tarvekeskeinen lähestymistapa (ehdotettu hanke) Tarvekeskeinen lähestymistapa, Prosessien, vaikutusten ja tehokkuuden arviointi (käynnissä oleva hanke). Prosessievaluaatio, tarpeiden arviointi. Vaikuttavuuskeskeinen lähestymistapa, tehokkuuden arviointi Vaikutusten arviointi, tehokkuuden arviointi Tehokkuuden ja vaikutusten arviointi Prosessilähtöinen kehittämisevaluaatio

12 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 12 Arviointistrategiat Suuntautumisvaihtoehtoja: tilivelvollisuus (accountability) / tiedon tuottaminen / kehittäminen Lähtökohtana arviointikysymykset! Esimerkkejä arviointikysymyksistä: Mikä pitäisi olla uuden toimintatavan kohderyhmä? Tavoitammeko kohderyhmän? Verkostoidummeko oikeiden kumppaneiden kanssa? Onko se, mitä tarjoamme, sitä mitä todella tarvitaan? Kuinka voimme parantaa toimintatapaamme? Millaisia vaikutuksia uudella toimintatavalla on? Mitä asiakkaalle tapahtuu, kun hän osallistuu projektiin? Toteutuuko uusi palvelu/toimintatapa kuten oli suunniteltu? Miksi se toimii / ei toimi? Keille uusi palvelu sopii ja keille ei? Mitkä ovat kustannukset? Onko se tehokkaampi kuin muutu palvelut?

13 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 13 Kehityssykli Uuden toimintatavan arviointi Nykyinen toimintatapa: ongelmien etnografia Uuden toimintamallin käyttöönoton tukeminen ja analyysi Toiminnan kehityshistorian ja nykyisten ristiriitojen analyysi Uuden toimintamallin suunnittelun tukeminen ja analyysi Lähde: Engeström 1995

14 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 14 tehdään yhdessä johtopäätökset muutostarpeista sovelletaan yhdessä sovittuja perusteita sovitaan yhdessä, mitä muutetaan ja sovitaan seurannasta tutkiskellaan havaintoja ja tuotetaan tietoa siitä, miten työssä onnistutaan kootaan havaintoja toteutetaan sovittu muutos tehdään töitä tehdään töitä Kehittämisen itsereflektoivan prosessin eteneminen (mukaillen Viirkorpi, 2000: 40)

15 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 15 interventio prosessi projekti

16 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 16 Prosessiarvioinnin idea tukee kehittämistoimintaa kehittämisen ohjaaminen tavoitteiden ja vision suuntaan ei katsota yksinomaan tavoitteita vaan toiminnan suhdetta tavoitteisiin toiminnan ohjaaminen tietoperustalta: valintoja ja perusteluja näkyväksi tekevää jatkuva palaute ( ja seuranta) tuo esille muutosprosessien piirteet, vaiheet, askelluksen arviointi & oppiminen yhteistä, keskustelevaa, valtaistavaa prosessiarviointia hyödyntämällä evaluatiiviseen kehittämistyöhön arviointi nivottu osaksi kehittämistä: arviointi-interventio = kehittämisinterventio dokumentaatio edellytyksenä siirrettävyydelle ja hyvän käytännön kuvaamiselle

17 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 17 Prosessiarviointi kohdistuu kehittämistoimintaan (toimenpiteisiin, keinoihin..) ja toiminnan tuloksiin ja vaikutuksiin Sen tehtävänä on avata toiminnan "mustaa laatikkoa". Usein tiedetään, mitä tavoitellaan ja nähdään lopputulos, mutta ei pystytä hahmottamaan sitä, mitä välissä tapahtuu. Tarvitaan arviointia siitä miksi, miten ja mitä on tehty Prosessiarviointi on ydin on itsearviointi, lisänä mahdollisesti ulkoinen arviointi Se on systemaattista ja suunniteltua, ei "köyhän miehen" quick & dirty arviointia Erilaiset menetelmät ja käytännöt antavat tarvittavan rakenteen (esim. fettermanilainen tai MSC)

18 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 18 Arvioinnin toteuttaminen Lähtökohta selvyys peruskysymyksistä: Miksi arviointi tehdään, mikä on tarve? Mihin sitä käytetään? Kuka sitä käyttää? Mitä siltä odotetaan?

19 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 19 Projektin teoria (logiikka) Hankkeen taustalla oleva olettamus, että tietty keino saa aikaan tietynlaisia vaikutuksia. Tulosten teoria (mitä tuloksia odotettavissa ao. keinoilla?) Prosessin teoria (millaisin keinoin tulokset ovat saavutettavissa?) Projektin oletukset voivat perustua esim. tutkimuksiin, kokemuksiin, suosituksiin, arvolähtökohtiin, fiiliksiin ja ei mihinkään tiedostettuun. Arvioinnin kannalta tärkeätä: - onko olettamus oikea/väärä - onko toteuttaminen onnistunut/ei

20 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 20 menetelmät tarkoitus ARVIOINTIKYSYMYKSET teoria Aineiston hankintastrategia Arviointiasetelman rakentamisen viitekehys Robson, 2001

21 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 21 Kehittämisprojektin arvioinnin ABC A peruskysymyksiin vastaaminen: yhteinen tulkinta B arviointisuunnitelman tekeminen: - arviointikohteiden ja kysymysten valinta - ymmärrys projektin teoriasta - valinnat ulkoisen ja sisäinen arvioinnin osalta - mahdollisen evaluaattorin valinta, sopimukset - työnjaosta, rooleista, aikatauluista, tuotoksista ja tiedon hyödyntämisestä sopiminen C valitun arviointistrategian toteuttaminen

22 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 22 Prosessiarvioinnin haasteita materiaalia kertyy usein paljon arviointi voi tuntua taakalta vaikutelmanvaraisuus, luotettavuus aineiston hyödyntäminen ja johtopäätösten tekeminen rehellisyys, reality-check arvioinnin ja kehittämisen läheisyys arviointikulttuurin syntyminen erilaiset roolit mm. sidosryhmien rooli halu tarttua asioihin ja muuttaa niitä raportointi

23 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 23 Empowerment-evaluaatio Valtaistava, vahvistava tai mahdollistavaksi arviointi Empowerment-evaluaatio on suunniteltu auttamaan ihmisiä auttamaan itse itseään ja parantamaan projektiaan itsearvioinnin ja reflektion avulla. Demokraattinen prosessi, jossa toimijoiden ryhmä on itse vastuussa arvioinnin toteuttamisesta. Ulkopuolinen arvioija nähdään tasavertaisena osallistujana, joka voi ohjata menetelmän toteuttamisessa, dokumentoinnissa ja toimia kriittisenä tarkastelija, as a critical friend. Seuraavassa esitetty menetelmä perustuu David Fettermanin kehittämään kolmivaiheeseen arviointimalliin.

24 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 24 1) Projektin vision tai mission määrittäminen. Voidaan puhua myös tuloksista, joita projektissa tavoitellaan. 2) a) Määritellään hankkeen tärkeimmät aktiviteetit, ja laitetaan ne tärkeysjärjestykseen. Priorisointi voidaan tehdä siten, että annetaan jokaiselle osallistujalle viisi ääntä. Äänet (jotka voivat olla pisteitä, pallukoita) asetetaan vapaavalintaisesti niiden tehtävien kohdalle, joilla on osallistujan mielestä eniten merkitystä projektin tavoitteiden saavuttamisen kannalta. Projektin aktiviteetit Priorisointi

25 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 25 b) Arvioidaan projektin suoriutumista antamalla keskeisille toiminnoille pisteitä asteikolla 1-10 sen mukaan, kuinka hyvin projekti on oman näkemyksen mukaan onnistunut kyseissä asiassa. Keskustellaan osallistujien näkemyksissä olevista eroista. Tämä auttaa hahmottamaan projektin nykytilan ja sen heikkoudet ja vahvuudet. Projektin aktiviteetit Hlö1 Hlö2 Hlö3 Keskiarvo 3) Tulevaisuuteen suuntautuminen. Osallistujat määrittelevät tavoitteensa ja visionsa sekä strategian niiden saavuttamiseksi. Osallistujat dokumentoivat etenemistään kohti tavoitteitaan.

26 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 26 peruskysymykset osaaminen ja ymmärtäminen miksi? hyödyntäminen työlähtöisyys ja johtopäätökset

27 Tiedosta hyvinvointia Riitta Seppänen-Järvelä 27 Kirjallisuutta Chelimsky, E. & W. Shadish (1997) Evaluation for the 21st century. A handbook. Thousand Oks: Sage Publications. Holma, T. (1997) ITE. Menetelmä työyksikön itsearviointiin ja laadunhallintaa sosiaali- ja terveydenhuollossa. Helsinki: Suomen Kuntaliitto. Krogstrup, H. (2004). Asiakaslähtöinen arviointi Bikva-malli. FinSocin arviointiraportteja 1. Helsinki: Stakes. Kuula, A. (1999). Toimintatutkimus. Kenttätyötä ja muutospyrkimyksiä. Tampere: Vastapaino. Murto, K. (2001) Prosessin johtaminen. Kohti prosessikeskeistä työyhteisön kehittämistä. Jyväskylä: Jyväskylän Koulutuskeskus Oy. Patton, M. (1997). Utilization-focused evaluation. The new century text. Thousand Oaks: Sage Publications. Patton, M. (1982) Practical Evaluation. Newbury Park: Sage Publications.Preskill, H & Torres, R. (1999). Evaluative inquiry for learning in organizations. Sage Publications, Thousand Oaks. Schein, E. (1999). Process consultation revisited. Building the helping relationship. Reading: Addison-Wesley Publishing Company. Robson, C. (2001) Käytännön arvioinnin perusteet. Opas evaluaation tekijöille ja tilaajille. Helsinki: Tammi. Satka M., Karvinen-Niinikoski S., Nylund M.& Hoikkala (toim.) Sosiaalityön käytäntötutkimus. Helsinki: Palmenia-kustannus. Seppänen-Järvelä, R. (2004). Projekti: kehittämisen kehto vai musta aukko? Yhteiskuntapolitiikka 3, s Seppänen-Järvelä, R. (1999). Luottamus prosessiin. Kehittämistyön luonne sosiaali- ja terveysalalla. Tutkimuksia 104. Stakes. Helsinki. Sommerfeld, P. (ed.)(2005). Evidence-Based Social Work Towards a New Professionalism? Peter Lang AG, European Academic Publishers: Bern. Viirkorpi, P. (2000) Onnistunut projekti. Opas kunta-alan projektityöskentelyyn. Helsinki: Suomen Kuntaliitto. Weiss, C. (1998) Evaluation. Second edition. Upper Saddle River, New Jersey: Prentice Hall.