Vaikutusten ja vaikuttavuuden arviointi - purkua Arviointiverkoston tapaaminen.9.01 Folkhälsan Mervi Aalto-Kallio ja Niina Haake, erityisasiantuntijat
Verkostotapaaminen aloitettiin täydennettävillä lauseilla. Ennen yhteiskeskustelua kukin osallistuja kirjasi paperille itsekseen seuraavat lauseet: - Vaikutusten arviointi on mielestäni. - Vaikuttavuuden arviointi herättää minussa Osallistujien vastaukset on puhtaaksikirjoitettu seuraaviin dioihin.
Vaikutusten arviointi on mielestäni Toiminnan tuotosten ja tulosten seurauksena syntyneitä laajoja ja pysyvämpiä muutoksia toimintaympäristössä tai toiminnan kohderyhmässä Vaikeata, mutta erittäin tärkeätä. Vaikea tietää mitkä asiat vaikuttavat, mittaanko oikeita asioita? moniulotteinen käsite joten ei avaudu helposti, selkeämpi kuin vaikuttavuus sitä, että katsotaan tai tutkitaan sitä, mitä muutoksia konkreettisesti on saatu aikaan, niiden ihmisten elämässä, joihin on ollut tarkoitus vaikuttaa. Kehämäisesti tarkentuva prosessi osa toiminnan suunnittelua, päätöksentekoa ja resursointia. Yhteistä toimintaa, jonka voi tehdä luovasti ja vuorovaikutteisesti Kiinnostavaa ja olennaisiin asioihin pureutuvaa. Sen asian pohdintaa, että miksi kyseinen toiminta on olemassa, vastaako se oikeasti tarpeisiin. Tuotosten ja tulosten seurauksena syntyviä muutoksia, metodit kaavamaisia ja vanhanaikaisia, usein käytännössä keskitytään tuloksiin.
Vaikutusten arviointi on mielestäni järjestöarvioinnin piirissä paljolti koettujen vaikutusten arviointia. Kehämäisesti tarkentuva prosessi. Haastavaa. Toisaalta tärkeää, toisaalta voi olla harhaanjohtavaa/yksiulotteista, jos ei tiedetä vaikutusten kontekstia ja tutkita myös vaikuttavuutta. Joskus vaikutus ja vaikuttavuus menevät sekaisin. Tärkeää, perustelee toiminnan. Vaikeaa, ajankohtaista, välttämätöntä haastavaa, mielenkiintoista, tärkeää, vaikutusten arvioinnille pitäisi päästä todentamaan ennaltaehkäisevän työn hyötyjä ja kustannusvaikutuksia monitahoista ja haastavaa. Homma pitää tuntea hyvin jotta tavoitteista saa mietittyä systemaattisesti vaikutuksia. Mielenkiintoista Lyhyt analyysi siitä, mitä ollan tehty. Vaikutus on tulos jostakin. Jos kohderyhmä esim. lapset, vaikutus heihin ja heidän toimintaansa. Vaikutusta usein vaikea mitata. Yhteistä toimintaa, valmentava näkökulma, jatkuva prosessi, toimintaympäristökin muuttuu, metodit kaavamaisia, vanhanaikaisia. Intervention vaikutus? Onko meidän toiminnan vaikutus oikeaa? Emme toimi laboratoriossa.
Vaikutusten arviointi on mielestäni tärkeää, jatkuvaa ja hankalaakin toimintaa. Kuuluu kaikkeen työhön ja siinä tarvitaan eri osapuolten näkemyksiä. hyödyllistä mutta vaikeaa tarpeellista, jotta voidaan osoittaa toiminnan merkitys asiakkaalle. Haasteellista, kun resursseja on rajallisesti. parhaimmillaan silloin kun se on jokapäiväistä arjen työtä -> arjen havainnointia ja sen dokumentointia Tärkeää, perusteltua, innostavaa, toiminnan suunnittelun ja toteuttamisen pohjana. Muutosten osoittaminen, näyttöön perustuvaa tietoa? Toiminnan läpi leikkaavaa. "Oikeutus olla olemassa." tulosten tarkastelua ja peilausta asetettuun tavoitteeseen, konkreettisempaa Toiminnan tarkoituksenmukaisuuden ja kehittämisen kannalta välttämätöntä, ja toiminnan jatkuvuuden elinehto.
Vaikuttavuuden arviointi herättää minussa Kysymyksen, miten sitä voidaan arvioida, koska hankkeen tai toiminnan vaikuttavuus on hyvin vaikeasti arvioitavaa/mitattavaa ja tulee usein esille vasta pitkän ajan kuluttua interventiosta tms toiminnasta Paljon kysymyksiä, esim miten erotan vaikutukset ja vaikuttavuuden toisistaan, mistä voin tietää mitkä kaikki asiat yhdessä vaikuttavat ja saavat aikaan vaikuttavuutta? ristiriitaisin ajatuksin koska käsitettä käytetään epämääräinen Vastuuntunnetta. Kysymyksen siitä, että onko se, mitä teemme yhteiskunnallisesti merkittävää. Saavutetaanko sillä tuloksia ja tuotoksia, joita on lähdetty tavoittelemaan vai jotakin muuta, vai sekä että? mielenkiintoa. Kysymyksiä miten? Kunnioitusta ja tarvetta pysähtyä asian äärelle, koska on paljon laajempaa kuin yksittäisten vaikutusten. Hanketyöntekijänä riittämättömyyden tunnetta, haaste tuntuu isolta suhteessa mm. käytettävissä olevaan aikaan. Ahdistusta!. Miten sitä voi mitata kattavasti, miten sen voi tietää ilman syväluotaavia tutkimuksia. Iloa, se on tärkeää, potentiaalisesti kertoo "holistisemmin" siitä, mitä oikeasti tapathtuu, mihin numerot perustuvat
Vaikuttavuuden arviointi herättää minussa mielenkiintoa ja halua uudenlaisten toimintatavan toteuttamiseen. Uteliaisuutta mitä mahtaisi tulla vastaan? Pelkoa :-) monipuolisia ajatuksia aitoa ja analyyttisyyttä. Riittämättömyyden tunnetta. Tunnetta, että osaanko tiedostaa juuri tämän työni vaikuttavuutta, sillä vaikuttavuus on pitkäaikaista tulosta eikä sekään aina ole yksinkertaista. Mielenkiintoa, mutta miten? Mikä laittaa alulle ihmisen muutoksen? Luo epävarmuutta. Prosessit kesken, miten vaikuttavuutta?= innostusta ja turhautumista samanaikaisesti ahdistusta ja intoa, onnistuessaan se motivoi. positiivisen vireen siinä mielessä, että asiakkaan ääni/kokemus/mielipide tulee/saadaan esille. Välillä epätoivoa ja ahdistusta. Riittämättömyyden tunnetta.
Vaikuttavuuden arviointi herättää minussa Lievää ahdistusta aina ajoittain, koska esim. vaikuttamistoiminnassa se ei ole helppoa. ajatuksen tehdä arviointia yhdessä kohderyhmämme ja yhteistyökumppaneidemme kanssa. Vaikuttavuus on usein meidän yhteistyömme tulos. Yksin saamme harvoin aikaan suurta vaikuttavuutta. Aito yhdessä tekeminen, kriittisyyttä, aikajänneongelma --> osoittamisen haaste (kontrolliryhmä?). Pelkoa, epävarmuutta, riittämättömyyden tunnetta. ristiriitaisia ajatuksia. Onko muotiasia, pitäisikö enemmän pohtia miksi ja miten hyödynnetään kuin vain mitataan jne. Pitkälle ajalle tuloksellisuutta, hyötyä jne. Vaikuttavuutta jopa yhteiskunnallisesti. Inhorealistinen näkökulma; käytetäänkö rahat oikein, jotta ne saavat aikaan jotain.
Arviointiverkostolaisia pyydettiin ennakkotehtävänä kirjaamaan 1. Mitä arviointiin liittyviä asioita järjestökentässä on menneitä juttuja, ns. menneen talven lumia?. Mitä arviointiin liittyviä asioita on nyt järjestökentässä pinnalla, niin sanotusti in? 3. Mitä heikkoja signaaleja arvioinnin suunnalta on ulottuu järjestökenttään tulevina vuosina? Näistä vastauksista koottiin trendiaalto, jonka pohjalta äänestettiin ensi vuoden teemat. Äänestyksen tulokset löytyvät seuraavilta dioilta.
II Mitä liikkuu arvioinnin aallolla? Mitä teemoja käsittelemme ensi vuonna? Äänestyksen tulokset Laadukas arviointi vs niukat resurssit Ennakointi Vaikeasti tavoitettavat kohderyhmät Laatu ja kustannukset Verkosto- ja yhteistyön arviointi Kokemusasiantuntijuus Laadullisen aineiston kuvaaminen määrällisesti ja rahassa Osallistaminen arviointiin Toiminnalliset menetelmät Kansalaistoiminnan merkitsevyys Some arvioinnin välineenä Vertaisarviointi Asiakasnäkökulma Yhteiskehittäminen Huonot arvioinnit Hyvinvointiin liittyvätn toiminnan tuloksellisuus Kehittävä arviointi Vapaaehtoistoiminnan, lyhytkestoisen toiminnan arviointi Mikä on merkittävä tulos? Näyttöön perustuva tieto Kunta-yritys-yhteistyö arviointitiedon tuottamisessa Itsearviointi 1 1 1 1 1 3 5 5 6 0 1 3 5 6 7 N= mainintoja
Ja hieman teemoiteltuna: Asiakaat, osallistaminen ja kokemusasiantuntijuus Laatu ja kustannukset Laadukas arviointi vs niukat resurssit Ennakointi Kansalais-ja vapaaehtoistoiminnan merkitsevyys Verkosto- ja yhteistyön arviointi Toiminnalliset menetelmät Some arvioinnin välineenä Hyvinvointitoiminta ja tuloksellisuus Vertaisarviointi Yhteiskehittäminen Huonot arvioinnit Kehittävä arviointi Näyttöön perustuva tieto Kunta-yritys-yhteistyö arviointitiedon tuottamisessa Itsearviointi 0 6 8 10 1 1 16 N= mainintoja