Mitä arviointi on? Arviointi on prosessi, jossa tehdään todistusaineistoon pohjautuen ja tiettyjä perusteita käyttäen päätelmiä projektin / toiminnan arvosta. Perusteet ovat arviointikriteerejä, joiden nojalla arvioidaan, ovatko asiat hyvin vai huonosti. MamuSet projektin aikana tunnistettiin verkostoyhteistyönä mm. seuraavia monikulttuurisen setlementtityön arviointiin soveltuvia, yleisiä ja yhteisiä arviointikriteerejä: Voimavaraistuminen Osallisuuden lisääntyminen Sosiaaliset verkostojen vahvistuminen Matala kynnys: avoimuus, joustavuus, tavoitettavuus Ihmislähtöisyys Yhteisöllisyys Erityistarpeiden huomioiminen Arviointi tehdään aina suhteessa johonkin: voidaan arvioida esimerkiksi asetettujen tavoitteiden relevanssia suhteessa yksilön tai yhteiskunnan tarpeisiin, toiminnan järkevyyttä suhteessa tavoitteisiin, tuloksia suhteessa panoksiin tai toiminnan vaikutuksia suhteessa projektin tavoitteisiin. Arviointia ei siis tehdä sen itsensä takia, vaan sen tarkoituksena on oppiminen sekä tavoitteena on toiminnan ja tulosten parantaminen. Yhtäältä yhteiskunnassa on yhä enemmän alettu kysyä, mitä tuloksia saadaan aikaan ja millaisia vaikutuksia työllämme on. Toisaalta arviointi nähdään yhä tärkeämpänä tiedon ja sen jäsennysten tuottajana. Tulevaisuudessa arvioinnissa tulisi painottua laadullisen ja määrällisen arviointitiedon yhdistäminen, esimerkiksi tunnusluvuilla ilmaistu vaikuttavuuden arviointi tarvitsisi tuekseen aina myös kokemuksellista tietoa. Miksi pitää arvioida? Arviointi kuuluu nykyään lähes itsestään selvyytenä kaikenlaiseen työhön. Sitä voidaan tehdä monenlaisesta näkökulmasta ja monenlaisin tarkoitusperin. Yleisesti ottaen kuitenkin ajatellaan, että arvioinnilla on kolme perustavaa motiivia: Tiedollinen motiivi, - jossa halutaan tietoa toiminnasta, esimerkiksi vertailla sitä muuhun vastaavaan tai tietoa sen vaikutuksista. Tällaisessa arvioinnissa voidaan olla kiinnostuneita esimerkiksi seuraavista asioista: Tiedonkeräämisen tai tutkimuksellinen näkökulma Tavoite- tietoisuuden lisääminen Tiedotus ja näkyvyys Yhteiskunnallinen vaikuttaminen. Kehittämis- ja oppimismotiivi, - jossa on tarve saada perusteltuja näkemyksiä siitä, miten toimintaa tulisi edelleen kehittää. Tällaisessa arvioinnissa voidaan olla kiinnostuneita esimerkiksi seuraavista asioista: Oman työn kehittäminen: mikä toimii, mikä ei ja miten voisi tehdä paremmin
Asiakkaiden tyytyväisyys ja palaute Hiljaisen tiedon esille saaminen Hyvien käytäntöjen mallintaminen ja jakaminen Työntekijöiden motivaation vahvistaminen Osallisuus- näkökulma, eli ihmiset tulevat kuulluiksi Oma ammatillinen kehittyminen ja henkinen kasvu Oppivan organisaation ajatus Tilivelvollisuus- tai vastuullisuusmotiivi, - jossa on tarve selvittää muille (esimerkiksi rahoittajille), miten toiminnassa on onnistuttu. Tällaisessa arvioinnissa voidaan olla kiinnostuneita esimerkiksi seuraavista asioista: Rahoittajan tai emo- organisaation näkökulma Toiminnan arvostus ja jatkuvuus Tietoa jatkosuunnitelmien tai uusien projektien tekoa varten Arvioinnin kolme tehtävää Arvioinnissa voidaan kiinnittää huomiota prosessiin, toiminnan tuloksiin ja sen sosiaalisiin vaikutuksiin. Kattavassa arvioinnissa huomioidaan nämä kaikki näkökulmat. Prosessia, eli toimintaa ja toimintatapoja on syytä arvioida systemaattisesti mielellään koko projektin/ toiminnan ajan, jotta niitä voidaan tarvittaessa muuttaa ja parantaa. Yleensä prosessien arviointi on mielekästä nimenomaan toimijoiden kesken sisäisesti toteutettuna. Prosessiarvioinnissa voidaan hyödyntää myös ulkopuolista arviointia, joka toimii tässä yhteydessä parhaiten konsultoivalla, koulutuksellisella ja työnohjauksellisella otteella toteutettuna. Näin ulkopuolinen ohjaa toimijoita toteuttamaan itsearviointia ja hahmottamaan uusia näkökulmia oman työnsä kehittämiseen. Kaikessa toiminnassa tarvitaan jossain muodossa myös tulosten ja vaikuttavuuden arviointia. Tuloksia ja vaikuttavuutta voidaan arvioida yhtä hyvin sisäisesti kuin ulkoisesti, jos arviointimateriaalia on kerätty koko projektin ajan järkevällä ja systemaattisella tavalla. Monipuolisesti, yhteisöllisesti ja eri näkökulmista toteutettuna arviointiprosessi palvelee myös sosiaalista sitoutumista kehitysprosessiin, vahvistaa yhteenkuuluvuutta ja motivoi. Arvioinnin osa- alueet Arviointia ei siis tehdä vain sen itsensä vuoksi, vaan aina suhteessa johonkin. Kun arvioidaan relevanssia, tarkastellaan projektin tai työn tavoitteita suhteessa yhteiskunnalliseen tarpeeseen, josta se on noussut, ts. kuinka hyvin projektin tavoitteet kohtaavat todellisen tarpeen? Tehokkuutta arvioitaessa projektin tai työn resursseja suhteutetaan sen tuotoksiin ja tuloksiin, ts. kuinka hyvin tuotokset tai tulokset vastaavat asetettuja tavoitteita? Kun taas arvioidaan vaikuttavuutta, tarkastellaan projektin tai työn vaikutuksia suhteessa sen tavoitteisiin, ts. miten hyvin projektilla aikaansaadut vaikutukset vastaavat hankkeelle asetettuja tavoitteita? Työn tai projektin laajempaa hyötyä ja kestävyyttä arvioitaessa mietitään, onko luotu innovatiivisia tai toimivia työtapoja, joiden jatkuvuus on perusteltua.
Arvioinnin peruskysymykset Ennen kuin arviointia lähdetään toteuttamaan tai edes suunnittelemaan on vastattava seuraaviin peruskysymyksiin. Niihin tulee myös vastata nimenomaan tässä järjestyksessä: 1) Miksi arvioidaan? On tärkeä miettiä, miksi arviointia tehdään (vrt. motiivit). Arviointia vain itsensä takia ei halua tehdä kukaan. On tärkeää tietää, mihin arvioinnin tuloksia käytetään ja mitä hyötyä arvioinnista on kaikille siihen osallistuvilla tahoilla. 2) Mitä arvioidaan? Kaikkea toimintaan/ projektiin liittyvää ei koskaan voida arvioida, vaan täytyy miettiä, mihin arvioinnissa halutaan kiinnittää huomiota (vrt. arvioinnin osa- alueet). Usein nämä asiat määrittyvät toiminnan/ projektin tärkeimpien tavoitteiden ja myös rahoittajan intressien mukaan. Se, mitä arvioidaan, riippuu myös toiminnan/ projektin vaiheesta: alkuvaiheessa on ehkä mielekästä arvioida toiminnan relevanssia, keskivaiheilla taas tehokkuutta tai toimintatapojen mielekkyyttä tavoitteiden saavuttamisen kannalta. Vastaavasti loppuvaiheessa katse on syytä kääntää tuloksiin ja vaikuttavuuteen sekä hyödynnettävyyteen. Lisäksi toiminnalla/ projektilla voi olla jotain tiettyjä intressejä tai lähtökohtia, joihin halutaan kiinnittää erityistä huomiota esim. osallisuus tai jokin tietty sisältöalue. 3) Mihin arviointia/ sen tuloksia käytetään? Jotta arviointiin osallistuvat tahot saadaan motivoitua tekemään arviointia, ja jotta siihen yleensä kannattaa käyttää kenenkään aikaa ja resursseja, täytyy olla mietittynä, miten arvioinnin tuloksia hyödynnetään. Jos tuloksia ei millään lailla hyödynnetä toiminnan ja sitä toteuttavan organisaation kehittämisessä sekä jatkosuunnittelussa, seuraavalla kerralla osallisia voi olla entistä vaikeampi motivoida tekemään arviointia ja arviointiin käytetty aika menee pitkälti hukkaan. 4) Kenen näkökulmasta ja kenelle arviointia tehdään? Sen lisäksi, että mietitään mitä arvioidaan, on mietittävä myös erikseen, kuka arviointia tekee, kenen näkökulmaa siinä halutaan tuoda esille ja kenelle arviointia tehdään. Arvioinnissa on tärkeää huomioida erilaiset sidosryhmät (esim. osallistujat, työntekijät, yhteistyökumppanit, rahoittajat ja laajempi toimintaympäristö), jotka voivat tuoda arvokasta tietoa toiminnan kehittämiseen omasta näkökulmastaan. Jos arviointia tehdään esim. rahoittajalle, siinä on erilaiset intressit kuin silloin, kun sitä tehdään esim. käytännön työntekijöiden työn kehittämistä varten. 5) Miten arviointi toteutetaan (menetelmä)? Vasta, kun edellisiin kysymyksiin on vastattu, voidaan päättää, minkälaisia menetelmiä arviointitiedon keräämiseen käytetään. Menetelmän valinta riippuu luonnollisesti siitä, mitä halutaan selvittää, kuinka laajasti, kenen näkökulmasta ja miten tietoa aiotaan käyttää / hyödyntää. Arvioinnin ja siinä käytettävien menetelmien sekä tiedonkeruukäytäntöjen tulisi istua mahdollisimman hyvin yhteen käytännön työhön ja arjen työtilanteisiin. 6) Millä perusteella tuloksia arvioidaan (kriteerit)?)
Tämä on arviointikysymyksistä visaisin. Arviointikriteereillä tarkoitetaan mittatikkuja, joiden avulla arvioinnin tuloksista voidaan päätellä, onko toiminnassa/ projektissa onnistuttu vai ei. Tuloksethan eivät välttämättä sinänsä anna valmista vastausta tähän kysymykseen (esim. numeeriset aineistot, työntekijöiden tai osallistujien antamat lausunnot tai kokemukset), vaan niitä täytyy vielä tulkita jonkinlaista mittatikkua vasten. Usein voikin olla vaikea määritellä arviointikriteereitä etukäteen, tai ne joudutaan määrittelemään hyvin yleisellä tasolla. Kun arviointia kuitenkin tehdään pitkän aikaa, systemaattisesti, myös kriteerit alkavat hiljalleen kirkastua. Arviointisuunnitelma/- strategia Kun peruskysymyksiin on vastattu ja niistä on yhteinen tulkinta, projektille voidaan rakentaa arviointisuunnitelma tai - srategia. Se toimii arvioinnin toteuttamisen kokonaissuunnitelmana, jossa määritellään arviointikohteet, kysymykset ja millä menetelmillä niihin haetaan vastauksia. tarkoitus teoria projektin logiikka arviointikysymykset menetelmät aineiston hankintastrategia Arvioinnin tarkoitus määrittää pääasiassa sen, millaisia arviointikysymykset ovat eli mihin arvioinnissa haetaan vastauksia. Joskus tarkoituksenmukaiset kysymykset syntyvät vasta arviointiprosessin aikana. Arviointisuunnitelmaa laadittaessa on oltava myös ymmärrys toiminnan/ projektin teoriasta sekä sen taustalla olevista suorista tai epäsuorista hypoteeseista tai oletuksista, joihin toiminta ja sen prosessit ja tulokset perustuvat. Oletukset voivat perustua esim. tutkimuksiin, kokemuksiin, suosituksiin, arvolähtökohtiin, fiiliksiin ja ei mihinkään tiedostettuun. Esimerkkejä arviointikysymyksistä: Mikä pitäisi olla uuden toimintatavan kohderyhmä?
Tavoitammeko kohderyhmän? Verkostoidummeko oikeiden kumppaneiden kanssa? Onko se mitä tarjoamme, sitä mitä todella tarvitaan? Kuinka voimme parantaa toimintatapaamme? Millaisia vaikutuksia uudella toimintatavalla on? Mitä asiakkaalle tapahtuu, kun hän osallistuu toimintaan? Toteutuuko toimintatapa kuten oli suunniteltu? Miksi se toimii / ei toimi? Keille toiminta sopii ja keille ei? Mitkä ovat kustannukset? Onko se tehokkaampi kuin muut palvelut? Projektinsa tai toimintansa arvioinnin käytännön toteutusta suunnitteleva joutuu vaikean valinnan eteen: miten, millä menetelmillä toteutan arvioinnin juuri meidän toiminnassa? Arvioinnin kentällä on viime vuosien aikana tuotettu valtavasti tietoa erilaisista arviointimalleista ja - menetelmistä. Arviointimenetelmiin tutustuminen auttaa alkuun, mutta johonkin tiettyyn kaavaan sitoutuminen ei välttämättä vastaa parhaiten oman toiminnan arvioinnin tarpeisiin. Arviointia suunnitellessa kannattaa miettiä, millainen arviointi on hyödyllisintä juuri tässä yhteydessä. Tämän jälkeen kannattaa rohkeasti ja luovasti kehittää toimintaan ja itselle sopivia, omia arviointitapoja. Parhaimmillaan arviointi on osa siis luonteva osa arjen toimintaa, käytännönläheistä ja konkreettista. Arviointi ei ole irrallinen työ, vaan kiinteä osa kehittämistä: Oleellista on myös arvioinnin systemaattisuus ja läpinäkyvyys sekä joustavuus muuttuvien tarpeiden mukaan. Tutustu lisäksi MamuSet- projektissa jaettuihin kokemuksiin projektiarvioinnista ja arvioinnin prosessinomaisesta kehittämisestä (linkki teksti- tiedostoon SirpaM Rovaniemellä) Tästä löydät yhden esimerkkipohjan arviointisuunnitelman tekoon (linkki tekstitiedostoon arviointisuunnitelmarunko)