RAY:n arviointikoulutus

RAY:n arviointikoulutus Tuomas Koskela & Henna Harju Arviointi- ja koulutusyksikkö 1

Sisältö 1. Taustaa 1.1. RAY: Arvioinnin tilaa kartoittava selvitys 2011 2. Miksi arviointia tarvitaan? 2.1. Yleistä itsearvioinnista 2.2. Itsearviointi tuloksellisuuden ja kehittämisen osatekijänä 2.3. Itsearviointityökaluja 3. Vaikutusten arviointi 4. Esimerkkejä ja hyviä käytäntöjä 2

1.Taustaa 3

Taustaa.. Arviointitoiminta on lisääntynyt määrällisesti räjähdysmäisesti 1990-luvulta lähtien. On alettu puhua arvioinnin yhteiskunnasta, missä korostuvat tuloksilla ohjaaminen, vaikuttavuustavoitteet, tilivelvollisuus sekä näyttöön perustuva toiminta ja sen suunnittelu. Erityisesti vaikuttavuuden osoittaminen on tullut eri toimijoille (mukaan lukien kolmannen sektorin toimijat) entistä tärkeämmäksi viime vuosien aikana. Taustalla on ajatus, että rajallisilla resursseilla saadaan mahdollisimman paljon hyvää aikaiseksi toiminnan kohteille. Kolmannen sektorin järjestöjen voidaan ajatella olevan tilivelvollisia järjestön ja sen toiminnan luonteen mukaan erityisesti jäsenistölleen, rahoittajilleen sekä muille sidosryhmille. 4

Arviointi mistä kyse? Mitä on arviointi tai mistä arvioinnissa on kysymys? Arvioinnilla tarkoitetaan mm. tiedon tuottamista toiminnasta, siihen liittyvistä kehittämistarpeista sekä toiminnan tuloksista, vaikutuksista ja vaikuttavuudesta sekä hyödyllisyydestä. Yksiselitteistä arvioinnin määritelmää ei ole olemassa. Ulkoisella arvioinnilla tarkoitetaan arviointia, jonka on toteuttanut järjestön ulkopuolinen taho (esim. järjestö, opiskelija, tutkimuslaitos, yritys..). Itsearvioinnilla tarkoitetaan organisaation itse, omana toimintana, toteuttamaa arviointia. Vertaisarvioinnilla tarkoitetaan samaan ammattiryhmään kuuluvien tai saman ongelman (teeman) parissa työskentelevien kesken tapahtuvaa työn kehittämistä, jossa vertaisten muodostama ryhmä arvioi kriittisesti ja järjestelmällisesti omaa toimintaansa. Usein viitataan arvottamiseen (osoitetaan jonkin asian tai toiminnan arvo, ansio tai merkitys) Arvioinnin perustermi evaluaatio juontuu pääosin latinankielisestä termistä valere. Se voidaan kuvata ilmauksella olla jonkin arvoinen. (Rajavaara 2007) 5

Arviointi mistä kyse? Arviointi on hyvin arkista toimintaa, jota ihmiset tekevät päivittäin. Tehdessä ostopäätöstä kuluttajat arvioivat tuotteita hinnan ja laadun perusteella. Kouluissa ja oppilaitoksissa opettajat arvioivat oppilaiden tenttivastausten ansioita ja puutteita ja asettavat vastaukset etukäteen laadittujen kriteerien pohjalta paremmuusjärjestykseen. Rahoittaja voi puolestaan antaa myönteisen rahoituspäätöksen jollekin ja vastaavasti toiselle kielteisen esimerkiksi toiminnan yhteiskunnalliseen arvoon tai ansioon perustuen. Kysytään ihmisiltä, mitä mieltä he ovat toiminnasta: Miten on onnistuttu? Seuranta vs. arviointi: Seurannassa päähuomio, miten toimenpiteissä on edetty. RAY:n uusi seurantakäytäntö edellyttää, että järjestöt tuottavat tietoa, joka raportoidaan RAY:lle. 6

1.1. RAY: Arvioinnin tilaa kartoittava selvitys 2011 7

Arvioinnin tila järjestöissä Keväällä 2011 RAY teetti kyselyn arvioinnin tilasta järjestöjen keskuudessa. Kysely osoitettiin vuosina 2009 ja 2010 RAY:ltä projektiavustusta saaneille järjestöille (n=545). Ulkopuolelle rajattiin järjestöt, jotka olivat saaneet RAY:ltä vain investointiavustusta. Kyselyyn vastasi yhteensä 420 järjestöä vastausprosentin ollessa noin 77 %. Kyseessä ensimmäinen kerta, kun täysin vastaavanlainen tutkimus toteutetaan 8

Arvioinnin tila järjestöissä - yhteenvetoa Arviointikäytännöt ovat hyvin vaihtelevia ja yhteinen kehittämishankkeiden arviointikulttuuri puuttuu sosiaali- ja terveysalan järjestöjen keskuudesta. Noin kolmannes järjestöistä ei ole toteuttanut lainkaan omien kehittämishankkeiden arviointeja vuosien 2009 2010 välisenä aikana. Arvioinnin mahdollisuuksia hanketoiminnan kehittämisessä ei ole sisäistetty kuin osassa järjestöjä. Läheskään kaikissa järjestöissä ei ole riittävästi osaamista toteuttaa arviointia itse tai tilata hanketta koskeva ulkoinen arviointi. Arviointiin suhtaudutaan varsin positiivisesti järjestöjen keskuudessa. Resurssien ja osaamisen puute arviointiin liittyen ovat ilmeisiä varsinkin pienempien järjestöjen keskuudessa. Itsearviointien toteuttaminen kehittämishankkeissa on ollut selvästi yleisempää kuin ulkoisten arviointien tilaaminen. 9

Arvioinnin tila järjestöissä - yhteenvetoa Vain pienessä osassa järjestöjä kehittämishankkeiden itsearvioinnit ja ulkoiset arvioinnit nähdään toisiaan tukevina välineinä hanketoiminnan kehittämisessä. Kehittämishankkeiden arvioinnit ovat tarjonneet aidosti välineitä toiminnan kehittämiseen järjestöissä. Alle 5 % järjestöistä on tilannut RAY:n yleisavustuksella ja noin kymmenesosa RAY:n kohdennetulla toiminta-avustuksella rahoitetun toiminnan ulkoisen arvioinnin vuosien 2009 2010 välisenä aikana. Alle neljännes järjestöistä on toteuttanut RAY:n yleisavustuksella rahoitetun ja hieman alle puolet RAY:n kohdennetulla toimintaavustuksella rahoitetun toiminnan itsearvioinnin. 10

Motiivit kehittämishankkeiden ulkoisten arviointien tilaamiseen 11

Arvioinnin tila järjestöissä - yhteenvetoa Suurimmassa osassa järjestöjä arviointi näyttäisi olevan irrallaan muusta toiminnasta ja arvioinnin toteuttaminen saatetaan nähdä pikemminkin teknisenä suorituksena. Osassa järjestöjä arviointia hyödynnetään suurten linjojen tarkistamisessa sekä kehittämiskohteiden paikantamisessa. Hyvin pienessä osassa järjestöjä arviointi nähdään aidosti toiminnan kehittämisen välineenä, minkä kautta on mahdollista pohtia, mitä teemme, kenelle, miksi ja millä tavoin. Kyky kyseenalaistaa aidosti ja rakentavasti omaa ja muiden toimintaa ja samalla olla avoin ovat elintärkeitä ominaisuuksia, mutta mitä ilmeisimmin monelta ne puuttuvat. Arvioinnin merkitys sosiaali- ja terveysalan järjestöjen keskuudessa tullee jatkossa kasvamaan. RAY:n näkökulmasta kyse on tiedolla ohjaamisen aikaisempaa korostuneemmasta roolista sekä tilivelvollisuudesta STM:n ja viime kädessä kansalaisten suuntaan. Järjestöt ovat tilivelvollisia osoittamaan jäsenistölleen, rahoittajilleen ja muille sidosryhmille, mitä toiminnalla on saatu aikaiseksi. Tämä edellyttää arvioivan ajattelutavan yleistymistä sekä arviointiosaamisen parantumista järjestöjen keskuudessa. Kyse ei ole kuitenkaan siitä, että järjestöjen ylin johto omaksuu asiat, vaan arvioivan ajattelutavan ja työotteen tulee koskettaa kaikkia työntekijöitä. 12

Arvioinnin tila järjestöissä - yhteenvetoa Eri yhteyksissä on nostettu esille, että arvioinnin hyödynnettävyyttä edistää, mikäli organisaatiossa työskentelee erikseen nimetty henkilö, jonka vastuulla arviointitoiminta on. Itsearvioinnin uskottavuuden ja hyödyntämisen kannalta on pidetty tärkeänä, että arvioijalla on organisaatiossa korkea status ja todellista valtaa. Vain hieman yli neljäsosalla järjestöistä on erikseen nimetty henkilö, jonka vastuulla omaa toimintaa ja kehittämishankkeita koskeva arviointitoiminta on. Ulkoisten arviointien koetaan vastanneen melko hyvin järjestöjen tarpeita. Ennen hankkeen suunnittelua tai suunnitteluvaiheessa toteutettuja ulkoisia arviointeja on tehty hyvin vähän. Arviointien hyödyntämisen kannalta kehittämishankkeiden ulkoisissa arvioinneissa olisi perusteltua tarkastella hankkeen juurruttamisen edellytyksiä ja/tai mahdollisuuksia sekä hankkeen tuloksia ja välittömiä vaikutuksia. Sen sijaan hankkeen kohderyhmän valintaa, toimintaympäristöä, viestintää tai toiminnan riskejä ei pidetty kovinkaan tärkeinä arvioitavina osa-alueina. Pidetäänkö kehittämishankkeita riskittöminä? Harvoin ne sitä kuitenkaan ovat. Eikö viestintää nähdä välineenä levittää ja juurruttaa hankkeen tuloksia sekä hyviä käytäntöjä, vai onko viestintä yleisesti liian pienessä roolissa kehittämishankkeissa? 13

Arvioinnin tila järjestöissä - yhteenvetoa Arviointien tuloksista tulisi keskustella avoimesti ja käsitellä niitä systemaattisemmin henkilöstön ja sidosryhmien keskuudessa. Kehittämishankkeiden arvioinnit ja arvioinnit yleisimmin tulisi kytkeä selkeämmin osaksi järjestöjen toiminnan suunnittelua. Tällä hetkellä kytkentä puuttuu monesta järjestöstä tai se on hyvin ohut. Järjestöistä, jotka ovat toteuttaneet vuosien 2009 2011 aikana kehittämishankkeiden itsearviointeja, noin puolessa on käytössään jokin malli tai viitekehys itsearviointien toteuttamiseen. Suurin osa näistä järjestöistä hyödyntää omaa tai itse kehitettyä mallia tai laatujärjestelmää itsearvioinnin tukena. Selkeinä kehittämiskohteina näyttäytyvät itsearvioinnin suunnittelu sekä yleisemmin osaaminen itsearvioinnin toteuttamiseen liittyen. Kehittämishankkeiden itsearvioinneissa kohdatut ongelmat näyttäisivät useimmiten liittyvän resurssien, osaamisen sekä helppokäyttöisen itsearviointimallin puutteeseen. Järjestöissä näyttäisi olevan selkeitä osaamisvajeita ulkoisten arviointien kilpailutukseen, tuloksellisuus- ja vaikutusarviointiin, yleisesti arviointiin sekä itsearviointiin liittyen. 14

2. Miksi arviointia tarvitaan? 15

Arvioinnin motiiveja Tiedollinen motiivi Yleinen tietotarve: vertailu, vaikutukset yms. Toiminnan legitimointi Seuranta, palkitseminen, valvonta/kontrollointi, päätöksenteko.. Velvoite tai normi Markkinointi Kehittämis- ja oppimismotiivi Tarve saada perusteltuja näkemyksiä siitä, miten toimintaa tulisi edelleen kehittää Arviointi on kehittävää silloin, kun se pitää sisällään tiedon tuottamisen lisäksi toiminnan aktiivisen kehittämisen. Arvioinnin ydin on positiivisessa ja kriittisessä suhtautumisessa omaan ja toisten toimintaan. 16

Miksi arviointiosaamista tarvitaan? Ennen kaikkea oman toiminnan kehittämiseksi Arvioivan työotteen kautta voidaan parantaa palvelujen laatua ja organisointia sekä edistää kohderyhmien tyytyväisyyttä. Tukena ulkoisten arviointien tilaamisessa Pystytään tarjouspyynnössä määrittelemään reunaehdot ostettavalle palvelulle, ja saadaan sitä kautta vertailukelpoisempia tarjouksia palveluntarjoajilta. Arvioinnin kohteena olemisessa Ymmärretään arviointiprosessia paremmin ja saadaan enemmän irti yhteistyöstä arvioitsijan kanssa. Arviointitiedon hyödyntämisessä toiminnan ohjaamisessa, kehittämisessä ja päätöksenteossa. Arvioinnin voi tilata ulkopuoliselta palveluntarjoajalta, mutta arvioinnin tiedon hyödyntäminen on kuitenkin aina viime kädessä arvioinnin tilaajan vastuulla. 17

Miksi arviointiosaamista tarvitaan? Arvioinnin tavoitteena on työntekijöiden ja organisaatioiden oppiminen ja siihen pohjautuva kehittäminen. Organisaation oppiminen: On jatkuva prosessi, joka on integroitu osaksi arkea ja jossa hyödynnetään toiminnan prosesseja ja vaikutuksia koskevaa tietoa. On prosessi, jossa organisaation jäsenet jakavat ja vastaanottavat tietoa ja tulevat tietoisiksi toistensa arvoista, havainnoista ja osaamisesta. Organisaation oppimista edistävälle arvioinnille on tunnusomaista yhteistoiminnallisuus, vuorovaikutteisuus ja käytännönläheisyys. Organisaation oppimisen ja itsearvioinnin kautta on myös mahdollista tuoda näkyväksi henkilöstön hiljaista tietoa. 18

Arvioivan ajattelun puuttuminen Valmistelu on puutteellinen ei kartoitettu riittävän hyvin lähiympäristön/kohderyhmien tarpeita. Projekti-idea ei ole kirkas kuin osalle mukana olevista toimijoista. Kaikki eivät ymmärrä tavoitteiden ja toimenpiteiden välistä eroa. Projekti jää irralliseksi taustaorganisaation perustehtävästä eikä tue strategian toteutumista. Kehittämisvastuu ulkoistetaan projektihenkilöstölle ja projektille. Arvioiva ajattelu ei ole iskostunut, omaa toimintaa ei tarkastella kriittisesti eikä systemaattisesti - itsearvioinnin puuttuminen! Projektisuunnitelmaa ei uskalleta muuttaa/päivittää. Eikä myöskään toteutustapoja vaihtaa, vaikka ne osoittautuisivat toimimattomiksi. Aikapula, sammutetaan tulipaloja jatkuvasti. Ei aikaa arvioivalle ajattelulle, oppimiselle eikä systemaattiselle kokemusten siirrolle. Tiedon kulku ja kokemusten vaihto eri projektien kesken ontuu ja päätä lyödään samaan seinään toiminta-alueesta riippumatta. 19

Miten projektin kompastuskiviin voidaan puuttua arvioinnilla? Projektin tarvelähtöisyys Palautteen kerääminen projektin kohderyhmiltä ja sen analysointi ja hyödyntäminen. Jäsentymättömät tai epärealistiset tavoitteet Pilkotaan tavoitteet toimenpiteiksi ja määritellään vastuuhenkilöt. Projektin rajaus Toimenpiteiden aikatauluttaminen paljastaa liian laajan projektisuunnitelman/-sisällön. Taustaorganisaation tuki Osallistamalla taustaorganisaatio/projektihenkilöstön esimies projektin arviointitoimenpiteisiin ja kommunikoimalla mitä projekti tarvitsee taustaorganisaatiolta. Taustaorganisaatio on pysyvä, projekti on tilapäinen, taustaorganisaation mandaatti ja verkostot voivat edistää projektin toimintaa huimasti. Taustaorganisaatiosta irrallisen projektin vaikuttavuus ja hyöty jäävät usein niukiksi. 20

Miten projektin kompastuskiviin voidaan puuttua arvioinnilla? Projektia yritetään toteuttaa osa-aikaisesti/liian pienillä resursseilla Projektityö on kehittämistyötä joka vaatii aikaa ja panostusta, jos resurssien puute pystytään osoittamaan jo projektin alussa siihen ehkä pystytään vaikuttamaan (karsimalla tavoitteita, työnkuvan muutoksilla tai lisäämällä resursseja). Toistuvat henkilöstövaihdokset Saavutettu tietotaito häviää, joudutaan aloittamaan alusta. Arviointia tehtäessä tulee myös samalla dokumentoitua tehtyä työtä, joka helpottaa henkilöstövaihdostilanteissa. Huono henkilöstöjohtaminen Projektin hallinnassa on kyse pitkälti henkilöstöjohtamisesta. Arviointiprosessin aikana paljastuneet kehittämiskohteet voidaan ottaa työstettäväksi. Välitavoitteiden puuttuminen Ilman välitavoitteita tai aikataulutusta toiminnan seuranta ja ennakointi on hankalaa. 21

Miten projektin kompastuskiviin voidaan puuttua arvioinnilla? Itsearvioinnin puuttuminen Arkityössä on hankala pysähtyä ja tarkastella omaa työtä kokonaisuutena ellei siihen ole ennalta sovittua formaattia ja ajankohtaa. Yhteistyökumppaneiden sitouttamisen ja motivoinnin vaikeus Lähimpiä sidosryhmiä voidaan osallistaa arviointiin tai arviointituloksia voidaan hyödyntää sitouttamisessa. Yhteistyökumppaneiden sitouttamisen kautta projektin vaikuttavuus ja hyödyt lisääntyvät merkittävästi. Ohjausryhmän sitoutumattomuus Määrittelemällä arvioinnissa ohjausryhmän tehtävät ja vastuut tarkasti saadaan parempi tulos. Viestinnän ontuminen (sisäisen tai ulkoisen) Puutteellinen viestintä voi johtua siitä, ettei se ole kenenkään vastuulla tai siihen ei ole ehditty kiinnittää huomiota. Viestintäsuunnitelman laatiminen projektin alussa olisi tärkeää. Näkökulmana asioista, ei projektista viestiminen on usein tehokasta. 22

Miten projektin kompastuskiviin voidaan puuttua arvioinnilla? Hyvien käytäntöjen levittäminen ja hyödyntäminen aliresursoidaan tai siihen ei varauduta lainkaan. Arvioinnin avulla hyvät käytännöt voidaan tunnistaa ajoissa, ja niiden hyödyntämiseen pystytään varautumaan paremmin. Projektihenkilöstön tulee osallistua projektin tulosten levittämiseen. Tuotosten/tuotteiden hyödyntäminen ja käyttöönotto on kaikkien, eli ei kenenkään vastuulla. Sidosryhmien sitouttaminen arviointiin osallistamisen kautta edesauttaa juurruttamistyötä. Hyvien ja huonojen käytänteiden (epäonnistumiset, virheet, hapuilut ja mokat) tunnistaminen ja dokumentointi sattumanvaraista. Hyvien käytäntöjen lisäksi huonot käytännöt eli epäonnistumiset ovat tärkeitä projektioppimisen näkökulmasta. Hyvistä/huonoista käytänteistä oppiminen ei kumuloidu eikä siirry. 23

2.1. Yleistä arvioinnista 24

Itsearviointi vs. ulkoinen arviointi Itsearviointi eli sisäinen arviointi ja kehittäminen on oman toiminnan kriittistä tarkastelua. Itsearviointia varten voidaan valita projektin tarpeisiin parhaiten soveltuva kehikko, viitekehys ja toteutussykli. Itsearviointia voidaan myös tehdä vapaamuotoisesti pienessä mittakaavassa osana arjen toimintaa. Tuetun itsearvioinnin voi tilata palveluntarjoajilta, jolloin siihen liittyy ulkopuolisen sparraus ja kehittämisehdotukset. Projektin toteuttaja vastaa itsearvioinnin tulosten hyödyntämisestä, vaikka itsearviointiprosessia olisi tukenut ulkopuolinen palveluntarjoaja. 25

Itsearviointi vs. ulkoinen arviointi Ulkoisen arvioinnin toteuttaa taho, joka ei osallistu projektin toteutukseen. Ulkoista arviointia voidaan toteuttaa kaikissa projektin elinkaaren vaiheissa. Ulkoista arviointia varten valitaan sopiva viitekehys ja toteutustapa sekä sovitaan arvioinnin kestosta ja aikataulusta. (Tilaaja määrittää tarjouspyynnössä tai arvioitsija ehdottaa parhaiten soveltuvaa vaihtoehtoa.) Ulkoisessa arvioinnissa arvioitsija esittää näkemyksensä kuultujen informanttien ja omien havaintojensa pohjalta. Projektin toteuttajan osallistumisaste ulkoisen arvioinnin toteutuksessa vaihtelee. Kehittävän arvioinnin periaatteen mukaisesti toteutetussa arvioinnissa on keskeistä vuorovaikutuksellisuus arvioitsijan ja arvioinnin kohteen välillä ja jatkuva palautteenanto. Projektin toteuttaja vastaa aina itse ulkoisen arvioinnin tulosten hyödyntämisestä. Arvioitsija voi kuitenkin tuke tulosten hyödyntämistä antamalla konkreettisia kehittämisehdotuksia. 26

Arvioinnin tilaamisen vaiheistettu malli Lähde: Virtanen 1. ARVIOINNIN TARPEEN KARTOITTAMI- NEN JA ARVIOINTITEHTÄ- VÄN KITEYTTÄMINEN 4. ARVIOINTIPRO- SESSIN OHJAUS JA HYÖDYNTÄMISEN VARMISTAMINEN 2. ARVIOINNIN TARJOUSPYYNTÖ- DOKUMENTIN KIRJOITTAMINEN 3. VARSINAISEN TARJOUSKILPAILU- PROSESSIN TOTEUTUS 27

Arvioinnin vuorovaikutuksellisuus säätelee arvioinnin lähestymistapaa Lähde: Virtanen Yhteistyö arvioinnin tilaajan kanssa T i i v i s N i u k k a Arvioinnin tilaajan ehdoilla suoritettu arviointi Riippumaton arviointi Arvioinnin tekijän asema? Vuorovaikutuksellinen arviointi Arvioinnin kohteiden ehdoilla suoritettu arviointi Niukka Tiivis Yhteistyö arvioinnin kohteen kanssa 28

2.2. Itsearviointi tuloksellisuuden ja kehittämisen osatekijänä 29

Itsearviointi Tarkoituksena on tukea oppimista, toiminnan kehittämistä ja kokeiluja Toimijoiden itsensä tekemää oman toiminnan arviointia Tarkastellaan järjestelmällisesti omaa toimintaa, toimintatapoja ja kokemuksia Tietoa kerätään systemaattisesti (tarkoin määriteltyjen) arviointikriteerien mukaisesti Edellyttää kykyä asettaa oma toiminta kriittisen tarkastelun kohteeksi Tarkastelu voi kohdistua omassa toiminnassa syntyneisiin kokemuksiin, tunteisiin, havaintoihin ja palautetietoihin Edellyttää johdon tukea ja sitoutumista Usein kiistellään itsearvioinnin luotettavuudesta. Oleellista on kuitenkin tarkoituksenmukaisuus. Tilivelvollisuuden näkökulmasta ulkopuolisen näkökulman sisällyttäminen arviointiin usein silti perusteltua. 30

Itsearviointi Itsearvioinnin avulla saadaan selville: kehittämistarpeet ja oman väen mielipiteet niistä mitä asioita pidetään tärkeinä miten hyviä ollaan ja miten hyviä pitäisi olla mistä ollaan yhtä mieltä ja mistä eri mieltä kehittämisessä mihin kehittämiseen ollaan jo sitoutuneita Itsearviointiprosessi: käynnistää uutta ajattelua, oppimista ja muutosta lisää ymmärrystä kokonaisvaltaisesta kehittämisestä lisää rohkeutta asettaa aiempaa korkeampia tavoitteita luo sitoutumista kehittämiseen ja haastavampiin tavoitteisiin vahvistaa tunnetta jokaisen mielipiteen arvostamisesta Lähde: VM/Nurmi 2009 31

Kysymyksiä ja vastauksia itsearvioinnista Miksi itsearviointia tehdään? Omaa toimintaa ohjaamaan ja jäntevöittämään, todellisten vahvuuksien ja kehittämisalueiden tunnistamiseksi. Itsearviointiprosessin läpikäyminen yleensä nopeuttaa toimintakertomusten ja projektiraporttien laadintaa. Voiko itsearviointi olla luotettavaa? Arviointi ei voi koskaan olla täysin neutraalia tai objektiivista, koska siihen heijastuvat aina tekijöiden arvot, asenteet ja tausta. Kynnyskysymyksiä arvioinnin onnistumisen kannalta ovat: intressikonfliktit, prosessien jäykkyys, tulosten julkisuus ja organisaation kypsyys eli tottuneisuus oman toiminnan kriittiseen arviointiin. Miten itsearviointiin osallistujat perehdytetään? Sisäistettävä arviointimotiivit, tunnettava arvioinnin kohde ja sitouduttava kehittämiseen. 32 32

Kysymyksiä ja vastauksia itsearvioinnista Miten itsearviointiin tulee valmistautua? Pohtimalla oman vastuualueen toimintatapoja ja tuloksia sekä toimintaympäristön tarjoamia mahdollisuuksia ja haasteita. Kuka vetää itsearvioinnin? Itsearvioinnin voi toteuttaa itse tai tukea sen toteutukseen voi saada palveluntarjoajilta (=tuettu itsearviointi). Miten itsearviointi viedään läpi? Arviointi toteutetaan etukäteen sovitun mallin, työskentelytavan ja aikataulun mukaisesti. Mitä itsearvioinnin jälkeen tehdään? Arvioinnin jälkeen sovitaan miten kehittämiskohteita työstetään ja millä aikataululla. Jos kehittämiskohteita on runsaasti, kannattaa valita aluksi muutama keskeinen asia työn alle. 33 33

Itsearviointiprosessi Itsearvioinnin suunnittelu ja valmistautuminen Itsearvioinnin suunnitteluvaiheessa rakennetaan organisaatiolle sopiva tapa itsearvioinnin läpiviemiseksi. Tämä voi tarkoittaa esimerkiksi oman arviointipohjan tai -kriteeristön rakentamista, jos valmiit mallit eivät suoraan sovellu omalle organisaatiolle. Itsearvioinnin toteutus Voidaan arvioida esimerkiksi arviointikohteiden/-alueiden tärkeyttä, nykytilaa ja tavoitetasoa. Tulosten alustava analyysi ja arviointikriteereiden alustava pohdinta Kaikista arviointialueista tuodaan esille vahvuudet ja kehittämiskohteet. Kehittämiskohteiden valinta ja suunnittelu Valitaan keskeiset kehittämiskohteet ja päätetään miten niihin pureudutaan. Kehittämisen toteutus ja ohjaus Tulosten arviointi ja itsearvioinnin parantaminen. 34

Kehittävä itsearviointi Lähde: Seppänen-Järvelä & Vataja ARVIOINTI KERTAHARJOITUKSENA ARVIOINNIN TOTEUTUS TEKNISENÄ SUORITUKSENA ARVIOINTIMENETELMÄ OHJAA TOTEUTUSTA ARVIOINTI IRRALLAAN TOIMINNAN SUUNNITTELUSTA JA OHJAAMISESTA ARVIOINTI SUURTEN LINJOJEN TARKISTAMISENA ARVIOINTI TYÖYHTEISÖN TOIMINTAA LINJAAVANA JA OHJAAVANA. TAVOITTEIDEN, PAINOPISTEIDEN JA KEHITTÄMISKOHTEIDEN PAIKANTAMINEN KAUSILUONTEINEN VÄLINE ARVIOINTI AMMATILLISEN KEHITTYMISEN VÄLINEENÄ ARVIOIVIEN KYSYMYSTEN ESITTÄMINEN JA YHTEINEN POHDINTA; MITÄ TEHDÄÄN, MIKSI JA MILLÄ TAVOIN? PERUSTYÖSSÄ REFLEKTIIVISYYTTÄ JA TYÖN TUTKIMISTA TUKEVIA RAKENTEITA KYSEENALAISTAMINEN JA AVOIMUUS TOISIN TOIMIMISELLE MEKAANINEN HOLISTINEN 35

2.3. Itsearviointityökaluja 36

Vertailukehittäminen eli benchmarking Vertailukehittäminen on yksi tunnetuimmista oman toiminnan kehittämisen tavoista. Vertailukehittämisessä organisaatio vertaa omaa toimintaansa ja omaa kehittämishaastettaan systemaattisesti johonkin muuhun organisaatioon tai joihinkin muihin organisaatioihin. Vertailukehittämisen vaiheet: 1. Paikannetaan ja rajataan kehittämisongelma 2. Paikannetaan vertailukohde ja sovitaan vertailukehittämisen prosessista omaan kehittämisongelmaan parhaiten sopivan kehittämiskumppanin kanssa. 3. Varsinainen vertailukehittäminen eli organisatorinen oppiminen. Hyvä dokumentaatio on oppimisen edellytys. 4. Vertailuprosessin tulosten arviointi, hyödyntäminen ja seuraavista askelista sopiminen. 37

SWOT-analyysi Yksi tunnetuimmista kehittämistyökaluista, etuina helppokäyttöisyys ja muunneltavuus. Tavallisesti SWOT tehdään nelikenttänä, johon listataan organisaation nykyisen toiminnan vahvuudet ja heikkoudet sekä toimintaympäristön mahdollisuudet ja uhat. Tärkeää on, että näkökulmana vahvuuksia ja heikkouksia määriteltäessä on nimenomaan organisaation toiminta. Ja mahdollisuuksia ja uhkia arvioidaan nimenomaan toimintaympäristön näkökulmasta. Listausten jälkeen seuraa varsinainen analyysivaihe, kehittämiskohteita voi löytyä jokaisesta kentästä. 38

EFQM EFQM (Euroopan laatupalkintomalli) on alun perin kehitetty Euroopan laatupalkintokilpailun arviointityökaluksi, jonka avulla kilpailuun osallistuvat organisaatiot voidaan asettaa paremmuusjärjestykseen. EFQM-malli on tarkoitettu kaikentyyppisille organisaatioille niin yksityisellä kuin julkisella sektorilla. Sen avulla voidaan arvioida koko organisaation tai organisaation osan toimintaa ja sitä voidaan käyttää saatujen tulosten perusteella kehitystä ohjaavana järjestelmänä. Mallin perustana ovat erinomaisen organisaation perusolettamukset: tuloshakuisuus asiakassuuntautuneisuus johtajuus ja toiminnan päämäärätietoisuus prosesseihin ja tosiasioihin perustuva johtaminen henkilöstön kehittäminen ja osallistuminen jatkuva oppiminen, innovointi ja parantaminen kumppanuuksien kehittäminen yhteiskunnallinen vastuu. 39 39

CAF CAF (Common Assessment Framework) on EU-jäsenmaiden yhteistyönä kehitetty julkisen sektorin organisaatioiden laadunarviointimalli, joka sisältää vaikutteita myös EFQM:stä. CAF-mallin uudistettu versio CAF 2006 julkistettiin Tampereella järjestetyssä Euroopan unionin neljännessä julkisen sektorin laatukonferenssissa. CAF-mallin perusajatuksena on kokonaisvaltainen laadunarviointi, jossa tarkastellaan paitsi eri tulosalueita, myös organisaation toimintatapoja. Arviointialueet: Johtajuus Strategiat ja toiminnan suunnittelu Henkilöstöjohtaminen Kumppanuudet ja resurssit Prosessit ja muutosjohtaminen Asiakas- ja kansalaistulokset Henkilöstötulokset Yhteiskunnalliset tulokset Keskeiset suorituskykytulokset 40

Itsearvioijan muistilista 1. Valitse arvioinnin kohteeseen ja käytettävissä olevaan aikaan soveltuva malli. Esimerkiksi EFQM- ja CAF-malleista voi poimia parhaiten itselle soveltuvat osa-alueet mukaan tarkasteluun. 2. Osallista oikeat henkilöt mukaan prosessiin. Esimerkiksi projektin itsearviointiin tulisi aina osallistaa projektihenkilöstön lisäksi projektipäällikön esimies ja mahdollisesti myös keskeisiä henkilöitä projektin ohjaus- ja kehittämisryhmistä. 3. Laadi aikataulu, jonka mukaan edetään ja pysy siinä. 4. Varaa riittävästi aikaa joka vaiheeseen, erityisesti itsearvioinnin tulosten hyödyntämiseen eli tuloksista oppimiseen. 41 41

3.Vaikutusten arviointi 42

Taustaa Usein kysytään valmiita mittareita vaikutusten tai vaikuttavuuden arviointiin? Helppo kysyä, mutta vaikea antaa Mitä tarkoittaa vaikutus? = seuraus toiminnasta Mitä tarkoittaa vaikuttavuus? Oleellista määritellä, mitä toiminnalla tavoitellaan? Muutosta/kehitystä kohderyhmässä tms. Nykytilan ylläpitämistä (esim. terveys, toimintakyky, elämänlaatu, mieliala ) Nykytilan mahdollisimman vähäistä heikkenemistä yms. Useimmiten kuvataan rahoitushakemuksessa. Arvioinnin tekemistä varten tarvitaan tietoa nyky-/lähtötilanteesta Jos tavoitellaan muutosta tai kehitystä jossain asiassa, tulisi määritellä mitä, millaista tai kuinka paljon. Usein perusteltua määritellä toiminnan välitavoitteita = muutoksia, joiden voidaan olettaa olevan askel kohti perimmäistä tavoitetta. Tavoitteiden pilkkominen osiin (alatavoitteisiin) korostuu myös RAY:n seurantajärjestelmässä. Kun tavoitteet on selvät, tulee määritellä keinot/toimenpiteet, joilla tavoitteisiin pyritään. Vasta tämän jälkeen voidaan alkaa pohtimaan, arvioidaanko/seurataanko toimenpiteiden etenemistä, tavoitteiden saavuttamista, toiminnan seurauksia, hyötyä 43

Erilaisia vaikutusten tyyppejä (Meklin 2001) Asiakasvaikutukset ja yhteiskunnalliset vaikutukset Toimenpiteiden vaikutukset kohdentuvat eri alueille ja säteilevät eri laajuisesti. Siten voidaan erottaa välittömästi asiakkaaseen, kansalaiseen tai kuntalaiseen kohdistuvat vaikutukset sekä laajemmin yhteiskuntaan liittyvät vaikutukset. Määrälliset ja laadulliset vaikutukset Tämä ero on nähty tärkeäksi palveluissa: palvelu voi olla määrällisesti riittävä, mutta laadullisesti heikko. Subjektiiviset ja objektiiviset vaikutukset Asiakas kuvaa subjektiivisen, omaan kokemukseensa perustuvan näkemyksen, mutta samaa palvelua voidaan katsoa myös puolueettomammasta, objektiivisesta näkökulmasta. Lyhyt- ja pitkäkestoiset vaikutukset Osa vaikutuksista on lyhytaikaisia ja välittömiä, osa pitkäaikaisia. Palvelut ja etuudet voidaan nähdä investointeina, joiden elinkaari voi olla pitkä. Päätöksenteon ja budjetoinnin ongelma on se, että kustannukset syntyvät ensin ja hyödyt ilmenevät ehkä vasta tulevina vuosina. Lähde: Rajavaara 2006 44

Erilaisia vaikutusten tyyppejä (Meklin 2001) Ulkoisvaikutukset Kyse on vaikutuksista, jotka lähinnä pitkällä aikavälillä näkyvät muualla kuin siellä, mihin voimavarat on kohdennettu. Ne voivat ilmetä esimerkiksi toisen hallintosektorin toimialueella. Myönteiset ja kielteiset vaikutukset Tärkeää olisi sekä myönteisten että kielteisten vaikutusten tunnistaminen ja näiden huomioon ottaminen. Odotetut ja odottamattomat vaikutukset Usein odotetaan myönteisiä vaikutuksia, mutta osa vaikutuksista saattaa olla odottamattomia ja kielteisiä. Lähde: Rajavaara 2006 45

Vaikutusten tyyppejä.. VAIKUTUKSET Aiotut vaikutukset Ei-aiotut vaikutukset Hyödylliset (nollavaikutukset) Kielteiset Hyödylliset Kielteiset Vaikutusten Ensisijaiset Toissijaiset Jne. Ensisijaiset Toissijaiset Jne. tärkeys Ensisijaiset Toissijaiset Jne. Ensisijaiset Toissijaiset Jne. Välittömät Välilliset Välittömät Välilliset ajallinen frekvenssi Välittömät Välilliset Välittömät Välilliset Pysyvät Väliaikaiset Pysyvät Väliaikaiset ajallinen pysyvyys Pysyvät Väliaikaiset Pysyvät Väliaikaiset Lähde: Vedung 1997; Virtanen 2007 46

Mitä sitten on vaikuttavuus? Vaikuttavuuden arvioinnin kattava määritelmä, johon sisällytetty tavallisimmat arviointitilanteet: Määritelläänjonkin instituution, yhteiskunnallisen ohjelman, intervention, hankkeen, palvelun tai etuuden arvo soveltuvin ja erikseen sovittavin vaikuttavuuskriteerein mahdollisimman luotettavilla ja systemaattisilla(tieteellisillä tai ei-tieteellisillä) menettelyilläjotta tätä tietoa voitaisiin hyödyntää toiminnan ohjauksessa, kehittämisessä ja poliittis-hallinnollisessa päätöksenteossa Vaikuttavuus tai sen puute määrittää viime kädessä intervention tai palvelun arvon. Palvelujen tuottaminen sinänsä ei voi olla päämäärä, ellei ole näyttöä siitä, että palvelut tuottavat tavoiteltuja tai edes tavoitteiden suuntaisia muutoksia. Harvoin vain kohderyhmässä tapahtuneiden muutosten selvittäminen riittää toimintaa tai toimenpiteitä koskevien johtopäätösten ja kehittämissuositusten tekoon. Johtopäätösten tekeminen ja parannusten esittäminen edellyttää toiminnan, toimintaprosessin ja ympäristön kuvaamista ja jäsentämistä. Oleellista tietää, mitä prosessin aikana on tapahtunut mutta myös, millaisten mekanismien kautta itse muutos syntyy. Tarvitaan myös tietoa toiminnan edellyttämistä resursseista. Lähde: Rajavaara 2006 47