Tiedosta arvioi paranna:

Tiedosta arvioi paranna: Itsearviointi ESR-projektien kehittämisen välineenä Anna-Kaisa Mäkinen Petri Uusikylä (toim.)

Sisältö 1. Mitä itsearviointi on?...5 2. Itsearvioinnin etiikka ja edellytykset... 13 3. Itsearvioinnin ESR -käytännöt... 27 4. Itsearvioinnin toteutus projektin eri vaiheissa... 39 5. Itsearvioinin vaihtoehtoiset menetelmät... 57 6. Itsearvioitsijan keskeisten kysymysten muistilista... 79 7. Liitteet...81

Anna-Kaisa Mäkinen Petri Uusikylä (toim.) Tiedosta arvioi paranna: Itsearviointi ESR-projektien kehittämisen välineenä

Mitä itsearviointi on? Petri Uusikylä ja Anna-Kaisa Mäkinen 1 Mitä itsearviointi on? Petri Uusikylä ja Anna-Kaisa Mäkinen 1 Tausta Edellinen rakennerahastokausi (1995-1999) osoitti selkeästi, että ESR-toiminnan ulkopuolinen arviointi tarjoaa hyödyllistä palautetta ohjelmatyön kehittäjille, mutta antaa kovin vähän lisäarvoa itse projekteille. Pahimmillaan projektien rooli ESR:n arvioinnissa on vain toimia tietojen luovuttajina ja postikyselyihin vastaajina ilman, että he saavat vastineeksi minkäänlaista palautetta. Itsearviointi on käytännön menettelytapa, jonka avulla projektit itse voivat koota kriittistä palautetietoa prosessiensa toiminnasta ja projektinsa tuloksista ja näin tarpeen vaatiessa tehdä korjaavia toimenpiteitä. Vähintään yhtä tärkeää kuin tulosten seuranta on koko itsearviointiprosessi. Kun luodaan yhteisiä foorumeita, joilla projektitiimi, ohjausryhmä ja projektin keskeiset sidosryhmät voivat vaihtaa näkemyksiään ja peilata kokemuksiaan, samalla huomaamatta luodaan yhteistä ymmärrystä toiminnan tavoitteista ja menettelytavoista. 5 Mitä on itsearviointi? Itsearviointi on käsitteenä varsin monimerkityksinen ja tämä on saanut monet epäilemään koko itsearvioinnin mielekkyyttä. Toinen yleinen käsitys, johon itse asiassa törmää varsin usein on se, että itsearviointi on jotain vaikeaselkoista, tieteellistä arviointia, jonka toteuttajalta melkeinpä edellytetään tutkijataustaa. Molemmat ennakkokäsitykset ovat virheellisiä: Itsearviointi on yksinkertaista, helppoa ja äärimmäisen palkitsevaa. Se on pelkistetyimmillään projektiin sisäänrakennettu refleksiivinen (omia toimia kriittisesti tarkasteleva) toimintatapa, joka kytkeytyy läheisesti projektioppimiseen ja projektin jatkuvaan kehittämiseen. Opetushallinnon arviointiasiantuntija Heikki K. Lyytinen on määritellyt itsearvioinnin käsitteen seuraavasti: Itsearvioinnin perimmäinen tehtävä on tukea sekä yksilön että yhteisön oppimista, kehittämistä ja kokeiluja. Päämääränä on kehittää yhteisön toimintaa sekä yhteistyötä kasvatuksen ja oppimisen avulla, sillä aloite arvioinnista on otettu Mitä itsearviointi on?

1 oman yhteisön käyttöön. Kyseessä on eräänlainen yhteisöllisen oppimisen prosessi. Tähän määritelmään sisältyvät itsearvioinnin keskeiset elementit: yksilön ja yhteisön oppiminen, jatkuva kehittäminen ja aloitteellisuus. Käsikirjan tarkoitus Tämän käsikirjan tarkoituksena on saada ESR- projektit ymmärtämään itsearvioinnin merkitys osana projektin jatkuvaa kehittämistä ja oppimista sekä tarjota projekteille konkreettisia ja käytännöllisiä välineitä ja työkaluja itsearvioinnin avuksi. Käsikirja pyrkii olemaan mahdollisimman käytännönläheinen. Siihen on itsearvioinnin käytäntöjen esittelyn ohella liitetty ESR-hankkeita palvelevia esimerkkejä, arviointiharjoituksia, itsearviointitehtäviä ja muuta välittömästi sovellettavaa materiaalia. 6 Käsikirjan tilaajana on Euroopan sosiaalirahaston (ESR) tiedotuksen yhteistyöryhmä, johon kuuluu edustajia kaikista ESR:n vastuuministeriöistä (KTM, OPM, SM, STM, TM). Käsikirjan kautta yhteistyöryhmä pyrkii juurruttamaan kriittistä itsearviointikulttuuria suomalaiseen ESR- projektikenttään. Käsikirjan toteutuksessa on myös pyritty ottamaan huomioon osallistava näkökulma. Työn ensi askeleet otettiin, kun Euroopan sosiaalirahaston tiedotuksen yhteistyöryhmä järjesti yhteistyössä Net Effect Oy:n kanssa valtakunnallisen itsearviointiseminaarin, jonka tarkoituksena oli saattaa yhteen ESR-ohjelman rahoituksesta ja toteutuksesta vastaavia tahoja. Kaksipäiväisen kehittämisseminaarin aikana luotiin perustaa ESR- ohjelman kautta rahoitettavien projektien itsearviointiohjeistukseksi ja vaihdettiin kokemuksia hyvistä ja vähän huonommistakin käytännöistä. Itsearviointiseminaarin kädenjälki näkyy myös tässä käsikirjassa, sillä käsikirjan kirjoittajat ovat samoja henkilöitä kuin seminaarin työryhmien vetäjät. Niinpä seminaarin ryhmätöiden antia ja projektien kokemuksia onkin hyödynnetty jokaisessa kappaleessa. Koska itsearvioinnin käsite on varsin laaja ja metodisesti jäsentymätön ja koska seminaarissa oli havaittavissa suuria eroja projektien itsearviointikäytännöissä ja itsearvioinnin tuntemuksessa, käsikirjassa on pyritty lähestymään itsearviointia sekä arkipäiväisten käytäntöjen että vaativampien itsearvioinnin mallien kautta. Mitä itsearviointi on?

Arviointi ESR- projekteissa ESR-projekteissa rahoittaja perinteisesti edellyttää rahoituksen vastineeksi ja vaikuttavuuden parantamiseksi projektin arviointia. Siihen on jopa varattava erikseen rahaa. Näin ollen voidaan olettaa, että arviointi on vähintään ajatuksen tasolla tutumpi asia ESR-projekteille kuin monille muuta kautta rahoituksensa saaville projekteille. ESR-projektit ovat kuitenkin hyvin erilaisia kooltaan, aiheeltaan jne. Näin ollen niiden arviointitarpeet ja osaaminenkin ovat erilaisia. Arviointi voi tarkoittaa eri projekteille hieman eri asiaa tai ainakin erilaista toteutusta. Päädyttäessä siihen, että projektia tulisi arvioida, on aiheellista pysähtyä hetkeksi ja miettiä vastauksia seuraaviin kysymyksiin: Miksi arvioidaan ja mitä sillä tavoitellaan? Mitä resursseja on käytettävissä? Kuka arvioinnin toteuttaa eli toteutetaanko se ulkoisena vai itse tehtynä arviointina? Mitä työkaluja käytetään? Millä areenalla arviointi toteutetaan ja keitä osallistetaan? 7 ESR:n arviointi-alueet Kuviossa 1. on kuvattu arvioinnin asema ESR-toiminnassa. Arvioinnissa voidaan erottaa kaksi tasoa: ohjelmataso ja projektitaso. Arvioinnin suorittajan ja kohteen välillä voidaan tehdä ero sen suhteen onko arvioitsija ulkopuolinen (esim. tutkija, konsultti tms.) vai osallinen (yksi projektityöntekijöistä, ohjausryhmä jne.). Yksinkertaisen nelikentän avulla voimme hahmottaa neljä vaihtoehtoista arviointialuetta ESR-toiminnassa. Haluamme alleviivata, että kyseessä on todellakin neljä vaihtoehtoista tapaa järjestää arviointi nämä eivät missään nimessä ole toisiaan poissulkevia. Ulkoinen arviointi Kuuden vuoden mittainen ohjelmakausi edellyttää tehtyjen toimenpiteiden jatkuvaa seurantaa ja toimeenpanoprosessin sekä tulosten kriittistä arviointia. Rakennerahastoja koskevan yleisasetuksen (N:o 1260/1999) 40 artiklassa säädetään, että rakenteellisten tukitoimien tehokkuuden arvioimiseksi huolehditaan yhteisön toiminnan ennakko-, väli- ja jälkiarvioinnista, jotta voidaan selvittää toiminnan vaikutus suhteessa 1 artiklassa mainittuihin tavoitteisiin sekä analysoida yhteisön toiminnan vaikutuksia erityisiin rakenteellisiin ongelmiin. Artikloissa 41-43 säädetään vielä yksityiskohtaisemmin ennakko-, väli- ja jälkiarvi- Mitä itsearviointi on?

1 Kuvio 1. Arviointi ESR-toiminnassa Arvioinnin tekijän suhde kohteeseen ulkopuolinen osallinen ohjelma komission edellyttämä ohjelmaarviointi ohjelmointi; uudelleen ohjelmointi Tarkastelutaso 8 projekti projektin ulkoinen arviointi projektin itsearvionti ointien toteuttamisesta. Nämä arvioinnit edustavat kuvion 1 vasemman ylänurkan mukaista arviointia. Tämän ulkopuolisen ohjelma-arvioinnin lisäksi on tärkeää, että ohjelmatyöstä vastaavat viranomaiset ja ns. sosiaalipartnerit pyrkivät viranomaisten käytössä olevan seurantatiedon, ohjelmatason arviointitiedon ja muun käytettävissä olevan informaation varassa jatkuvasti kehittämään ohjelmaa sen toimeenpanoa ja tuloksellisuutta. Tämän tyyppinen toiminta edustaa kuvion 1 mukaista ohjelmatason jatkuvaa itsearviointia ja ohjelmointityötä. Kansainvälisessä ohjelmatyön kirjallisuudessa puhutaan uudelleenohjelmoinnista; program re-engineering. Tämän käsikirjan kannalta vielä edellisiä kiinnostavampana voidaan pitää projektitasolla tapahtuvaa arviointia. Kuten jo edellä on todettu, projektiarviointi voi olla joko ulkopuolisen tai projektin itsensä toteuttamaa. Molempiin liittyy väistämättömiä etuja ja ongelmia, joista ESR-projekteissa toimivien on syytä olla tietoisia. Mitä itsearviointi on?

Ulkopuolinen arviointi on perusteltua silloin kun: projekti on kooltaan suuri ja sen toteutuksesta vastaa projektitiimin lisäksi suuri joukko yhteistyökumppaneita projektin tavoitteet ovat joko vaikeasti määriteltävissä tai jatkuvassa muutoksessa projektilla on paljon suoritteita, joiden analyysi vaatii tilastollista tietojenkäsittelyä projektilla on käytössään runsaasti laadullista seurantatietoa, jonka analysointi edellyttää erityisosaamista projektin toimenpiteet ja/tai kohderyhmä ovat sellaisia, että luotettavan palautetiedon saaminen vaatii ulkopuolista asiantuntijaa projektissa suoritetaan itsearviointia, mutta omien johtopäätösten tueksi halutaan ulkopuolista asiantuntija-arviota Projektitasolla tapahtuvan ulkopuolisen arvioinnin etuna on siis ulkopuolisen arvioinnin objektiivisuus, uusien näkökulmien ja näkemysten saaminen projektin käyttöön sekä mahdollisuus testata omia työhypoteeseja ulkopuolisella asiantuntijalla. Ongelmiksi saattavat kuitenkin muodostua ulkopuolisen arvioinnin ulkokohtaisuus ja projektin ominaispiirteiden jääminen julkilausuttujen projektitavoitteiden taakse. Riski tähän on erityisen suuri silloin kun ulkopuolisen arvioitsijan projektin edellyttämä substanssiosaaminen tai alueellisten erityispiirteiden tuntemus on liian vähäistä. 9 Itsearviointi Projektin itsearviointiin liittyy useita etuja ulkopuoliseen arviointiin verrattuna. Näitä ovat esimerkiksi se, että itsearvioinnin tuloksia on helpompi hyödyntää, onnistunut itsearviointi lisää projektitiimin ymmärrystä hankkeen tavoitteista ja ominaispiirteistä sekä että projektitiimi ja sidosryhmät todennäköisesti sitoutuvat paremmin arviointiprosessiin, kun ne saavat aktiivisesti olla myötävaikuttamassa arvioinnin kulkuun. Itsearviointia kannattaa erityisesti tehdä silloin, kun: projektin tavoitteet ovat vaikeasti määriteltävissä ja vaativat yhteistä konsensusta projektin toteuttamistapoihin liittyy runsaasti erilaisia, jopa ristiriitaisia vaihtoehtoja, joista sopiminen vaatii yhteistä kantaa projekti haluaa tarjota asiakkailleen ja sidosryhmilleen osallistumisen mahdollisuuksia projekti haluaa varmistaa projektin laadukkaan toteutuksen ja tulosten siirrettävyyden Mitä itsearviointi on?

1 Arviointiparadigmat Kuviossa 2. on ristiintaulukoitu arvioinnin tekijän ja kohteen välinen suhde (ulkoinen/ sisäinen) arviointifokukseen (tulokset/prosessi). Näin saamme neljä arviointitoiminnan perusmallia, joista ulkopuolinen vaikuttavuusarvioinnin malli muodostaa ns. positivistisen perusparadigman ja itsearviointina tapahtuva prosessiarviointi 1980-luvulla suurta suosiota saavuttaneen konstruktivistisen arviointiparadigman. Siinä missä positivistit vannovat objektiivisuuden ja riippumattomuuden nimiin (metaforana arvioitsija tuomarin roolissa), konstruktivistit painottavat dialogin merkitystä ja projektiosallisten näkemysten huomioonottamista (tästä keskustelusta ks. enemmän Guba & Lincoln 1989; Patton 1997). Kuvio 2. Arviointiparadigmat 10 Konstruktivistinen arviointi Prosessi Prosessi konsultaatio, käyttäjälähtöinen arviointi Sisäinen B C Ulkoinen D A Casestudy itsearviointi Positivistinen vaikuttavuusarviointi Tulokset Näiden kahden arvioinnin perusparadigman välimaastoon jää kaksi mielenkiintoista välikenttää, so. ulkopuolinen prosessiarviointi ja projektin itsensä suorittama tulosten ja vaikutusten itsearviointi. Lukuisat käytännön kokemukset projektiarvioinneista ovat osoittaneet ainakin tämän kirjoittajille, että ulkopuolinen prosessiarviointi parhaimmillaan auttaa projektia hahmottamaan projektin toimeenpanon kriittisiä pullonkauloja ja löytämään yhdessä arvioitsijan Mitä itsearviointi on?

kanssa vaihtoehtoisia ratkaisuja näihin. Tällainen konsultatiivinen arviointiote tulee varsin lähelle perinteistä prosessikonsultaatiota, jossa konsultin keskeinen tehtävä on auttaa organisaatiota/projektia järkiperäistämään ja optimoimaan keskeisiä prosessejaan. Neljäs kenttä, jonka olemme nimenneet case study itsearvioinniksi nivoutuu luontevaksi osaksi projektin normaalia seurantaa ja raportointia. Seurantatietoa läpikäydessään ja raportoidessaan projektipäällikkö ja tiimi pakostakin joutuvat arvioimaan toimenpiteiden hyötyjä. Käsikirjan sisältö Käsikirja etenee siten, että luvussa kaksi esitellään itsearvioinnin lähtökohtia, vaihtoehtoisia motiiveja, itsearvioinnin edellytyksiä sekä jäsennetään itsearvioinnin keskeisiä ulottuvuuksia ja käsitteitä. Seuraavaksi tarkastellaan erityisesti itsearvioinnin ja siinä tuotetun tiedon hyödyntämistä. Kolmannen luvun tarkoituksena on luoda suuntaviivat ESR- hankkeiden itsearviointikäytännöille. Luvussa esitellään arviointitoiminnan lähtökohdat ja säädösperusta sekä hahmotetaan ideaalikäytäntöjä ESR- hankkeiden itsearvioinnille. 11 Neljännessä luvussa siirrytään tarkastelemaan itsearviointia käytännön toteutuksen näkökulmasta prosessina, jonka elinkaari alkaa tiedon tai kehittämisen tarpeesta tai tilivelvollisuudesta esim. rahoittajalle, jatkuu resurssien varmistamisella, suunnittelulla ja toteutuksella päättyen lopulta itsearvioinnin valmistumiseen. Luvussa neljä esitelläänkin hyvin käytännönläheisesti vaihtoehtoisia tapoja toteuttaa itsearviointia projektisyklin eri vaiheissa projektia käynnistettäessä, toteutettaessa ja päätettäessä. Luku viisi esittelee lukijalle joukon itsearvioinnissa yleisimmin käytettyjä työkaluja. Esittelyä havainnollistetaan soveltavin harjoituksin ja esimerkein käytännön projekteista. Työkalujen esittely noudattaa hankesykliajatusta eli projektin arvioinnin eri vaiheisiin tarjotaan erilaisia vaihtoehtoja. Paitsi pitkälle strukturoituja työkaluja, luvussa esitellään myös arkipäiväisempiä itsearvioinnin malleja periaatteella jokaiselle jotakin. Mitä itsearviointi on?

1 Käsikirja päättyy yhteenvetoon projektien itsearvioinnin keskeisimmistä kysymyksistä. Lopun yhteenvedon lisäksi itsearvioinnin toteuttajan tukena käsikirjassa on myös liiteosio, josta innokas itsearvioitsija löytää valmiita asiakirjapohjia ja harjoituksia. Vielä lukijalle ohjeeksi: tätä käsikirjaa ei tarkoituksella ole kirjoitettu käskymuotoon, koska se ei tarjoa yhtä ainoaa oikeaa itsearvioinnin mallia. Sen sijaan käsikirjalla pyritään antamaan suuntaa, vinkkejä ja intoa oman projektin arviointiin. Siksi teosta kannattaakin lukea oman projektin kehyksistä käsin ja vapaasti soveltaen. Antoisia luku- ja itsearviointikokemuksia! Kirjallisuus 12 Ahlbaek, Erik. 1996. Evaluation Design and Utilisation. Any Connection? Luento Helsingin Yliopistossa 4.-5.10.1996 Guba, EGON & Lincoln, Yvonne. 1989. Fourth Generation Evaluation. Sage. Patton, Michael Q. 1997. Utilization-focused Evaluation. Sage. Mitä itsearviointi on?

Itsearvioinnin etiikka ja edellytykset Petri Virtanen 2 Itsearvioinnin etiikka ja edellytykset Petri Virtanen2 Toisen luvun tavoitteena on esitellä projektien itsearviointien taustaoletuksia kysymyksiä, joita tulee pohtia ennen varsinaiseen itsearviointiprosessiin ryhtymistä ja jotka on hyödyllistä sisäistää itsearviointiprosessiin kuuluvina tekijöinä. Toinen luku toimii toivottavasti myös itsearviointia motivoivana tekijänä juuri siitä syystä, että itsearviointi liittyy parhaimmillaan oppimiseen ja uusien asiayhteyksien oivaltamiseen. Kärjistäen mutta ei liioitellen itsearviointi on projektissa niin tärkeä elementti, että sen myötä projektit joko onnistuvat tai epäonnistuvat. Luvussa käsiteltävät teemat ovat: 13 Projektin itsearvioinnin eettiset kysymykset - Kriittinen arviointi ei ole arvostelua - Tietosuojakysymykset - Meta-evaluaation periaatteet Projektin itsearviointi oppimisen välineenä - Toimijanäkökulma eli mitä tahoja oppiminen koskee - Tiedonkulun varmistaminen - Informaation hallinta - Itsearvioinnin toteutustapa Itsearvioinnin hyödyntäminen - Arvioinnin hyödynsaajat - Hyödyntämisen varmistaminen - Hyödyntämistavat - Itsearviointimetodologian kehittäminen - Hyödyntämisen ajoittaminen Itsearviointiin liittyvän osaamiskapasiteetin varmistaminen - Emo-organisaatioilta ja projektitiimeiltä vaadittavat taidot - Itsearvioinnin resurssointi - Projektiverkostoilta vaadittavat taidot - Arvioinnin hyödyntäjiltä vaadittavat taidot Itsearvioinnin etiikka ja edellytykset

2 Eettisiä lähtökohtia itsearviointiin On hyödyllistä pitää mielessä, että projektihallinta on ennen muuta ajatuksellinen prosessi, ei mekaanista projektihallinnan työkalujen soveltamista. Sama pitää paikkansa myös projektin itsearvioinnissa. Projektihallinnan kulmakivi on mekaanisen, valmiiden työkalujen soveltamisen sijasta muutosten ja asiakokonaisuuksien hallinta. Lisäksi on hyvä muistaa, että jatkuva parantaminen ja laatukysymykset ovat nykyaikaisessa projektihallinnan teoriassa paitsi muodikkaita termejä, myös aitoja tekemistä edellyttäviä henkisiä ja toiminnallisia haasteita, joihin projektitiimien pitää uhrata aikaansa. 14 Projekti on organisoitu tapa saada aikaan muutos tai tuottaa jokin toiminnallinen innovaatio. Kun projekti mielletään ajatukselliseksi prosessiksi, tulee myös projektissa toteutetun itsearvioinnin rooli nähdä yhtenä lenkkinä tätä ajatuksellista prosessia. Kuten todettua, kyse ei ole mekaanisesta itsearviointityökalujen soveltamisesta, vaan nimenomaan itsearvioinnin toteuttamisen pohtimisesta suhteessa projektin toteutukseen. Tällöin oleellista on löytää vastaus kysymyksiin: miksi teemme itsearviointia ja miten arviointi parhaimmalla mahdollisella tavalla edistää projektimme päämääriä? Arviointitiedon käyttäminen edellyttää harjaantumista ja osaamista. Arviointitoimintaa koskeva yleinen maallikkomielipide on, että arviointi on arvostelua. Tästä ennakkoluulosta pitää päästä yli ennen kuin voidaan puhua projektin aidosta itsearviointikulttuurista. Itsearviointi on siis nimenomaan arviointia, ei arvostelua, syyllisten hakemista, sormella osoittelua huonosti tehdyistä työtehtävistä. Arviointitiedon tulee olla kriittistä ja kritiikkiin kuuluu positiviinen ja negatiivinen ulottuvuus. Euroopan laatupalkintoon (The EFQM Excellence Model ) pohjautuvassa itsearvioinnissa puhutaan esimerkiksi vahvuuksien ja parantamisalueiden (ei siis heikkouksien!) paikantamisesta. Itsearvioinnin toteuttamiseen liittyy monenlaisia eettisiä kysymyksiä. Nämä kysymykset pätevät soveltuvin osin usein poikkeuksetta myös ulkoiseen projektiarviointiin. Keskeisimmät ja samalla myös paradoksaalisimmat eettiset vaatimukset liittyvät totuudenmukaisuuteen ja siihen, ettei arvioitavaa saa tietoisesti vahingoittaa. Ironisesti voidaan toisaalta kysyä, miten voi olla vahingoittamatta arvioitavaa kohdetta, jos joudutaan sanomaan, että projekti suoriutuu huonosti tehtävistään, projektipäällikön taidoissa on vakavia puutteita, projektitiimi on yhteistyökyvytön, projektitiimin Itsearvioinnin etiikka ja edellytykset

henkilöstö keskenään riidoissa, projektin yhteistyökumppanit pitävät projektista saatavaa hyötyä mitäänsanomattomana ja että projekti pitäisi kenties lakkauttaa tai ainakin keskeyttää. Eikö tämä ole arvioinnin kohteen vahingoittamista, jos pidetään lähtökohtana sitä, että arvioitava kohde mielletään projektitiimiksi? Tuloksenahan voi olla joukko työttömiä entisiä projektityöntekijöitä. Asia ei ole yksinkertainen, koska vasta-argumenttina voidaan esittää, että jos tällaisia huomautuksia ja kysymyksiä ei esitetä ja jos mainitut asiat tajutaan projektien elinkaaren loppumetreillä, edistetään vielä suuremman katastrofin syntyä. Miksi epäkelpoa projektia on kannattanut pitää tekohengityksellä elossa kaksi vuotta, jos epäonnistuminen on ollut nähtävissä jo varhaisessa vaiheessa. Itsearvioinnin eettisiin kysymyksiin kuuluvat myös pohdinnat tietosuojasta. Kussakin itsearvioinnissa on tapauskohtaisesti pohdittava miten tietoja kerätään, miten niitä käytetään ja miten yksilökohtaista (hyödynsaajista eli projekteihin osallistuvista henkilöistä) tietoa säilytetään. Usein ESR-rahoitteisissa projekteissa kerätään asiakaskohtaista tietoa projektissa mukana olevien henkilöiden henkilökohtaisista asioista. Tällöin ei ole yhdentekevää, miten tällaisia tietoja säilytetään kun kyse ei välttämättä ole lain mukaisesta henkilörekisteristä, vaan yksittäisiä henkilöitä koskevista muistiinpanoista muun projektidokumentaation joukossa. 15 Meta-evaluaation käsitteellä viitataan tavallisesti arviointitoimintaa koskevassa kirjallisuudessa kahteen asiaan. Se voi yhtäältä tarkoittaa tehtyjen arviointien laadun varmistamista tiettyjen ennakolta valittujen kriteerien perusteella tai toisaalta jo kerättyjen raportointien arviointiaineistojen käyttöä uudelleen sekundäärisesti. Itsearvioinnin eettisiin kysymyksiin voidaan ajatella liittyvän etenkin ensimmäiseksi mainittu meta-evaluaation lähestymistapa. Tällöin ollaan kiinnostuneita itsearviointiprosessien ja -raporttien luotettavuudesta (reliabiliteetti), metodisesta täsmällisyydestä (validiteetti), arviointitulosten uskottavuudesta ja arviointien tulosten hyödynnettävyyden asteesta. Yksittäisiä projekteja koskevien itsearviointien on oltava eettisesti perusteltuja ja korkealuokkaisia. Itsearvioinnin etiikka ja edellytykset

2 Hyvä käytäntö 1: FES:n (Finnish Evaluation Society) eettiset periaatteet Suomen Arviointiyhdistys ry (Finnish Evaluation Society) toteutti vuosina 2001-2002 kehittämishankkeen, jonka tuloksena laadittiin arviointitoiminnan eettiset periaatteet. Suomen Arviointiyhdistys ry:n hallitus käsitteli eettisiä periaatteita kokouksissaan keväällä 2002 ja suosittaa niiden huomioon ottamista arviointitoiminnan toteuttamisessa. FES:n eettisiä periaatteita voi soveltaa mukaillen projektitasoisessa itsearvioinnissa. Suomen arviointiyhdistyksen arvojen nelikenttä koostuu arvioinnissa läsnä olevista kokonaisuuksista eli arvioinnin tekijästä, kohteesta, arviointiprosessista eli arvioinnin tekemisestä ja siitä, miten nämä kaikki sijoittuvat yhteisöön tai yhteiskunnalliseen kontekstiin. 16 Tekijän, kohteen ja tekemisen vastuu on aina myös vastuuta laajemmalle yhteisölle, joka toimii niiden arvokenttien avaajana. Myönteiset arvot, joihin kaikki arviointitoiminta sijoittuu, voidaan luokitella siten neljän otsikon alle: arvoihin, jotka ovat hyväksi arvioitsijalle, arvoihin jotka ovat hyväksi arvioitavalle, arvoihin jotka ovat hyväksi arviointityölle ja arvoille, jotka ovat hyväksi yhteiskunnalle lyhyellä ja pitkällä aikavälillä. Eettisten periaatteiden kokonaisuus on siis ensisijaisesti kuvaus niistä eettisistä alueista, joiden kohdalla arvioitsija tehtävissään joutuu olemaan moraalisesti vastuullinen. Moraalinen vastuunkanto jää arvioitsijan valinnaksi. 1) ARVIOITSIJA TOTUUS Hyvä arviointi liittyy arvojen puolesta paitsi hyviin arvioinninprosessin välineellisiin arvokysymyksiin, myös siihen, miten oma arvioitsijan / tutkijan vapaus ja vastuu hahmotetaan. Arvioitsijalla on oltava vapaus tietoon ja totuuden tavoitteluun eli totuus on hänen toimintansa ylin määre. 2) ARVIOITAVA OIKEUDENMUKAISUUS Se, miten toisen oikeudet ja oikeudenmukainen kohtelu ymmärretään arviointiprosessissa, on kuvattavissa arvioitavien oikeudenmukaisena kohteluna. Ehkä lähemmäksi pääsee vastavuoroisuus-ajatuksen kautta: samat oikeudet, samat velvollisuudet; vapaus ja hyvinvointi tavoitteina, päämäärinä kaikelle olemiselle ja tekemiselle. Tällöin arvioitsija toiminnassaan voisi esimerkiksi asettaa itsensä omien tekojensa kohteeksi, uhriksi ja määritellä kussakin tilanteessa omia toimintansa arvoja ja niiden vaikuttimia osin sitäkin kautta. Itsearvioinnin etiikka ja edellytykset

3) ARVIOINTIPROSESSI OSAAMINEN Arvioitsijalta odotetaan menetelmien hallintaa ja välineellistä taitoa, jonka arvokuvaus on tällöin osaaminen. Arvioitsijan taustalla on tutkijavastuu ja yhteisö joka antaa oikeuden tehdä arviointitutkimusta ja myös luo arviointikäytäntöjä. Samalla yhteisö valtuuttaessaan normittaa. Siten arvioinnin etiikka on enemmän kuin vain menetelmien oikeaa käyttöä. Menetelmien oikean käytön kohdalla puhutaan toiminnan sisäisistä normeista eli menettelytapojen hallinnasta ja validisuudesta. Arviointitoiminnan ulkoiset normit taas ovat tekijöitä jotka liittävät arvioitsijan tulosten soveltamisen ja koko toimintahorisontin yhteisölliseen kenttään. Siksipä arviointitutkimuskin on aina yhteistyön tulosta ja siten ainakin välillisesti yhteisöön liittyvää. Tausta-ajatuksena on, että toiminnassa toteutuu rehellisyys ja reiluus ja että tutkimus on sosiaalisesti relevanttia tietoa. 4) ARVIOINTITULOS VASTUULLISUUS Kaikki edellä luonnostellut arvoulottuvuudet 1-3 johtavat pohtimaan vastuuta arvioinnin tuloksista ja oman toiminnan oikeutuksista sekä arvioinnin tilaajan osalta että arvioitsijan kohdalla. Arvioinnin kollegiaalinen yhteisö antaa valtuuden arviointiin ja muu yhteisö on se, jonne arvioitsija, arvioitava ja arvioinnin tilaaja sijoittuvat olematta omaehtoisia ja yhteisöstään riippumattomia. 17 Suomen Arviointiyhdistys ry:stä ja sen arviointitoiminnan eettisistä periaatteista saa lisätietoja www-osoitteesta http://www.finnishevaluationsociety.net Itsearvioinnin etiikka ja edellytykset

2 Hyvä käytäntö 2: Meta-evaluaatio MEANS-käsikirjan mukaisesti Eureval-C3E eli Centre for European Evaluation Expertise laati Euroopan komission (DGRegio) toimeksiannosta vuonna 1999 julkaistun MEANS- käsikirjasarjan, jonka ensimmäisessä osassa (Vol 1. Evaluation Design and management) kirjataan joukko arviointiprosessien metaevaluaatiossa hyödyllisiä kysymyksiä. Näitä voi soveltuvin osin hyödyntää projektitasoisessa itsearviointitoiminnassa. 18 Käytännössä MEANS-kriteerien soveltaminen voisi tarkoittaa esimerkiksi sitä, että projektissa, joka on päättänyt toteuttaa itsearvioinnin prosessina koko hankkeen elinkaaren ajan, käydään projektin käynnistyessä ja projektin päätösvaiheessa ohjausryhmässä kriittinen keskustelu alla luetelluista teemoista 1-5 esimerkiksi määrittelemällä kullekin metaevaluaatiokriteerille 1-5 sen hetkisen tiedon varassa johtopäätös kyseisen kriteerin vahvuuksista, parantamisalueista ja kehittämistarpeista. Tämä voi tapahtua niin, että ensin otetaan keskustelun aiheeksi projektin seurantajärjestelmän laatu ja keskustelua käydään nimenomaan tästä kysymyksestä projektin ohjausryhmän puheenjohtajan johdolla. Keskustelun päätteeksi projektipäällikkö kirjaa kyseistä meta-evaluaatiokriteeriä koskevat vahvuudet, parantamisalueet ja kehittämistarpeet esimerkiksi fläppitaululle tai kannettavalle tietokoneelle (mikäli projektin ohjausryhmän käytössä on dataprojektori, mikä entisestään lisää konsensus- ja yhdessä tekemisen ilmapiirin tuntua projektin ohjausryhmän kokoustilanteessa). Muiden meta-evaluaatiokriteerien kohdalla voidaan toteuttaa samat toimenpiteet (eli keskustelu, yhteisten johtopäätösten paikantaminen vahvuuksista, parantamisalueista ja kehittämistarpeista ja johtopäätösten muistiin kirjaaminen). Seuraavassa on esitetty MEANS-käsikirjasta johdetut ja projektien itsearviointiin sopivat metaevaluaatiokriteerit: 1. Seurantajärjestelmien laatu 2. Itsearvioinnin suunnittelu 3. Itsearvioinnin toteutustapa ja arviointiosaamisen taso 4. Itsearviointiraportin tekninen laatu ja johtopäätösten hyödynnettävyys projektiohjausta silmällä pitäen. 5. Itsearvioinnissa käytetyn aineiston reliabiliteetti ja validiteetti Itsearvioinnin etiikka ja edellytykset

Itsearviointi oppimisen välineenä ja oppimisen pullonkaulat Projektioppimisessa on kysymys monista asioista. Ensinnäkin voidaan kysyä, mistä asioista projekti voi oppia itsearvioinnin avulla? Monesta asiasta, periaatteessa samantyyppisistä kuin ulkoisestikin tehdyn arvioinnin perusteella. Tällaisia ovat muun muassa projektihallinnan prosessi (miten projekti on suunniteltu, toteutettu ja arvioitu), projektihallinnan työkalujen toimivuus, projektiorganisaation toimivuus (mukaan lukien projektitiimin osaaminen), projektin tulosten innovatiivisuus, projektin budjetin toteutuminen ja resurssien riittävyys ja projektin toiminnan yhteensopivuus hankkeen emo-organisaation tavoitteiden kanssa. Toiseksi voidaan pohtia sitä, keihin oppimistavoite kohdistuu. Projektit eivät ole ainoita, joiden tulisi hyötyä tehdyistä itsearvioinneista. Myös muut tahot hyötyvät itsearviointien avulla tuotetusta arviointitiedosta. Emo-organisaatiot voivat oppia yksittäisten projektien tekemistä itsearvioinneista ja saada samalla vahvistusta omalle projektikulttuurilleen. Emo-organisaatioiden tasolla oppiminen voi liittyä myös yksittäisissä projekteissa sovellettujen ja hyödyllisiksi havaittujen arviointityökalujen levittämiseen emo-organisaation muihin projekteihin. 19 Lisäksi voidaan todeta, että välillisesti yksittäisissä projekteissa suoritetuista itsearvioinneista hyötyvät myös kansalliset ESR-viranomaiset ja jopa Euroopan komissionkin virkamiehet. Välillisenä yksittäisen ESR-projektin itsearvioinnin toteutuksen hyödynsaajana voidaan pitää oppimisnäkökulmasta myös kansallisia ja ylikansallisia arviointiyhteisöjä ja -yhdistyksiä (lupaavien itsearviointikäytäntöjen levittämisenä esimerkiksi seminaareissa ja konferensseissa laajempaan käyttöön). Itsearviointien avulla oppiminen ei luonnollisesti ole itsestään selvää. Siihen liittyy monia pullonkauloja. Näitä ovat esimerkiksi: Yksittäisten projektien toteuttamien itsearviointien huono laatu ja siitä seuraava tulosten ja arviointimallien rajallinen siirrettävyys (edellä selostettiin meta-evaluaatiokriteerien soveltamisen mahdollisuutta yksittäisten projektien itsearviointien laatua edistävänä tekijänä). Projekteissa kertyvän hiljaisen tiedon hyödyntämättä jääminen opiksi seuraaviin projekteihin (tämä on itsearviointien toteuttamiseen liittyvä oleellinen metodologinen pulma, jonka ratkaiseminen ei ole kovin yksiselitteistä ja vaatii tapauskohtaisesti melkoista arviointiosaamista ja arviointiasetelmien tuntemusta metodologisessa mielessä). Itsearvioinnin etiikka ja edellytykset

2 20 Yksittäisten projektien kohdalla epäonnistumisista rehellisesti ja avoimesti raportoiminen ei ole yksiselitteistä ja vaatii vankkaa itsearviointikulttuuria niin projektilta kuin sen emo-organisaatioltakin (tätä kysymystä sivuttiin jo edellä projektien itsearviointien eettisten kysymysten yhteydessä). Projektien tasolla on lukuisia informaation hallintaan liittyviä pulmia, jotka pitää ratkaista ennen kuin voidaan puhua aidoista oppimisen kokemuksista. Monissa tapauksissa tietoa kertyy liikaa siinä mielessä, ettei kaikkea mahdollista informaatiota pystytä järkevällä tavalla hyödyntämään (ns. information overload ilmiö). Tällaisissa tapauksissa voivat merkitykselliset havainnot hukkua informaatiovirran tulvaan eli projektissa ei nähdä metsää puilta. Kun tietoa on liikaa, kaikki tieto on ikään kuin yhtä tärkeää tai turhaa. Oma ongelmansa on yksittäisten projektien puutteelliset toiminnan seurantajärjestelmät. Yleensä projektien taloudellinen seuranta toimii projektista tietysti riippuen kohtalaisesti ja pienillä viiveillä, mutta nimenomaan toiminnallisten seurantajärjestelmien kehittämisessä on monissa projekteissa toivomisen varaa. Asiaa ei helpota se, että yksittäisille projekteille joustavasti sopivia tietokoneohjelmia on olemassa kohtalaisen vähän. Monia markkinoilla saatavia tietokoneohjelmia moititaan siitä, että ne eivät ikään kuin taivu ESR-projektien maailmaan, vaan sopivat paremmin insinöörivetoisiin rakennus- ja ATK-projekteihin. Arviointitiedon hyödyntämiseen oppimismielessä liittyvä näkökohta on myös se, että asioiden ja projektin kuluessa esiin nousseiden ongelmien muistiin kirjaamistavat (esimerkiksi projektipäälliköillä ja tietysti myös muilla projektitiimiin kuuluvilla) vaihtelevat. Jotkut projektipäälliköt kirjaavat muistikirjaansa tai projektipäiväkirjaansa kaiken mahdollisen, jotkut muut kenties eivät yhtään mitään (eli toimivat käytännössä kävelevinä yksittäisen projektin tietosanakirjoina ). Sopii kysyä, mitä pahimmassa tapauksessa tapahtuu, kun projektin kävelevä tietosanakirja vaihtaa työpaikkaa kesken projektin. Projektin koko aineeton pääoma häipyy projektista samalla ovenavauksella projektipäällikön kanssa. Puutteelliset analyysikyvyt eivät johda mihinkään tai johtavat jopa väärille jäljille. Pahimmassa tapauksessa tehdään vääriä johtopäätöksiä esimerkiksi projektin ohjauksessa. Luullaan, että projekti on kulkemassa kohti päämääräänsä, vaikka todellisuudessa ollaan pahasti sivuraiteella. Analyysitaitojen puutteet ovat vaikea kysymys ratkaistavaksi, koska on kohtuutonta olettaa projektitiimiin kuuluvien olevan tutkijoita isolla T:llä. Jos analyysitaitoja ei vaadittaisikaan, niin vähintä, mitä projektipäälliköltä ja henkilöstöltä vaaditaan, on kyky analyyttiseen käsitteelliseen ajatteluun (mitä itse asiassa suurin osa projektihallinnan työkaluista, esimerkiksi Project Cycle Management, Logical Framework, työnositus, kriittisen polun menetelmä) vaatii käyttäjältään ja soveltajaltaan. (Työkaluista enemmän ks. luvut 4 ja 5) Itsearvioinnin etiikka ja edellytykset

Lopuksi on vielä huomattava, että itsearvioinnin toteutustavan valinta vaikuttaa ratkaisevasti siihen, miten itsearvioinnista voidaan saada oppimiskokemuksia. Jos arviointi suoritetaan hyvin suppeassa muodossa, tehdään samalla valinta sen suhteen, ettei arvioinnilta odoteta kovinkaan paljoa. Vastaavasti, jos itsearvioinnin suunnitteluun ja toteutukseen käytetään paljon vaivaa ja itsearviointi suoritetaan hyvin kattavana, tarkoituksenmukaisena suhteessa projektin muihin toimintoihin ja varsinkin jos itsearviointi kytketään kiinteästi projektiohjaukseen ja ohjaus- tai seurantaryhmän toimintaan, luodaan samalla hedelmällistä maaperää laaja-alaisille oppimiskokemuksille yksittäisen projektin tasolla. Yhteenvetona voidaan todeta, että projektien itsearviointien pitäisi olla mahdollisimman systemaattisia, mikä puolestaan edellyttää itsearviointiin liittyvien metodologisten valmiuksien kehittämistä. Pohdinta 1: Omat projekteihin liittyvät oppimisen kokemuksesi 21 Mieti omaa työhistoriaasi taaksepäin ja kaikkia niitä projekteja, joissa olet ollut mukana (joko projektityöntekijänä, ohjausryhmän jäsenenä tai muuna yhteistyökumppanina). 1. Millaisia ovat olleet parhaat oppimiskokemuksesi niissä projekteissa, joissa olet ollut mukana? 2. Mitkä tekijät ovat estäneet mielekkäitä oppimiskokemuksia niissä projekteissa, joissa et ole kokenut oppineesi? 3. Mitä konkreettisia keinoja olet itse soveltanut tai hyödyntänyt oppimiskokemusten saamiseksi projektissa. 4. Onko itsearviointi ollut kriittinen projektioppimista edistänyt tekijä? Itsearvioinnin hyödyntäminen Arviointitutkimuksen metodologisessa kirjallisuudessa on tuskin julkaistu viimeisen viidentoista vuoden aikana yhtään teosta, jossa ei olisi jaksoa arviointitiedon hyödyntämisestä. Arviointitiedon hyödyntäminen on ilkeästi sanottuna arviointiammattilaisten mantra. Hyödyntäminen ei toteudu reippaita iskulauseita kajauttelemalla, vaan kovan ja suunnitelmallisen työn tuloksena. Itsearvioinnin etiikka ja edellytykset

2 Arviointitiedon hyödyntäminen, josta arviointitoiminnan slangissa käytetään myös englanninkielisestä termistä johdettua disseminaation käsitettä, on siis joka tapauksessa arviointitoiminnan kulmakivi, joka liittyy ajatuksellisesti tiukasti yhteen edellä olevaan pohdintaan arviointitiedon ja oppimisen välisestä yhteydestä. Miten projektien itsearviointien hyödyntämistä voi edistää? Missä vaiheessa hyödyntämistä voi odottaa tapahtuvaksi? Mitä asioita hyödyntämiseen voisi liittyä? Seuraavassa luetellaan joukko tällaisia itsearvioinnin hyödyntämisen paikkoja : 22 Projektisuunnitelman täsmentämistä koskevat toimenpiteet projektin suunnitteluvaiheen yhteydessä. Tuloksena on täsmentynyt ja parantunut projektin toteutussuunnitelma. Varsin usein hanketyössä varsinaista projektisuunnitelmaa joudutaan täsmentämään projektille myönteisen rahoituspäätöksen saamisen jälkeen (eli itse asiassa joudutaan pohtimaan sitä, mitä projektissa nyt sitten ollaan tekemässä ihan oikeasti). Kiinnostava kysymys on, missä määrin projekti pysyy alkuperäisessä suunnitelmassaan ja mitä vapausasteita projekti ottaa täsmentäessään esimerkiksi alkuperäistä päämäärää ja osatavoitteita, missä määrin rahoituspäätöksen tekijöitä informoidaan täsmennyksistä ja missä määrin rahoituspäätöksen tekijät hyväksyvät alkuperäiseen projektisuunnitelmaan tehtyjä täsmennyksiä. Korjaavat toimenpiteet projektin kuluessa. Projektihallinnan kirjallisuudessa puhutaan tavallisesti poikkeamien hallinnasta. Poikkeamat voivat liittyä esimerkiksi siihen, että projektin toimenpiteillä aikaan saadut vaikutukset eivät vastaa projektille asetettuja tavoitteita (eli projektilla on huono vaikuttavuus) tai että projektin taloudelliset resurssit osoittautuvat tiettyjen menoerien (esimerkiksi palkkausmenot) osalta riittämättömiksi. Kun poikkeamia tapahtuu, niihin pitää puuttua niin pian kuin mahdollista. Projektin kuluessa itsearviointia voi hyödyntää esimerkiksi samanaikaisesti toteutettavien projektien keskinäisessä verkostoitumisessa. Tällöin hyödyntäminen viittaa aitoon horisontaaliseen lupaavien käytäntöjen levittämiseen. Projektin päättyessä oppimiskokemusten siirtäminen emo-organisaation muihin samanaikaisesti käynnissä oleviin projekteihin ja tulevaisuudessa suunniteltaviin projekteihin. Projektien päättymisvaiheessa nousee hyvin usein esille kysymys projektin tuotteiden siirtämisestä laajempaan käyttöön. Parhaat oppimiskokemukset voivatkin projekteissa liittyä projektituotteiden tai projektissa kehiteltyjen toimintamallien levittämiseen. Itsearvioinnin etiikka ja edellytykset

Itsearviointiin liittyvän osaamisen vahvistaminen Myöskään itsearviointiin liittyvä osaaminen ei ole itsestäänselvyys. Monenlaista osaamista vaaditaan ja monella taholla. Seuraavassa käydään esimerkinomaisesti läpi eri toimijatahoihin liittyviä itsearvioinnin taitovaatimuksia. Projektien rahoittajilta vaaditaan tiettyjä itsearviointiin liittyviä taitoja. Näitä voivat olla esimerkiksi: Järkevä joustavuus suhteessa projektisuunnitelman toteutukseen. Edellä viitattiin siihen, että alkuperäistä projektisuunnitelmaa voidaan joutua täsmentämään varsinaisen projektipäätöksen jälkeen. Tästä näkökulmasta olisi hyvä, mikäli ESR- rahoituksesta päättävillä viranomaisilla olisi näkemystä siitä, että projektin tavoitteita voidaan tarvittaessa itsearvioinnin avulla tuotettujen johtopäätösten varassa täsmentää alkuperäistä projektisuunnitelmaa koskevan päätöksen jälkeenkin. Valvontamentaliteetista pois oppiminen ei ole itsestäänselvyys. Valvonta ja kehittäminen ovat kaksi eri asiaa ja ne palvelevat eri päämääriä ja intressejä. Valvontaa toki tarvitaan mahdollisten väärinkäytösten löytämiseksi, mutta on turha olettaa, että pelkällä valvontamentaliteetilla saataisiin aikaan mielekkäitä oppimis- ja kehittämiskokemuksia. Itsearvioinnista saatavien hyötyjen laaja-alainen tiedostaminen esimerkiksi eri tavoiteohjelmissa toteutettavien projektien lupaavien itsearviointikäytäntöjen levittämiseksi. Tästä on jo olemassa hyviä esimerkkejä verratessa nykyistä ohjelmakautta (2000 2006) edelliseen ohjelmakauteen. 23 Projektien emo-organisaatiolta vaadittavia itsearviointiin liittyviä taitoja on hahmotettu seuraavassa. Ne liittyvät emo-organisaation projektikulttuurin kehittämiseen. Tiedon kulun varmistaminen emo-organisaation hierarkiassa. Mitä enemmän organisaatiossa on hiekkalaatikoita, sen suurempi on vaara tiedon pimittämiseen, väärään paikkaan varastoitumiseen ja hitaaseen suodattumiseen. Nykyaikaista liikkeenjohdon strategiaa koskevassa kirjallisuudessa on viimeiset kymmenen vuotta alleviivattu matalien organisaatioiden rakentamisen tärkeyttä, mikä ei siis ole sattuma. Tämä havainto perustuu aitoon huoleen tiedonkulun puutteellisuudesta organisaatioiden kilpailukykyä vakavasti haittaavana tekijänä. Rekrytointiosaamisen varmistaminen siinä mielessä, että projektihenkilöstöä palkattaessa varmistutaan riittävistä itsearvioinnin taidoista. Yksi hyödyllinen kysymys projektipäällikön ja -henkilöstön työhaastattelutilanteessa voisi olla, miten työnhakijat mieltävät itsearvioinnin merkityksen projektiohjauksen kulmakivenä. Jos Itsearvioinnin etiikka ja edellytykset

2 24 tähän kysymykseen ei pysty vastaamaan, tuskin pystyy mieltämään myöskään projektiohjauksen kokonaisvaltaista luonnetta projektin onnistumisen kriittisenä menestystekijänä. Toimivan itsearviointikulttuurin rakentaminen edellyttää ainakin suurissa (monta ESR-projektia hallinnoivassa) emo-organisaatioissa erityisen ESR-projektitoimintaan erikoistuneen yksikön perustamista. Tällaiset yksiköt voivat toimia yksittäisten ESR- hankkeiden desk help organisaatioina esimerkiksi itsearviointiin liittyvissä kysymyksissä. Viime vuosina tämäntyyppisiä ESR-projektitoimistoja on perustettu ainakin ammattikorkeakouluihin, toisen asteen koulutuskuntayhtymiin ja kaupunkien organisaatioihin. Parhaimmillaan tällaiset yksiköt kumuloivat projektiosaamista ja sen myötä parantavat mahdollisuuksiaan projektirahoitusta koskevissa tarjouskilpailuissa. Yksittäisten projektien itsearviointien kytkeminen emo-organisaatiossa toteutettaviin muihin itsearviointeihin. Yksittäisiä projekteja koskevat arvioinnit pitäisi liittää joustavasti muuhun laatu- tai itsearviointiin siitä syystä, että emo-organisaatioiden kokonaisuuden näkökulmasta arviointitiedon muuntaminen projektitasolta hierarkiatasoja ylemmäksi on strategisen johtamisen kannalta tarkoituksenmukaista. Joissakin emo-organisaatioissa projektitason itsearvioinnit on kytketty konsernitasolla tehtävään laadunarviointiin esimerkiksi Euroopan laatupalkintoa (The EFQM Excellence Model ) sovellettaessa. Useista projekteista koostuvilta projektiverkostoilta vaaditaan erityyppisiä itsearviointiin liittyviä taitoja: Yleinen avoimuus on yhteistyön kulmakivi. Projektimaailmassa avoimuuden vastakohtana ovat salailu ja kyräily. Avoimuus on monimielinen ulottuvuus; se voi viitata yhteistyökäytäntöihin ja siihen, että joukko projekteja aidosti tuottaa tietoa omasta toiminnastaan ja jakaa sitä toistensa kanssa. Projektien välinen kilpailu on asia, jota ei kuitenkaan voi välttää kamppailevathan projektit usein samojen projektirahoittajien suosiosta hankesuunnitelmillaan. Kilpailu sinänsä ei ole huono asia, kysehän on pitkälti siitä, että kilpailun myötä hyvät hankesuunnitelmat ja ideat erotetaan huonommista. Ylenpalttisen ja vääristyneen kilpailun välttämiseksi rahoituspäätöksen jo saaneiden projektien ja projekteja valmistelevien emo-organisaatioiden kannattaa miettiä keskinäistä työnjakoaan, yhteistyön ja erikoistumisen mahdollisuuksia. Itsearvioinnin etiikka ja edellytykset

Seuraavassa on listattu projektitiimiltä ja yksittäisiltä projektitiimin jäseniltä vaadittavia itsearviointiin liittyviä taitoja: Ilman todellista projektijohtajuutta ei ole mahdollista kehittää projektitiimin sisälle aitoa itsearviointitoimintaa edistävää toimintatapaa. Vahvat projektipäälliköt uskaltavat panna itsensä likoon ja löytää omasta toiminnasta oppivan organisaation hengen mukaisesti parantamiskohteita. Aitoon projektijohtajuuteen liittyy läheisesti kysymys projektitiimin työyhteisöhengestä. Työyhteisön henki perustuu aina projektitiimin henkilöiden keskinäiseen arvostukseen ja siihen, että projektitiimissä annetaan tilaa soveltaa yksilöllisiä taitoja. Aikaisemmin on esitetty, että itsearviointitaitojen kehittäminen edellyttää projektityöntekijöiltä analyyttisen ja käsitteellisen ajattelun taitoja. Tämä näkökohta voidaan kirjata myös tässä yhteydessä keskeiseksi itsearviointiosaamisen alueeksi. Tehokas ja tuloksia aikaan saava projektitiimi on sopinut työyhteisön sisäisistä menettelytavoista koskien palautteen antamista hyvin ja huonosti suoritetuista työtehtävistä. Mikäli näin ei menetellä joudutaan todennäköisesti tilanteeseen varsinkin kielteisen palautteen antamisen kohdalla että projektityöyhteisössä ei uskalleta keskustella epäonnistumisista ääneen. Palautteen antamisen ohessa projektitiimissä täytyy kiinnittää huomiota myös palautteen sietämiskyvyn vahvistamiseen. 25 Eli tässä yhteydessä voidaan antaa vastaus tämän luvun otsikossa esitettyyn kysymykseen: itsearviointien avulla ei haeta hyviä, pahoja tai rumia. Itsearviointeja toteutetaan sen vuoksi, että projektien omista vahvuuksista ja parantamisalueista voitaisiin tehdä realistisia johtopäätöksiä, jotka osaltaan auttavat projekteja onnistumaan tavoitteidensa saavuttamisessa. Itsearvioinnin etiikka ja edellytykset

2 Pohdinta 2: Itsearvioinnin osaamisen vahvistuminen omalla työurallasi Mieti jälleen omaa työhistoriaasi taaksepäin ja kaikkia niitä projekteja, joissa olet ollut mukana (joko projektityöntekijänä, ohjausryhmän jäsenenä tai muuna yhteistyökumppanina). 1. Miten omat itsearviointiin liittyvät taitosi ovat kehittyneet vuosien kuluessa? 2. Miten olet soveltanut itsearviointiin liittyviä taitojasi niissä projekteissa, joissa olet ollut mukana? Millä tuloksilla? 3. Onko sinulla kokemuksia projektien ohjaus- tai seurantaryhmistä, joissa on ollut mukana henkilöitä, jotka eivät ole tunnistaneet itsearviointia projektiohjauksen kulmakiveksi? Millaisia kokemuksia? 4. Mitä itsearviointiin liittyviä taitoja haluaisit entisestään kehittää osana projektityöhön liittyvän ammattitaitosi kehittymistä? 26 Kirjallisuus Seuraavat teokset ovat hyviä kirjallisuuslähteitä nykyaikaiseen projektihallintaan ja siihen liittyvien itsearviointinäkökohtien pohdintaan. Teokset, joissa esitellään tapoja itsearviointien suorittamiseen ja itsearviointien hyödyntämiseen: Barkley, Bruce T. & Saylor, James H. 2001. Customer-Driven Project Management. McGraw-Hill. Buttrick, Robert. 2000. Project Workout. Prentice Hall Lientz, Bennet P. & Rea, Kathryn P. 2000. Project Management for the 21st Century. Academic Press. Virtanen, Petri. 2000. Projektityö. WSOY. Arviointitoiminnan hyödyntämisestä tutustumisen arvoisia lähteitä ovat: Patton, Michael Q. 1997. Utilization-focused Evaluation. Sage. Robson, Colin. 2001. Arvioinnin perusteet. Opas evaluaation tekijöille ja tilaajille. Tammi 2001. Itsearvioinnin etiikka ja edellytykset

Itsearvioinnin ESR -käytännöt Timo Aro 3 Itsearvioinnin ESR -käytännöt Timo Aro3 Tämän luvun tavoitteena on kertoa, mitkä ovat viralliset (asetus- ja ohjelmalähtöiset) reunaehdot ESR-projektien itsearvionnille ja mitä vastuuta rahoittajilla ja projekteilla on itsearvioinnin kehittämisessä. Luvun lopussa pohditaan toimivaa mallia hyvien itsearviointikäytäntöjen systemaattiselle keräämiselle ja esitellään esimerkkejä hyvistä itsearviointikäytännöistä. Luvussa keskitytään itsearviointiin pääasiassa ESR-projektien näkökulmasta. Itsearvioinnin hyvien käytäntöjen ja toimintamallien levittämisessä keskeinen merkitys on myös hallinnon omalla toiminnalla. Hallinnonalojen omat itsearviointikäytännöt on kuitenkin rajattu tämän tarkastelun ulkopuolelle. 27 Luvussa esitellään itsearviointitoiminta ESR-projekteissa seuraavasti: Arviointi ESR- asetusten ja virallisten asiakirjojen näkökulmasta - Lainsäädännöllinen perusta ja ohjelma-asiakirjat - Projektisuunnitelma - Raportointi (seuranta-, väli-, loppu- ja ohjausryhmäraportointi) Itsearvioinnin tulosten systemaattinen kerääminen ja hyödyntäminen - Rahoittajien vastuu itsearvioinnin kehittämisessä - Projektien vastuu itsearvioinnin kehittämisessä - Itsearvioinnin tulosten systemaattinen kerääminen ja hyödyntäminen - Hyviä itsearviointiesimerkkejä ESR- projekteista Satakunnasta Itsearvioinnin ESR -käytännöt

3 Arviointi ESR- asetusten ja virallisten asiakirjojen näkökulmasta EU:n näkökulma Euroopan unionin näkökulma arvioinnista ei tule ensimmäiseksi ESR-projektien toteuttajien mieleen ulkoista tai sisäistä arviointia suunniteltaessa. EU:ssa systemaattinen arviointipolitiikan tarve nousi keskeisesti esiin vasta 1990-luvun puolivälissä. Kulut olivat jatkuvasti kasvaneet erityisesti rakennerahastojen ja komission suorahakuohjelmien osalta. Toiminnan jatkuva arviointi haluttiin kytkeä kiinteäksi osaksi rahoituksen myöntämistä. 28 Ohjelma-asiakirjat Neuvoston asetuksista (ks. luku 1) arvioinnin periaatteet ovat siirtyneet lähes sellaisenaan tavoiteohjelmien (1, 2 ja 3) ja yhteisöaloiteohjelmien (Equal, Leader+, Urban ja Interreg) ohjelma-asiakirjoihin. Arviointia käsitellään yleisellä tasolla määrittelemättä sisältöä tai käsitettä yksityiskohtaisemmin. Ohjelma-asiakirjoissa ei eritellä ulkoista tai sisäistä arviointia toisistaan lukuun ottamatta Equal- ja Leader+ -yhteisöaloiteohjelmia, joissa ulkoisesta arvioinnista ja itsearvioinnista on oma lukunsa. Esimerkiksi Länsi-Suomen tavoite 2-ohjelmassa arvioinnista todetaan vain, että ohjelmakauden aikana suoritetaan väli- ja loppuarviointi. Ohjelma-asiakirjoissa arviointi palvelee kärjistetysti vain keskushallinnon tarpeita. Projektin toteuttajia yleiset ohjelma-, toimenpidekokonaisuus- tai viitekehysarvioinnit palvelevat huonosti, koska tieto tulee viiveellä ja tulokset esitetään hyvin yleisellä tasolla. Konkreettiset toimenpidesuositukset eivät palvele yksittäisiä projektin toteuttajia, vaan kertovat lähinnä, miten eri toimintalinjojen tai ESR- viitekehyksen painopisteet toteutuvat valtakunnan tasolla. Projektin toteuttajien (ja hallinnon) kannalta hyödyllisempiä olisivat alueelliset teemakohtaiset arvioinnit, jolloin saatavaa informaatiota voitaisiin hyödyntää mahdollisimman tehokkaasti käynnissä olevien projektien toiminnan kehittämisessä ja uusien projektien haku- ja valintaprosessissa. Muut viralliset asiakirjat Ohjelma-asiakirjojen puutteet näkyvät ketjuvaikutuksena muissa virallisissa asiakirjoissa. ESR-projektihakemuksessa pyydetään määrittelemään pienet ja suuret asiat, mutta ei esitetä minkäänlaisia vaatimuksia arvioinnista: sen sijaan kysytään seurannan ja raportoinnin järjestämisestä sekä ennakointitiedon hyödyntämisestä, jotka ovat toki lähellä itsearviointia. Itsearvioinnin ESR -käytännöt

Projektin toteuttajien edun mukaista olisi kuitenkin sisällyttää jo projektihakemukseen varaus ulkoisen arvioinnin suorittamiselle ja esitys itsearviontitavoista. Erikseen on syytä suositella arviointisuunnitelman tekemistä jo hakuvaiheessa tiedotussuunnitelman tavoin. Muissa virallisissa projektiasiakirjoissa kuten seuranta-, väli- tai loppuraporteissa ei myöskään kerätä arviointitietoa missään muodossa. Seurannan ja arvioinnin väliset erot ovat osittain tämän vuoksi epäselvät monelle projektin toteuttajalle. Rahoittajan vastuu itsearvioinnin kehittämisessä Mitä on itsearviointi? Rahoittajilla on mahdollisuus vaikuttaa projektien laatuun eri vaiheissa: esimerkiksi rahoittajat voivat jo hakuvaiheessa edellyttää hakijoilta arvioinnin sisällyttämistä projektihakemukseen ja tehdä tarvittaessa arvioinnista yhden täydentävän valintakriteerin ohjelmakohtaisten valintakriteerien lisäksi. Rahoittajat eivät ole kuitenkaan halunneet tai ymmärtäneet vaatia arviointia osaksi projektien kehittämisprosessia, minkä vuoksi itsearviointia ei ole systemaattisesti hyödynnetty. ESR- projektimaailmassa itsearviointi tarkoittaa tiivistetysti sitä, että projektit tai rahoittajat arvioivat kriittisesti toimintaansa. Kysymys on tällöin sisäisestä kehittämisestä, poikkeamien korjaamisesta ja jatkuvasta laadun ylläpitämisestä, mikä jatkuu koko projektin elinkaaren ajan. 29 Palaute Projektien laadukas toiminta edellyttää säännöllistä palautetiedon keräämistä ulkoisilta ja sisäisiltä asiakkailta. Palautteen avulla voidaan korjata epäkohtia ja peittää sellaisia sudenkuoppia, joihin on vaikea päästä käsiksi ilman systemaattista palautetiedon keräämistä. Itsearviointi ei ole tieteellisesti tarkka ja rajattu käsite, mikä pitää sisällään ennalta määritellyt asiat ja sulkee muut pois. Itsearviointi on joustava, jatkuvasti uusia muotoja saava ja projektikohtainen toimintaa ohjaava mekanismi. Toimiva itsearviointi tukee muiden tavoitteiden toteutumista. Kehittämisvastuu ESR-projektien rahoittajien tehtäviä ovat tarkastuksen, hallinnoinnin ja yleisen valvonnan lisäksi projektien kehittäminen. Kehittämisvastuu tarkoittaa käytännössä sellaisten edellytysten ja puitteiden luomista, joilla tuetaan yhtäällä projektihenkilöstön ammattitaidon kehittymistä ja toisaalla projektien tulosten ja hyvien käytäntöjen levittämistä. Itsearvioinnin ESR -käytännöt