ARVIOINTI JA RAPORTOINTI



Samankaltaiset tiedostot
Lopullinen versio, syyskuu 2010 Paikallisen ja alueellisen tason kestävää kehitystä koskeva integroitu johtamisjärjestelmä

Kestävän kehityksen integroitu johtamisjärjestelmä, EMAS III ja ISO 14001

ORGANISAATIO- RAKENNE

Toimeenpano ja Seuranta - CHAMP III työpaja Turku Pekka Salminen

Integroitu johtamisjärjestelmän (IMS) paikallisen ilmastotyön tukena

Miksi auditoidaan? Pirkko Puranen FT, Ylitarkastaja

Potilasturvallisuuden johtaminen ja auditointi

Helsingin, Turun ja Lahden hulevesiohjelmien vertaisarviointi

Kunnallisen toiminnan periaatteet, määritelty ja toimitaanko niiden mukaisesti? 3 strategialähtöiset

2. päivä. Etätehtävien purku Poikkeamat. Poikkeamat Auditoinnin raportointi Hyvän auditoijan ominaisuudet Harjoituksia

MÄÄRÄYS SIJOITUSPALVELUYRITYKSEN RISKIENHALLINNASTA JA MUUSTA SISÄISESTÄ VALVONNASTA

SFS, STANDARDIEHDOTUKSEN ISO/DIS ESITTELY

Sisäisen valvonnan ja riskienhallinnan perusteet Hyväksytty: kaupunginvaltuusto xx.xx.2014 xx

SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

SISÄISEN VALVONNAN PERUSTEET

Vieremän kunnan Sisäisen valvonnan ja riskienhallinnan perusteet

VERTAISARVIOINTI SOPEUTUMISEN ARVIOINNIN VÄLINEENÄ

PERUSKARTOITUS Peruskartoituksen ohje

Tervetuloa! Tämä on CHAMP-hankkeen sähköinen esite, jonka sivuja voit kääntää hiiren osoittimella sivujen kulmista tai alareunan nuolipainikkeista.

Sisäisen valvonnan ja Riskienhallinnan perusteet

Peruskartoituksesta tavoitteisiin Miten löydämme oikeat tavoitteet? Pekka Salminen Vantaa

Aikuisopiskelijan viikko - Viitekehys alueellisten verkostojen yhteistyöhön

SALON SEUDUN KOULUTUSKUNTAYHTYMÄN SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

Hanketoiminnan vaikuttavuus ja ohjaus klo

Sisäisen valvonnan ja riskienhallinnan perusteet

HALLINNOINTIKOODI (CORPORATE GOVERNANCE)

Riski = epävarmuuden vaikutus tavoitteisiin. Valtionhallinnossa = epävarmuuden vaikutus lakisääteisten tehtävien suorittamiseen ja tavoitteisiin

SAARIJÄRVEN KAUPUNGIN JA KAUPUNKIKONSERNIN SISÄISEN VAL- VONNAN JA RISKIENHALLINNAN PERUSTEET

Kaarinan kaupunkikonsernin sisäisen valvonnan ja riskienhallinnan periaatteet. Luonnos 0 (6)

SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

Pedagogisen johtamisen katselmus

Yhtymähallitus Yhtymävaltuusto Siun sote - kuntayhtymän sisäisen valvonnan ja riskienhallinnan perusteet

Monikäyttöinen, notkea CAF - mihin kaikkeen se taipuukaan?

Hanketoiminnan STAK-kehän mukainen auditointimatriisi

Liite/Kvalt , 29 ISONKYRÖN KUNNAN JA KUNTAKONSERNIN SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET. Isonkyrön kunta

Projektinhallinnan periaatteita ja hyviä käytänteitä - case Leonardo da Vinci

KEMIJÄRVEN KAUPUNGIN JA KAUPUNKIKONSERNIN SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

Ammatillisen koulutuksen laatupalkinto 2018 Laatupalkintokilpailun prosessi ja hakemuksen laatiminen

Esityksen sisältö. Ideasta hankkeeksi. Kulttuurihankkeen suunnittelu Novgorod 2013 Marianne Möller Hankeidea

Kankaanpään kaupunki SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

Arviointi ja mittaaminen

Projektin seuranta ja sen linkitys raportointiin

Sisäinen tarkastus, sisäinen valvonta ja riskienhallinta. Valtuustoseminaari

TIETOTILINPÄÄTÖS. Ylitarkastaja Arto Ylipartanen/ Tietosuojavaltuutetun toimisto. Terveydenhuollon ATK-päivät ; Jyväskylä

OKM:n laaturyhmän linjaukset Laadunhallintajärjestelmien itsearvioinnin toteutus ja kriteerien esittely

Green Office ympäristöjärjestelmä

Aluekehitysvaliokunta. Mietintöluonnos Lambert van Nistelrooij, Constanze Angela Krehl (PE v04-00)

Sisäisen tarkastuksen ohje

Koordinaattorin roolikartta

Inarin kunta SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

Pisteytystaulukko / toimintatavat (CAF)

VÄLI- JA LOPPURAPORTOINTI

Sisäinen valvonta ja riskienhallinta. Suomen Kuntaliitto Marja-Liisa Ylitalo erityisasiantuntija

MÄÄRÄYS LUOTTOLAITOKSEN RISKIENHAL- LINNASTA JA MUUSTA SISÄISESTÄ VALVON- NASTA

Ammatillisen koulutuksen laatutyöryhmä työskentelee

Ryhmätyö 1 EQAVET-suosituksen ohjeellisten kuvaajien hyödyntäminen

Projektin seuranta ja sen linkitys raportointiin

INTEGROIDUN JOHTAMISJÄRJESTELMÄN YLEISKATSAUS

Ei näyttöä tai puheen tasolla

Tervetuloa Laatutyön asiantuntija -koulutuksen kolmannelle lähijaksolle!

Hankkeen toiminta. ESR-koordinaattori Sanna Laiho. Uudenmaan ELY-keskus

Ekokompassilla kestävä suunta - ympäristövastuullisuus kilpailueduksi

Riskit hallintaan ISO 31000

TIETOSUOJAPOLITIIKKA LAPPIA KONSERNI. Hyväksytty: Yhteistyötoimikunta , asiakohta 28 Yhtymähallitus , asiakohta 103

ORIVESI-JUUPAJOKI KUNTALIITOSSELVITYS. Viestintäsuunnitelmassa selkeytetään Juupajoki-Orivesi kuntaliitosselvitykseen liittyvää viestintää.

Laatukäsikirja - mikä se on ja miten sellainen laaditaan?

Strategiset tavoitteet laadukkaaksi toiminnaksi pedagogisen toiminnan johtaminen

JOHTAJUUDEN LAADUN ARVIOINTI

Porvoon kaupungin sisäisen tarkastuksen toiminta- ja arviointisuunnitelma vuodelle 2015

Annika Lindblom, pääsihteeri. Kestävän kehityksen toimikunta

Vastuullisuusmallin tausta ja tavoitteet

Pysähdy! Nyt on syytä miettiä tämä asia uudelleen. Kiinnitä huomiosi tähän. Hienoa, jatka samaan malliin. Innokylän arviointimittari

Ilmastonmuutoksen kansallisen sopeutumisstrategian arviointi ja uudistaminen. Metsäneuvos Heikki Granholm, maa- ja metsätalousministeriö 30.1.

Hallituksen selonteko.

Valvontajärjestelmä. Tarkastuslautakunta

Asukkaiden ja sidosryhmien osallistaminen osana kestävän kaupunkiliikenteen suunnittelua. Sara Lukkarinen, Motiva Oy

Ehdotus NEUVOSTON DIREKTIIVI

Eurooppalaiset menettelysäännöt sovittelijoille

Sisäinen ja ulkoinen kliininen auditointi

Tilaliikelaitos TILALIIKELAITOKSEN VIESTINTÄSUUNNITELMA

VIESTINTÄSUUNNITELMA 2015

Hanketoiminnan ja hankkeiden vaikuttavuuden edistäminen

Tilintarkastuksen ja arvioinnin symposium

Keski-Pohjanmaan erikoissairaanhoito- ja peruspalvelukuntayhtymän sisäisen valvonnan ja riskienhallinnan perusteet

Strategiatyön toimintasuunnitelma 2013

Sisäisen valvonnan ja riskienhallinnan perusteet

NORDIC ALUMINIUM OYJ:N SELVITYS HALLINTO- JA OHJAUSJÄRJESTELMÄSTÄ

Tarja Nordman HUS Savuton sairaala -viestintäsuunnitelma

Kuvitettu YVA- opas 2018

Tietoisku ISO 14001:n ja OHSAS 18001:n tulevista muutoksista. Tuulikki Lammi Versio1,

SIILINJÄRVEN KUNNAN JA KUNTAKONSERNIN SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

SOSIAALINEN TILINPITO Kirsti Santamäki,

ELINVOIMAPALVELUT. 1. Valvontaympäristö l. johtamisen ja hallinnon järjestäminen ARVIOINTIHUOMIOT 2018

Toimivan laadunhallintaa ja laadun jatkuvaa kehittämistä tukevan järjestelmän kriteerit ja arviointi

Kliinisen auditoinnin toteutuminen: valvontaviranomaisen näkemykset SÄTEILYTURVAKESKUS STRÅLSÄKERHETSCENTRALEN

PÄLKÄNEEN KUNNAN SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

Raahen kaupunki Projektiohjeet luonnos

SOTILASILMAILUN TVJ-ALAN TEKNISEN HENKILÖSTÖN KELPOISUUSVAATIMUKSET

Plus500CY Ltd. Eturistiriitoja koskevat toimintaperiaatteet

Transkriptio:

ww.mue25.net ARVIOINTI JA RAPORTOINTI

TIETOJA TEKIJÖISTÄ ovat Managing Urban Europe-25 -projektin tuote. Projektia rahoitti osittain Euroopan komission ympäristöasioiden pääosasto. The Projektia koordinoi Itämeren kaupunkien liiton (UBC) ympäristön ja kestävän kehityksen sihteeristö ja se on osa UBC:n Itämeren alueen kaupunkien kestävää kehitystä käsittelevää Agenda 21 - toimintaohjelmaa, "UBC Agenda 21 Action Programme 2004-2009 Roadmap for Sustainable Baltic Cities". Projektin johtoryhmän muodostivat ICLEI Local Governments for Sustainability, UNEP/Grid-Arendal, Bodensee-Stiftung ja University of West of England. Tämä julkaisu heijastelee kunkin kirjoittajan omia näkemyksiä eikä sitä voi missään olosuhteissa pitää Euroopan komission kannanottona. Toimituskunta: Annika Claesson, Linda Talve, Kasia Bogucka, Christina Garzillo, Marion Hammerl, Claudia Heberlein, Daniela Paas, Andrea Philipp ja Holger Robrecht. Itämeren kaupunkien liiton ympäristökomissio (EnvCom). Kaikki oikeudet pidätetään. Mitään tämän julkaisun osaa ei saa jäljentää eikä kopioida kaupalliseen käyttöön missään muodossa tai millään välineillä ilman MUE-25-projektin osallistujia edustavan UBC:n ympäristökomission kirjallista lupaa. Kuvitus: Itämeren kaupunkien liiton ympäristökomissio (EnvCom). Sivu 2/28

SISÄLLYSLUETTELO 1. JOHDANTO... 4 2. SEURANNAN, ARVIOINNIN JA RAPORTOINNIN VÄLINEN ERO... 5 3. ARVIOINTI... 7 4. AUDITOINTI... 8 4.1. SISÄINEN AUDITOINTI... 8 4.2. ULKOINEN AUDITOINTI... 9 5. ARVIOINNIN TULOSTEN HYÖDYNTÄMINEN... 11 6. TULOSTEN RAPORTOIMINEN... 12 6.1. KAUPUNGINVALTUUSTO... 12 6.2. SIDOSRYHMÄT... 12 7. MITÄ SEURAAVAKSI?... 14 8. TARKISTUSLISTA... 15 LÄHTEET... 20 LIITTEET... 21 Sivu 3/28

1. JOHDANTO Kun intensiivinen toimenpiteiden toimeenpanovaihe on päättynyt ja kun seurantatiedot ovat saatavilla, on aika ottaa vähän etäisyyttä ja arvioida, mitä on saavutettu. Seurantatietoja käytetään sekä toimeenpanon kautta saavutettujen tulosten että johtamissyklin toiminnan arvioimisessa. Arviointi ja raportointi ovat syklin viimeinen vaihe, mutta ne tarjoavat myös perustan uudelle vuodelle ja uudelle syklille. Tässä vaiheessa analysoidaan, mitä vuoden aikana on tapahtunut, jotta ymmärrettäisiin, miksi tietyt asiat tapahtuivat tai miksi ne epäonnistuivat tai onnistuivat. Tämän perusteella poliitikot pystyvät tekemään päätöksiä koskien seuraavan vuoden tavoitteita ja seuraavana vuonna suoritettavia toimenpiteitä. Sidosryhmät ja yleisö saavat tällä tavalla raportin siitä, mitä kaupungissa on tehty vuoden kuluessa ja miten hyvin asetetut tavoitteet on saavutettu. Tärkeintä tässä vaiheessa on se, miten kaupunginvaltuusto päättää toimia arviointiprosessin tulosten perusteella. Miten seuraavan vuoden lyhyen aikavälin tavoitteita muutetaan tai miten ne asetetaan saatujen tietojen perusteella? Mitä toimenpiteitä seuraavana vuonna suoritetaan? Täytyykö peruskartoitus päivittää kaupungissa tai sen ympäristössä tapahtuneiden merkittävien muutosten takia? Joka tapauksessa päätös on tehtävä ja uusi sykli aloitettava. Sivu 4/28

2. SEURANNAN, ARVIOINNIN JA RAPORTOINNIN VÄLINEN ERO Tehokas seuranta- ja arviointiprosessi tarjoaa tietoja jatkuvasti ja järjestelmällisesti ja vahvistaa projektin toimeenpanoa. Seurantaprosessi on mahdollisuus: a) vertailla toimenpiteitä alkuperäisiin tavoitteisiin, b) arvioida, onko edistytty riittävästi odotettujen tulosten saavuttamiseksi ja c) arvioida, onko pysytty määritetyssä aikataulussa. Vasta kun seurantaprosessin avulla kerätyt tiedot on analysoitu ja arvioitu, johtamisjärjestelmää pystytään kehittämään tunnistamalla puutteet, epäonnistumiset ja onnistumiset sekä prosessin organisoimisessa ja toimeenpanossa että sen lopputuloksissa. Tehokas raportointijärjestelmä yhdistää seurantajärjestelmän avulla kaikista toimeenpanosta vastaavista instituutioista kerätyt tiedot. Sen avulla kaikki vastuulliset toimijat näkevät, miten hyvin strategisessa ohjelmassa määritetyt tavoitteet on saavutettu. Seuraavat määritelmät kuvaavat kolmen toisiinsa liittyvän prosessin merkitystä: - Seuranta: projektiin tai ohjelmaan liittyvien toimenpiteiden säännöllinen tarkkailu ja kirjaaminen - Arviointi: suunniteltu, järjestelmällinen prosessi, jonka yhteydessä arvioidaan saavutukset ennalta määritettyjen ehtojen mukaan - Raportointi: tiedottaminen strategisen ohjelman ja toimintaohjelman täytäntöönpanon edistymisestä sidosryhmille, päättäjille ja asukkaille Seuranta ja arviointi eivät ole ohjelmakauden lopussa suoritettavia toimenpiteitä,,vaan jatkuva prosessi, joka auttaa päättäjiä ymmärtämään toimien tehokkuutta paremmin. Tehokas seuranta- ja arviointiohjelma edellyttää tärkeiden tietojen keräämistä ja analysoimista säännöllisin väliajoin integroidun johtamisjärjestelmän kaikissa vaiheissa. Tämä prosessi tarkoittaa usein perustietojen keräämistä nykyisestä tilanteesta ja raportoimista siitä, kuinka edistytään suhteessa ennalta määriteltyihin tavoitteisiin. Lisäksi siinä yhdistetään toimenpiteet ja asetetut tavoitteet toisiinsa ja tehdään muutoksia strategiseen ohjelmaan ja/tai toimintaohjelmaan, kun prosessi etenee. Toimiva seuranta- ja arviointiprosessi osallistaa kaikki sidosryhmät, ja siitä on hyötyä integroidun johtamisjärjestelmän kehittäjille. Arviointi on myös tärkeä asukkaiden tietoisuutta lisäävä työkalu. Sivu 5/28

Seurannan ja arvioinnin toteuttaminen - Mitä tapahtuu? Seuranta - Miksi jotain tapahtuu? Arviointi - Ovatko muutokset merkittäviä? Arviointi - Onko toimenpiteitä muutettava? Tavoitteiden ja indikaattoreiden tarkistaminen - Kenelle mistäkin asioista on ilmoitettava? Raportointi Sivu 6/28

3. ARVIOINTI Arvioinnin yhteydessä analysoidaan seurantavaiheessa kerätyt tiedot ja todetaan, onko edistytty odotetulla tavalla. Arviointi sisältää yhteenvedon kaikista suoritetuista toimenpiteistä sekä kommentteja ja tulkintoja tavoitteisiin liittyvistä saavutuksista ja poikkeamista. Se viittaa sekä kaupungin tilaan että strategisiin tavoitteisiin (jotka on parhaassa tapauksessa jo määritetty strategisessa ohjelmassa). Arviointi on toimeenpanovaiheen kokemuksiin liittyvä tärkeä oppimisvaihe, jonka perusteella kehitetään seuraavaa sykliä. Tässä vaiheessa muotoillaan konkreettisia suosituksia strategisen ohjelman ja toimintasuunnitelman muuttamiseksi. Kuten seurantavaiheessa, sekä - prosessi (Miten toimenpiteet on toteutettu? Miten prosessia voidaan parantaa?) - että tulokset (Onko tavoitteet saavutettu? Miksi/miksi ei? Mitä muutoksia tarvitaan, jotta tavoitteet saavutettaisiin? Tai: onko tavoitteita muutettava?) on analysoitava ja arvioitava. Erilaisia arviointimenetelmiä on olemassa useita. Vastuullisia toimijoita voidaan esimerkiksi pyytää arvioimaan asioita kirjallisesti johdatellen raportointia tiukemmin tai väljemmin kysymysten avulla. Arviointia varten voidaan luoda kysely, jonka avulla saadaan tietyt vastaukset tietyistä kohteista, tai arviointilomake. Jälkimmäisen etu on se, että vastauksia on helppo vertailla muihin vastauksiin toisaalta kaikkia selityksiä ei välttämättä saada kirjattua silloin, kun käytetään standardoitua muotoa. Arviointi Suunniteltu Arviointi ei ole sattumanvarainen idea, vaan luonnollinen osa integroidun johtamisjärjestelmän prosessia Järjestelmällinen Hyödyllinen arviointi pystytään toistamaan. Näin ollen on käytettävä standardoitua menetelmää, joka on... Ennalta määritellyt määritelty etukäteen ehdot Arvioinnin yhteydessä on huomioitava seuraavat kysymykset: 1. Saavutettiinko toimenpiteen avulla haluttu tulos? 2. Oliko vastuualueet määritetty riittävän selkeästi toimintasuunnitelmassa? Jos ei, mikä jäi epäselväksi? 3. Edistymisen analysoiminen vaiheittain: Missä vaiheissa määritellyistä tavoitteista poikettiin? Miksi? Mitä korjaavia toimenpiteitä tässä vaiheessa voidaan tehdä? 4. Oliko arvioitu budjetti oikea vai käytettiinkö rahaa enemmän? 5. Mitä toimeenpanon suunnittelusta on opittu? Sivu 7/28

4. AUDITOINTI Yksi integroidun johtamisjärjestelmän tärkeimmistä ominaisuuksista on se, että sitä voidaan kehittää jatkuvasti. Auditoinnit ovat tärkeä osa tätä kehitystyötä. Auditoinnin yhteydessä tilanne tarkistetaan ennalta määriteltyjen ehtojen mukaan. Auditointien yhteydessä ihmiset haastattelevat toisiaan, jolloin päästään lähelle järjestelmän käyttäjiä. Auditoinnin aikana voidaan löytää sellaisia selityksiä, joita ei tavoiteta standardoitujen muotojen avulla. Auditointi on myös hyvä tapa saada palautetta ja kokemuksia muilta henkilöiltä, osastoilta tai organisaatioilta, mistä voi olla apua ongelmien ratkaisemisessa. Auditointi toteutetaan yleensä asiakirjojen arvioinnin ja haastattelujen muodossa. Sisäiset ja ulkoiset auditoinnit poikkeavat toisistaan. Sisäisessä auditoinnissa auditoija on yleensä hallintoon kuuluva henkilö, joka ei ole suoraan mukana toimeenpanoprosessissa. Ulkoinen auditointi on riippumattoman ja sertifioidun ympäristötodentajan suorittama arviointi. Ulkoinen auditointi tarvitaan esimerkiksi silloin, kun halutaan hankkia EMAS-rekisteröinti tai ISO 14001 -sertifiointi. 4.1. SISÄINEN AUDITOINTI Sisäisen auditoinnin suorittaminen on yksi mahdollinen tapa toteuttaa arviointi. Auditoija on yleensä hallintoon kuuluva henkilö, joka ei ole suoraan mukana toimeenpanoprosessissa. Toinen sisäisen auditoinnin toteutustapa on vertaisarviointi, jossa kollegat tai ryhmät eri kaupungista arvioivat toisiaan. Auditoija noudattaa ennalta määriteltyä suunnitelmaa ja arvioi järjestelmän kaikki elementit syklin tietyssä vaiheessa. Sisäisen auditoinnin tavoitteita ovat muun muassa seuraavat: - arvioida, ovatko kestävään kehitykseen liittyvät ongelmat ja niiden arviot ajan tasalla - arvioida, onko strateginen ohjelma ajan tasalla - vertailla tämänhetkistä tilannetta toimintasuunnitelman tai -suunnitelmien toteutumiseen - vertailla tämänhetkistä tilannetta siihen, miten hyvin ympäristöön ja kestävään kehitykseen liittyvät tavoitteet on saavutettu - tarkistaa, ovatko ympäristöön ja kestävään kehitykseen liittyvät lait ja säädökset muuttuneet ja noudatetaanko niitä - tarkistaa johtamisjärjestelmän toiminta: organisaatio, asiakirjat, sisäinen ja ulkoinen viestintä, seuranta ja raportointi - tarkistaa henkilökunnan koulutusohjelman ajantasaisuus, noudattaminen ja toteuttaminen - saada palautetta ja kokemuksia järjestelmän kehittämistä varten jne. Sivu 8/28

Sisäisten auditointien suorittaminen edellyttää tehokasta suunnittelua sekä auditointijärjestelmän ja auditointiohjelman laatimista. Auditointiin osallistuvien henkilöiden täytyy tuntea johtamisjärjestelmä ja tutkittavat temaattiset näkökohdat. Jos sisäinen auditointi suunnitellaan ja suoritetaan hyvin, se voi olla todellinen etu kaupungille. Sisäisiä auditointeja voidaan käyttää apuna koko kaupungin sitouttamisessa integroituun johtamisjärjestelmään ja koulutustyökaluna. Se auttaa kaupunkilaisia tunnistamaan integroituun johtamisjärjestelmään liittyvät mahdollisuudet ja näin ollen tukee integroituun johtamisjärjestelmään liittyvää työtä. Se tarjoaa myös paljon tietoa siitä, miten johtamisjärjestelmää voidaan kehittää. Samalla tavalla kuin EMAS ja ISO 14001, integroitu johtamisjärjestelmä edellyttää sisäisen auditoinnin raporttia, johon sisältyy korjaavia toimenpiteitä koskevia ehdotuksia. Tästä sisäisen auditoinnin raportista on keskusteltava kaupunginjohtajan kanssa. Kaupunginvaltuustolle on ainakin tiedotettava sisäisen auditoinnin raportista. EMAS- ja ISO 14001 -ehtojen noudattamisen lisäksi integroitu johtaminen edellyttää, että sisäisestä auditoinnista tiedotetaan osallistuneille sidosryhmille ja että heillä on mahdollisuus antaa palautetta siitä. Sisäisen auditoinnin raportista ja sidosryhmien antamasta palautteesta tai kommenteista on keskusteltava kaupunginjohtajan kanssa ja tarvittaessa myös kaupunginvaltuustossa. Lisätietoja: Mitä sisäisen auditoinnin yhteydessä tarkistetaan? (liite 1) Lisätietoja: Mitä vertaisarviointi tarkoittaa? (liite 2) 4.2. ULKOINEN AUDITOINTI EMAS- ja ISO 14001 -sertifiointiprosessit edellyttävät riippumattoman ja sertifioidun ympäristötodentajan arviointia. EMAS- ja ISO 14001 -ehtojen mukaan ympäristöjohtamisjärjestelmä voidaan hyväksyä vasta sen jälkeen, kun ympäristötodentaja on tarkistanut ja hyväksynyt johtamisjärjestelmän. Integroitu johtamisjärjestelmä helpottaa myös ulkoista auditointia (pätevän auditoijan EMASja ISO 14001 -ehtojen mukaista tarkastusta). Vaikka integroitu johtamisjärjestelmä on laajempi ja kattaa muitakin kuin pelkkiä ympäristönäkökohtia, siinä on kaikki EMAS- ja ISO 14001 -ehtojen mukaiset elementit ja se täyttää kaikki niihin liittyvät ehdot. Managing Urban Europe-25 -projektin kokemusten ja tulosten perusteella (katso www.mue25.net) joitakin sanamuotoja ja menettelytapoja on kehitetty edelleen ja mukautettu paikallishallinnon rakenteiden mukaan, ja virallinen auditoija ei välttämättä tunne EMAS- ja ISO 14001 -ehtojen paikallishallinnon tarpeiden mukaan mukautettua järjestelmää. Tästä syystä on tärkeää keskustella hänen kanssaan ja selittää erot. Kaikki nämä erot on kuvattu taulukossa nimeltä MUE-25:n integroidun johtamisjärjestelmän, EMAS II:n ja ISO 14001:n vertailu, ja sen avulla voidaan kuvailla pätevälle auditoijalle integroitua lähestymistapaa sekä sitä, miten se liittyy EMAS- tai ISO 14001 -ehtoihin. Sivu 9/28

Lisätietoja: MUE-25:n integroidun johtamisjärjestelmän, EMAS II:n ja ISO 14001:n vertailu (liite 3) Ympäristötodentaja hyväksyy ympäristöraportin tai kestävän kehityksen raportin ympäristöä koskevat kohdat. Toisin sanoen hän tarkistaa, että niihin sisältyvät tiedot ovat totuudenmukaisia ja luotettavia, ja hyväksyy ne. Ympäristötodentaja päättää, onko paikan päällä tarpeen suorittaa uudelleenarviointi vuoden tai kolmen vuoden välein. Hän tekee tämän päätöksen työntekijöiden lukumäärän ja organisaation ympäristövaikutusten perusteella. Kunnallisessa suunnittelu- ja kehitystyössä tavoitteiden täyttyminen saattaa kestää kauan. Tämä tarkoittaa sitä, että muutoksia voidaan mitata ainoastaan pitkällä aikavälillä. Tämän perusteella ympäristötodentajan tulisi hyväksyä, että 36 kuukauden hyväksyntäsykli on sopiva tällaisen ympäristöjohtamisjärjestelmän kohdalla. Ympäristötodentajan suorittamaan hyväksyntään kuuluu kaksi vaihetta: asiakirjojen arviointi ja vierailu paikan päällä. Koordinaattori vastaa todentajan vierailusta paikan päällä. Hänen on varmistettava, että ympäristötodentaja pääsee tapaamaan ylimmän johtajan (eli kaupunginjohtajan), jotta he voivat keskustella strategisen ohjelman ja toimintasuunnitelmien kehittämisestä, organisaatiorakenteesta, seuranta- ja arviointimenetelmistä sekä tuloksista. Todentaja kerää satunnaisia tietonäytteitä tarkastellakseen ympäristöjohtamisjärjestelmään liittyviä tietoja (koordinointiryhmän kokousten pöytäkirjoja, viitetietojen tai indikaattoreiden päivityksiä, ympäristöön liittyvän lainsäädännön noudattamisen varmistusprosessia, organisaatiorakennetta, sisäistä viestintää ja henkilökunnan koulutusta ja yleisölle viestintää, ympäristöraporttia tai kestävän kehityksen raporttia). Auditoinnin tuloksista ja tarvittavista korjaavista toimenpiteistä keskustellaan vierailun lopussa. Paikan päällä suoritetun arvioinnin jälkeen kaupunginjohtaja saa yksityiskohtaisen auditointiraportin. Jos määritetyt EMAS- tai ISO 14001 -ehdot eivät täyty, kunnallishallinnolle annetaan yleensä aikaa tehdä korjaavia toimenpiteitä. Jos poikkeamat ovat niin vakavia, että niitä ei pystytä korjaamaan tämä ajanjakson kuluessa, ympäristötodentaja ei myönnä hyväksyntää. Jos kaupunki saa EMAS-hyväksynnän eli jos ympäristötodentaja hyväksyy ympäristöraportin, paikallishallinto voi jättää EMAS-rekisteriin lisäämistä koskevan hakemuksen. Kaupungin on liitettävä tähän hakemukseen hyväksytty ympäristöraportti ja maksettava rekisteröintimaksu. Rekisteröinnistä vastaava hallinto pyytää valvovia viranomaisia arvioimaan ympäristöraportin ja tarkistamaan, että kyseessä oleva paikallishallinto täyttää kaikki lainsäädäntöön liittyvät vaatimukset. Jos kaikki on kunnossa, paikallishallinto lisätään viralliseen EMAS-rekisteriin ja sille myönnetään oikeus käyttää EMAS-logoa julkisessa viestinnässä. Uudelleenhyväksyntä noudattaa samaa kaavaa. Sivu 10/28

5. ARVIOINNIN TULOSTEN HYÖDYNTÄMINEN Koordinaattorin on mietittävä, miten arvioinnin tuloksia käytetään arviointiprosessin alussa. Toimeenpanosta vastaavat instituutiot käyttävät arviointiin liittyviä tietoja todennäköisemmin siinä tapauksessa, että he ymmärtävät, osallistuvat ja sitoutuvat arviointiprosessiin. Mitä useampia henkilöitä prosessin aikana on konsultoitu, sitä helpompaa tulosten käyttäminen ohjelmatyön kehittämiseen on. Alla on joitakin arvioinnin tulosten hyödyntämiseen liittyviä tärkeitä kysymyksiä: - Missä vaiheessa käytäntöjä tai ohjelmia muutetaan arvioinnin perusteella? - Kuka päättää, tehdäänkö muutokset? - Kuka varmistaa, että täytäntöönpanosta vastaavat instituutiot tekevät tarvittavat muutokset? - Milloin muutoksia tehdään? Tehdäänkö niitä jatkuvasti? Tehdäänkö niitä viiden vuoden välein? Tehdäänkö niitä kymmenen vuoden välein? Yksi arviointiprosessin tärkeimmistä näkökohdista on se, että se tarjoaa hyödyllisiä tuloksia ohjelman toimeenpanijoille tietoja, joiden avulla tuloksia pystytään parantamaan. Hyödylliset arviointitulokset auttavat tekemään päätöksiä ja tarjoavat tietoa siitä, miten ohjelmatyötä voidaan kehittää. Jos kaupunki ei esimerkiksi saavuttanut tiettyjä tavoitteita tietyn ajan kuluessa, arvioinnin tulokset tarjoavat tärkeitä tietoja siitä, miten toimenpiteitä kannattaa muuttaa. Oletetaan esimerkiksi, että kaupungin asettama tavoite oli se, että kiinteiden jätteiden määrä pienenee 10 prosenttia vuodessa seuraavien viiden vuoden ajan. Ensimmäisen vuoden lopussa huomataan, että jätteiden määrä on pienentynyt ainoastaan 5 prosenttia. Lisäksi arvioinnin tulokset paljastavat, että asukkaat eivät oikein tiedä, milloin ja miten heidän pitäisi kierrättää. Nämä tiedot osoittavat, että koulutukseen liittyvää osuutta ohjelmassa on kehitettävä, jotta tavoitetasot saavutettaisiin. Sivu 11/28

6. TULOSTEN RAPORTOIMINEN Arvioinnin tuloksista tulisi raportoida. Tulosten raportoimiseen liittyy kaksi tavoitetta: päättäjille kerrotaan, mitä seurauksia suoritetuilla toimenpiteillä on ollut, ja yleisölle kerrotaan, miten kaupunki on edistynyt suhteessa kestävään kehitykseen liittyviin tavoitteisiin. Raportti on esitettävä eri tavalla eri kohdeyleisöille. Tämä tarkoittaa, että on käytettävä erilaisia muotoja, eri kieliä ja jakelutapoja. Arviointiraporttia laadittaessa on huomioitava seuraavat seikat: - Miten esitys kohdistetaan pääkäyttäjäryhmälle? - Mikä on oikea ajankohta, jolloin raportti kannattaa julkaista? - Tunnistakaa medialle ja kohderyhmille välitettävät tärkeimmät viestit, - Varmistakaa, että raportista laaditaan tiivistelmä (kiireiset henkilöt lukevat vain yhteenvedon). - Analysoikaa, tarvitaanko muita tuotoksia, ja varmistakaa, riittävätkö resurssit niiden laatimiseen. - Pyytäkää palautetta. 6.1. KAUPUNGINVALTUUSTO Arviointiraportti on esiteltävä kaupunginvaltuustolle, siitä on keskusteltava ja kaupunginvaltuuston on hyväksyttävä se. Arviointiraporttia on käytettävä seuraavaan vuosisykliin liittyviä päätöksiä tehtäessä. Se toimii perustana, jonka avulla poliitikot pystyvät päättämään, täytyykö tavoitteisiin, toimenpiteisiin, vastuualueisiin jne. tehdä muutoksia. 6.2. SIDOSRYHMÄT Arvioinnin tulokset ovat yhteenveto arviointiin liittyvistä päätelmistä. Parhaassa tapauksessa raportit toimitetaan useille eri kohdeyleisöille. Myös asianmukaisilla sidosryhmillä täytyy olla mahdollisuus vaikuttaa arviointiraporttiin (yleisön osallistuminen). Raportissa käytetty kieli ja tyyli saattavat vaihdella yleisön mukaan. Välitettyjen tietojen on kuitenkin oltava yhdenmukaisia ja totuudenmukaisia. On tärkeää tiedottaa yleisölle edistymisestä suhteessa strategisessa ohjelmassa ja toimintasuunnitelmassa määriteltyihin tavoitteisiin. Asukkaille on kerrottava tehdyistä parannuksista, jotta he tietävät, miten yksilöt voivat toimia kestävän kehityksen tavoitteiden edistämiseksi kaupungissa. Tämä edellyttää tehokasta ja säännöllisesti tietoa välittävää viestintäohjelmaa, joka raportoi myös asukkaiden toimeenpanoon liittyvät reaktiot toimeenpaneville instituutioille - kerätkää siis palautetta! Sivu 12/28

Kun yleisölle kerrotaan arvioinnin tuloksista, on käytettävä erilaisia tekniikoita, kuten visuaalisia esimerkkejä, suullisia esityksiä, tiivistelmiä, väliraportteja ja epävirallisia keskusteluja. Muita ideoita ovat esimerkiksi seuraavat: - Kirjoittakaa erillisiä tiivistelmiä ja arvioinnin tuloksiin perustuvia artikkeleita, jotka on kohdistettu tietyille kohdeyleisöille tai sidosryhmille. - Kirjoittakaa tarkoin harkittu lehdistötiedote ja antakaa arvovaltaisen henkilön esitellä se medialle. - Järjestäkää tiedotustilaisuus samassa yhteydessä, kun julkaisette lehdistötiedotteen. - Järjestäkää suullisia esityksiä tietyille ryhmille: järjestäkää harjoitusesityksiä, joissa osallistujat osallistuvat aktiivisesti analysoimiseen ja tulkitsemiseen. - Käyttäkää raportin esittelytilaisuuksissa ammattilaisten valmistelemia kuvia, kaavioita ja esitteitä. - Käyttäkää symboleja ja kuvia, jotka kuvastavat tuloksia selkeästi sekä tukevat viestin ymmärtämistä ja tiedon levitystä. Sivu 13/28

7. MITÄ SEURAAVAKSI? Tehokas arviointi auttaa varmistamaan, että määritetyt tavoitteet saavutetaan valittujen toimenpiteiden avulla. Seuranta- ja arviointiprosessi on tärkeä vaihe, kun varmistetaan onko kestävään kehitykseen liittyvät tavoitteet saavutettu, selvitetään syitä tavoitteista poikkeamiseen sekä seurataan tarvittavia muutoksia. On tärkeää esitellä ohjelman tulokset myös asukkaille, kunnanvaltuustolle sekä muille sidosryhmille ja kerätä palautetta heiltä. Vaikka tämä vaihe vaikuttaakin olevan syklin loppu, se on myös seuraavan syklin alku. Seuraavaksi on mietittävä, täytyykö peruskartoitukseen tai strategiseen ohjelmaan tehdä muutoksia. Jos muutoksia ei tarvita, on päätettävä seuraavan vuoden lyhyen aikavälin tavoitteista ja toimenpiteistä sekä hyväksyttävä ne. Sitten seuraava sykli alkaa uudelleen. Sivu 14/28

8. TARKISTUSLISTA Tavoite Toimenpiteiden tarkistus- ja korjauskäytännöt ovat olennainen osa mitä tahansa johtamisjärjestelmää ja tämä koskee myös Integroitua johtamisjärjestelmää. Yksi vähimmäisvaatimuksista on vuosittainen sisäinen auditointi, jonka tekee joko koordinaattori tai koordinointiryhmä yhdessä sisäisen auditoijan kanssa. Sisäisen auditoijan tulee olla koordinointiryhmästä riippumaton ja hänen tulisi työskennellä jossakin toisessa strategisessa yksikössä, naapurikunnassa tai ulkopuolisena konsulttina tai tarkkailijana. On tärkeää, että auditoijalla tai auditointiryhmällä on riittävät perustiedot integroidun johtamisjärjestelmän ja kestävyyden eri osa-alueiden arvioimiseksi. Sisäisessä arvioinnissa: - arvioidaan, ovatko suorat ja epäsuorat ympäristöön, kestävään kehitykseen ja ilmastonmuutokseen liittyvät ongelmat ja niiden arviot ajan tasalla - arvioidaan, onko strateginen ohjelma ajan tasalla - vertaillaan tämänhetkistä tilannetta toimintasuunnitelman tai -suunnitelmien toteuttamiseen ja toimeenpanoon - vertaillaan tämänhetkistä tilannetta siihen, miten hyvin ympäristöön, kestävään kehitykseen sekä ilmastonmuutoksen hillitsemisen ja siihen sopeutumiseen liittyvät tavoitteet on saavutettu - tarkistetaan, ovatko ympäristöön, kestävään kehitykseen ja ilmastonmuutokseen liittyvät lait ja säädökset muuttuneet ja noudatetaanko niitä - tarkistetaan johtamisjärjestelmän toiminta (organisaatio, asiakirjat, sisäinen ja ulkoinen viestintä, valvonta ja raportointi) - tarkistetaan, onko henkilökunnan koulutusohjelma ajan tasalla, noudatetaanko ja toteutetaanko sitä Oheisessa tarkistuslistassa keskitytään ensimmäiseen sisäiseen auditointiin ja siihen sisältyy myös sellaisia integroidun johtamisjärjestelmän käyttöönottoon liittyviä seikkoja, joilla ei ole merkitystä enää siinä vaiheessa, kun ensimmäinen sykli on käyty läpi. Sivu 15/28

Seurantajärjestelmän luomiseen liittyviä näkökohtia Tietoihin liittyvät vaatimukset on huomioitu 1 2 Kaikkien indikaattoreiden tietolähteet on tunnistettu 3 Metatietokanta (tietoja koskevat tiedot) on käytettävissä 4 5 Kaikkien tietolähteiden yhteyshenkilöihin on otettu yhteyttä ja heille on kerrottu heidän velvollisuuksistaan. Seurantarakenne ja -roolit on kuvattu organisaatiorakenteessa (katso Organisaatiorakenteen tarkistuslistan kohdat 14 ja 15) Käytettävissä on tiedot eri tietoja hallinnoivista viranomaisista, julkisista toimista ja palveluista 6 Nykyiset seuranta- ja arviointirakenteet (paikallisella tasolla sekä paikallisten ja alueellisten tasojen välillä) on analysoitu ja aukot on tunnistettu Sivu 16/28

7 Kaikkien tavoitteiden ja indikaattoreiden aikataulu ja mittausten aikavälit on määritetty 8 Tärkeimmät tiedot ja indikaattorit ovat käytettävissä pitkällä aikavälillä Viitearvot ovat olemassa (perusvuosi) 9 10 On laadittu suunnitelma sellaisten tärkeiden tietojen tai indikaattoreiden sisällyttämiseksi, jotka eivät ole tällä hetkellä käytettävissä 11 Tietojen käsittelyprosessi on dokumentoitu (malli tai ohjeet): tallennus- ja dokumentointimuoto, varmuuskopiointi, päivitys, käyttö 12 Tietojen muokkaus- tai käsittelytarpeet on tunnistettu 13 Tietojen tarkistaminen ja vahvistaminen on hoidettu 14 Sähköiset linkit ja offline-linkit muihin sivustoihin, tietokantoihin ja Sivu 17/28

seurantajärjestelmiin on lisätty 15 Määritetyt resurssit ovat riittäviä (henkilöstö- ja taloudelliset resurssit) 16 Tietojen siirtämisessä käytettävä malli on käytettävissä ja toimitettu (laskentataulukko, raportointimalli metatiedoilla) 17 Käyttäjiltä pystytään keräämään palautetta ja tilastotietoja Seuranta- ja arviointijärjestelmän ominaisuudet 18 19 20 Onko trendejä seurattu ja onko niitä arvioitu? Lainsäädännön noudattamista pystytään tarvittaessa seuraamaan jatkuvasti Onko seurantajärjestelmässä jokin mekanismi ongelmatilanteita varten? Viestintä ja osallistuminen seuranta- ja arviointiprosessissa 21 Kaikille asianmukaisille sidosryhmille on viestitty meneillään olevasta prosessista Yleisölle on tarjottu riittävät seurantatiedot: 22 tiedot ovat käytettävissä pysyvästi ja reaaliajassa tiedot päivitetään säännöllisin väliajoin Sivu 18/28

SISÄINEN AUDITOINTIRAPORTTI: ARVIOINTI JA SEURANTA Yleisarviointi: Vahvuudet: Heikkoudet: Parannusehdotukset Sivu 19/28

LÄHTEET Regional Environmental Center (REC): Guide to Implementing Local Environmental Action Programs in Central and Eastern Europe (Keski- ja itäeurooppalaisten paikallisten ympäristötoimintasuunnitelmien toimeenpano-opas) (Tekijä: Paul Markowitz, 2000) UNEP (2005): Geocities Application Manual Sivu 20/28

LIITTEET LIITE 1: MITÄ SISÄISEN AUDITOINNIN YHTEYDESSÄ TARKISTETAAN?... 22 LIITE 2: MITÄ VERTAISARVIOINTI TARKOITTAA?... 24 LIITE 3: INTEGROIDUN JOHTAMISJÄRJESTELMÄN, EMAS II:N JA ISO 14001:N VERTAILU... 25 Sivu 21/28

Liite 1: Mitä sisäisen auditoinnin yhteydessä tarkistetaan? Peruskartoitus - Integroidun johtamisjärjestelmän laajuus on kuvattu - On laadittu yleiskatsaus, josta käyvät ilmi kestävän kehityksen kannalta keskeiset osastot, roolit ja vastuuhenkilöt - Kaikki osallistuvat paikallishallinnon osastot, joille on myös tiedotettava, on tunnistettu - Asianmukaiset sidosryhmät on kartoitettu - Kaikki asianmukaiset (merkittävät) ympäristöön tai kestävään kehitykseen liittyvät näkökohdat on katettu - Kaikki nykyiset asiakirjat, ohjelmat, strategiat tai suunnitelmat on tunnistettu - Ympäristöön ja kestävään kehitykseen liittyvän lainsäädännön noudattaminen on otettu huomioon ja sitä tarkkaillaan - Tämänhetkisen tilanteen kuvaamisessa on käytetty sellaisia indikaattoreita, jotka ovat järjestelmän kannalta merkityksellisiä - Tietoihin ja indikaattoreihin liittyvät aukot on dokumentoitu - Kestävän kehityksen tila on arvioitu eri näkökulmista objektiivisesti ja läpinäkyvästi - Peruskartoituksen tulokset on huomioitu prioriteetteja laadittaessa - Peruskartoituksen tulokset on ilmoitettu sidosryhmille ja osastoille - On laadittu käytäntö, jossa peruskartoitusta päivitetään sisäisen auditoinnin tulosten ja uusien tietojen perusteella Järjestelmän auditointi - Nykyiset suunnitteluun ja ohjelmiin liittyvät johtamis- ja seurantarakenteet on tunnistettu ja analysoitu - Aukot on tunnistettu ja puuttuvat elementit on lisätty Organisaatiorakenne - Valtuusto tai ylin johto on antanut hallinnolle organisaatiorakenteen ja tarvittavien johtamista koskevien ohjeiden laatimiseen liittyvän päätöksen - On valittu koordinaattori, jolla on asianmukainen tehtävän kuvaus ja toimivalta - On muodostettu koordinointiryhmä, jossa on mukana edustajia kaikilta asianmukaisilta kaupungin osastoilta, ulkoisista organisaatioista ja sidosryhmistä ja jolla on asianmukainen tehtävän kuvaus, vastuualueet tai johtamista koskeva ohjeistus - Muut asianmukaiset elimet (esim. kansalaisfoorumi, Agenda 21), joilla on asianmukaiset tehtävien kuvaukset ja vastuualueet, on muodostettu - Yhteistyöstä sekä siihen liittyvistä linkeistä tai puitteista muiden hallintotasojen kanssa on sovittu - Virallisesta ja epävirallisesta yhteistyöstä naapurikuntien kanssa on sovittu - Integroidun johtamisjärjestelmän osastoja ja elimiä koskeva organisaatiokaavio on laadittu - Taloudelliset budjettivaatimukset ja -rutiinit on huomioitu - Selkeistä valvonta- ja raportointirakenteista ja -säännöistä on sovittu Sivu 22/28

- Sisäistä ja ulkoista viestintää koskevat rakenteet ja säännöt ovat selviä - Tarkistuslista ja/tai standardoitu tietojen keräys- ja tulkintamuoto on määritetty valittujen indikaattoreiden mukaan - Kapasiteetin kehittämisvaatimukset on arvioitu - Koulutussuunnitelma on laadittu ja hyväksytty - Henkilökunnalle ja mukana oleville sidosryhmille on toimitettu kaikki asianmukaiset integroitua johtamisjärjestelmää koskevat asiakirjat - Sisäisen auditoinnin tarkistuslista on laadittu ja sisäinen auditoija on valittu - Kaupunginvaltuusto on hyväksynyt organisaatiorakenteen ja riittävät taloudelliset resurssit Strateginen ohjelma - Selkeä visio (ympäristöön liittyvät periaatteet) paikallisesta kestävästä kehityksestä on luotu - Paikallisesti tärkeät asiat on tunnistettu ja priorisoitu peruskartoituksen tulosten pohjalta - Tulevaisuuden visio kattaa 10 15 vuotta - Ohjelmaan sisältyvät mitattavissa olevat lyhyen ja pitkän tähtäimen tavoitteet (tavoitevuosi) aikarajoineen - Tavoitteet on asetettu osallistavan prosessin avulla - Ohjelman tärkeimmät tiedot, indikaattorit ja viitearvot tukevat ohjelman tavoitteita - Kaikille keskeisimmille näkökohdille on laadittu toimintasuunnitelmat ja suunnitelmista käyvät ilmi mitattavissa olevat tavoitteet, konkreettiset toimenpiteet sekä kullekin toimijalle määritellyt vastuut - Kaikille sidosryhmille on ilmoitettu ohjelmasta - Asukkaille on tiedotettu ohjelmasta ja asukkaita on konsultoitu - Strateginen ohjelma (ja toimintasuunnitelma) on hyväksytty virallisesti kaupunginvaltuuston päätöksellä Seuranta, arviointi ja raportointi - Kaikkien indikaattoreiden tietolähteet, perusvuosi, aikataulu ja mittausten aikavälit on tunnistettu - Nykyiset seuranta- ja arviointirakenteet on analysoitu - Tekninen ratkaisu on tunnistettu: tietojen tallentaminen ja päivittäminen, varmuuskopioiminen, käyttäminen jne. - On laadittu suunnitelma sellaisten tärkeiden tietojen tai indikaattoreiden sisällyttämiseksi, jotka eivät ole tällä hetkellä käytettävissä - Tietojen raportoimista ja arvioimista varten on laadittu kuvaus tai malli - Kaikille asianmukaisille sidosryhmille on viestitty meneillään olevasta arviointiprosessista - Sidosryhmille on tarjottu mahdollisuus antaa palautetta arvioinnin tuloksista - Arviointiraportti on esitelty kaupunginvaltuustolle - Seuranta- ja arviointijärjestelmän ominaisuudet on optimoitu Sivu 23/28