Vertaisarvioinnit työvälineenä kaupunkien ilmastotyössä

Transkriptio

1 Vertaisarvioinnit työvälineenä kaupunkien ilmastotyössä Sakari Saarinen, Projektikoordinaattori, Itämeren kaupunkien liiton ympäristö- ja kestävän kehityksen sihteeristö, CHAMP vertaisarviointikoulutus, Vantaa,

2 Sisältö Mikä on vertaisarviointi? Mihin ja miksi käyttää vertaisarviointimenetelmää? Miten toteuttaa vertaisarviointi? - Prosessi vaihe vaiheelta arvioitsijoiden ja arvioinnin isäntäkaupungin näkökulmasta Esimerkkejä ja kokemuksia toteutetuista vertaisarviointimalleista Kaupunkien ilmastotyön vertaisarvioinneista sopiminen Sakari Saarinen / 1. työpaja Vantaa

3 Mikä on vertaisarviointi (Peer Review) Monia määritelmiä, monia toteutusmalleja Yhä yleistymässä oleva ulkoisen arvioinnin muoto Kriittiset ystävät arvioivat riippumattomalla tavalla sitä, kuinka arvioitava kaupunki/taho toimii ja edistyy suhteessa johonkin määriteltyyn vertailukriteeristöön. Siten vertaisarviointi on kriteeriperusteista suorituksen arviointia!

4 Keitä ovat arvioijat? Vertaisarvioijat (peers) ovat ulkopuolisia henkilöitä, jotka työskentelevät vastaavassa ympäristössä toisessa kaupungissa/organisaatiossa ja ovat arvioitavan aihepiirin asiantuntijoita ja ammattilaisia. Eli tekevät samankaltaisia töitä samankaltaisessa organisaatiossa kuin on arvioinnin kohteena. Arvioijat ovat objektiivisia ja puolueettomia ja he arvioivat yleensä suunnilleen omaansa vastaavan organisaatiotason toimintaa. Avoimuus, eettisyys ja rehellisyys molemminpuolisen oppimisen edellytyksenä. Arvioitsijoiden ja arvioinnin aiheen on todella sovittava toisilleen, muutoin vertaisarvioinnilta putoaa pohja pois.

5 Miksi vertaisarviointeja? Tarjoaa riippumattoman, kolmannen osapuolen rehellisen arvion kaupungin tilanteesta ja tulevaisuudennäkymistä valitun teeman/asian puitteissa suhteessa sovittuun vertailukriteeristöön. Tarjoaa rakentavaa palautetta kollegoilta eli kriittisiltä ystäviltä. Tarjoaa ulkopuolisen näkemyksen toiminnasta ja uusia ideoita ja näkökulmia ulkopuolisten asiantuntijoiden silmin. Tuo esiin vahvuuksia ja hyviä käytäntöjä Tuo esille kehittämiskohteita ja heikkouksia Lisää sidosryhmien osallistumista ja sitoutumista. Mahdollisuus oppia molemminpuolisesti arvioijat ja arvioitavat Tarjoaa yhtenäisen arviointirakenteen ja mallin, joka mahdollistaa vertailevan analyysin

6 Missä käytetty? Akateemisessa tutkimusympäristössä tieteellisten artikkeleiden arviointi Ympäristö- ja laatujärjestelmien arvioinnit (ISO/EMAS) OECD:n kansalliset laajat ympäristö- ja alueelliset arvioinnit. Koulutusjärjestelmien arvioinnit Sisäiset kehittämisarvioinnit Aalborgin sitoumusten lähtötasoarviointien ja toteuttamissuunnitelmien vertaisarvioinnit (Botkyrka, Kaunas) Kestävän kehityksen vertaisarvioinnit - Helsinki - Rotterdam Ympäristösektorin vertaisarvioinnit - Turku - Lahti -Jyväskylä ilmanlaatu, LA 21 työ (Turku) toiminnanohjausjärjestelmä, ympäristöluvitus (Lahti) ympäristöjohtamisjärjestelmä (Jyväskylä) Osana erilaisia hankkeita PRESUD ja Liveable cities (kaupunkien kestävä kehitys) EMAS Peer Review for cities BUSTRIP (kestävä kaupunkiliikennesuunnittelu)

7 Mitä se vaatii? Aikaa ja vähän rahaakin...mutta kuitenkin kustannustehokas menetelmä Aika- ja taloudelliset resurssit - laaja skaala; riippuu täysin arvioinnin laajuudesta ja tavoitteista Minimissään pienimuotoisena 5-6 työpäivän panos per arvioija, arviointitiimin vetäjältä huomattavasti enemmän. Isäntäkaupungin koordinaattorilta/yhteyshenkilöltä vähintään saman verran kuin tiiminvetäjältä. Isäntäkaupungin muilta osallistujilta (haastateltavat, järjestelyissä ja ennakkomateriaalien työstämisessä avustavat) pienempi työpanos. Laajamittaisena prosessina (sisältäen esim. vertailukriteeristön määrittämisen, itsearviontiraportoinnin ja sen analysoinnin ennen arviointivierailua sekä laajan vertaisarviontiraportin) vertaisarviointi voi olla jopa 6-12 kuukauden prosessi Itse vertaisarviointivierailun kesto 2-5 päivää

8 Vertaisarviointi vaihe vaiheelta Kolme perusvaihetta: 1) Valmisteluvaihe 2) Vertaisarviointivierailu 3) Vertaisarvioinnin loppuraportointi

9 Vertailukriteeristö Kriteeriperusteinen vertaisarviointi vaatii vertailukriteeristön, jota vasten arvioitavan asian suoritusta arvioidaan määriteltävä ja sovittava koko prosessin aluksi! Yhteisen vertailukriteeristön käyttäminen mahdollistaa kaupunkien laajemman vertailun. Ilmastotyön vertaisarvioinnissa vertailukriteeristönä IMS eri vaiheiden tarkistuslistoineen opasmateriaali saatavilla suomeksi tämän kevään aikana Kriteeristö kuvastaa ihannetilannetta, johon kaupungin tulisi valitussa aiheessa pyrkiä, ja johon sen suoritusta voidaan siten verrata Sekä mahdollinen itsearviointi että itse vertaisarviointi tarkastelevat kaupungin nykytilan ja näkymien suhdetta sovittuun vertailuikriteeristöön.

10 1. Valmisteluvaihe arvioinnin kohde ja rajaukset Arvioinnin tarkka kohde ja rajaukset on tärkeää määritellä heti selkeästi arviointisuunnitelma Määrittyvät eri kriteerien mukaan, esim. isäntäkaupungin tarpeet tai hankkeen tavoitteet Määriteltävä arvioinnin kohde ja rajaukset, esimerkiksi: palvelee osana lähtötilanneanalyysiä, esim. Aalborgin sitoumusten toteutus jonkin tietyn teeman puitteet, esim. liikennejärjestelmän tai ympäristöjärjestelmän toimivuus, Kaupunkien ilmastotyön ja IMS-kriteeristön puitteissa esimerkiksi: ilmastostrategian toteuttamisen organisointi ilmastostrategian valmisteluprosessi ja osallistuminen kaupungin ilmastotyö yleensä

11 Arviointitiimin muodostaminen Kriittinen ja tärkeä vaihe koko prosessia ratkaisee pitkälti arvioinnin tuloksen! Ryhmän koko riippuu arvioinnin laajuudesta ja työtavoista minimi: tiiminvetäjä jäsentä, maksimi: tiiminvetäjä jäsentä. Riittävä koulutus ja kokemus vertaisarviointi- ja haastattelutekniikoista - saavat materiaaleista ja haastatteluista irti oleellisen Monipuolinen osaaminen ja kokemus - ainakin tiiminvetäjällä tulisi olla kokemusta arviointien tekemisestä Sovittava tiimin ajankäytöstä ja vastuualueista koko prosessissa. Sitoutuminen tehtävään - myös raportin kirjoitus vierailun jälkeen!

12 Ennakkomateriaalit arvioinnin kohteesta Isäntäkaupunki laatii arviointitiimille ennakkomateriaalipaketin, jotta tiimi saa tarvittavat tiedot kohteen tilanteesta ja voi siten valmistautua vierailuun. Joko kattava itsearviointiraportti arvioinnin kohteena olevan asian nykytilanteesta suhteessa vertailukriteeristöön/ideaaliin tai muu, olemassa ja saatavilla olevaan aineistoon perustuva ennakkomateriaali Kaupunkien ilmastotyön vertaisarvioinneissa ennakkomateriaalina esimerkiksi: -kaupunkistrategia - ilmasto-ohjelma - ympäristöohjelma - kestävän kehityksen ohjelma - riskiarvio yms. IMS peruskartoitusmateriaali - olemassaolevat evaluoinnit - muut aiheeseen liittyvät strategiat ja raportit Itsearvioinnin tai muun ennakkomateriaalin olisi oltava tiimillä vähintään kuukautta ennen vierailua, jotta tiimi ehtii valmistautua asianmukaisesti.

13 Ennakkomateriaalien analyysi ja vierailuun valmistautuminen Arviointitiimin tehtäviä: Analysoi itsearviointiraportin/muu ennakkomateriaalin, identifioi aukot suhteessa vertailukriteeristöön. Tarpeelliset lisäselvityspyynnöt isäntäkaupungin koordinaattorille. Toiveet isäntäkaupungille, keitä tiimi haluaa tavata ja haastatella vierailunsa aikana. Valmistelee kysymykset haastatteluja varten. Tiiminvetäjä nimeää vastuualuejaon perusteella kaksi tiimiläistä kuhunkin haastatteluun yksi kysyy kysymykset, toinen tekee muistiinpanoja. Tiimin valmistelukokouksia tarpeen ja mahdollisuuksien mukaan.

14 Valmisteluvaihe isäntäkaupungin näkökulmasta Nimettävä vastuullinen koordinaattori/yhteyshenkilö vastaamaan järjestelyistä ja yhteydenpidosta arviointitiimiin Koostettava itsearviointiraportti ja/tai valmisteltava tiimille muu tarvittava ennakkomateriaali Sovittava yhdessä tiiminvetäjän kanssa vierailun tarkka ohjelma ja käytännön järjestelyt, kuten majoitus, kuljetukset, ruokailut, lehdistötiedote, työskentelytila eli tukikohtahuone, kaupunkikierros, jne. Järjestettävä yhdessä tiiminvetäjän kanssa halutut/tarvittavat haastattelut ja muut tapahtumat. Tehtävä lyhyt taustamuistio tiimille heistä joita haastatellaan; miksi valittu, asema ja osaamisalueet, miten puhutella/mikä lähestymistapa paras haastattelussa. Haastateltaville annettava tietoa haastattelussa todennäköisesti esiin nousevista kysymyksistä jotta osaavat varautua vastaamaan.

15 2. Vertaisarviointivierailu Arviointivierailun kesto arvioinnin kohteesta ja laajuusta riippuen 2-5 päivää Tiimin tukikohtahuoneessa tavataan haastattelujen, tutustumiskäyntien ja työpajojen välillä vaihtamassa informaatioita, keräämässä ja vertaamassa havaintoja ja valmistelemassa tulevia tapaamisia Vierailun aloituskokous Isäntäkaupungin koordinaattorin tapaaminen Ohjelman läpikäynti Työnjaon vahvistaminen vierailun aikana Viime hetken ohjelmamuutokset ja niihin reagoiminen Kaupunkiin tutustuminen kaupunkikierros teemasta ja tarpeesta riippuen Joka aamu ja ilta yhteenvetopalaveri, varsinkin ellei tapaamisten välissä ole ollut aikaa palaveeraamiseen.

16 Haastattelut Haastattelutekniikkoihin kannattaa kiinnittää huomiota. Etukäteistiedot haastateltavista tärkeitä miten eri ihmisiä kannattaa lähestyä, miten päästä parhaaseen haastattelutulokseen. Haastateltavien hyvä tietää hieman etukäteen millaisia kysymyksiä on luvassa. Myös eri sidosryhmien edustajien osallistuminen ja haastattelut tärkeitä. Yleensä vain avoimia kysymyksiä suljettuja (kyllä/ei) kysymyksiä vain tarkistamiseen/varmentamiseen. Muistiinpanojen kirjaaminen ja jäsentäminen kyselylomakepohjat, muistilappumenetelmä

17 Vertaisarviointivierailu suullinen palaute Viimeisten tapaamisten jälkeen muistiinpanojen koonti ja tiimin yhteisanalyysi (esim. mini-swot yhteenveto) sekä alustavien löydösten esittämisen valmistelu ja loppuraportointiin varautuminen Vierailun päätteeksi avoin palautetilaisuus tiimin alustavien löydösten esittelemiseksi sekä mahdollinen lehdistötilaisuus. Kaikki haastatellut ja muuten mukanaolleet isäntäkaupungista ovat kutsuttuja tilaisuuteen Tiimin vetäjä pitää esityksen, minuuttia Korostettava, että kyseessä on ensihavaintojen esittäminen, tarkempi analyysi tulee kirjallisen raportin muodossa myöhemmin.

18 3. Vertaisarvioinnin loppuraportointi Kirjallinen vertaisarviointiraportti ja mahdollinen muu palauteaineisto Jokainen tiimin jäsen kirjoittaa luonnoksen oman vastuualueensa asioista arviointivierailun muistiinpanojen ja analyysien ja kaiken muun käytössä olevan materiaalin perusteella. Tiiminvetäjä koostaa raportin, joka sisältää ainakin: Analyysin vahvuuksista ja heikkouksista suhteessa vertailukriteeristöön Listan asioista, joita arvioidun kaupungin tulisi pohtia/parantaa ja suosituksia tulevista prioriteeteistä ja kehittämiskohteista Raportti lähetetään arvioituun kaupunkiin ensin kommentoitavaksi ja sitten hyväksyttäväksi Hyväksymisen jälkeen se toivon mukaan saatetaan kaikkien asianosaisten (myös sidosryhmien) tietoon. Mahdollinen arvioinnin päätöstilaisuus isäntäkaupungissa 1-3 kuukautta tiimille aikaa raportin kirjoittamiseen

19 Esimerkkejä ja kokemuksia vertaisarvioinneista

20 BUSTRIP Kestävän kaupunkiliikennesuunnittelun vertaisarvioinnit, 2006 Riippumattomat arvioinnit partnerikaupunkien tilanteesta/suorituksesta kestävän liikenteen suunnittelussa ja toteuttamisessa. Tarjosi rakentavaa kritiikkiä senhetkisestä tilanteesta partnerikaupungeissa. Identifioi avainkysymyksiä, joita kaupunkien pitäisi harkita ja teki suosituksia tuleviksi prioriteeteiksi ja toiminnaksi auttaakseen kaupunkeja vauhdittamaan kestävämmän kaupunkiliikenteen suunnittelua ja toteuttamista. Aloitti kestävän kaupunkiliikennesuunnitelman valmisteluprosessin partnerikaupungeissa.

21 Arviointiprosessin rakenne ja aikajana (BUSTRIP) Vertaisarviointitiimi Tiimin muodostaminen ja kouluttaminen Arvioitava kaupunki Itsearviointiraportti tammi 06 Itsearvioinnin analyysi Alustavat hypoteesit ja haastatteluihin valmistautuminen Vertaisarviointiraportin kirjoittaminen Vierailun järjestely Vertaisarviointivierailu haastattelut, analyysi ja alustavien löydösten esittely Raportin hyväksyminen Tulosten ja suositusten toteuttamisen suunnittelu ja täytäntöönpano Marras 06

22 BUSTRIP - vertailukriteeristö Pohjana EU komission tuottama dokumentti; Final Report of EU Expert Working Group (2004) on Sustainable Urban Transport. Kuvasi mistä kattavan Kestävän Kaupunkiliikenteen Suunnitelman (SUTP) pitäisi koostua. Kuvasi siis ideaalin vertailupohjan jota vasten kaupunkien silloista tilannetta/suoritusta voitiin verrata.

23 Esimerkki BUSTRIPin vertailukriteeristöstä 2.5 (O16) (O17) (A8) (A9) (A10) SUTP policies and measures The SUTP should include and integrate the following policies and measures and provide justification for their inclusion /exclusion; General principles Reducing the need for transport Transport management Developing clean and fair transport systems General principles Full integration of transport planning and other key planning that Takes account of spatial and transport patterns at the urban agglomeration level Considers the implications for transport arising from all urban development and the potential conflict with the SUTP Prevents and minimises negative transport growth Decouple economic growth from transport growth though The more efficient use of infrastructure to achieve economic growth Internalising external costs and achieving a level playing field for all transport modes (within constraints of national legislations) Safeguards local diversity and encourages through Developing local solutions and approaches Participating in benchmarking exercises and good practice exchange and dissemination Ensures and actively promotes gender equity and equality acknowledging the different implications for women and men of all policies and measures

24 BUSTRIP - itsearviointi Jokainen partnerikaupunki teki itsearviointiraportin silloisesta tilanteestaan kestävän kaupunkiliikenteen suunnittelussa ja totetuttamisessa Itsearviointiraportti oli ensimmäinen analyysi kaupungin todellisen tilanteen ja kestävän liikenteen vertailuideaalin välillä. Vertaisarviointitiimi teki pöytätutkimuksen itsearviointiraportin pohjalta: Ymmärtääkseen olemassaolevan organisaation ja poliittisen rakenteen sekä suunnitelmat ja strategiat. Etsi aukkoja raportin ja vertailuideaalin väliltä Kehitti alustavat hypoteesinsä, identifioi ketä haluaisivat haastatella arviointivierailulla, sekä valmisteli kysymykset haastatteluja varten

25 BUSTRIP arviointivierailu Arvioijat pääasiassa liikenne- ja kaupunkisuunnitteluasiantuntijoita toisista partnerikaupungeista, Jokaisessa 12 arvioinnissa eri tiimi. 5 päivän vierailu, sisältäen haastattelua, kaupunkikierroksia, kansalais- ja sidosryhmäkokouksia ja työpajoja. Vierailun päätteeksi julkinen esitys alustavista löydöksistä sekä lehdistötilaisuus Tiimi työsti vertaisarviointiraportin, jota arvioitu kaupunki käytti välineenä kestävän kaupunkiliikennesuunnitelmansa kehittämisessä.

26 Aalborgin sitoumusten peruskartoitusten vertaisarvioinnit Koulutus Malmössä ja Botkyrkan vertaisarviointi 2007 Allen Creedyn metodeilla ja johdolla kohteena hallinto (AC 1) ja johtaminen (AC 2) - Vertailukriteeristömalli koettiin vaativaksi ja monimutkaiseksi - Metodin testauksen jälkeen haluttiin yksinkertaisempaa ja vähemmän resursseja vaativaa mallia Kaunasin vertaisarviointi 2009 UBC:n johdolla kohteena kaupunkisuunnittelu (AC 5) ja liikenne (AC 6). - Pienimuotoinen arviointiharjoitus kouluttamaton tiimi, vähäiset ennakkomateriaalit - Kaunasin motiivina, että ulkopuolisten arvio saa vauhtia pysähdyksissä olleisiin kestävän kehityksen prosesseihin kaupungissa.

27 Kaunasin vertaisarvioinnin vertailukriteeristö SUUNNITTELU 1. ottamaan käyttöön ja elvyttämään hylättyjä ja epäsuotuisia alueita. 2. välttämään kaupunkirakenteen hajautumista pyrkimällä sopivaan asukastiheyteen ja asettamalla vanhojen teollisuusalueiden kehittäminen uusien alueiden käyttöönoton edelle. 3. varmistamaan asuntoalueiden ja rakennusten monipuolisen käytön tasapainoisella työpaikkojen, asuntojen ja palvelujen tarjonnalla sekä asettamalla asuminen etusijalle kaupunkien keskustojen suunnittelussa. 4. takaamaan kaupunkien rakennuskulttuurin asianmukaisen säilyttämisen, kunnostuksen ja (uudelleen) käytön. 5. noudattamaan kestävän suunnittelun ja rakentamisen vaatimuksia ja edistämään korkealaatuista arkkitehtuuria ja rakennusteknologiaa. PAREMPI LIIKKUVUUS, VÄHEMMÄN LIIKENNETTÄ 1. vähentämään tarvetta yksityisautoiluun ja edistämään sen sijaan houkuttelevia, kaikkien kansalaisten ulottuvilla olevia vaihtoehtoja. 2. lisäämään joukkoliikenteen, kävelyn ja pyöräilyn osuutta. 3. tukemaan siirtymistä matalapäästöisiin moottoriajoneuvoihin. 4. kehittämään kokonaisvaltaisen ja kestävän kaupunkiliikennesuunnitelman. 5. vähentämään liikenteen vaikutusta ympäristöön ja kansanterveyteen.

28 Kommentteja vertaisarvioinneista Itsearviointi ja vertaisarviointi paljastavat epäjohdonmukaisuuksia olemassaolevissa suunnitelmissa ja toimintatavoissa. Useissa tapauksissa kaupungit ovat toivoneet ja arvostaneet kriittisiä vertaisarviointiraportteja Arvioinnit ovat antaneet uusia näkökulmia vanhoihin ongelmiin. Arvioijana toimiminen avaa silmiä ja auttaa ymmärtämään oman kaupungin tilannetta/suorituksia suhteessa muihin.

29 Kommentteja vertaisarvioinneista Haastava ja intensiivinen prosessi, mutta myös hyvin palkitseva ja avartava Tiimissä jokainen on tasa-arvoinen ja osallistuu omalla osaamisellaan ja kokemuksellaan kaikki yhtä arvokkaita. Vierailun alussa on aina lähes epätoivon tunnelma, mutta lopussa on voittajan olo, kun pienessä ajassa on saatu paljon aikaan. Vertaisarvioinnista saa irti juuri niin paljon kuin siihen on valmis panostamaan!

30 Linkkejä ja lähteitä BUSTRIP-projektin vertaisarviointimetodologia, ohjeistus ja partnerien esitykset ja raportit: Koulutussektorin eurooppalainen vertaisarviointitietopankki: Edelliseen liittyvä suomenkielinen opas: rvioinnin_opas_ammatilliseen_koulutukseen.pdf

31 Kiitos!