ånni- vertaisarviointimalli Mallin toteutus: ånni- hanke 2014-2017 Kooste: Koulutus Elämään säätiö
ånni- vertaisarviointimalli 1. Johdanto 1.1 Mallin tarkoitus ja tavoite 1.2 Vertaisarviointimallin prosessikaavio 2. Ennakkovalmistelut 3. Ennakkotehtävät. Itsearviointi ja yhteistyön arviointi 3.1 Itsearviointi 3.2 Yhteistyön arviointi 4. Vertaisarviointipäivä 4.1 Vertaisarviointipäivän tarkoitus 4.2 Järjestäjän tehtävät ennen tilaisuutta 4.3 Vertaisarviointipäivän kulku 4.2 Mitä vertaisarviointipäivän jälkeen? 5. Toimintamallien arviointi 6. Lopuksi: Vertaisarviointimallin taustaa LIITTEET A. Ennakkotehtävä 1/ itsearviointi B. Ennakkotehtävä 2/ yhteistyön arviointi C. Pohja toimintamallin arviointiin D. Taulukko kehitysehdotusten pohdintaan
1. Johdanto 1.1 Mallin tarkoitus ja tavoite ånni- arviointimalli on yksinkertainen ja helppotajuinen vertaisarvioinnin menetelmä, joka sopii käy- tettäväksi hankkeissa/ projekteissa. Sitä voi hyödyntää myös järjestöverkostoissa, joissa on mukana useita järjestöjä, joissa kehitystyötä tehdään yhdessä ja jotka toimivat useamman vuoden ajan. Arviointimallin avulla pyritään varmistamaan, että projekti/hanke arvioidaan yhteistoiminnallisesti ja toimintamallien laatu on varmistettu ja arvioitu. Yhteisen keskustelun ja pohdintojen avulla saadaan oivalluksia toimintatavoista ja toimivista ratkaisuista pulmatilanteisiin. Arviointiprosessia ohjaavat Max Peberdyn kolme kysymystä: Tehdäänkö oikeista asioita? Tehdäänkö sitä, mitä luvattiin? Saa- daanko aikaiseksi muutosta? Tavoiteltu muutos määritellään jo projektin alussa sellaiseksi, että sitä on mahdollista arvioida. 1.2 Vertaisarviointimallin prosessikaavio ånni - vertaisarviointimalli on kolmivaiheinen kokonaisuus, joka koostuu 1. Ennakkovalmisteluista 2. Ennakkotehtävistä: Itsearviointi ja yhteistyön arviointi ja 3. Vertaisarviointipäivästä.
2.Ennakkovalmistelut Projektin/hankkeen projektipäällikkö tai arviointivastuussa oleva taho, kuten arviointivastaava, voi- vat toimia vertaisarviointipäivän toteuttajana. Vertaisarviointipäivän ajankohdasta kannattaa sopia hyvissä ajoin. Vertaisarviointipäivän järjestäjä toimii myös vertaisarviointipäivän ohjaajana eli keskus- telunvetäjänä. Tämän lisäksi vertaisarviointipäivää varten tarvitaan kirjuri. Noin kuukausi ennen sovittua vertaisarviointipäivää toteuttajataho eli järjestäjä lähettää kaikille pro- jektikumppaneille kutsun, jossa kerrotaan vertaisarviointipäivän alustava aikataulu sekä arviointipäi- vän kesto. Kutsun yhteydessä toteuttajataho lähettää kaikille ennakkotehtävät ohjeineen. Palautus- aikaa tehtäville voi antaa esimerkiksi 2-3 viikkoa. 1 Vertaisarviointipäivän järjestäjä pitää huolen siitä, että kaikki osallistujat palauttavat ennakkotehtä- vät hänelle ajoissa ennen vertaisarviointipäivää. Kun vertaisarviointipäivän toteuttajataho on saanut osallistujilta ennakkotehtävät, koosta hän ne yhteen vertaisarviointipäivää varten. Suositeltava esi- tystapa on PowerPoint- esitys, jota on helppo täydentää vertaisarviointipäivän aikana. PowerPoint - esityksessä tulee käyttää samanlaista nelikenttäpohjaa, joille myös ennakkotehtävät toteutetaan. Arviointipäivän järjestäjä toteuttaa PowerPoint- kalvot itse tämän oppaan lopussa olevien esimerkki- kaavioiden pohjalta. 1 kk ennen vertaisarviointipäivää Järjestäjä lähettää kutsun sekä ennakkotehtävät osallistujille. 1 viikko ennen vertaisarviointipäivään Osallistujat palauttavat ennakkotehtävät järjestäjälle. Valmiina vertaisarviointipäivään Järjestäjä on koonnut ennakkotehtävistä power point - kalvot. 3. Ennakkotehtävät: Itsearviointi ja yhteistyön arviointi 3.1 Itsearviointi Jokaisella järjestöllä tai henkilöllä on projektissa todennäköisesti oma vastuualueensa, jonka toteu- tuksesta se/hän vastaa. Tiedonkeruu vertaisarviointipäivää varten aloitetaan toteuttamalla itsearvi- ointia oman työn tai järjestön vastuulla olevan osa- alueen osalta. Näitä osa- alueita voivat olla esi- merkiksi tiedonhankinta, toimintamallin suunnittelu, viestintä ja niin edelleen. Jos kyse on hankkeesta tai verkostotyöstä, jossa osallistujilla ei ole varsinaisia omia vastuualueita, voi vertaisarviointipäivän järjestäjä kuten projektipäällikkö päättää etukäteen arvioitavat osa- alueet. Täl- laisessa tilanteessa osallistujat arvioivat etukäteen/ennakkotehtävänä kaikkia osa- alueita. Fokus voi olla tällöin yhteisen toiminnan ja yhdessä tekemisen arvioinnissa. Arviointipohja on yksinkertainen, swot- tyyppinen nelikenttä. Ennakkotehtävänä täytetään nelikentän kaksi ylimmäistä laatikkoa: 1 Ennakkotehtäväpohjat löytyvät tämän oppaan viimeisiltä sivuilta.
1. Onnistumiset ja saavutetut tulokset 2. Haasteet ja ongelmat Nelikentän alimmaiset laatikot (3. Vahvuudet ja hyvät käytännöt ja 4. ideat toiminnan kehittämiseksi) täytetään vertaisarviointipäivässä siten, että kaikki projektissa mukana olevat tahot osallistuvat arvi- ointiin. Hyvään projektisuunnitelmaan on kirjattu projektin ja sen eri osa- alueiden toimenpiteiden ja tuotos- ten lisäksi tulokset ja vaikutukset, joihin toimenpiteillä pyritään sekä mittarit, joilla onnistumista mi- tataan. Ennakkotehtävässä jokainen osallistuja arvioi omaa vastuualuettaan näiden tavoiteltavien tulosten valossa. Ennakkotehtävässä EI siis vain luetella toteutettuja toimenpiteitä ja tuotoksia, vaan arvioidaan, ovatko ne sellaisia, joilla saadaan aikaan tuloksia. Itsearviointiin+tai+ennalta+päätetyn+osa0alueen+arviointiin+liittyvä+ennakkotehtävä+ ARVIOITAVAOSA)ALUE:Esimerkiksiprojektipäällikkövoimääritelläetukäteenarvioitavatasiat. Niitävoidaanpohtiamyösyhdessä,ennenkuinsovitaanvertaisarviointipäivästä. TAVOITELTAVATTULOKSET:Ennenarviointipäivääontiedettävä,mitätuloksiaarvioitavanosa) alueentoimenpiteillätavoitellaan? 1. Onnistumisetjasaavutetuttulokset ENNAKKOTEHTÄVÄ 2. Haasteetjaongelmat ENNAKKOTEHTÄVÄ Pohdi,ovatko toimenpiteetolleet sellaisia,ettäniillä saadaanaikaan muutosta 3. Vahvuudetjahyvätkäytännöt TÄYTETÄÄNVERTAISARVIOINTIPÄIVÄSSÄ 4. Ideattoiminnankehittämiseksi TÄYTETÄÄNVERTAISARVIOINTIPÄIVÄSSÄ Vertaisarviointipäivässäpäätetytkehitysehdotuksetkehitysehdotuksettaulukkoon 3.2 Yhteistyön arviointi Vertaisarviointipäivää varten arvioidaan ennakkoon myös järjestöjen/toimijoiden välistä yhteistyötä. Yhteistyötä arvioidaan niin ikään nelikenttäpohjalla. Vertaisarviointipäivän järjestäjä voi kirjata en- nakkotehtävään jo suuntaa antavasti erilaisia yhteistyön osa- alueita. Näitä voivat olla mm: Yhteistyön koordinointi Yhteinen etätyöskentely (mm. erilaiset verkon työskentelyalustat; Yammer, Innokylä) Sitoutuminen projektiin /yhteishenki, osallistumisaktiivisuus Sisäinen tiedonkulku ja niin edelleen. Jos verkostossa tai projektissa ei ole pohdittu ennakkoon yhteistyön tavoitteita, näitäkin voidaan pohtia vertaisarviointipäivässä.
4.Vertaisarviointipäivä 4.1 Vertaisarviointipäivän tarkoitus Yhteisessä arviointikeskustelutilaisuudessa eli vertaisarviointipäivässä ennakkotehtäviä käydään läpi osa- alue kerrallaan, järjestäjän päättämässä järjestyksessä. Järjestäjä toimii myös vertaisarviointipäi- vän ohjaajana. Ohjaajan tehtävänä on katsoa, että vertaisarviointipäivän aikana pysytään aikatau- lussa, eikä keskustelu lähde sivuraiteille. Ohjaajan on hyvä pitää mielessä, että arviointipäivässä kiin- nitetään huomio tuloksiin: Saavutetaanko projektin toimenpiteillä tavoiteltavia tuloksia? Kirjurin teh- tävänä on kirjata ylös vertaisarviointipäivän aikana käytyä keskustelua ja kehitysehdotuksia. Sekä oh- jaaja että kirjuri voivat myös itse antaa palautetta ja osallistua keskusteluun, jos he niin haluavat ja aikataulu sallii. Tämän jälkeen siirrytään yhteistyön arviointiin. 4.2 Järjestäjän tehtävät ennen tilaisuutta Järjestäjä kokoaa kaikki saamansa ennakkotehtävät PowerPoint - esitykseksi haluamaansa järjestyk- seen. PowerPoint - esityksessä tulee käyttää samanlaista nelikenttäpohjaa, joille myös ennakkotehtä- vät toteutetaan. Vertaisarviointipäivän järjestäjä varaa arviointipäivää varten oheiset tarvikkeet: Kannettava tietokone ja kangas tai seinä PowerPoint kalvojen esittämiseen Isoja postit- lappuja/ 2 eri väriä Tusseja kaikille Seinä tai fläppitaulu, jolle kiinnitetään postit lappuja Tulosteet itsearvioinneista jokaiselle osallistujalle (vapaaehtoinen) 4.1 Vertaisarviointipäivän kulku 1. Ohjaaja toivottaa osallistujat tervetulleeksi ja kertoo, kuinka arviointitilaisuus etenee. Esittely- kierrosta ei tarvita, sillä oletuksena on, että yhteistyöprojekteissa osallistujat tuntevat jo toi- sensa. 2. Aluksi käydään läpi edellisen vertaisarviointipäivän kehitysehdotukset, jos vertaisarviointipäiviä on järjestetty jo aiemmin. 3. Jokaisen osa- alueen arviointiin varataan aikaa noin 30 minuuttia. Yhteistyön arviointiin voi varata aikaa runsaammin. 4. Aluksi osallistujat saavat tutustua järjestöjen toteuttamaan itsearviointiin seinälle heijastetusta PowerPoint esityksestä osa- alue kerrallaan. (järjestäjä on kirjannut esitykseen jo etukäteen kaikki saamansa ennakkotehtävät). Itsearviointia toteuttaneen järjestön edustaja saa halutes- saan kertoa arvioinnistaan myös sanallisesti. 5. Tämä jälkeen kaikki arviointipäivän osallistujat saavat noin 5 minuuttia aikaa täyttää postit- lap- puja. Lappuja on kahta eri väriä. Toiselle värille kirjataan oma arvio kyseisen osa- alueen vahvuuk- sista. Toisen väriselle postit - lapulle kirjoitetaan omat ideat toiminnan kehittämiseksi. Post it - laput viedään fläppitaululle tai seinälle, jonne on heijastettu tai kirjoitettu kyltit: 3. Vahvuudet ja hyvät käytännöt ja 4. Ideat toiminnan kehittämiseksi 6. Seuraavaksi kaikki osallistujat saavat käydä lukemassa palautteita, jonka jälkeen ohjaaja johdat- telee osallistujat keskustelemaan palautteista.
7. Keskustelua käydään noin 20 minuutin ajan, jonka jälkeen ohjaaja tekee suullisen yhteenvedon keskustelun tuloksista. Yhteistyön arviointiin aikaa kannattaa käyttää runsaammin. 8. Jos keskustelun pohjalta nousee esiin erityisiä kehittämistä vaativia asioita, kirjuri kirjaa asiat eril- liseen Vertaisarviointipäivässä päätetyt kehittämistoimet - kohtaan nelikentän alapuolelle. 9. Kirjuri ottaa talteen postit - laput ja kirjaa ne sellaisenaan PowerPoint - kalvoille joko vertaisarvi- ointipäivän aikana tai sen jälkeen. 10. Tämän jälkeen edetään seuraavan osa- alueen käsittelyyn samaa kaavaa noudattaen. 11. Yhteistyön arvioinnin voi ajoittaa vertaisarviointipäivän loppupuolelle. Jos projektissa on mukana monta järjestöä, kannattaa päivän aikataulu suunnitella siten, että osallis- tujat voivat myös ruokailla päivän aikana. Ohjaajan muistilista Rohkaise osallistujia keskustelemaan ja ideoimaan. Huolehdi, että vertaisarviointipäivän aikataulu pitää. Muista tehdä jokaisen osuuden päätteeksi yhteenveto ja varmistaa osallistujilta, onko ky- seiseltä osa- alueelta kirjattava ylös kehitysehdotuksia. Huolehdi siitä, ettei keskustelu lähde sivuraiteille, vaan arviointi tapahtuu tavoitteet ja tulokset edellä. Kirjurin muistilista: Pidä postit laput järjestyksessä, jotta tiedät myös jälkikäteen, minkä osa- alueen arvioin- tiin ne liittyvät. Jos vain ehdit, kirjaa vastaukset PowerPointille jo vertaisarviointipäivän aikana. Muista kirjata keskustelun pohjalta päätetyt kehitysehdotukset erilliseen Vertaisarviointi- päivässä päätetyt kehittämistoimet - kohtaan nelikentän alapuolelle 4.2 Mitä vertaisarviointipäivän jälkeen? Vertaisarviointipäivän jälkeen ohjaaja ja kirjuri tekevät koosteen päivän aikana päätetyistä asioista. Kooste toimitetaan sähköpostitse kaikille osallistujille. Lisäksi järjestäjä toimittaa kaikille osallistujille myös muut vertaisarviointipäivän aikana nelikenttään kootut materiaalit. Jos projektit ja hankkeet ovat pitkäkestoisia, toteutetaan vertaisarviointia kaksi kertaa vuodessa. Pro- jektin toinen ja sitä seuraavat vertaisarviointipäivät aloitetaan aina käymällä läpi edellisen vertaisarvi- ointipäivän kehitysehdotukset. Ohjaaja käy kehitysehdotukset läpi haluamallaan tavalla (suullisesti tai PowerPoint - esityksenä). Tämän jälkeen käydään lyhyt keskustelu ja pohditaan yhdessä, toteutet- tiinko yhdessä päätetyt kehitystoimet, ja jos ei, niin miten asian kanssa edetään. Kirjuri kirjaa ylös suunnitelman korjausliikkeistä. Tavoitteena on, että projektissa on edetty edellisen vertaisarviointi- päivän kehitysehdotusten pohjalta. 3.Toimintamallien arviointi Vertaisarviointimalli soveltuu paitsi toimintaprosessien tuloksellisuuden mutta myös tuotosten arviointiin. Jos hankkeessa tai projektissa toteutetaan tietylle kohderyhmälle suunnattuja toimintamalleja, toteutuksen
alla olevaa toimintamallia olisi hyvä arvioida yhdessä jo ennen sen lanseerausta, esimerkiksi mallin suunnit- telun tai pilotoinnin aikana. Toimintamallia on mahdollista arvioida vertaisarviointipäivän yhteydessä. Mallin arviointi voi olla myös oma erillinen tilaisuutensa. Toimintamallia arvioidaan yleisillä hyville käytännöille asetetuilla kriteereillä. Yleisiä hyvän käytännön kriteereitä ovat muun muassa tarve- ja kysyntälähtöisyys, tulok- sellisuus, käytettävyys ja hyödynnettävyys sekä siirrettävyys. Kriteereitä voi itse tarkentaa. Jos toi- mintamallille ei ole asetettu ennakkoon kriteereitä esimerkiksi projektisuunnitelmassa, voi arviointi- päivän tehtäväpohjia käyttää myös kriteeristön suunnitteluun. Toimintamallien arviointi toteutetaan samaan tapaan kuin vertaisarviointipäivässä. Järjestäjä toimit- taa toimintamalliin liittyvän ennakkotehtävän/pohjan hankkeessa mukana oleville tahoille, ja antaa samalla osallistujille ennakkotehtävän palautuspäivämäärän sekä yhteisen arviointikeskustelutilai- suuden päivämäärän. Tehtävän täyttäminen edellyttää tutustumista toimintamallin luonnokseen. Toimintamallia tulee mahdollisuuksien mukaan arvioittaa myös kohderyhmällä. Jos kohderyhmää ovat aikuiset, kohderyhmän edustajia voi myös pyytää mukaan toimintamallin arviointitilaisuuteen. Jos kohderyhmää ovat lapset, heiltä kerätään palautetta toimintamallin vahvuuksista ja heikkouksista erikseen sovituilla tavoilla. Arviointitilaisuudessa ohjaaja ohjaa vapaamuotoista keskustelua ja kirjuri kirjaa ylös mahdolliset ke- hitysehdotukset. 6. Lopuksi: Vertaisarviointimallin taustaa EHYT ry:n koordinoima ånni- hanke oli seitsemän koulutyötä tekevän järjestön monivuotinen yhteis- hanke vuosille 2014-2017. Hankkeen kantavana ajatuksena oli kulttuurisensitiivisen ja monikulttuuri- sen työotteen tuominen suomalaiseen päihdekasvatukseen sekä nuorten ja kasvatusyhteisöjen osal- lisuuden tukeminen hankkeen joka vaiheessa. Lähtökohtana oli sosiaalisen markkinoinnin teorian mukaisesti työn kohdentaminen, kohderyhmien ja alueiden rajaaminen sekä niihin tutustuminen toi- minnan suunnittelun pohjaksi. Koulutus Elämään Säätiö vastasi hankkeen arvioinnista ja vertaisarvi- ointimallin toteuttamisesta. Hanke jakautui kolmeen vaiheeseen, kolmelle eri alueelle ja kolmen eri kieli- ja kulttuurivähem- mistön pariin. Vuonna 2014-2015 tehtiin työtä Turunmaan alueella ruotsinkielisen kieliryhmän parissa ja vuonna 2015-2016 Itä- Suomessa venäjänkielisen vähemmistön parissa. Keväällä 2016 siirryttiin työskentelemään Vantaalle, kohderyhmänä somalitaustainen kieli- ja kulttuurivähem- mistö. Jokaisella alueella oli tarkoituksena suunnitella ja toteuttaa kyseisen kieli- ja kulttuurivä- hemmistön tarpeisiin soveltuva päihdekasvatusmalli. Koko hankkeen läpäiseväksi tavoitteeksi määriteltiin keskustelun herättäminen päihteistä alakoulusta yläkouluun siirtyvien nuorten ja näiden vanhempien välillä sekä toiminta- alueella yleisesti. Hankkeen etenemistä arvioitiin vertaisarviointipäivissä, joita toteutettiin kahdesti vuodessa. Ver- taisarviointipäiviin osallistuivat kaikki hankkeessa mukana olevat järjestöt. Vertaisarviointiin osaalistuivat sekä järjestöjen edustajista koottu ohjausryhmä, järjestöjen hanketyöntekijät sekä projektipäällikkö. Hankejärjestöt: EHYT ry, Koulutus Elämään Säätiö, Mannerheimin Lastensuojeluliitto, Music Against Drugs ry, Raittiuden Ystävät ry, Suomen Vanhempainliitto ja YMCA Finland.
Itsearviointiin+tai+ennalta+päätetyn+osa0alueen+arviointiin+liittyvä+ennakkotehtävä+ ARVIOITAVAOSA)ALUE: TAVOITELTAVATTULOKSET: 1. Onnistumisetjasaavutetuttulokset 2. Haasteetjaongelmat 3. Vahvuudetjahyvätkäytännöt 4. Ideattoiminnankehittämiseksi Vertaisarviointipäivässäpäätetytkehitysehdotuksetkehitysehdotuksettaulukkoon Pohdi,ovatko toimenpiteetolleet sellaisia,ettäniillä saadaanaikaan muutosta
* Yhteistyön*arviointiin*liittyvä*ennakkotehtävä* YHTEISTYÖN)TAVOITTEET:) ) ) (Voit)arvioida)mm.)yhteistyön)koordinointia,)osallistumisaktiivisuutta)ym.)) 1. Onnistumiset)ja)saavutetut)tulokset) 2. Haasteet)ja)ongelmat) 3. Vahvuudet)ja)hyvät)käytännöt) 4. Ideat)toiminnan)kehittämiseksi) Vertaisarviointipäivässä)päätetyt)kehitysehdotukset)kehitysehdotukset)taulukkoon) *
Toimintamallin arviointiin liittyvä ennakkotehtävä TOIMINTAMALLIN TARKOITUS JA TAVOITTEET: TOIMINTAMALLILLE ASETETUT KRITEERIT: ONNISTUMISEN KRITEERIT MIKÄ ON TOIMIVAA? MIKSI? 1.Malli on käyttökelpoinen arjessa 2.Malli on helposti levitettävissä 3. 4. 5. 6. MIKÄ EI TOIMI? MIKSI? Toimintamallia arvioidaan Sille ennalta asetettujen kriteereiden pohjalta KEHITYSEHDOTUKSET
Taulukko kehitysehdotusten pohdintaan ånni$vertaisarviointipäivä Kooste/KEHITYSEHDOTUKSISTA