Leader-arvioinnin sparrauspäivä. Sari Rannanpää Helsinki

Transkriptio

1 Leader-arvioinnin sparrauspäivä Sari Rannanpää Helsinki

2 Missämennään Leader-arvioinnissa? Kysely Leader-ryhmille(24 vastausta)

3 Missä vaiheessa Leader-arvioinnissa mennään? Suunnittelu (tarkoitus, aiheet, aikataulu, resurssit) 29,2 % Valmistelu (kysymykset, tietolähteet, tarjouskilpailu) 8,3 % Toteutus (tiedonkeruu, analyysi, raportointi) 16,7 % Viestintä (tiedotus, tulosten käyttö) 8,3 % Arviointityötä ei ole aloitettu 45,8 % 0,0 % 20,0 % 40,0 % 60,0 % 80,0 % 100,0 % Kaikki vastaajat (KA:3.31, Hajonta:1.68) (Vastauksia:24)

4 MitenLeader-arviointitehtiin/tehdään? Ulkoisena arviointina konsulttisopimuksella Ulkoisena arviointina oppilaitosyhteistyönä Vertaisarviointina Itsearviointina ulkoisen sparraajan kanssa Itsearviointina ilman sparraajaa Ei vielä päätetty Muu 17,4 % 21,7 % 17,4 % 17,4 % 17,4 % 30,4 % 13,0 % 0,0 % 20,0 % 40,0 % 60,0 % 80,0 % 100,0 % Kaikki vastaajat (KA:4.03, Hajonta:1.96) (Vastauksia:23)

5 Leader-ryhmätarvitseelisätietoa Arvioinnin aiheiden valinta ja rajaus Resurssien suunnittelu (euro, htv) Aikataulun suunnittelu Ohjausryhmän valinta ja aktivointi Arviointikysymysten laatiminen Tarjouspyynnön laatiminen ja kilpailutus Tiedonkeruu (kysely, haastattelu, dokumentit, Analyysimenetelmät (laadulliset, kvantitatiiviset Viestintä arvioinnin tuloksista Tulosten käyttö 16,7 % 12,5 % 37,5 % 29,2 % 37,5 % 45,8 % 70,8 % 66,7 % 62,5 % 58,3 % 0,0 % 20,0 % 40,0 % 60,0 % 80,0 % 100,0 % Kaikki vastaajat (KA:5.74, Hajonta:3.11) (Vastauksia:24)

6 Odotuksetsparrauspäivältä Arviointiprosessi Miten kysyä oikeita kysymyksiä? Miten onnistua hankinnassa Miten oppilaitosyhteistyön saa toimimaan? Miten kilpailutuksella saa kehittävän arvioinnin? Käytännön tieto Käytännön välineet Arvioinnin suositukset konkretiaksi Muiden ryhmien hyvät käytännöt Arviointien vertailtavuus

7 ARVIOINTIPROSESSI

8 Harjoitus 1.1 arvioinnin suunnittelu Aika: 5 min Keskustelkaa pareittain Kirjatkaa ajatukset MIKSI ARVIOIDA LEADER-RYHMÄN TOIMINTAA? Koodi

9 Arviointiprosessi tilaajan näkökulma Lähde: European Evaluation Helpdesk for Rural Development, 2015

10 Arviointiprosessi arvioitsijan näkökulma

11 Arviointiprosessin kysymykset SUUNNITTELU Miksi? Mitä? Milloin? Kuka? Paljonko ( /htv)? Käyttö? VALMISTELU Mitä kysytään? Miten? Mistä tietoa? Miten tieto kerätään? Miltä hyvä näyttää? Miten hyvä toteutus? Mitkä tuotokset? TOTEUTUS Tiedonkeruu Analyysi Raportointi LEVITYS Viestintä Kuka? Mitä? Kenelle? Miten? Milloin? Tulosten ja suositusten käyttö Miten varmistetaan?

12 TARPEET Strategia Hankesuunnitelma Toimenpidelogiikka Itsearviointiprosessi 3 x suunnittelu Hankkeen kesto Vuosi Yksittäinen itsearviointi Suunnittelu Valmistelu Toteutus Levitys Tavoitteet & tarkoitus Aiheet Aikataulu Resurssit Tulosten käytön suunnittelu Arviointikysymykset Lähestymistapa & metodit Tietolähteiden kartoitus Tiedonkeruun valmistelu Tiedonkeruu Analyysi Raportointi Viestintä Jälkitoimet ja suositusten toimeenpano

13 TARPEET Strategia Hankesuunnitelma Toimenpidelogiikka Itsearviointiprosessi 3 x suunnittelu Hankkeen kesto Vuosi Yksittäinen itsearviointi Suunnittelu Valmistelu Toteutus Levitys Tavoitteet & tarkoitus Aiheet Aikataulu Resurssit Tulosten käytön suunnittelu Arviointikysymykset Lähestymistapa & metodit Tietolähteiden kartoitus Tiedonkeruun valmistelu Tiedonkeruu Analyysi Raportointi Viestintä Jälkitoimet ja suositusten toimeenpano

14 ARVIOINNIN SUUNNITTELU

15 Vuosikello Arvioinnin aikataulu: ( milloin? ) Joulukuu Tulostyöpaja Loppuraportti Viestintä Ohryn kokous Loppuraportin luonnos Vuosiraportti Syyskuu Maaliskuu Arvioinnin suunnittelu Kick-off& Ohryn kokous Arvioinnin valmistelu Arvioitsijan valinta Kesäkuu Kilpailutus

16 Arvioinninaikataulu( milloin? ) TEHTÄVÄ KESTO DEADLINE Loppuraportti Raportin viimeistely 2 viikkoa Ohjausryhmän kommentit 1 viikko Raporttiluonnos ohrylle Arvioinnin toteutus 10 viikkoa Aloituspalaveri Arvioitsijan valinta 2 viikkoa Kilpailutus päättyy Kilpailutus alkaa

17 Arvioinninviestinnänsuunnittelu MITÄ? KENELLE? MITEN? MILLOIN? KUKA?

18 Harjoitus 1.2 arvioinnin suunnittelu Aika: 10 min Miettikää ryhmässä Kirjatkaa ajatukset post-it -lapuille MITÄ ARVIOIDAAN? Mistä halutaan tietoa? Mitä Leader-ryhmän olisi hyvä arvioida? Yhteinen koonti

19 ARVIOINNIN VALMISTELU

20 Arviointikysymykset Ohjaavat arviointia Liittyvät arviointiaiheisiin ja linkittävät saavutukset tavoitteisiin Usein missä määrin kysymyksiä Ei kyllä/ei kysymyksiä Vain yksi asia yhteen kysymykseen Tarkista arviointikysymysten yksityiskohtataso ja määrä Alakysymyksiä voi tehdä

21 Arviointikriteerit Arviointikysymys Arviointikriteeri Mittari Yhdistävät saavutukset tavoitteisiin Missä määrin Leaderryhmän toiminta on tukenut kylien kehittymistä? Tarkentavat arviointikysymystä ja määrittävät onnistumisen Mitä tarkoitetaan kylien kehittymisellä? - Enemmän yhteistyötä - Enemmän vapaa-ajan mahdollisuuksia - Parempi infra - Tulonlähteitä kylälle Mittaavat etenemistä - Kylätapaamisten määrä - % kylistä, joissa kyläsuunnitelma tehty - Kunnostettujen kylätalojen määrä - Tuetut toimet kylätalolla - Investoinnit kylien infraan - Hankkeet / yritystuki kylille

22 Harjoitus 2.1 arvioinnin valmistelu Aika: 30 min AIHE Miettikää ryhmässä ARVIOINTIKYSYMYS Kirjatkaa fläppipaperille Esittely toisille ARVIOINTI- KRITEERIT MITTARIT

23 Tarjouspyynnönrunko MIKSI? MITÄ? Konteksti Laajuus Arviointitehtävät Arvioinnin tavoitteet MITEN? MILLOIN? Arviointimenetelmät Tietolähteet Ajoitus ja raportointi? MITEN TARJOTAAN? MITEN VALITAAN? Työn organisointi Tarjouksen vaatimukset Tarjouskilpailun kuvaus

24 Harjoitus 2.2 tarjousten vertailu Aika: 15 min 4 esimerkkiä keskustelkaa ryhmässä Kirjatkaa ajatukset papereille MITEN VERTAILLAAN? Eri pisteytysmallien edut/haitat? Eri painotusten vaikutukset? Yhteinen koonti

25 Arvioinnintiedonkeruu Dokumentit, indikaattorit(hyrrä, omat) Kysely Sähköpostilla/tilaisuudessa/postitse Haastattelu Lomakehaastattelu(kyllä/ei, skaalat, muistuttaa kyselyä) Teemahaastattelu Fokusryhmähaastattelu Työpaja Havainnointi

26 Arvioinninanalyysimenetelmät Lähde: Jyväskylän yliopisto

27 Harjoitus 2.3 arvioinnin suunnittelu Aika: 15 min Rakentakaa saamistanne arviointielementeistä arviointi aikajanalle SUUNNITELKAA ARVIOINTI Budjetti max Milloin tehdään mitä? Yhteinen koonti

28 Oli ilo! MDIfriends Aluekehittämisen konsulttitoimisto MDI

29 Toimenpidelogiikka Tarpeet Vaikutus toimintaalueella Politiikkatavoitteet Toiminnan tavoitteet Mitä tehdään? Yleistavoitteet Erityistavoitteet Toiminnalliset tavoitteet v a i k u t t a v u u s t e h o k k u u s Vaikutukset Tulokset Tuotokset Vaikutus kohderyhmään tapahtumat, osallistujat Panokset ( ) Toiminta (tp, hankkeet)