Leonardo da Vinci Hankkeen laadunhallinta & arviointi Innovatiivisuus ei auta, jos hanketyön tuloksia ei oteta käyttöön Kv-toiminta on keino koulutuksen ja sen laadun kehittämiseen Miten varmistetaan hankkeen mahdollisimman hyvä vaikuttavuus?
Hankkeen päätoiminnot laadukkaasti Jokaisen päätoiminnon osalta: suunnittelu, toteutus, arviointi, käytäntöjen parantaminen Päätoiminto = työpaketti, jonka sisällä Suunnittelu: selkeät tavoitteet, työnjako, työtavoista sopiminen, aikataulutus. Pohjana hakemus, siihen tarkennuksia? Toteutus: tehdään sovittua/hankesuunnitelman mukaista työtä Arviointi: työpaketin tavoitteiden toteutumisen ja laadun arviointi, esim. työn etenemisen seuranta, rahojen käytön seuranta, aikataulun seuranta, työpaketin tulosten laadun ja käytettävyyden arviointi, yhteistyön sujuvuuden arviointi, tulosten levittämiskäytäntöjen osuvuuden arviointi Käytäntöjen parantaminen: esim. tulosten käytettävyyden parantaminen, hankkeen johtoryhmän päätökset hankkeen suuntaamisesta uudella tavalla, oman organisaation työprosessien hiominen jne. Arvioinnin rooli hankkeessa Tukee hankkeen toimintaa, johtamista ja tavoitteiden saavuttamista Tuottaa aineistoa päätöksentekoon Parantaa tulosten ja tuotteiden laatua Mahdollistaa keskustelun hankkeesta ja toiminnoista partneriryhmässä Tuo esille vahvuudet ja kehittämiskohteet Tuottaa tietoa hankkeen vaikuttavuudesta
Arviointia tulisi tehdä koko hankkeen elinkaaren ajan (aikataulutus!) hankkeen lopussa toteutettu arviointi tuottaa tietoa, mutta sitä ei ehditä hyödyntää osana hankkeen toimintaa ja tuotteiden kehittämistä Arviointisuunnitelma Määritelty alustavasti hakemuksessa Arviointi suhteessa hankkeen tavoitteisiin Resurssit Mitä arvioidaan? Määriteltävä arvioinnin kohteet kaikkea ei voi eikä kannata arvioida Prosessien & tulosten/tuotteiden arviointi Esimerkiksi: Projektin toiminnot, työsuunnitelman eteneminen Kokoukset Levitys Tuotteet Projektin johtaminen Partneriyhteistyö, yhteydenpito Vaikuttavuus! Miksi ko. arviointikohteet valittu?
Kuka ja miten? Kuka osallistuu arviointiin? Sisäinen arviointi ja/tai ulkoinen arviointi? Loppukäyttäjät, sidosryhmät jne? Arviointimenetelmät Millä tavalla arviointitietoa kerätään? Lomakkeet, haastattelut, havainnointi, reflektointi jne jne? Millaista tietoa kerätään (laadullinen, määrällinen)? Arviointitiedon hyödyntäminen? Miten kerättyä tietoa hyödynnetään osana kehittämistyötä ja hankkeen toimintaa? Miten arviointitieto käsitellään? Arviointitiedon saatavuus partnereille, loppukäyttäjille, omalle organisaatiolle jne. Tiedon hyödyntäminen myös levityksessä ja tulosten markkinoinnissa?
Esimerkki 1 Internal evaluation plan. Assessment and feedback methods are f. ex.: survey, observation, reflection Internal evaluation: supporting the development work done during the project. Work method is peer assessment (review). WPs include process-based assessment (work tasks, achievements, quality) Impact: qualitative and quantitative methods Assessment results: available to all on wiki spaces. Development groups: handle the results and experiences gathered from testing and makes suggestions on development areas Esimerkki 2 Monitoring and Evaluation Plan. Aim to determine whether the project is proceeding as planned, it is meeting its objectives and meeting the timeline. Tool: Quality Assurance Manual. Process Evaluation (internal evaluation): to assess initial and ongoing project activities and improve the process (6 milestones). Evaluation aspects: project management and structure, initial situation, products, working methods, feedback at the development stage, testing of the products. Peer evaluation will be used to monitor and assess project progress. Outcome evaluation: external evaluation at interim and final stages of the project
Pohdintaan Mitkä ovat arvioinnin tavoitteet? Milloin arvioidaan? Mitä arvioidaan? Millaisia menetelmiä käytetään? Kuka vastaa ja osallistuu arviointiin? Miten arvioinnin tuloksia käsitellään ja hyödynnetään? Esimerkkejä työkaluista ja menetelmistä Laatukäsikirja Itsearvioinnin toteuttaminen Vertaisarvioinnin toteuttaminen Raportoinnin työkalut Johtamisen seurantajärjestelmät Testauksen toteuttaminen Palautteen kerääminen, analysointi ja tuloksista tiedottaminen sekä käyttöönotto
Tulosten laadun ja käytettävyyden arviointi Tarvitaan testausta käyttäjillä Mihin testaus tarkalleen kohdistetaan? Kuinka usein testataan? Miten ja kuka toteuttaa testauksen? Kenellä paras asiantuntemus? Kollegat? Kaikki partnerit omalta osaltaan? Miten palaute kerätään ja käsitellään? Vertaisarviointi LdV-hankkeissa (1) Ulkoisen arvioinnin muoto, osa hankkeen laadunhallintaa Tukee hankkeiden vaikuttavuutta ja tulosten käytettävyyttä pitkällä aikavälillä ( sustainalibity ) CIMO on kehittänyt ja luonut työkalut yhdessä OPH:n kanssa CIMO järjestää koulutusta Ensimmäiset TOI-hankkeet vertaisarvioivat marraskuussa 2010
Vertaisarviointi LdV-hankkeissa (2) Vertaisarvioijat ovat mukaan kutsuttuja, oppilaitoksen ulkopuolisia henkilöitä työskentelevät vastaavassa ympäristössä -> TOI-hankkeen vetäjä ovat arvioitavan aihepiirin asiantuntijoita ja ammattilaisia ovat riippumattomia arvioivat vastaavalla organisaatiotasolla olevien henkilöiden toimintaa vierailevat kohdeoppilaitoksessa sitä arvioidessaan Vertaisarvioinnin vähimmäisvaatimuksena että Käy läpi koulutuksen Tekee itsearvioinnin jonka pohjalta vertaisarviointi toteutetaan Mitä etuja vertaisarvioinnista? Ulkopuolinen näkemys toiminnasta: tuo esille omat vahvuudet, hyvät käytännöt, kehittämiskohteet ja heikkoudet Rakentava ja kriittinen palaute kollegoilta Mahdollisuus saada neuvoja ja kuulla vertaisarvioijien hyvistä käytännöistä Mahdollisuus oppia yhdessä vertaisarvioijien kanssa Lisää sidosryhmien vastuunottoa Verkostoituminen ja yhteistyö Suhteellisen edullinen tapa saada ulkoinen arviointiraportti hankkeen laadusta
Miten vertaisarviointi etenee? CIMON järjestämä koulutus 1,5 päivää Valmentaa käyttämään arviointimenetelmää, valmiit työkalut Tarjotaan TOI- ja mahdollisesti DOI -hankkeille Koulutuksen käyneet hankkeet sopivat keskinäisestä vertaisarvioinnista Sovitaan kulujen korvaamisesta Sovitaan aikataulusta Miten vertaisarviointi etenee? Arvioinnin tilaava hanke Kokoaa sisäisen arviointiryhmän joka tekee hyvissä ajoin itsearvioinnin (raportti toimitetaan vertaisarvioijille) laatii ohjelman (1,5-2 päivää) ja kokoaa vertaisarviointiryhmän (4 hlöä) Vastaanottaa ryhmän ja huolehtii käytännön järjestelyistä Vastaanottaa palautteen ja varmistaa että sen pohjalta kehitetään toimintaa
Miten vertaisarviointi etenee? Arviointiryhmä Tutustuu huolellisesti hankkeen toimittamaan materiaaliin (hakemus tai sen osia, itsearviointi, ym.) Tapaa edeltävänä iltana ja sopii haastattelujen sisällöstä ja toteuttamisesta Tekee haastattelut mkl. Sidosryhmien edustajat, ja käy organisaation tiloissa tutustumassa Laatii raportin käynnin päätteeksi sekä antaa siitä suullisen palautteen paikanpäällä Linkkejä Eurooppalaisen vertaisarvioinnin opas http://www.peer-review-education.net/ Survival Kit Managing Multilateral Projects in the Lifelong Learning Programme www.european-project-management.eu UK:n toimiston opas Understanding Achievements An Evaluation Handbook for Everyone Involved in the LLP programme http://www.leonardo.org.uk/page.asp?section=00010001005800050003&s ectiontitle=publications Hollannin toimiston Evaluation Strategies http://www.leonardodavinci.nl/en/publications/2647/publications.html