Arviointia pienillä resursseilla Eli miten pienillä henkilö- ja taloudellisilla resursseilla on mahdollista tehdä laadukasta ja tuloksellista arviointia? Verkostotapaaminen 5.11.2015 Mervi Aalto-Kallion pohdintoja höystettynä Niina Haaken ajatuksilla
Sisällöt Kun tulokulmana on arviointi: 1. Mikä riittää ja on kuitenkin tehokasta? 2. Miten varmistaa silti laatu? 3. Mistä resurssit? Kuinka budjetoin ajan ja rahan? CASE: Pienen Luustoliiton erilaisia ratkaisuja
Ehdotus, miten toimimme Pohjustus Case järjestöltä Jatkojalostus yhdessä Lopputulos Huoneentaulut SOSTEblogi
ja mihin pyrimme? Puutepuheesta ratkaisuihin Yksittäisistä asioista kokonaisuuksien hallintaan Yksin pähkäämisestä parviälyyn
1.Mikä riittää ja on kuitenkin tehokasta?
Kuka määrittelee, Rahoittajat mikä on riittävää Jäsenet, kohderyhmä Esimies arviointia? - tarvelähtöisyys - kompromissit Sinä itse (yhdessä työparisi kanssa) Kuka määrittelee, mikä on riittävää arviointia? Sidosryhmät Tiimi tai organisaatio Hankkeen ohjausryhmä
Mitä on tehokas arviointi? Vie ajallisesti vähän aikaa? Saa pienellä vaivalla paljon tietoa? Saa olennaisen tiedon? Vai: on suunniteltu hyvin, rytmitetty sopivasti eli toteutettu niin, että saadaan kelvollista tietoa oikealla hetkellä?
Mistä lähestymistavoista tehokkuutta on tarpeen tarkastella? Prosessien arvioinnin Vaikutusten arvioinnin Vaikuttavuuden arvioinnin Tiivistä: key points, kuvat, määrä vs. laatu, esitystapa, Huom! kenelle tieto on Jos vaikutusten saatikka vaikuttavuuden arviointiin ryhdytään, onko pohdinta tehokkuudesta millään tavalla olennaista?
2. Miten varmistaa silti laatu?
Miten arvioinnin laatua tarkastellaan? Mitä on laatu? Miten kuka sen varmistaa? Näkökulmia: A. Arviointitoiminnan kohteiden osallistaminen ja tiedon hyöty osallisille(fetterman) D. Arvioinnin totuudellisuus (Scriven) B. Arvioinnin tuotosten hyödyntäminen (Patton) C. Arvioinnin kohteen teoriasta johdettu mallintaminen ja sen haltuunotto (Chen) ks. mm. Virtanen, P. (2007), 209-229
Laadun mittapuussa kriittisessä tarkastelussa Arviointiprosessi Tarkastelun kohteena: prosessin avoimuus, arvioinnin tekijän, tilaajan ja kohteiden välinen vuorovaikutus, arvioinnin tuottamien tietojen hyödyntäminen arviointiprosessin aikana Arviointiraportti Tarkastelun kohteena: tulosten loogisuus, taulukoiden ja kuvioiden tarkoituksenmukainen käyttö, arvioinnin tekijän johtopäätösten ja kehittämissuositusten konkreettisuus ja hyödynnettävyys ks. mm. Virtanen, P. (2007), 209-229
Laatu määrittyy näkökulman mukaan seur. asioiden kautta voi tarkastella myös resursseja ja tehokkuutta Kvantitatiivinen tieto Kokonaisvaltainen ja moninäkökulmainen tieto Ulkopuolinen arvioija, tilataan arviointi Arviointitulosten käsittely sidosryhmien ym. kanssa Vertailukelpoista arviointitietoa Kvalitatiivinen kuvaus Erityinen mittaus muutamasta asiasta Itsearviointi Arviointitulosten käsittely sisäisesti Arviointitieto vain itselle käyttöön
3. Mistä resurssit? Kuinka budjetoin ajan ja rahan?
Kuten perusremontissa, tuplaa kulut ja triplaa aika.
Mitä ovat resurssit? Mitä ovat resurssit?
Mitä ovat resurssit? Missä osaamista? Osaaminen Kenellä tutulla osaamista? Aika Jaettu arviointivastuu vrt. jaettu kehittämisvastuu Arvioinnin suhde kokonaisuuteen Henkilö Olemassa olevien hallintorakenteiden hyödyntäminen Benchmarking Vaihtokauppa Mitä ovat resurssit? Onko varaa ostaa? Vertaisuus Verkostot Raha Voiko ulkoistaa: mikä kannattaisi? Muiden kanavien hyödyntäminen (säpo, facebook) Välineet Ei väline edellä Eri tekniikat ja metodit Uudet rohkeat kokeilut
Arvioinnin ajan käytön piirakkani: suhteuttaminen ja rytmittäminen Aineistonkeruu ja analysointi Arvioinnin suunnittelu ja käynnistys Arvioinnin tarpeen kartoitus Arviointitiedon hyödyntäminen Tulosten, johtopäätösten Ja kehittämissuositusten raportointi Arviointitehtävän muotoilu Arviointikriteereiden rakentaminen Minkä kokoisia slicet ovat? Miten tämä on hallinnassani? Saako tämän koneiston pyörimään käsissäni? ks. mm. Virtanen, P. (2007), 143-144
Ajanhallinnasta arvioinnilleko tilaa? Tietotyöläinen vilkaisee työpäivän aikana sähköpostiaan 50-100 kertaa ja vaihtaa tehtävää kolmen minuutin välein. Tutkimusten mukaan ajattelemme n. 60 000 ajatusta joka päivä, ajatukset eivät kuitenkaan uusiudu, vaan 90% ajatuksistamme ovat tänään samoja kuin eilen. Vinkkejä löytyy Esim. Tuominen & Pohjakallio; Työkirja
Rahan ja ajankäytön arviointi Arvioi kriittisesti: Priorisointi, jos hukkumisriski Rahoituksen jatkuvuus vaakalaudalla Mikä riittää: numeerinen seurantaluonteinen tieto vs. mittava arvioinnin toteutus Yleinen vs. erityinen toiminta Kuinka valmista pitää saada? Levittäminen ja juurruttaminen vs. raportointi Twitteröi, keskustele, luo olemassaoloa.
Teemat 1. Mikä riittää ja on kuitenkin tehokasta? 2. Miten varmistaa silti laatu? 3. Mistä resurssit? Kuinka budjetoin ajan ja rahan?
Kiitos! Kompassi jatkaa kulkuaan! Kuvat: https://pixabay.com/en/, Ilmainen kuvapankki