Arviointi, mittarit Pori maakuntakirjastokokous 22.3.2011 Marjariitta Viiri / Pohjanmaan ELY-keskus
asialista Arviointi kehittämisvälineenä Arvioinnin trendejä Erilaisia arviointeja Itsearviointi, tilastot, peruspalvelujen arviointi Erilaisia mittareita Työkaluja maailmalta Tulevaisuuden haasteita ja eettisiä näkökohtia
Miksi arvioida? Kirjastojen on osattava osoittaa arvonsa muille ammattitaitoisesti ja keinoilla, joita muuallakin käytetään ARVIONTI ON OSA STRATEGISTA SUUNNITTELUA JA KEHITTÄMISTÄ, EI ERILLISTÄ TOIMINTAA JA TURHAA PUUHASTELUA Haetaan vahvuuksia ja parantamisalueita Jos ei itse arvioida, joku muu sen tekee
Laatu on johtamista! 4. Arviointitie don hyödyntäminen 1. strategia päivitys Palvelujen tuottavuus 1. Tehokkuus 2. Laatu 3. Vaikuttavuus Laadunhallnta EFQM, CAF yms. laatusuositukset 3. Toiminnan arviointi 2. Strategian toteuttaminen toiminta
Tavoitetila: Hyvät kirjastot Miten hyvä kirjasto meillä on? Laadukkuus Tehokkuus Taloudellisuus Kenen mielestä? Mitä hyvää se saa aikaan/tuottaa? Vaikutukset ja tulokset Arvo
Hyvään voi pyrkiä Arvioimalla entistä Kehittämällä entistä Estämällä epätoivottu kehitys Luomalla kuvaa halutusta/ visioimalla Todennetulla evidenssillä Laatimalla strategioita ja valitsemalla keinoja
Arvioimalla tehdään todennetun tiedon/aineiston pohjalta tiettyjä perusteita käyttäen päätelmiä toiminnan arvosta määritetään arvioitavan kohteen ansiot, arvo ja merkitys Arviointiin liitettävä myös tarpeitten ja tavoitteiden etukäteisarviointi
Arvioinnin trendejä maailmalta ylläpitäjien näkökulmat / vaateet määrällisen rinnalle laadullista käyttäjäkyselyt/tutkimukset vaikuttavuuden arviointi
Vaikuttavuus 1. Tavoitteiden tai odotusten toteutumisen aste Muutoksen aikaansaamista tai estämistä 2. Kykyä saada aikaan vaikutuksia, muutoksia esim. asiakkaiden toiminnassa Investointi tulevaisuuteen ei avaudu vuositason suoritteina
Erilaisia arviointeja ja arvioijia Itsearviointi (lakisääteinen velvoite) Asiakasarviointi / ei-käyttäjä arviointi Kuntalaisarviointi Vertaisarviointi Kansallinen arviointi Peruspalvelujen arviointi Kansainvälinen arviointi
Arvioinnin erilaisia tulokulmia ja työkaluja Ylläpitäjä Toiminta Asiakas/kuntalainen Palvelut Henkilökunta Tilastot Asiakaskyselyt Arvioinnit Ilmapiirikyselyt Laatusuositukset
Erilaisia mittareita Suoritusmittarit (output, tuotos, suoritus): mitä toimenpiteillä on saatu aikaan Esim resurssien käyttö, aineiston toimitusaika, aineiston saatavuus, aineiston kierto Panosmittarit (input, tulos) Esim. kokoelmien määrä, henkilökunnan määrä, budjettivarat
Erilaisia mittareita Vaikutusmittarit (impact, outcome) Miten kirjaston käyttäminen todellisuudessa vaikuttaa asiakkaaseen Kvantitatiiviset / kvalitatiiviset
Mittarin oltava Soveltuva Informatiivinen Pätevä Luotettava Vertailtava Käytännöllinen
Esimerkki Henkilöstön koulutus Mitä voidaan mitata? Koulutustuntien määrä / työntekijä Koulutuspäivien määrä / työntekijä (tunnit lasketaan päiviksi) Koulutusta saaneiden osuus koko henkilöstöstä Koulutustilaisuuksien määrä / työntekijä Koulutukseen käytettyjen tuntien osuus työtuntien kokonaismäärästä Henkilöstökoulutuksen kustannukset
Itsearviointi Kaiken kehittämisen pohjana (lain velvoite) Apuna Laatusuositus Kansallisen asiakaskyselyn tuki itsearvioinnille Itsearviointia yhteistyössä Parkki-malliin (vertaisarviointi), JASKA, Mikkelin asiakaslähtöisyys selvitykset
Kansallinen asiakaskysely Yleisten kirjastojen kansallinen käyttäjäkysely 2010
Laatujärjestelmät Tieteellisillä kirjastoilla yleisempiä, kehittäminen liittynyt yliopistojen auditointeihin Maakuntakirjastojen tilanne?
Peruspalvelujen arviointi Lääninhallitusten tekemät arvioinnit (jatkossa Aluehallintovirastot ja Elinkeino-, liikenne- ja ympäristökeskukset yhdessä) 2007 verkon kehitys ja palvelujen saatavuus 2008 ikääntyneiden palvelut (erillisselvitys) 2009 kirjastotilat 2010 maakuntakirjastotoiminta 2011 kokoelmat ja aineistonhankinta
LibQUAL Usa:lainen kirjastoille suunnattu asiakaskokemuksia kartoittava palvelu Yli 1 milj. asiakkaan kokemukset Kehittelyn pohjana ServQUAL Asiakkaan haluama palvelujen vähimmäistaso, toivottu taso ja saatu taso
Skottilainen malli
Tulevaisuuden haasteita Tilastotietokannan kehitys Kirjastojen omat kansallista tietokantaa täydentävät tilastot Laatusuositusten käyttöönotto Vaikuttavuusmittari? SoCap Tuottavuusmittari
Arvioinnin etiikasta Kuka haluaa tulla arvioiduksi? Palkitaanko niitä, joille paljon on jo annettu? Miten avoimesti tuloksista tiedotetaan? Miten säilytetään arvioitavien luottamus? Arvoina: totuudellisuus, oikeudenmukaisuus, tasa-arvo, vastuullisuus, rehellisyys ja suvaitsevaisuus Asioiden suhteuttaminen kulttuuriseen, taloudelliseen ja sosiaaliseen kontekstiin KIITOS!