Tilastolliset mittarit arvioinnin työvälineinä

Transkriptio

1 Tilastolliset mittarit arvioinnin työvälineinä Yhteistilastopäivä Helsinki Markku Laitinen Kansalliskirjasto

2 Taustaksi Jatkuva muutos Rakenteellinen kehittäminen Talouskehitys Kilpailu rajallisista resursseista, Valtion tuottavuusohjelma Organisaatio Asiakkaat Henkilöstö Aineistot

3 Taustaksi Kirjasto on peruspalvelu Vaikuttavuus Laajoja ja yleisiä yhteiskunnassa tapahtuvia muutoksia, jotka kuvaavat missä määrin organisaation vaikutukset ovat edistäneet sen erityisten ja yleisten tavoitteiden saavuttamista Vaikutus Epäsuorat tuotteet, tapahtumat tai muutokset seurausta suorista lopputuloksista ja aiemmista vaikutuksista Mutta: Jos emme tuota arvoa asiakkaillemme, emme voi olla peruspalvelukaan. (Ja arvo on myös kyettävä osoittamaan.)

4 Tilastoinnin säädökset EU:n säädökset Kansallinen lainsäädäntö Kansainväliset ISO-standardit COUNTER Kansalliset ohjeet

5 Tilastoinnin säädökset EU-tason lainsäädäntö Neuvoston asetus (EY) N:o 322/97 yhteisön tilastoista ajantasaista, luotettavaa, relevanttia tietoa vertailukelpoisuus jäsenvaltioiden kesken Euroopan parlamentin ja neuvoston päätös N:o 2367/2002/EY yhteisön tilasto-ohjelmasta vuosiksi

6 Tilastoinnin säädökset Kansallinen lainsäädäntö Laki viranomaisten toiminnan julkisuudesta (1999/621) 20 : Viranomaisen on edistettävä toimintansa avoimuutta ja tässä tarkoituksessa tarvittaessa laadittava oppaita, tilastoja ja muita julkaisuja sekä tietoaineistoja... Tilastolaki (2004/280) 11 : Tilastojen laatu ja saatavuus Tilastojen on oltava mahdollisimman luotettavia ja niiden on annettava oikea kuva Tietojen vertailukelpoisuuden varmistamiseksi ja hyväksikäytön tehostamiseksi tilastoja laadittaessa on mahdollisuuksien mukaan käytettävä yhdenmukaisia käsitteitä, määritelmiä ja luokituksia...

7 Voimassa olevat Tilastoinnin säädökset standardit ja ohjeet ISO 2789:2006(E): Information and documentation international library statistics ISO 11620:2008(E): Information and documentation - Library performance indicators ISO TR 28118:2008(E): Performance indicators for national libraries COUNTER (Counting Online Usage of Networked Electronic Resources) Valmisteilla ISO TR 11219: Qualitative conditions and basic statistics for library buildings (space, function and design) aloitettu 2008

8 Mitä arviointi on Prosessi, jossa tehdään todistusaineistoon (toiminta, tulokset, vaikuttavuus) pohjautuen ja tiettyjä perusteita käyttäen päätelmiä projektin/toiminnan arvosta määritetään evaluoitavan kohteen Ansiot Arvo Merkitys Arviointiin on syytä liittää myös tarpeitten ja tavoitteiden etukäteisarviointi Arviointia tehdään tulevaisuutta varten

9 Arvioinnin tarkoitus (Kirjastolaki 6 ) Parantaa kirjastoja tietopalvelujen saatavuutta Tukea niiden kehittämistä Seurataan yleisten kirjastojen kirjastoja tietopalvelujen toteutumista Seurataan palvelujen laatua ja taloudellisuutta Arvioinnin on tarkoitus auttaa kirjastoja palvelujensa kehittämisessä Tuotetaan tietoa tulevaisuuden toimenpiteiden, menettelytapojen ja ohjelmien suunnittelun ja kehittämisen pohjaksi

10 Arvioinnin laatukriteerit Arvioinnissa tulee noudattaa tiettyjä laatukriteerejä, joita ovat Käyttötarpeisiin vastaaminen Tarkoituksenmukaiset painotukset Tarkoituksenmukaiset aineistot Johtopäätösten luotettavuus Raportointi Rahoittajan, sidosryhmien vaateet, odotukset ja käyttötarpeet, kirjaston omat tarpeet

11 Ota tulevaisuus haltuun! Tietoa päätöksenteon pohjaksi Kirjaston johto Päättäjät Toiminnan suunnittelu, organisaation suorituskykyä tukevien tulevaisuuden tarpeiden tunnistaminen Seuranta Kriittisten osaamisalueiden priorisoiminen ja vahvistaminen Julkisen rahankäytön legitimointi Hyvä raportointitapa Tilasto on kirjaston peili Kaikki yllä oleva on toteutettava siten, että punaisena lankana on kirjaston vaikuttavuuden osoittaminen lisäarvoa asiakkaille

12 Mitä mittareilta vaaditaan? - 1 Mitkä indikaattorit kuvaavat parhaiten toiminnalle asetettuja tavoitteita? Otettava huomioon strategialinjaus: indikaattorien tulee myös mitata strategian toteutumista Voidaanko vaikuttavuudelle asettaa tavoite ja voidaanko vaikuttavuustavoite (saavuttaminen) ilmaista mitattavana tunnuslukuna? Pysyvät / vaihtuvat mittarit: Aikasarjat, laatumittarit jne. Yhteistyö kirjastojen ja rahoittavan tahon välillä indikaattoreiden valitsemisessa varmistaa oikeiden ja relevanttien asioiden mittaamisen Erilaisilla tiedon hyödyntäjillä erilaiset tiedon tarpeet Rahoittajat, sidosryhmät, henkilöstö, kirjasto

13 Mitä mittareilta vaaditaan? - 1 Mitkä indikaattorit kuvaavat parhaiten toiminnalle asetettuja tavoitteita? Otettava huomioon strategialinjaus: indikaattorien tulee myös mitata strategian toteutumista Voidaanko vaikuttavuudelle asettaa tavoite ja voidaanko vaikuttavuustavoite (saavuttaminen) ilmaista mitattavana tunnuslukuna? Pysyvät / vaihtuvat mittarit: Aikasarjat, laatumittarit jne. Yhteistyö kirjastojen ja rahoittavan tahon välillä indikaattoreiden valitsemisessa varmistaa oikeiden ja relevanttien asioiden mittaamisen Erilaisilla tiedon hyödyntäjillä erilaiset tiedon tarpeet Rahoittajat, sidosryhmät, henkilöstö, kirjasto

14 Mitä mittareilta vaaditaan? - 2 Lisää pohdittavaa: kuvaavatko mittarit toiminnan vaikuttavuutta? kirjaston vaikutus kehysorganisaation tulokseen, esim. yliopistoissa tutkinnot, tutkimus ==> korreloiko näissä erinomaisuus kirjastojen erinomaisuuteen (aineiston määrä ja laatu, ja sen käyttö)? kunnissa PISA-tutkimuksen tulokset ===> korreloivatko hyvät tulokset hyviin kirjastopalveluihin? kuvaavatko mittarit prosessin tehokkuutta kirjastojen kannalta? kuvaavatko mittarit toiminnan tuloksellisuutta (outcome)? onko meillä nyt turhia mittareita? huomioidaan kyselyt eli määrällinen + laadullinen arviointi

15 KITT ja ISO Yo Amk Erik Kaikki Yo Amk Erik Kaikki Lainat / kohdeväestö Kirjastokäynnit / kohdeväestö 2, ,5 1 0,5 Yo Amk Erik Kaikki Yo Amk Erik Kaikki Lainat/ painetut kokoelmat yhteensä Kirjasto toimintaympäristönä (** *) Kaavaa ei voitu suorittaa, koska jotakin tietoa ei ollut saatavilla **) Kirjaston luku- ja työskentelypaikat sekä työasemat / kohdeväestö (omat opiskelijat ja henkilökunta) (x 1000) Lähde:Tieteellisten kirjastojen yhteistilasto -

16 Mittarin tulee olla universaali (Hlökulut+Aineisto)/(Käynnit+Lainaus) 14,0 12,0 10,0 8,0 6,0 4,0 Yo Amk Erik Kaikki tiet. Kunnall 2,0 0, Lähteet: Suomen yleisten kirjastojen tilastot - Tieteellisten kirjastojen yhteistilasto -

17 (Henkilöstökulut + Kirjastoaineistokulut) / (Fyysiset käynnit + Kokonaislainaus) 2,50 2,00 1,50 1,00 0,50 0, suurinta 20 pienintä 40 kunnan ka Valtak. Ka Lähde: Suomen yleisten kirjastojen tilastot -

18 (Hlökulut+Aineisto)/(Käynnit+Lainaus) 5,0 4,0 3,0 2,0 Suuri kk Pieni kk 1,0 0, Lähde:Tieteellisten kirjastojen yhteistilasto -

19 Painettu vs. e-aineisto rahoituslähteittäin a) painettu aineisto b) elektroninen aineisto *** Painettu E-aineisto Aineistokulut / Kirjaston budjetti - Yo Aineistokulut / Kaikki rahoituslähteet - Yo (* a) painettu aineisto Painettu b) elektroninen aineisto *** E-aineisto Aineistokulut / Kirjaston budjetti - Amk Aineistokulut / Kaikki rahoituslähteet - Amk (* *) Yhteisprojektien rahoitus ei mukana Lähde:Tieteellisten kirjastojen yhteistilasto -

20 Painettu vs. e-aineisto rahoituslähteittäin a) painettu aineisto b) elektroninen aineisto *** Painettu E-aineisto Aineistokulut / Kirjaston budjetti - Erik Aineistokulut / Kaikki rahoituslähteet - Erik (* *) Yhteisprojektien rahoitus ei mukana Lähde:Tieteellisten kirjastojen yhteistilasto -

21 Mitä tilastoilta vaaditaan, jotta ne kelpaavat arviointiin? Tilastot on oltava laadittu oikein. Yhdenmukaiset menettelytavat: vertailu Kirjaston johdon sitoutuminen!

22 Mikä Sinun kirjastosi on? Tietokeskus Ristoräppääjälainasto Kirjastosi on sitä, miltä se näyttää

23 Hyvä raportointitapa Välineen käyttäjän vastuu Rehellisyys KISS-periaate: Keep it Smart and Simple "everything should be made as simple as possible, but no simpler (Albert Einstein) Älä selitä, vaan kehitä! (Ja kerro miten...)

24 Hyvä raportointitapa Hyvä tilastoraportti: Rehellinen Selkeä ja johdonmukainen rakenne Selkeä esitystapa Kohderyhmän kannalta tarkoituksenmukainen kieli, rakenne ja tyyli (Puhutaan kieltä, jota vastaanottaja ymmärtää) Yhteenvedot ja tiivistelmät Luettavuus (selkeä taitto, kuviot, painoasu, värit) Raportoi myös kritiikin kohteet ja epäonnistumiset Hienovaraisuus ja tilanneherkkyys Tilasto ei valehtele, mutta sen esittäjä voi niin tehdä tosin joskus myös tahattomasti ja tiedostamatta (=taitamattomuuttaan)

25 Pohdintaa 1 Miten tieteelliset kirjastot edistävät opiskelijoiden ja tutkijoiden saavutuksia ja urakehitystä? Miten tieteelliset kirjastot edistävät esim. informaatiolukutaidon kehittymistä? Elinikäinen oppiminen => Miten todistetaan?

26 Pohdintaa 2 Mikä on kirjaston tuote? Avaintuote? Ei yksin laina Tilojen käyttö? Informaatiolukutaidon kehittämispalvelu! Mennään peliin mukaan ja osoitetaan, että kirjastolla on osuutensa tutkimuksen tuloksessa kirjaston resurssipula: kirjaston asiakkaat eivät tee niin hyvää tutkimusta kuin paremmin resursoitaessa voisivat

27 Pohdintaa 3 Mikä on kirjaston tuote? (jatkoa...) Tuoteryhmät Selkeät tuloskriteerit Benchmarkkauksen vaatimukset Panokset Panos/tuotos Asiakaskyselyt Nykyisissä tunnusluvuissa kehittämisen varaa

28 Pohdintaa 4 Kuntapuolella Toimialojen yhteistyön kautta kiinni vaikuttavuuteen Kohderyhmiä: koulutoimi, päiväkodit, sosiaalitoimi, terveystoimi, vanhusten palvelut Kuntalaiset Palvelualueita: Elinikäinen oppiminen, terveyden edistäminen, pedagogia ja kasvatus, syrjäytymisen ehkäisy, sosiaali- ja terveysalan tukeminen, kunnan vetovoimaisuuden lisääminen Toimialalähtöinen kirjastopalvelujen markkinointi Tiedottamisen tärkeys lisääntyy Asiantuntijatehtäviä Mallia voinee kehittää meilläkin?

29 Pohdintaa 5 Useita tiedonlähteitä Kehityksen trendit Tunnusluvut Grafiikka Tiedon jalostus

30 Objektiiv. data - Tilastot - Tunnusluvut - Lokit Resurssit (Input) - Rahoitus - Henkilökunta (htv) Toimintapolitiikka - Tavoitteet, päämäärät Subjektiiv. data - Kyselyt - Kirjaston käyttö ja asiakkaiden tietokäyttäytyminen Palvelut Tulokset - Vaikuttavuus Vaikuttavuus Benchmarking Prosessit - Laadunarviointi

31 Tulevaisuus Oikea tieto Koulutus Keskeiset indikaattorit Johtaminen Raportointi Vaikuttavuuden arviointiryhmä * Kirjastonjohtaja Jarmo Saarti, Kuopion yliopisto, pj. * Kirjastonjohtaja Marja Anttonen, Turun ammattikorkeakoulu * Ylikirjastonhoitaja Päivi Kytömäki, Oulun yliopisto * Suunnittelija Vappu Lappalainen, Tilastokeskus * Kirjastotoimenjohtaja Marja Malminen, Lahden kaupunginkirjasto * Suunnittelija Markku Laitinen, Kansalliskirjasto * Suunnittelija Aki Kangas, Kansalliskirjasto Kirjastojen vaikuttavuus Olemassaolon oikeutus

32 IFLA: Statistics and Evaluation Section Tehtävä Edistää kirjastojen tilastojen keruuta ja niiden toimintaa kuvaavien indikaattorien kehittämistä ja käyttöä Tavoitteet Edistää kirjastotoiminnan vaikuttavuuden arviointia Edistää kirjaston johtamista ja toimintaa Osoittaa kirjaston arvo käyttäjille, kehysorganisaatioille ja rahoittajille

33 Kirjallisuutta Ambroži, M. (2003). A few countries measure impact and outcomes most would like to measure at least something. Performance Measurement and Metrics 4(2): COUNTER: Heikkilä, E.-L. & Saraste, M. (2008): Kirjastojen arviointiyhteistyö Pohjois-Pohjanmaalla. Raportti yhteistyöstä ja käytetyistä arviointimenetelmistä. Oulun kaupunginkirjaston-maakuntakirjaston julkaisuja s. ISO 2789:2006(E) - Information and documentation - International library statistics. 4th ed International standard. ISO. 61 s. ISO 11620:2008(E) - Information and documentation - Performance indicators for electronic library services. International standard. 2nd ed ISO. 86 s. Kovanen, P. (2008): Kirjastopalvelujen vaikutus näkyy paremmin tuotteistettuna. Kirjastolehti 5/2008: Kuitunen, Soile & Hyytinen, Kirsi (2004): Julkisten tutkimuslaitosten vaikutusten arviointi. Käytäntöjä, kokemuksia ja haasteita. VTT Teknologian tutkimus. VTT Tiedotteita VTT Espoo. 55 s. Laitinen, M. (2008). Towards open, multidimensional measurement of library services - case: Finland. World Library and Information Congress: 74th Ifla General Conference and Council August 2008, Québec, Canada. Laitinen, M. (toim): KITT-käyttäjän käsikirja. Suomen tieteellisten kirjastojen yhteistilasto. Tilastointiopas Kansalliskirjasto. Helsinki. 111 s. Laitinen, M. & Vakkari, M. (2006): Asiakastyytyväisyyden ja tilastojen yhdistelmällä syvemmälle kirjastojen arvioinnissa - Signum 5 / 2006:

34 Kirjallisuutta Laitinen, M. & Vakkari, M. (2008): Combining library statistics and customer perceptions in measuring the impact of input in library services. Under construction. Lääninhallitusten peruspalvelujen arviointityöryhmä (2008): Lääninhallitusten keskeiset arviot peruspalvelujen tilasta Lääninhallitusten suorittama toimialansa peruspalveluiden arviointi. Valtiovarainministeriön julkaisuja 23/2008. Valtiovarainministeriö. Helsinki. 205 s. MLA (Museums, Libraries and Archives Council): Public Library Impact Measures. Mäkinen, O. (2008): Kirjastopalvelujen vaikutus näkyy paremmin tuotteistettuna. Kirjastolehti 5/2008: Opetusministeriö, Viestintäkulttuuriyksikkö. Suomen yleisten kirjastojen tilastot. Parantainen, J. (2007): Sissimarkkinointi. Karisto. Hämeenlinna. 318 s. Parantainen, J. (2007): Tuotteistaminen: rakenna palvelusta tuote 10 päivässä. 2.p. Talentum. Helsinki. 290 s. Public Library Quality Improvement Matrix (PLQIM) Reyes Pacios, A. (2008): An approach to evaluating Latin American university libraries. Performance Measurement and Metrics 9(2): Toim. Rouvari, A., Laitinen, M., Luokkanen, S., Saarti, J. & Tyrväinen, J. (2007): Laatu ratkaisee: laatutyön opas korkeakoulukirjastoille. 93 s. Suomen Tieteellinen Kirjastoseura, Helsinki. Rouvari, A., Pennanen, J. & Laitinen, M. (2005): Työtä ja tuloksia kirjastopalveluiden vaikuttavuuden arviointi. Signum 1 / 2005: Sipilä, Jorma (1999): Asiantuntijapalvelujen tuotteistaminen. 2 p. WSOY. Helsinki. 151 s.

35 Kiitos!