Tilastolliset mittarit arvioinnin työvälineinä

Tilastolliset mittarit arvioinnin työvälineinä Yhteistilastopäivä Helsinki 1.12.2008 Markku Laitinen Kansalliskirjasto (markku.laitinen@helsinki.fi)

Taustaksi Jatkuva muutos Rakenteellinen kehittäminen Talouskehitys Kilpailu rajallisista resursseista, Valtion tuottavuusohjelma Organisaatio Asiakkaat Henkilöstö Aineistot

Taustaksi Kirjasto on peruspalvelu Vaikuttavuus Laajoja ja yleisiä yhteiskunnassa tapahtuvia muutoksia, jotka kuvaavat missä määrin organisaation vaikutukset ovat edistäneet sen erityisten ja yleisten tavoitteiden saavuttamista Vaikutus Epäsuorat tuotteet, tapahtumat tai muutokset seurausta suorista lopputuloksista ja aiemmista vaikutuksista Mutta: Jos emme tuota arvoa asiakkaillemme, emme voi olla peruspalvelukaan. (Ja arvo on myös kyettävä osoittamaan.)

Tilastoinnin säädökset EU:n säädökset Kansallinen lainsäädäntö Kansainväliset ISO-standardit COUNTER Kansalliset ohjeet

Tilastoinnin säädökset EU-tason lainsäädäntö Neuvoston asetus (EY) N:o 322/97 yhteisön tilastoista ajantasaista, luotettavaa, relevanttia tietoa vertailukelpoisuus jäsenvaltioiden kesken Euroopan parlamentin ja neuvoston päätös N:o 2367/2002/EY yhteisön tilasto-ohjelmasta vuosiksi 2003 2007

Tilastoinnin säädökset Kansallinen lainsäädäntö Laki viranomaisten toiminnan julkisuudesta (1999/621) 20 : Viranomaisen on edistettävä toimintansa avoimuutta ja tässä tarkoituksessa tarvittaessa laadittava oppaita, tilastoja ja muita julkaisuja sekä tietoaineistoja... Tilastolaki (2004/280) 11 : Tilastojen laatu ja saatavuus Tilastojen on oltava mahdollisimman luotettavia ja niiden on annettava oikea kuva Tietojen vertailukelpoisuuden varmistamiseksi ja hyväksikäytön tehostamiseksi tilastoja laadittaessa on mahdollisuuksien mukaan käytettävä yhdenmukaisia käsitteitä, määritelmiä ja luokituksia...

Voimassa olevat Tilastoinnin säädökset standardit ja ohjeet ISO 2789:2006(E): Information and documentation international library statistics ISO 11620:2008(E): Information and documentation - Library performance indicators ISO TR 28118:2008(E): Performance indicators for national libraries COUNTER (Counting Online Usage of Networked Electronic Resources) Valmisteilla ISO TR 11219: Qualitative conditions and basic statistics for library buildings (space, function and design) aloitettu 2008

Mitä arviointi on Prosessi, jossa tehdään todistusaineistoon (toiminta, tulokset, vaikuttavuus) pohjautuen ja tiettyjä perusteita käyttäen päätelmiä projektin/toiminnan arvosta määritetään evaluoitavan kohteen Ansiot Arvo Merkitys Arviointiin on syytä liittää myös tarpeitten ja tavoitteiden etukäteisarviointi Arviointia tehdään tulevaisuutta varten

Arvioinnin tarkoitus (Kirjastolaki 6 ) Parantaa kirjasto- ja tietopalvelujen saatavuutta Tukea niiden kehittämistä Seurataan yleisten kirjastojen kirjasto- ja tietopalvelujen toteutumista Seurataan palvelujen laatua ja taloudellisuutta Arvioinnin on tarkoitus auttaa kirjastoja palvelujensa kehittämisessä Tuotetaan tietoa tulevaisuuden toimenpiteiden, menettelytapojen ja ohjelmien suunnittelun ja kehittämisen pohjaksi

Arvioinnin laatukriteerit Arvioinnissa tulee noudattaa tiettyjä laatukriteerejä, joita ovat Käyttötarpeisiin vastaaminen Tarkoituksenmukaiset painotukset Tarkoituksenmukaiset aineistot Johtopäätösten luotettavuus Raportointi Rahoittajan, sidosryhmien vaateet, odotukset ja käyttötarpeet, kirjaston omat tarpeet

Ota tulevaisuus haltuun! Tietoa päätöksenteon pohjaksi Kirjaston johto Päättäjät Toiminnan suunnittelu, organisaation suorituskykyä tukevien tulevaisuuden tarpeiden tunnistaminen Seuranta Kriittisten osaamisalueiden priorisoiminen ja vahvistaminen Julkisen rahankäytön legitimointi Hyvä raportointitapa Tilasto on kirjaston peili Kaikki yllä oleva on toteutettava siten, että punaisena lankana on kirjaston vaikuttavuuden osoittaminen lisäarvoa asiakkaille

Mitä mittareilta vaaditaan? - 1 Mitkä indikaattorit kuvaavat parhaiten toiminnalle asetettuja tavoitteita? Otettava huomioon strategialinjaus: indikaattorien tulee myös mitata strategian toteutumista Voidaanko vaikuttavuudelle asettaa tavoite ja voidaanko vaikuttavuustavoite (saavuttaminen) ilmaista mitattavana tunnuslukuna? Pysyvät / vaihtuvat mittarit: Aikasarjat, laatumittarit jne. Yhteistyö kirjastojen ja rahoittavan tahon välillä indikaattoreiden valitsemisessa varmistaa oikeiden ja relevanttien asioiden mittaamisen Erilaisilla tiedon hyödyntäjillä erilaiset tiedon tarpeet Rahoittajat, sidosryhmät, henkilöstö, kirjasto

Mitä mittareilta vaaditaan? - 1 Mitkä indikaattorit kuvaavat parhaiten toiminnalle asetettuja tavoitteita? Otettava huomioon strategialinjaus: indikaattorien tulee myös mitata strategian toteutumista Voidaanko vaikuttavuudelle asettaa tavoite ja voidaanko vaikuttavuustavoite (saavuttaminen) ilmaista mitattavana tunnuslukuna? Pysyvät / vaihtuvat mittarit: Aikasarjat, laatumittarit jne. Yhteistyö kirjastojen ja rahoittavan tahon välillä indikaattoreiden valitsemisessa varmistaa oikeiden ja relevanttien asioiden mittaamisen Erilaisilla tiedon hyödyntäjillä erilaiset tiedon tarpeet Rahoittajat, sidosryhmät, henkilöstö, kirjasto

Mitä mittareilta vaaditaan? - 2 Lisää pohdittavaa: kuvaavatko mittarit toiminnan vaikuttavuutta? kirjaston vaikutus kehysorganisaation tulokseen, esim. yliopistoissa tutkinnot, tutkimus ==> korreloiko näissä erinomaisuus kirjastojen erinomaisuuteen (aineiston määrä ja laatu, ja sen käyttö)? kunnissa PISA-tutkimuksen tulokset ===> korreloivatko hyvät tulokset hyviin kirjastopalveluihin? kuvaavatko mittarit prosessin tehokkuutta kirjastojen kannalta? kuvaavatko mittarit toiminnan tuloksellisuutta (outcome)? onko meillä nyt turhia mittareita? huomioidaan kyselyt eli määrällinen + laadullinen arviointi

KITT ja ISO 11620 80 60 70 60 50 40 30 20 10 Yo Amk Erik Kaikki 50 40 30 20 10 Yo Amk Erik Kaikki 0 0 2002 2003 2004 2005 2006 2007 2002 2003 2004 2005 2006 2007 Lainat / kohdeväestö Kirjastokäynnit / kohdeväestö 2,5 80 2 1,5 1 0,5 Yo Amk Erik Kaikki 70 60 50 40 30 20 10 Yo Amk Erik Kaikki 0 2002 2003 2004 2005 2006 2007 0 2002 2003 2004 2005 2006 2007 Lainat/ painetut kokoelmat yhteensä Kirjasto toimintaympäristönä (** *) Kaavaa ei voitu suorittaa, koska jotakin tietoa ei ollut saatavilla **) Kirjaston luku- ja työskentelypaikat sekä työasemat / kohdeväestö (omat opiskelijat ja henkilökunta) (x 1000) Lähde:Tieteellisten kirjastojen yhteistilasto - https://yhteistilasto.lib.helsinki.fi/

Mittarin tulee olla universaali (Hlökulut+Aineisto)/(Käynnit+Lainaus) 14,0 12,0 10,0 8,0 6,0 4,0 Yo Amk Erik Kaikki tiet. Kunnall 2,0 0,0 2002 2003 2004 2005 2006 2007 Lähteet: Suomen yleisten kirjastojen tilastot - http://tilastot.kirjastot.fi/ Tieteellisten kirjastojen yhteistilasto - https://yhteistilasto.lib.helsinki.fi/

(Henkilöstökulut + Kirjastoaineistokulut) / (Fyysiset käynnit + Kokonaislainaus) 2,50 2,00 1,50 1,00 0,50 0,00 1999 2000 2001 2002 2003 2004 2005 2006 2007 20 suurinta 20 pienintä 40 kunnan ka Valtak. Ka Lähde: Suomen yleisten kirjastojen tilastot - http://tilastot.kirjastot.fi/

(Hlökulut+Aineisto)/(Käynnit+Lainaus) 5,0 4,0 3,0 2,0 Suuri kk Pieni kk 1,0 0,0 2002 2003 2004 2005 2006 2007 Lähde:Tieteellisten kirjastojen yhteistilasto - https://yhteistilasto.lib.helsinki.fi/

Painettu vs. e-aineisto rahoituslähteittäin 18 000 16 000 14 000 12 000 10 000 8 000 6 000 4 000 2 000 0 2002 2003 2004 2005 2006 2007 4.1.1.2 a) painettu aineisto 4.1.1.2 b) elektroninen aineisto *** 18 000 16 000 14 000 12 000 10 000 8 000 6 000 4 000 2 000 0 2002 2003 2004 2005 2006 2007 Painettu E-aineisto Aineistokulut / Kirjaston budjetti - Yo Aineistokulut / Kaikki rahoituslähteet - Yo (* 7 000 7 000 6 000 5 000 4 000 4.1.1.2 a) painettu aineisto 6 000 5 000 4 000 Painettu 3 000 2 000 1 000 4.1.1.2 b) elektroninen aineisto *** 3 000 2 000 1 000 E-aineisto 0 0 2002 2003 2004 2005 2006 2007 2002 2003 2004 2005 2006 2007 Aineistokulut / Kirjaston budjetti - Amk Aineistokulut / Kaikki rahoituslähteet - Amk (* *) Yhteisprojektien rahoitus ei mukana Lähde:Tieteellisten kirjastojen yhteistilasto - https://yhteistilasto.lib.helsinki.fi/

Painettu vs. e-aineisto rahoituslähteittäin 1 600 1 600 1 400 1 200 1 000 800 600 400 200 0 2002 2003 2004 2005 2006 2007 4.1.1.2 a) painettu aineisto 4.1.1.2 b) elektroninen aineisto *** 1 400 1 200 1 000 800 600 400 200 0 2002 2003 2004 2005 2006 2007 Painettu E-aineisto Aineistokulut / Kirjaston budjetti - Erik Aineistokulut / Kaikki rahoituslähteet - Erik (* *) Yhteisprojektien rahoitus ei mukana Lähde:Tieteellisten kirjastojen yhteistilasto - https://yhteistilasto.lib.helsinki.fi/

Mitä tilastoilta vaaditaan, jotta ne kelpaavat arviointiin? Tilastot on oltava laadittu oikein. Yhdenmukaiset menettelytavat: vertailu Kirjaston johdon sitoutuminen!

Mikä Sinun kirjastosi on? Tietokeskus Ristoräppääjälainasto Kirjastosi on sitä, miltä se näyttää

Hyvä raportointitapa Välineen käyttäjän vastuu Rehellisyys KISS-periaate: Keep it Smart and Simple "everything should be made as simple as possible, but no simpler (Albert Einstein) Älä selitä, vaan kehitä! (Ja kerro miten...)

Hyvä raportointitapa Hyvä tilastoraportti: Rehellinen Selkeä ja johdonmukainen rakenne Selkeä esitystapa Kohderyhmän kannalta tarkoituksenmukainen kieli, rakenne ja tyyli (Puhutaan kieltä, jota vastaanottaja ymmärtää) Yhteenvedot ja tiivistelmät Luettavuus (selkeä taitto, kuviot, painoasu, värit) Raportoi myös kritiikin kohteet ja epäonnistumiset Hienovaraisuus ja tilanneherkkyys Tilasto ei valehtele, mutta sen esittäjä voi niin tehdä tosin joskus myös tahattomasti ja tiedostamatta (=taitamattomuuttaan)

Pohdintaa 1 Miten tieteelliset kirjastot edistävät opiskelijoiden ja tutkijoiden saavutuksia ja urakehitystä? Miten tieteelliset kirjastot edistävät esim. informaatiolukutaidon kehittymistä? Elinikäinen oppiminen => Miten todistetaan?

Pohdintaa 2 Mikä on kirjaston tuote? Avaintuote? Ei yksin laina Tilojen käyttö? Informaatiolukutaidon kehittämispalvelu! Mennään peliin mukaan ja osoitetaan, että kirjastolla on osuutensa tutkimuksen tuloksessa kirjaston resurssipula: kirjaston asiakkaat eivät tee niin hyvää tutkimusta kuin paremmin resursoitaessa voisivat

Pohdintaa 3 Mikä on kirjaston tuote? (jatkoa...) Tuoteryhmät Selkeät tuloskriteerit Benchmarkkauksen vaatimukset Panokset Panos/tuotos Asiakaskyselyt Nykyisissä tunnusluvuissa kehittämisen varaa

Pohdintaa 4 Kuntapuolella Toimialojen yhteistyön kautta kiinni vaikuttavuuteen Kohderyhmiä: koulutoimi, päiväkodit, sosiaalitoimi, terveystoimi, vanhusten palvelut Kuntalaiset Palvelualueita: Elinikäinen oppiminen, terveyden edistäminen, pedagogia ja kasvatus, syrjäytymisen ehkäisy, sosiaali- ja terveysalan tukeminen, kunnan vetovoimaisuuden lisääminen Toimialalähtöinen kirjastopalvelujen markkinointi Tiedottamisen tärkeys lisääntyy Asiantuntijatehtäviä Mallia voinee kehittää meilläkin?

Pohdintaa 5 Useita tiedonlähteitä Kehityksen trendit Tunnusluvut Grafiikka Tiedon jalostus

Objektiiv. data - Tilastot - Tunnusluvut - Lokit Resurssit (Input) - Rahoitus - Henkilökunta (htv) Toimintapolitiikka - Tavoitteet, päämäärät Subjektiiv. data - Kyselyt - Kirjaston käyttö ja asiakkaiden tietokäyttäytyminen Palvelut Tulokset - Vaikuttavuus Vaikuttavuus Benchmarking Prosessit - Laadunarviointi

Tulevaisuus Oikea tieto Koulutus Keskeiset indikaattorit Johtaminen Raportointi Vaikuttavuuden arviointiryhmä * Kirjastonjohtaja Jarmo Saarti, Kuopion yliopisto, pj. * Kirjastonjohtaja Marja Anttonen, Turun ammattikorkeakoulu * Ylikirjastonhoitaja Päivi Kytömäki, Oulun yliopisto * Suunnittelija Vappu Lappalainen, Tilastokeskus * Kirjastotoimenjohtaja Marja Malminen, Lahden kaupunginkirjasto * Suunnittelija Markku Laitinen, Kansalliskirjasto * Suunnittelija Aki Kangas, Kansalliskirjasto http://www.kansalliskirjasto.fi/kirjastoala/digiohjaus/vaikuttavuus.html Kirjastojen vaikuttavuus Olemassaolon oikeutus

IFLA: Statistics and Evaluation Section http://www.ifla.org/vii/s22/index.htm Tehtävä Edistää kirjastojen tilastojen keruuta ja niiden toimintaa kuvaavien indikaattorien kehittämistä ja käyttöä Tavoitteet Edistää kirjastotoiminnan vaikuttavuuden arviointia Edistää kirjaston johtamista ja toimintaa Osoittaa kirjaston arvo käyttäjille, kehysorganisaatioille ja rahoittajille

Kirjallisuutta Ambroži, M. (2003). A few countries measure impact and outcomes most would like to measure at least something. Performance Measurement and Metrics 4(2):64-78. COUNTER: http://www.projectcounter.org/index.html Heikkilä, E.-L. & Saraste, M. (2008): Kirjastojen arviointiyhteistyö Pohjois-Pohjanmaalla. Raportti yhteistyöstä ja käytetyistä arviointimenetelmistä. Oulun kaupunginkirjaston-maakuntakirjaston julkaisuja 2. 37 s. http://www.ouka.fi/kirjasto/raportti.pdf ISO 2789:2006(E) - Information and documentation - International library statistics. 4th ed. 2006. International standard. ISO. 61 s. ISO 11620:2008(E) - Information and documentation - Performance indicators for electronic library services. International standard. 2nd ed. 2008. ISO. 86 s. Kovanen, P. (2008): Kirjastopalvelujen vaikutus näkyy paremmin tuotteistettuna. Kirjastolehti 5/2008:36-38. Kuitunen, Soile & Hyytinen, Kirsi (2004): Julkisten tutkimuslaitosten vaikutusten arviointi. Käytäntöjä, kokemuksia ja haasteita. VTT Teknologian tutkimus. VTT Tiedotteita 2230. VTT Espoo. 55 s. http://www.vtt.fi/liitetiedostot/vtt/netrat2230.pdf Laitinen, M. (2008). Towards open, multidimensional measurement of library services - case: Finland. World Library and Information Congress: 74th Ifla General Conference and Council 10-14 August 2008, Québec, Canada. http://www.ifla.org/iv/ifla74/papers/160-laitinen-en.pdf. Laitinen, M. (toim): KITT-käyttäjän käsikirja. Suomen tieteellisten kirjastojen yhteistilasto. Tilastointiopas 2008. Kansalliskirjasto. Helsinki. 111 s. http://www.kansalliskirjasto.fi/attachments/5rqrj8h6f/5vhub7s3j/files/currentfile/kittkayttajan_kasikirja.pdf Laitinen, M. & Vakkari, M. (2006): Asiakastyytyväisyyden ja tilastojen yhdistelmällä syvemmälle kirjastojen arvioinnissa - Signum 5 / 2006:20-25. http://pro.tsv.fi/stks/signum/200605/6.pdf

Kirjallisuutta Laitinen, M. & Vakkari, M. (2008): Combining library statistics and customer perceptions in measuring the impact of input in library services. Under construction. Lääninhallitusten peruspalvelujen arviointityöryhmä (2008): Lääninhallitusten keskeiset arviot peruspalvelujen tilasta 2007. Lääninhallitusten suorittama toimialansa peruspalveluiden arviointi. Valtiovarainministeriön julkaisuja 23/2008. Valtiovarainministeriö. Helsinki. 205 s. MLA (Museums, Libraries and Archives Council): Public Library Impact Measures. http://www.mla.gov.uk/webdav/harmonise?page/@id=73&document/@id=24640&section Mäkinen, O. (2008): Kirjastopalvelujen vaikutus näkyy paremmin tuotteistettuna. Kirjastolehti 5/2008:36-38. Opetusministeriö, Viestintäkulttuuriyksikkö. Suomen yleisten kirjastojen tilastot. http://tilastot.kirjastot.fi/ Parantainen, J. (2007): Sissimarkkinointi. Karisto. Hämeenlinna. 318 s. Parantainen, J. (2007): Tuotteistaminen: rakenna palvelusta tuote 10 päivässä. 2.p. Talentum. Helsinki. 290 s. Public Library Quality Improvement Matrix (PLQIM) http://www.slainte.org.uk/slic/plqim/plqimindex.htm Reyes Pacios, A. (2008): An approach to evaluating Latin American university libraries. Performance Measurement and Metrics 9(2):94-109. Toim. Rouvari, A., Laitinen, M., Luokkanen, S., Saarti, J. & Tyrväinen, J. (2007): Laatu ratkaisee: laatutyön opas korkeakoulukirjastoille. 93 s. Suomen Tieteellinen Kirjastoseura, Helsinki. http://www.protsv.fi/stks/julkaisut/laatu_ratkaisee.pdf Rouvari, A., Pennanen, J. & Laitinen, M. (2005): Työtä ja tuloksia kirjastopalveluiden vaikuttavuuden arviointi. Signum 1 / 2005:22-25. http://www.protsv.fi/stks/signum/200501/2.pdf Sipilä, Jorma (1999): Asiantuntijapalvelujen tuotteistaminen. 2 p. WSOY. Helsinki. 151 s.

Kiitos!