Mittaamisen maailmasta muutamia asioita Heli Valkeinen, erikoistutkija, TtT TOIMIA-verkoston koordinaattori
SISÄLTÖ 1. Mittari vs. indikaattori vs. menetelmä - mittaaminen 2. Luotettavat mittarit 3. Arvioinnin yleinen prosessi 4. Muutamia ongelmakohtia sosiaalialan mittaamiskäytännöissä
1. MITTARI VS. INDIKAATTORI VS. MENETELMÄ - MITTAAMINEN
Mittari Kehitetty ja suunniteltu mittaamaan (määrällisesti) asiaa X Mitattava ominaisuus huolellisesti määritelty ja käsitteellistetty (esim. mitä asioita kysytään, mitä tehtäviä käytetään jne.) Kehittämisprosessi (ks. netti) Vastausvaihtoehdot, tulosasteikko, tehtävät ym. ovat huolellisesti mietitty ja testattu Jos pilotointivaiheessa havaittu tarvetta muutoksille, muutosten jälkeen hyvin kehitetty mittari on testattu uudestaan Psykometriset ominaisuudet (validiteetti, reliabiliteetti ym.) testattu
Indikaattori Osoitin tai ilmaisin Tilastollinen luku, jonka avulla tietoa voidaan tiivistää helpommin hallittavaan ja ymmärrettävään muotoon (Yhteiskunta-, talous- ja ympäristötieteissä sekä laatujärjestelmissä) jokin tunnusluku, joka kuvaa asioiden tilaa ja kehitystä Taustalla voi olla mittarilla mitattu tieto, mutta siitä käytetään vain lopputulosta/indeksiä Ei reliabiliteettia tai validiteettia (ellei ole mittarista saatu lukema)
Työmenetelmä, työkalu, työväline (Työ)menetelmä järjestelmällinen, suunnitelmallinen menettelytapa, metodi Työkalu tai työväline Jokin konkreettinen väline, joka auttaa työssä Monenlaisia ja moneen kohtaan suunniteltuja Periaatteessa mittari voidaan sijoittaa tämän alle Voivat olla hyväksi todettuja; hyvät käytännöt
Mittaaminen Järjestelmällistä Systemaattista Tarkoituksenmukaista Samalla tavalla ilman sooloilua
Laadukasta ja vertailukelpoista tietoa saadaan, kun. 1. Tiedetään miksi halutaan mitata Mittauksen tarkoitus 2. Tiedetään mitä halutaan mitata Mitattava ominaisuus/asia 3. Tiedetään ketä halutaan mitata Mittauksen kohderyhmä 4. Tiedetään miten ja millä mitataan Käytettävä(t) mittari(t) 5. ja kun kaikki mittaavat samoilla kohderyhmillä sovittujen ohjeiden mukaisesti systemaattisesti ja kirjaavat saadut tulokset täsmällisesti! Tulosten tulkinta tavoitteiden asettaminen - toimenpiteiden valinta - seuranta
2. LUOTETTAVAT MITTARIT
Luotettavat ja pätevät arviointimenetelmät Psykometriset ominaisuudet tarkoittavat mittarin kykyä mitata sitä, mitä sen on tarkoitus mitata validiteetti (pätevyys) tuottaa tuloksia toistettavasti reliabiliteetti (toistettavuus, luotettavuus) havaita muutos muutosherkkyys Lisäksi on arvioitava mittarin käyttökelpoisuutta soveltuvuus haluttuun käyttötarkoitukseen mm. saatavuus, hinta, käytön helppous, turvallisuus jne. Uuden mittarin kehittäminen on haastava ja asiantuntemusta vaativa prosessi. Älä kehitä uusia mittareita!
Psykometriikka ja mittauksen tarkoitus Mittarin mitattava haluttua asiaa / ominaisuutta (sisältövaliditeetti) Kyky ennustaa asia X tapahtuvaksi (ennustevaliditeetti) Esim. Kuvailla Ennustaa Erotella Seurata Kyky tuottaa sama tulos toistettavasti / luotettavasti; mahdollisimman vähän mittausvirhettä (reliabiliteetti) Kyky erotella ryhmiä (ryhmien erotteluvaliditeetti) Kyky havaita mitattavassa ominaisuudessa muutosta (muutosherkkyys)
3. ARVINOINNIN YLEINEN PROSESSI
Viisauden alku: Miksi halutaan mitata? Mitä halutaan mitata?
(Esim. toimintakyvyn) arvioinnin prosessi Valmistautuminen Toteutus Tulosten tulkinta Tulosten dokumentointi Tulosten hyödyntäminen Autti-Rämö ym. Kuntoutuminen 2016, 208
4. MUUTAMIA ONGELMAKOHTIA SOSIAALIALAN MITTAAMISKÄYTÄNNÖISSÄ
Ongelmakohtia Onko pakko mitata? Kyllä Ei osata määritellä tiedon tarpeita eikä mitattavaa asiaa riittävän tarkasti mittaamisen mahdollistamiseksi Ei Miksi sitten edes puhutaan mittaamisesta ja sen tarpeesta? Mittaamisen ymmärtäminen kokonaisuuden osana Kuka mittaa? Kenen pitää mitata? (sos.tt; muut ammatt.; asiakas.) Tarve strukturoiduille (?) ohjeistuksille tai erilaisille ohjaaville tiedon keruu- /kartoitustavoille tai menetelmille Kirjaamisen käytännöt pääasiassa narratiivia ja kovin vaihtelevat Miten löytyy oleellisin tieto asiakkaasta? Päätösten (= vaikutusten) seuranta olematonta Vaikutuksista saati vaikuttavuudesta ei voi sanoa mitään Omien mittareiden kehittäminen tai käytettävien mittareiden valinta muista tahoista riippumatta ei ole erityisen innovatiivista toimintaa, jos tavoitteena on kehittää ja yhdenmukaistaa yhdessä käytäntöjä - vrt. sote-uudistus