TULOKSET JA VAIKUTUKSET NÄKYVIKSI -ITSEARVIOINTIKOULUTUS

TULOKSET JA VAIKUTUKSET NÄKYVIKSI -ITSEARVIOINTIKOULUTUS

RAMBOLL MANAGEMENT CONSULTING tarjoaa johdon konsultointi- ja koulutuspalveluja sekä arviointi- ja tutkimuspalveluja julkisen sektorin, kolmannen sektorin ja yritysten tarpeisiin. Palvelualueemme kattavat johtamisjärjestelmien, organisaatioiden, henkilöstön ja prosessien sekä niitä tukevien tietojärjestelmien kehittämisen. RMC toimii Suomessa osana Ramboll Finland -konsernia, jonka palveluksessa on kaiken kaikkiaan noin 2300 asiantuntijaa 26 paikkakunnalla. RMC kuuluu kansainväliseen Ramboll Groupiin. RMC:n palveluksessa työskentelee maailmanlaajuisesti kaikkiaan noin 450 vakituista työntekijää. Suomessa meitä on 14, Espoossa, Tampereella ja Kuopiossa. Lisätietoja meistä löytyy osoitteesta: http://www.ramboll.fi/johdon-konsultointi ja www.ramboll.fi

MISTÄ ARVIOINNISSA ON KYSE? 3

ARVIOINNIN HISTORIAN LYHYT OPPIMÄÄRÄ Arviointitutkimus syntyi 1960-luvulla Yhdysvalloissa Sota köyhyyttä vastaan (arviointitutkimus niveltyi sosiaalisten ongelmien tutkimiseen) Myös Ruotsissa käyttöön 1960-luvulla, kun otettiin käyttöön ohjelmabudjetointi valtion hallinnossa Suomessa arvioinnin käsitteitä alettiin hyödyntää 1950-1960 luvuilla, itse käsite mainittiin ensi kerran valtion budjettiohjeissa 1980-luvun puolivälissä. Arviointitoiminta laajentui ja vakiinnutti asemansa julkisessa hallinnossa 1990- luvulla. Arvioinnin perustermi evaluaatio juontuu pääosin latinankielisestä termistä valere. Se voidaan kuvata ilmauksella olla jonkin arvoinen. (Rajavaara 2007) Arvioinnissa katsotaankin olevan kyse arvottamisesta tai arvostamisesta. (Ahonen 1996) 4

NÄYTTÖÖN PERUSTUVA ARVIOINTI.. Arvioinnista tullut muotisana kuluneiden 10-15 vuoden aikana käsitteen inflaatio? Arviointia on kaikkialla: Politiikan tekijät, julkinen hallinto, järjestöt, yksittäiset työntekijät arvioivat Alettu puhua arvioinnin yhteiskunnasta 80-90 luvuilla Suomessa arvioinnista alettiin puhua julkisen toiminnan ja politiikan osatekijöinä Arvioinnista tuli yksi informaatio-ohjauksen ja tilintekovastuun osoittamisen keino julkisen sektorin politiikoille, ohjelmille ja instituutioille Muutos koski Suomessa alusta alkaen myös kolmatta sektoria 2000-luvulla voidaan puhua näyttöön perustuvasta (julkisesta) toiminnasta Lähde: Virtanen 2007 5

NÄYTTÖÖN PERUSTUVA ARVIOINTI.. -- Kun kaikkea mahdollista ja osin mahdotontakin arvioidaan, ei aina muisteta miettiä, mihin arviointia hyödynnetään. Pahimmillaan arvioinnit ovat (julkisen hallinnon) rituaaleja, joille ei ole todellista kysyntää ja joita ei hyödynnetä millään tavalla. Joskus arvioinnit ovat pyhiä lehmiä ja niitä arvostetaan ja ylistetään puutteista huolimatta. Arviointien tekeminen ei ole itsearvoista arviointien hyöty syntyy niiden hyödyllisyyden myötä. ++ Arvioinnin määrällisellä kasvulla on kuitenkin todettu olevan kiistattomia positiivisia vaikutuksia: Arvioinnista tullut mm. keino kontrolloida hajautuvaa ja tulosohjattua julkista toimintaa ja julkisista toimijoista muodostuvaa kokonaisuutta. Lähde: Virtanen 2007 6

NÄYTTÖVAATIMUSTEN ALKUPERÄ JA ILMENEMINEN.. Näyttövaatimus liittyy sekä yksilö- että organisaatiotason toimintaan: Hyvinvointipalveluita tuottavalta organisaatiolta edellytetään näyttöjä toimintansa tehokkuudesta, taloudellisuudesta ja vaikuttavuudesta. Hyvinvointipalveluiden tuottamiseen kuuluu julkisen varojen käyttämiseen liittyvä tilintekovastuu. Tilintekovastuu koskee julkisen hallinnon lisäksi myös kolmannen sektorin järjestöjä sekä hyvinvointipalveluita tuottavia yrityksiä. Suoritusten näyttäminen toteen! Näytön antamiseen voidaan hyödyntää esimerkiksi erilaisia olemassa olevia laatujohtamisen ja laatujärjestelmäajattelun työkaluja sekä erityistarpeisiin räätälöityjä mittaristoja ja yksittäisiä mittareita. Tästä kyse seurannassa!! 7 Lähde: Virtanen 2007

ENTÄ MITÄ HYÖTYÄ ARVIOINNISTA ON? Hyödynnettävyysmalli (Utilized-Focused Evaluation) (Patton): Hyödyntämiskeskeisen arviointimallin lähtökohta perustuu henkilökohtaisuuteen ja paikallisuuteen (arvioinnin tekijän arvot ja intressiryhmien paikantaminen) Hyödyntämiskeskeinen arviointimalli ei perustu mihinkään spesifiin arvioinnin lähestymistapaan, malliin tai tutkimusmetodiin, eikä se puhu minkään erityisen hyödyntämistyypin puolesta. Hyödyntämiskeskeinen arviointi on prosessi, joka tähtää päätöksentekoon valintatilanteissa koskien arvioinnin kohdistamista, sovellettavia menetelmiä ja käytettäviä arviointikäsitteitä yhteistyössä arvioinnin ensisijaisten hyödyntäjien kanssa pitäen koko ajan mielessä heidän tarpeensa arvioinnin hyödyntämiseen. 8

Keskeiset arviointikäsitteet ja niiden väliset suhteet.. Tarve Vaikutukset = Arvioinnin kohteeseen liittyviä käsitteitä Toimeenpanon tarkoituksenmukaisuus Tulokset Tavoitteet Panokset Tuotokset Tehokkuus Relevanssi Kustannusvaikuttavuus Kokonaisvaikuttavuus Pysyvyys Hyödyllisyys = Arviointikriteereihin liittyviä käsitteitä Lähde: European Commission 1999; Virtanen 9 2007

ARVIOINNIN PERUSKÄSITTEET JA ONGELMAT Termi Mitä tarkoitetaan Todentamisen tapa Ongelmat Tarve Minkä takia toimintaa tarvitaan? Mikä on ongelma, johon haluatte toiminnallanne puuttua? Kuka on toiminnan tarpeessa ja minkä takia? Eikö muut toimijat tee samaa toimintaa kyseisille kohderyhmille? Tarvekartoitus Taustaselvitys lähtötilanteesta Tarvekartoitusta ei ole tehty. Tarve on liian subjektiivisista näkökulmista muotoiltu. Tavoite Mikä on tavoiteltu muutos / tila, johon toiminnallanne pyritte? Toimintasuunnitelma, vuosikello. Tavoitteen mitattavuus. Tavoitteet ovat liian laajoja. Tavoitteissa ei ole määritelty muutosta. Tavoitteet ovat vain laadullisia, eikä määrällisiä. Toiminta, keinot Toiminnan sisältö ja varsinainen tekeminen. Mitä tehdään ja kuka tekee. Toimintasuunnitelma, vuosikello. Vastuut toiminnan toteuttamisesta. Toiminta ei ole selkeästi kuvattu. Toiminta on lakisääteistä. Tuotos Konkreettisia asioita: kurssit, internetsivut, julkaisut, seminaarit, yksilökeskustelut, terapiaistunnot yms. Määrälliset seurantatiedot: mitä tuotoksia ja kuinka paljon. Tuotosindikaattorit Tuotoksia ei ole kuvattu selkeästi. Tuotokset eivät selkeästi täytä asetettuja tavoitteita. 10

ARVIOINNIN PERUSKÄSITTEET JA ONGELMAT Termi Mitä tarkoitetaan Todentamisen tapa Tulos Toiminnalla aikaansaatu muutos kohderyhmässä. Saavutetut tulokset suhteutetaan aina asetettuihin tavoitteisiin! Määrälliset ja laadulliset seurantatiedot Tulosindikaattorit Ongelmat Hakemuksessa ei mainita ollenkaan tavoiteltua muutosta. Muutoksen mittaamisen ei ole hakemuksessa laadittu itsearvioinnin välineitä/tapoja. Vaikutus Toiminnalla aikaansaatujen tulosten heijastuminen muuallekin kuin kohderyhmään. Esim. kustannusvaikutukset tms. Toiminnan tulosten toistettua mittaamista esim. kuntoutusryhmien, omaisryhmien tai yksilöistuntojen kohdalla. Tässä tärkeää pidemmän aikavälin muutos. Pitkän tai keskipitkän aikavälin seuranta- ja tilastotiedot Hakemuksessa ei ole suunnitelmaa pitkän aikavälin mittaamisesta. Hakemuksessa ei mietitä, miten toiminnan vaikuttavuutta syvennetään jatkossa, jos kyse on projektitoiminnasta. Eli ei pohdita, miten ja mihin toiminta projektin jälkeen jalkautetaan. 11

ARVIOINNIN PERUSKÄSITTEET Termi Mitä tarkoitetaan Esimerkki Mittari / Indikaattori Indikaattoreita on erilaisia. Erota tulosindikaattorit ja tekemiseen liittyvät indikaattorit toisistaan: Tavoitetaso Seurantatapa Tulosindikaattori: Kuvaavat aina aikaansaatua muutosta suhteessa tavoitteisiin Tuotos- ja toimintaindikaattori Kuvaavat tekemisellä aikaansaatujen tuotosten (koulutukset, ryhmät, julkaisut jne.) määrää Kuvaavat tekemisen määrää Onnistumisen kriteeri Eli onko 50% prosentin kasvu riittävää? Onko 11 paljon vai vähän? Nämä määritellään aina suhteessa toiminnan tarpeeseen ja tavoiteltuihin tuloksiin Miten tietoa kerätään Määritellään samanaikaisesti mittareiden kanssa Huomio tässä tiedon keräämisen aikataulutus 12

PÄÄTAVOITE: TUKEA JA VAHVISTAA IKÄIHMISTEN HYVÄÄ ARKEA ALATAVOITTEET: 1) VÄHENTÄÄ IKÄIHMISTEN YKSINÄISYYTTÄ 1. Toimenpiteet, joilla tavoitteisiin pyritään 2. Aikataulu 3. Toimenpiteen oletetut vaikutukset 4. Mittari 5. Tavoitetaso 6. Arviointi 7. Vastuuhenkilö(t) Viikoittain kokoontuvat taideryhmät Toukokuumarraskuu Osallistujat saavat mielekästä ja luovaa tekemistä muiden seurassa. Ulkoilukaveritoiminta Touko-elokuu Osallistujat aktivoituvat liikkumaan muiden kanssa. Leffajengi kerran viikossa Touko-joulukuu Osallistujat saavat mielekästä ja kanssakäymiseen aktivoivaa tekemistä. Osallistujien koettu yksinäisyys vähenee. Osallistujat saavat uusia ystäviä. Osallistujat yhteydenpito sukulaisiin tai ystäviin aktivoituu. Ryhmien lkm Osallistujien lkm Kertojen lkm Osallistujien lkm Kertojen lkm Osallistujien lkm Yksinäiseksi itsensä (vähintään melko usein) kokevien osuus Uusia ystäviä saaneiden osuus Yhteydenpidon aktiivisuus sukulaisiin tai ystäviin, jotka eivät asu samassa taloudessa 1 ryhmä/viikko neljällä eri paikkakunnalla 60 aktiivista osallistujaa (15/ryhmä) 240 krt 40 osallistujaa 20 krt neljällä eri paikkakunnalla 60 osallistujaa 1/3 vähemmän (vuoden) lopussa kuin lähtötilanteessa 2/3 osallistujista saa uuden ystävän toiminnan aikana Ei koskaan / harvemmin kuin kerran kuukaudessa osuus 1/3 vähemmän (vuoden) lopussa kuin lähtötilanteessa Menetelmä: tilastointi Lähtötaso: 0 Menetelmä: kysely/haastattelu alku- ja loppuvaiheessa Lähtötaso: xx Ryhmät: Liisa ja Pekka Tilastointi: Pekka Lomakkeen suunnittelu: Pekka ja Liisa Kyselyiden toteutus: ryhmien vetäjät Tulosten analyysi ja yhteenveto: Liisa Toiminnassa mukana olleet yksittäiset henkilöt 100 eri henkilöä Menetelmä: tilastointi Lähtötaso: 0 Pekka 13

TOIMENPITEIDEN JA VAIKUTUSTEN VÄLISTEN SUHTEIDEN MONINAISUUS Nykytila kun toimenpiteitä tuotokset, tulokset vaikutukset voivat tällöin: vähennetään lisääntyä/ parantua Toimenpiteet ja niiden vaikutukset lisätään vähentyä/ heikentyä muutetaan pysyä ennallaan

VAIKUTUSTEN ULOTTUVUUDET Vaikutus voi olla: Luonteeltaan: Oletettavissa oleva, tuleva vaikutus Hankkeen tai toiminnon päätteeksi tehdyssä arviossa koostettu vaikutus Laajuus: Ennakkoon määritelty ja rajattu Ei-rajattu, odottamaton Tasoltaan: Paikallinen, alueellinen, kansallinen, globaali Vaikutusten yksikkönä voi olla Yksittäinen henkilö, perhekunta, yhteisö tai ryhmä, verkosto, instituutio, populaatio, sektori, politiikka (policy), ympäristö

VAIKUTUSTEN ULOTTUVUUDET Vaikutuksen erotteleminen: Vaikutus voi olla suoraa ja melko varmaa (esim. sairauksien ehkäisy seulonnalla), suoraa mutta epävarmaa (lainsäätäjiin vaikuttaminen), välillistä (parempi pääsy markkinoille voi lisätä myyntiä, joka puolestaan voi lisätä tuloja), etäistä ja epävarmaa (haavoittuvassa asemassa olevat ryhmät osallistuvat yhteisölliseen toimintaan, joka edesauttaa heidän osallisuuttaan päätöksentekoon, joka voi parantaa heidän elinolojaan) Ajallisesti: Välittömät ja lyhyen aikavälin vaikutukset Kausittaiset vaikutukset Pidemmän aikavälin vaikutukset (esim. paremmat palkat) Pitkän aikavälin vaikutukset (esim. sukupuoliin liittyvät normit) Pysyvyys: Peruuttamattomat (esim. koulutus) vs. peruttavissa olevat Etujen homogeenisuus Kaikille samat edut/vaikutukset (esim. rokote), vaihtelevat edut/vaikutukset (suhteista riippuvat vaikutukset, vain joillain ryhmillä pääsy vaikutusten piiriin), kilpailevat edut/vaikutukset (esim. tuotteiden lisääntyminen markkinoilla saattaa laskea kaikkien eri toimittajien samantyyppisten tuotteiden hintoja)

MIKÄ ERO ON TULOKSILLA JA VAIKUTUKSILLA? Tulos on rajallinen, ennakkoon määriteltävissä oleva, ja usein mitattava muutos. Esimerkiksi erilaisten toimenpiteiden tuloksena toteutetaan useita koulutuksia. Koulutusten vaikutuksena tieto jostain asiasta lisääntyy. Toiminta on ollut vaikuttavaa jos tiedonlisäyksellä on pystytty vaikuttamaan siten, että alkuperäinen tilanne, jota ongelma koski, on muuttunut. Tuotos, tulos (output) Vaikutus (outcome) Vaikuttavuus (impact) Mitä mitataan? vaivannäkö, yritys, työskentely Tulosten aikaansaamia vaikutuksia Muutos Indikaattorit Toimenpiteiden toimeenpano, usein määrä Tuotosten ja tulosten käyttö ja kokemukset/höydyt Erotus alkuperäiseen tilanteeseen, jota ongelma koski LSE Impact Blog: http://blogs.lse.ac.uk/impactofsocialsciences/2014/10/27/impact-vs-outcome-harding/

VAIKUTUSTEN TYYPPEJÄ Asiakasvaikutukset ja yhteiskunnalliset vaikutukset Toimenpiteiden vaikutukset kohdentuvat eri alueille ja säteilevät eri laajuisesti. Siten voidaan erottaa välittömästi asiakkaaseen, kansalaiseen tai kuntalaiseen kohdistuvat vaikutukset sekä laajemmin yhteiskuntaan liittyvät vaikutukset. Määrälliset ja laadulliset vaikutukset Tämä ero on nähty tärkeäksi palveluissa: palvelu voi olla määrällisesti riittävä, mutta laadullisesti heikko. Subjektiiviset ja objektiiviset vaikutukset Asiakas kuvaa subjektiivisen, omaan kokemukseensa perustuvan näkemyksen, mutta samaa palvelua voidaan katsoa myös puolueettomammasta, objektiivisesta näkökulmasta.* *Meklin 2001 18

Lyhyt- ja pitkäkestoiset vaikutukset Osa vaikutuksista on lyhytaikaisia ja välittömiä, osa pitkäaikaisia. Palvelut ja etuudet voidaan nähdä investointeina, joiden elinkaari voi olla pitkä. Päätöksenteon ja budjetoinnin ongelma on se, että kustannukset syntyvät ensin ja hyödyt ilmenevät ehkä vasta tulevina vuosina. Ulkoisvaikutukset Kyse on vaikutuksista, jotka lähinnä pitkällä aikavälillä näkyvät muualla kuin siellä, mihin voimavarat on kohdennettu. Ne voivat ilmetä esimerkiksi toisen hallintosektorin toimialueella. Myönteiset ja kielteiset vaikutukset Tärkeää olisi sekä myönteisten että kielteisten vaikutusten tunnistaminen ja näiden huomioon ottaminen. Odotetut ja odottamattomat vaikutukset Usein odotetaan myönteisiä vaikutuksia, mutta osa vaikutuksista saattaa olla odottamattomia ja kielteisiä. 19

MIKSI JÄRJESTÖJEN KANNATTAA TEHDÄ ARVIOINTIA?

1 TOIMINNANOHJAUS JA KOORDINOINTI Tarpeiden, tavoitteiden, toimenpiteiden sekä tulosten ja vaikutusten suhteen hahmottaminen Resurssinäkökulma Relevanssinäkökulma Toiminnan tarpeenmukaisuus Toiminnan rajaus Resurssi & relevanssinäkökulma

2 OMAN TOIMINNAN KEHITTÄMINEN Toimintaa ohjaavia uskomuksia on hyvä tarkastella kriittisesti aika ajoin Toimintaympäristön muutoksiin tulee reagoida Oma toiminta osana yhteistyökumppaneiden kanssa tehtävää yhteistyötä: kehittämistarpeita? Liittyen esimerkiksi muutosten a) hallintaan b) tuottamiseen? Henkilöstö & johtaminen Resurssinäkökulma Kehittämistyö vaatii ajan, paikan ja resurssointia!

3 TULOKSELLISUUSTIETO Tiedollinen mielenkiinto: tieto on itsessään arvokasta: ollaanko onnistuttu? Minkälaisia tuloksia ja vaikutuksia olemme saaneet aikaan? Tärkeää kertoa toimijoille ja työntekijöille itselleen myös onnistumisista ja epäonnistumisista! Vapaaehtoiset! Velvoite osoittaa, mitä seurauksia asiakkaille / kohderyhmälle on tehdystä työstä. Tehdä vapaaehtoisille näkyväksi työnsä tulokset. Rahoittajat haluavat tietää, saavutettiinko rahoitetulla toiminnalla ne tavoitteet joihin rahaa oli myönnetty.

ARVIOINNIN KOHDISTAMINEN Panokset Prosessi (politiikka, ohjelma, hanke) Tuotokset Toimintaedellytykset Tarvelähtöisyys Tarkoituksenmukaisuus Koherenssi Toiminnan sisältö ja toteutus Strategialähtöisyys Henkiset voimavarat Kumppanuudet Toimintaprosessit Toiminnan tulokset ja vaikutukset Aiotut vs. ei-aiotut Välittömät vs. välilliset Positiiviset vs. negatiiviset Mukaillen: Virtanen, Petri (2007) Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Helsinki: Edita Prima Oy

IHMINEN JA IHMISEN TOIMINTA ARVIOINNIN KOHTEENA

IHMINEN JA IHMISEN TOIMINTA ARVIOINNIN KOHTEENA Sosiaali- ja terveysministeriön on julkaissut listauksen ihmiseen koskevien vaikutusten arvioimisen laadun varmistamiseen liittyen. Arvioinnin tiedonkeruun ja toteutuksen kannalta keskeistä huomioida mm. että: toiminnan vaikutukset eri väestöryhmiin on tunnistettu vuorovaikutus ja osallistuminen on ollut riittävää ja tasapuolista mitattavat ja mittaamattomat asiat käsitellään erikseen eikä niitä yhteismitallisteta ts. muuteta esimerkiksi laadullisia vaikutuksia kustannusvaikutuksiksi silloin kun ne eivät luontevasti ole muutettavissa arvioinnin vaiheet kytkeytyvät toisiinsa loogisesti eli arviointi pohjautuu edellisiin vaiheisiin todennäköiset vaikutusketjut tai vaikutusverkot on kuvattu lähtötietojen, -arvojen ja -oletusten aiheuttamaa epävarmuutta on pohdittu tarkistuskierrokset ja osallistuminen sekä eri tahojen mielipiteet ja mielipide-erot on kirjattu riittävän selvästi mallinnuksissa käytettyjen kerrointen ja priorisointien käyttö on läpinäkyvää Sosiaali- ja terveysministeriö

STEAN VAATIMUKSET JA CASE- ESIMERKKEJÄ

Kohderyhmä, asiakkaat Tuloksellisuus- ja vaikutusselvitys Vapaaehtoiset Arvioinnin kohde Työntekijät Taustatiedot, määrät Prosessi Tulokset ja vaikutukset Kehittämisehdotukset ja ideat Sidosryhmät

ITSEARVIOINTI ON TOIMIJAN ITSENSÄ TEKEMÄÄ ARKISTA OMAN TOIMINNAN, TOIMINTATAPOJEN JA KOKEMUSTEN JÄRJESTELMÄLLISTÄ TIEDON KERÄÄMISTÄ --- TEHTÄVÄ: MITEN KERÄÄTTE TIETOA STEAN SEURANTAA VARTEN?

ITSEARVIOINNIN SUUNNITTELU JA SEURANTA CASE YLEISAVUSTUS Miksi itsearviointi tehdään? todellisten vahvuuksien ja kehittämisalueiden tunnistamiseksi (itsearviointi edellyttää kykyä asettaa oma toiminta kriittisen tarkastelun kohteeksi: voi kohdistua kokemuksiin, tunteisiin, havaintoihin, palautteisiin) oman toiminnan kehittämiseksi (tarkoituksena on tukea oppimista, kehittämistä ja kokeiluja) asiakas- ja sidosryhmätulosten hyödyntämiseksi omassa toiminnassa Ketkä arviointiin osallistuvat? johto, henkilöstön edustajat, kehittämisvastaavat, taloushallinta, viestinnän henkilöt varsinkin yleisavustuksen seuranta vaatii näitä ryhmiä mukaan!! 32

TAVOITTEISTA TOIMENPITEISIIN JA TULOKSIIN

ARVIOINNIN SUUNNITTELU

Täydellisen arviointimallin etsimisen sijaan, yritä vastata relevantteihin kysymyksiin!

36 ARVIOINNIN SUUNNITTELU Kolme askelta arvioinnin suunnittelun käynnistämiseksi 1. Tunnista arviointikysymykset, avainkysymykset 2. Muodosta myös ns. alakysymyksiä, jotka tarkentavat usein hyvin yleisellä tasolla olevia pää-arviointikysymyksiä. 3. Valitse relevantti arviointikriteeri arviointikysymyksiin vastaamiseksi

ARVIOINTIKYSYMYKSET Minkälaisiin arviointikysymyksiin haetaan vastausta? Arviointikysymykset liittyen: tavoitteisiin resursseihin prosesseihin ja toimintatapoihin tuloksellisuuteen toiminnan kehittämiseen Better evaluation: Frame the boundaries for an evaluation

ARVIOINNIN SUUNNITTELU (EVALUATION MATRIX) Arviointikysymys Apukysymys Arviointikriteeri Indikaattori Normi (tavoitetaso) Tiedonkeruun tapa Aikataulu 38

ARVIOINTIKYSYMYKSET Kuvailevat kysymykset mitä on tapahtunut? mikä on tilanne? Esim: missä toiminta on toteutettu? Minkälaisia muutoksia osallistujissa on tapahtunut? Syy-seuraussuhteisiin liittyvät kysymykset mikä sai aikaan tavoitellut muutokset? Esim: Mitä tuloksia ja vaikutuksia saatiin aikaiseksi? Mitkä tekijät vaikuttivat näiden tulosten ja vaikutusten aikaansaamiseen? Yhteenvetoon liittyvät kysymykset Oliko toiminta kokonaisuudessaan onnistunut? Miten voitaisiin toimia paremmin? Toimitaanko parhaalla mahdollisella tavalla? Esim: Toimittiinko olemassa olevian standardien mukaisesti? Oliko toiminta kustannustehokasta? Mitkä olivat sen vahvuuksia ja heikkouksia? Voidaanko jotain jättää pois? Jatkotoimenpiteisiin liittyvät kysymykset mitä toimenpiteitä tulisi tehdä arviointitulosten seurauksena? Esim: Tuleeko toimintaa jatkaa? Mitä muutoksia toimintaan tulee tehdä? Tuleeko toimintaa skaalata? Better evaluation: Frame the boundaries for an evaluation

ARVIOINTIKRITEERIT Millä perusteilla toimintaa arvioidaan, mitkä ovat arviointikriteerit? Kenen tai minkä tahon kriteerit merkitsevät? Minkälaisilla prosesseilla arviointikriteereistä voidaan päästä yhteisymmärrykseen? Usein: Standardit, arviointikriteerit ja benchmarkit : kehitetään standardeja, arviointikriteerejä tai benchmarkkeja tai käytetään olemassa olevia, relevantteja standardeja, Määritellyt tavoitteet ja päämäärät (sisältäen lakimääräiset ja poliittisesti määritellyt tavoitteet vrt. STEA): muotoillaan siten, että pystytään niiden perusteella arvioimaan onnistumista Voi olla: Kuvalliset mallit, diagrammit: tutkitaan, ymmärretään ja kuvaillaan tilanne kuvallisesti jotta pystytään luomaan alustava mentaalinen malli Muutostarinat: kuvaillaan arvioinnin kohde, tiettyjen tapahtumakuvausten- ja/tai kertomusten avulla Haastattelut: haastatellaan avainhenkilöitä ja oletettuja hyödynsaajia siitä, mitä he kokevat arvokkaaksi Kyselyt: pyritään saamaan tietoa laajemmin ihmisiltä heidän prioriteeteistaan Osallistaminen! Better evaluation: Frame the boundaries for an evaluation

TIEDONKERUUN MENETELMIÄ: Kyselylomakkeet, sähköinen, paperinen Pulssi-mittarit Haastattelut Jutusteluhetket kokouksen yhteydessä Työpajat Määrälliset indikaattorit Tarinat Havainnointi Suullinen palaute Dokumenttianalyysi

ASIAKASKOKEMUKSEN KERÄÄMINEN JA HYÖDYNTÄMINEN MIELEKKÄÄLLÄ TAVALLA Erityisesti sote- ja maakuntauudistuksen kynnyksellä on tärkeää seurata ja kehittää asiakaskokemusta. Tämä voidaan toteuttaa kevyellä ja toistuvasti toteutettavalla palautteenkeruulla. Tällöin seurattavia teemoja voivat olla: Asiakkaan yleinen kokemus, fiilis, motivaatio Toiminnan tuloksellisuus Työntekijän kohtaaminen, arvio työntekijästä Kyvykkyydet (toimia kuten toiminnassa on oletettu asiakkaiden toimivan) Mahdollisuudet (toimia kuiten toiminnassa on oletettu asiakkaiden toimivan)

INDIKAATTORIT Indikaattoreiden valinnassa kannattaa olla tarkkana, että ne todella mittaavat sitä asiaa, jota halutaan seurata. Indikaattoreiden Cream-testi: Indikaattoreiden tulee olla Clear selviä, hyvin määriteltyjä ja yksiselitteisiä Relevant relevantteja, todella mittaavat sitä mitä halutaan mitata Economic saatavilla ilman kohtuutonta korvausta Adequate riittäviä toiminnan arvioinnin Monitorable soveltuvat riippumattoman arvioijan arvioitavaksi

ARVIOINTITIEDON HYÖDYNTÄMINEN

HARJOITUS 60 minutes Go back to your groups Use the case (national tests) Discuss possible norms, measurement instruments and data collection tools for your indicators Fill in the matrix 45

ARVIOINNIN SUUNNITTELU (EVALUATION MATRIX) CASE YLEISAVUSTUS Arviointikysymys Apukysymys Arviointikri teeri Indikaattori Normi Mittausinst rumentti Tiedonkeru un työkalu Analyysi 46

TAKE HOME MESSAGES Arviointikysymykset! CREAM testatut indikaattorit! Arvioinnin hyödyntäminen