Kokeilut käytäntöön Arviointi kaikkien taidoksi!

Transkriptio

1 Kokeilut käytäntöön Arviointi kaikkien taidoksi! Arviointiaamukahvit Kokeilujen arviointi klo , Valtimo, Kirkkokatu 14 Kirsi Hyytinen, VTT ja Eveliina Saari, Työterveyslaitos Työkirja Palvelutalouden vallankumous Ihminen digitalisaation keskiössä-projekti Tekijät: Eveliina Saari, Kirsi Hyytinen, Mervi Hasu, Mirva Hyypiä, Pirjo Korvela, Sari Käpykangas, Johanna Leväsluoto, Helinä Melkas, Anne Nordlund, Satu Pekkarinen, Marja Toivonen

2 Menetelmän teoriaperusta Asiakkaat ja työntekijät palveluinnovaatioiden tärkeimmät arvoa tuottavat toimijat (Service dominant logic, Vargo &Lusch 2004, 2008) Monikriteeriarviointi (Djellal & Gallouij 2010) eri arvomaailmojen kohtaaminen Yhteiskunnallisen ongelman ratkaiseminen eri toimijoiden välillä ekspansiivinen oppiminen ja yhdessä oppimisen luominen vuorovaikutuksen keinoin (mm. Engeström 2001, Saari & Kallio 2011)

3 Arvioinnin periaatteet mikä menetelmässä uutta? Moniarvoinen arviointi Tavallisesti arvioinneissa painotetaan taloudellisten ja teknisten asioiden mittaamista. Tässä mallissa arvioimme kokeilua monen eri arvon valottamana. Pohdimme myös arvojen keskinäistä suhdetta toisiinsa. Arvioinnissa käytämme lähteinä sekä määrällisiä mittareita että laadullista arviointia. Vaikutukset ihmiseen keskiössä Kokeilun vaikutukset ihmisen hyvinvointiin jäävät helposti arvioimatta, koska niitä on hankala mitata. Tässä mallissa arvioimme kokeilun vaikutuksia kokeilua tuottavien työntekijöiden ja käyttäjien kannalta. Arvioimme vaikutuksia ihmiseen yksilöiden välittömien kokemusten valossa sekä laajemmassa väestötason mittakaavassa.

4 Arvioinnin periaatteet Muutos ja sen merkitys näkyväksi Arvioinnit keskittyvät yleensä kokeiluun käytettyjen resurssien ja suoritteiden määrälliseen mittaamiseen. Tässä mallissa teemme suoritteilla aikaansaadun muutoksen, siis suoritteiden vaikutukset näkyväksi. Kokeiluun osallistuneet antavat itse merkityksen mittari- ja kokemustiedolle ja arvioivat itse, miten ovat kokonaisuudessaan onnistuneet. Yhteinen arviointi levittämisen ja oppimisen tueksi Vaikka kokeilu arvioidaan, sillä on riski jäädä kertaluontoiseksi kokeiluksi. Tässä mallissa yhteinen arviointi kokeilun kehittäjien ja levittäjien kesken avaa mahdollisuuden oppia siitä yhdessä. Yhteinen arviointi on keino luoda näkymä kokeilun levittämiseen ja sopia sen ensiaskeleista konkreettisesti.

5 Vaikutusten arviointi kiihdyttää kokeilua Kokeilun visio ja tavoitteet Vision mukaiset vaikutustavoitteet Työkirjan 1-2 osa Työkirjan 4 osa Kokeilun arviointi kehittäjien ja levittäjien välillä Käyttäjä- ja työntekijäkokemuksen ennakointi Työkirjan 3 osa Kokeilun vaikutusten väliarviointi Kokeilun toteuttaminen ja vaikutustiedon keruu

6 Mikä on laaja-alainen ihmislähtöinen arviointimalli?

7 Laaja-alainen ihmislähtöinen arviointimalli SOSIAALISET Kansalainen? Työntekijä? Väestö? TEKNIS-TALOUDELLISET Maine? Yhteensovittaminen? Talous MITTAKAAVA

8 Ihmislähtöinen arviointimalli SOSIAALISET TEKNIS-TALOUDELLISET Kansalainen Maine Työntekijä Palvelun merkitys? Palvelun osuvuus? Palvelukokemus? Hyvinvointi? Suhde lähiyhteisöön? Suhde työntekijöihin? Integroituminen Väestö Talous MITTAKAAVA

9 Ihmislähtöinen arviointimalli SOSIAALISET TEKNIS-TALOUDELLISET Kansalainen Maine Työntekijä Yhteensovittaminen Väestö Suhde asiakkaaseen? Yhteistyö ja vuorovaikutuksen tavat? Rooli ja tehtävät? Osaamisvaatimukset Työhyvinvointi? Talous MITTAKAAVA

10 Ihmislähtöinen arviointimalli SOSIAALISET Kansalainen Työntekijä Kestävyys? Oikeudenmukaisuus? Tasavertaisuus? Ekologisuus? Väestö TEKNIS-TALOUDELLISET Maine Yhteensovittaminen Talous MITTAKAAVA

11 Ihmislähtöinen arviointimalli SOSIAALISET Kansalainen Työntekijä Väestö TEKNIS-TALOUDELLISET Maine Kansalaisten mielikuva? Integroituminen Houkuttelevuus? Julkisuuskuva? Näkyvyys? Talous MITTAKAAVA

12 Ihmislähtöinen arviointimalli SOSIAALISET TEKNIS-TALOUDELLISET Kansalainen Maine Työntekijä Yhteensovittaminen Väestö Yhteensopivuus palvelujärjestelmään? Yhteistyö palveluiden välillä? Yhteistyön organisoinnin tavat? Yhteistyö Talous teknologioiden välillä? Teknologiaratkaisun toimivuus yli rajojen? MITTAKAAVA

13 Ihmislähtöinen arviointimalli SOSIAALISET Kansalainen Työntekijä Väestö TEKNIS-TALOUDELLISET Maine Säästöt? Kustannushyödyt? Uudet resurssit? Liiketoimintamahdollisuudet? Vientimahdollisuudet? Integroituminen Talous MITTAKAAVA

14 Yhteinen palvelualusta (YPA) lasten ja nuorten palveluihin Tavoitteena vahvistaa moniammatillista yhteistyötä ja kansalaisten vastuuta omasta hyvinvoinnistaan Digitaalinen platform tiedonvaihdon välineenä Kokonaisvaltainen palvelusuunnitelma eri suunnitelmien yhteenkokoamiseksi Hömeenlinnan yhteinen palvelualusta -kokeilu

15 SOSIAALISET ESIMERKKI HÄMEENLINNAN KOKEILUN ARVIOINTITYÖPAJAN YHTEENVEDOSTA Kansalainen + Asiakkaan sitoutuminen toimimaan suunnitelman mukaan: palvelun parempi kohdentuminen - Heikommassa asemassa olevat perheet eivät tulleet oma-aloitteisiksi käyttäjiksi Työntekijä + Eri ammattiryhmien yhteistyön paraneminen + Suunnitelmien läpinäkyvyyden paraneminen eri ammattilaisille - Työntekijät eivät olleet mukana alustan suunnittelussa koonti Väestö +Sähköinen työväline: palvelun parempi saatavuus eri kansalaisryhmille - Terveys- ja sosiaalipuolen tietojen siirtoesteitä, joita pystyttiin kokeilussa ylittämään TEKNIS-TALOUDELLISET Maine + Onnistunut kokeilu vahvistaa Hämeenlinnan lasten ja nuorten palveluiden mainetta - Kokeilu ei ehtinyt kerryttää mainetta Yhteensovittaminen - Palvelualusta ei integroitu osa nykyistä tietojärjestelmää: vaikeuttaa palvelun käyttöä - Teknisessä toteutuksessa on kehitettävää Talous + Moniammatillinen tuki on kustannustehokasta, yksi suunnitelma ja tapaaminen vs. monta + Digitalisaation mahdollistama kokoustekniikka tuo säästöjä - Vähäisen käytön vuoksi säästöt eivät vielä näkyviä

16 Kokeilun vaikutusten arviointi Kehittävä vaikutusarviointi kokeilun kehittäjien ja levittäjien kesken akvaariomenetelmällä

17 Ohjeet kehittävän vaikutusarvioinnin työpajan organisointiin Kokeilun päätyttyä kutsu kokeilun kehittäjät, muutama käyttäjän edustaja sekä kokeilun potentiaaliset levittäjät yhteiseen työpajaan. Varaa työpajaan 2,5 h aikaa. Työpajassa organisoidaan kokeilun kehittäjien sekä sen potentiaalisten levittäjien välinen vuoropuhelu ns. arviointi-akvaariotyöskentelyn avulla. Järjestä tila kahdeksi puoliympyrän muotoiseksi kehäksi. Ohjaa sisäkehälle istumaan kokeilun kehittäjät ja käyttäjät. Ohjaa kokeilun ulkokehälle istumaan potentiaaliset levittäjät. He voivat olla esimerkiksi ylemmän johdon edustajia, rahoittajia, kokeilua tukeneita johtoryhmän jäseniä tai kokeilun levittämisen kannalta tärkeitä sidosryhmiä. Varaa tuoleille post-it lappuja ja kyniä. Aseta laaja-alainen, ihmislähtöinen arviointimallipohja sisäkehän sisälle pöydälle.

18 Arviointiakvaarion asemat Esityskanvas Alustajat: Kokeilun kehittäjä ja käyttäjä Pöytä: laaja-alainen arviointimalli Sisäkehä: Kokeiluun osallistuneet Postit Ulkokehä: Potentiaaliset levittäjät

19 Johdanto työpajaan Esittele kehittävän arviointiakvaarion idea, laaja-alaisen arviointimallin ulottuvuudet sekä arvioinnin tuleva kulku Arvioinnin kulku 1. Kokeilun esittely (10-20 min) 2. Sisäkehä arvioi (30-45 min) 3. Ulkokehä arvioi (30 min) Tauko (10 min) 4. Ulkokehä tekee kehitysehdotukset (15 min) 5. Ehdotusten käsittely ja vastuutus (15 min)

20 Kehittävän arviointi-akvaarion idea Osallistujien oma oppiminen tärkeintä Mahdollisuus pysähtyä arjen keskellä ja kuulla eri näkemykset tilanteesta avoimesti ja rehellisesti Arviointityökalun kautta keskustelu laajentaa ymmärrystä Arviointi-akvaario tekee mahdolliseksi aktiivisen kuuntelun ja puhumisen vuorottelun. Kun sisäkehä puhuu, ulkokehä kuuntelee ja päinvastoin. Ulkokehä voi nähdä kokeilun ulkopuolisena kirkkaammin, heillä on lupa hätkähdyttää Ei juututa voivottelemaan, vaan ulkokehä auttaa edistämään kokeilua kohti tulevaa

21 Kokeilun laaja-alainen ihmislähtöinen arviointi SOSIAALISET Kansalainen? Työntekijä? Väestö? TEKNIS-TALOUDELLISET Maine? Yhteensovittaminen? Talous MITTAKAAVA

22 1. Kokeilun esittely Kokeilun vetäjä esittelee arvioitavana olevan kokeilun ja näkemyksensä sen onnistumisesta kuuden arvioitavan näkökulman kannalta. Käyttäjän tarina livenä tai videolta

23 Mikäli käyttäjää ei saada paikalle, voitte tehdä etukäteen yhden tai muutaman käyttäjän videohaastattelun, joka näytetään työpajassa. Mikä on ollut käyttäjän kokemus kokeilusta? Käyttäjätarina

24 2. Sisäkehän arvio Kokeilun kehittäjät ja mahdolliset käyttäjät arvioivat yhdessä miten kokeilussa on onnistuttu eri näkökulmien kannalta. Keskustelun kuluessa he sijoittavat post-it lapuille kirjaamansa huomiot pöydällä olevaan arviointimalliin

25 3. Ulkokehän arvio Ulkokehä havainnoi sisäkehän keskustelua ja tekee siitä omia johtopäätöksiään

26 5. Ulkokehän ehdotukset Ulkokehä esittää kolme ehdotusta mitä kokeilusta voi oppia/mitä sille tulisi tehdä seuraavaksi/miten levittää

27 4. Ehdotusten käsittely ja vastuutus Sisäkehä kommentoi/hyväksyy/hylkää ehdotukset Sisäkehä lisää yhden oman ehdotuksen sekä sopii ketkä vievät toimenpiteitä eteenpäin.

28 Kokeilun kokonaisarvio SOSIAALISET Kansalainen? Työntekijä? Väestö? TEKNIS-TALOUDELLISET Maine? Yhteensovittaminen? Talous MITTAKAAVA

29 Arviointi kuuluu kaikille ECB, Evaluation Capasity Building arviointi tulisi olla osa organisaation kehittämiskäytäntöjä Määrällinen mittaritieto tarvitsee toimijoiden välisen tulkinnan ja merkityksen antamisen, jotta se muuttuu toiminnaksi (Clinton 2014, Burgeois & Cousins 2013)

30 Lähteet Bourgeois, I. & Cousins, B Understanding Dimensions of Organizational Evaluation Capacity. American Journal of Evaluation 34 (3), Clinton, J The True Impact of Evaluation: Motivation for ECB. American Journal of Evaluation. 35 (1), Djellal, F.; Gallouj, F. (2010): The Innovation gap and the performance gap in the service economies: a problem for public policy. In Gallouj, F. and Djellal, F. (Eds.), The Handbook of Innovation in Services. A Multi-disciplinary Perspective. Edward Elgar, Cheltenham, pp Djellal, F.; Gallouj, F. (2013): The Productivity in services: measurement and strategic perspectives. The Service Industries Journal, Vol. 33, No. 3-4, Engeström, Y. (2001): Expansive learning at work: toward an activity theoretical reconseptualization. Journal of Education and Work 14(1), pp Hyytinen, K., Saari, E., Leväsluoto, J., Hasu, M., Käpykangas, S., Melkas, H., Pekkarinen, S., Hyypiä, M., Korvela, P., Nordlund, A., and Toivonen, M. (2017). Human-centered co-evaluation method for digital service innovations. XXVII International RESER Conference Bilbao, Spain. Saari, E.; Kallio, K. (2011): Developmental impact evaluation facilitating learning in innovation networks. American Journal of Evaluation 2 (32), pp Saari, E., Hyytinen, K., Hasu, M., Hyypiä, M., Korvela, P., Käpykangas, S., Leväsluoto, J., Melkas, H., Nordlund, A., Pekkarinen, S., ja Toivonen, M. (2018). Kokeilut käytäntöön työkirja. Työterveyslaitos.

31 Kiitos! Kommentteja? Kirsi Hyytinen, erityisasiantuntija, VTT Eveliina Saari, vanhempi tutkija, ohjelmajohtaja, Työterveyslaitos