Tutkimuksen vaikuttavuuden ja vuorovaikutuksen haasteet

Samankaltaiset tiedostot
VAIKUTTAVA YMPÄRISTÖTUTKIMUS

Vuorovaikutteisen tutkimuksen. haasteet ja mahdollisuudet

Kokeilut käytäntöön Arviointi kaikkien taidoksi!

Kokeilut käytäntöön Arviointi kaikkien taidoksi!

Suomen Akatemian rahoitusmuodot SUOMEN AKATEMIA 2018 KIRJOITA ESITYKSEN NIMI TÄHÄN

Rekrytoinnit, meritoituminen ja vaikuttavuus

Ajankohtaista Suomen Akatemiasta

Suomen Akatemia TIETEEN PARHAAKSI SUOMEN AKATEMIA 2016 TIETEEN PARHAAKSI

Huippuyksikköseminaari

Kansainvälisen luonnonvarapolitiikan yhteistyöverkosto; Toimintasuunnitelma vuodelle Päivitetty

Tutkimuksen rahoitus valtion talousarviossa 2017

Millainen on TEAS-hanke ja mitä sillä tavoitellaan? Kaisa Lähteenmäki-Smith, VNK TEM

Korkeakoulujen yhteiskunnallinen vuorovaikutus

LAPE-päivät Kansallisen lapsistrategian projektipäällikkö Marianne Heikkilä

Kuntoutussäätiön tutkimuksen painopisteet

Ihminen digitalisaation keskiössä - Arkea tukevat digipalvelut

Kansainvälisen luonnonvarapolitiikan yhteistyöverkoston toimintasuunnitelma vuodelle 2018 ( )

Tieteen julkisuus ja tiedeviestintä. Esa Väliverronen

TIEDEKULMA 2017 MEDIA CORNER TAUSTAMATERIAALIA

Pelastuslaitosten ulkoinen viestintä 2017 Ulkoisen viestinnän tila sekä koettuja haasteita ja kehittämisideoita laitoksilta

Tietoa päätöksentekoon: tilaisuuden avaus Valtiosihteeri Olli-Pekka Heinonen

SÄÄTIÖIDEN MERKITYKSESTÄ YHTEISKUNNASSA LIISA SUVIKUMPU SÄÄTIÖIDEN JA RAHASTOJEN NEUVOTTELUKUNTA

Tutkija, maailma tarvitsee sinua!

Strategisen tutkimuksen rahoitusväline Suomen Akatemian yhteydessä SUOMEN AKATEMIA

Julkaisujen avoimen saatavuuden tukeminen

Ammatillisen koulutuksen viestintästrategia

Viestinnän mahdollisuudet

Vaikuttavuus ja tieteellisen tiedon riippumattomuus

Ajankohtaista strategisen tutkimuksen neuvostosta

VAIKUTTAVUUSARVIOINNIN HAASTEET

Sosiaalityön kehittämisen lähestymistapoja

Vaikuttava viritys Tavoitteet Toiminta Tulokset

Turvallisuustutkimuksen strategia kommenttipuheenvuoro

Viestinnän mahdollisuudet

Kuinka laadin tutkimussuunnitelman? Ari Hirvonen I NÄKÖKULMIA II HAKUILMOITUS

Kokeiluilla ihmislähtöistä ohjausta!

Tavoitteena reilu yhdistys Ratsastajainliiton tarina

VAIKUTTAVAA TUTKIMUSTA kokeiluehdotuksia vaikuttavuuden ja kaupallistamisen edistämiseksi

Suomen Akatemia TIETEEN PARHAAKSI SUOMEN AKATEMIA 2017 TIETEEN PARHAAKSI

YLIOPISTOT JA AMMATTIKORKEAKOULUT YHTEISKUNNALLISINA VAIKUTTAJINA. emerituskansleri Ilkka Niiniluoto OKM:n seminaari

Globaali vastuu Jyväskylän yliopistossa. Anna Grönlund

Millaista tutkimusta tarvitsee maailman osaavin kansa?

Tiede ja tutkimus (Teemaopintokurssi TO1.1)

Kestävä kaupunki ohjelma Virve Hokkanen, Ympäristöministeriö Kuntien ilmastotyö vauhtiin tilaisuus

PERINTEISEN AJATTELUN HAASTAMINEN Onnettomuuksien ehkäisyn toimintaohjelmahankkeen esittely

Kehittämisverkostojen kick off tule kuulemaan mistä on kysymys! Mona Särkelä-Kukko

Huippuyksikköohjelmien viestintä

ASIAKASLÄHTÖISIÄ MENETELMIÄ JULKISTEN PALVELUIDEN KEHITTÄMISEEN

Tutkimustiedosta päätöksentekoon

Miksi sosiaalityön käytäntötutkimuksen kansainvälinen suosio kasvaa?

Suomen Akatemian rahoitusmuodot SUOMEN AKATEMIA 2017 TUTKIMUSRAHOITUS

MITÄ YHTEISKEHITTÄMINEN TARKOITTAA? Outi Hietala, erikoistutkija-kehittäjä, VTT

Hanketoiminnan ohjaus ja vaikuttavuus

Vaihtoehtoja uudeksi kestävän kehityksen toimikunnan toimintamalliksi

TIETEELLISTEN SEURAIN VALTUUSKUNNAN STRATEGIA

Yliopiston johtaminen

Strategisen tutkimuksen infotilaisuus

STN:n huhtikuun haun Rahoituksesta

Suomen Akatemia TIETEEN PARHAAKSI SUOMEN AKATEMIA 2018 TIETEEN PARHAAKSI

Strategiatyö: Case Allergia- ja astmaliitto Iholiiton Kevätpäivät Tampere

Mitä eri tutkimusmetodeilla tuotetusta tiedosta voidaan päätellä? Juha Pekkanen, prof Hjelt Instituutti, HY Terveyden ja Hyvinvoinnin laitos

KAINUUN ILMASTOSTRATEGIA YMPÄRISTÖKASVATUS

Tehokkaan verkostotyön perusta. Timo Järvensivu, KTT, verkostotyön tutkija Aalto-yliopiston kauppakorkeakoulu

Tiedot, taidot ja osaaminen oppivassa yhteiskunnassa

Suomen Akatemian rahoitusmuodot SUOMEN AKATEMIA 2016 TUTKIMUSRAHOITUS

Tieteellinen tutkimus, käytännölliset odotukset tutkijan valinnat

Vahva kuvataide hyvinvoiva kuvataiteilija Suomen Taiteilijaseuran strategia

STRATEGISEN TUTKIMUKSEN OHJELMAHAUT (STN) AIEHAKU

Nuorten tieto- ja neuvontatyön lyhyt oppimäärä. Nuorten tieto- ja neuvontatyön kehittämiskeskus

Kansainvälisen luonnonvarapolitiikan yhteistyöverkoston toimintasuunnitelma 2017

Tutkimus kehittää terveyskeskustyötä. Akateemisen terveyskeskuksen rekryseminaari Kotkassa

Miten kehittämishankkeiden hyvät käytännöt siirtyvät arjen toimintaan? Sirkka Hulkkonen

Digitalisaatio, tutkimus ja sen rahoitus

Enemmän ongelmien ehkäisyä, vähemmän korjailua olemmeko oikealla tiellä? Itsenäisyyden juhlavuoden lastenrahaston säätiö (ITLA)

Vaikuttamistyö kehitysmaissa. Mariko Sato,

Ohjauksen uudet tuulet valtiovarainministeriön näkökulma hallinnon uudistumiseen. Palkeet foorumi Alivaltiosihteeri Päivi Nerg ltanen, VM

Osallisuus ja maakunta. Tomi Kiilakoski Nuorisotutkimusverkosto

Kansliapäällikön puheenvuoro

Tiedon tuottajasta fasilitaattoriksi

Osaamisen tasa-arvo, Keski-Suomi, Koonti pienryhmädialogeista

Pelastustoimen viestintä nyt ja tulevaisuudessa

Rahapelaajien monet. profiilit. Havaintoja Peliklinikan aineistoista, haasteita palvelujen kehittämiselle

Lastensuojelusta tietäminen on eettinen velvoite

Viestintä- strategia

Akatemian rahoitusinstrumentit

YM:n T&K toiminnan yhteiskunnallinen vaikuttavuus, sektoritutkimuksen uudet järjestelyt ja asiantuntijapaneelit

Sosiaali- ja terveysalan kehittämisen ja johtamisen koulutus

Ammattitaito ja ammatillisen osaamisen kriteerit sosiaalityöntekijän näkökulmasta

ACUMEN O2: Verkostot

Seuraavat askeleet Yliopistolakiuudistuksen vaikutusarvioinnin tulokset julkistusseminaari Ylijohtaja Tapio Kosunen

Suunnitteluprosessin uudistaminen

Asumisen tulevaisuus -tutkimusohjelman viestintä. Tiedottaja Leena Vähäkylä

Tutkimusohjelmat: Mitä Akatemia toivoo tutkimusohjelmilta? Arja Kallio SUOMEN AKATEMIA

LUONNOS OPETUKSEN JÄRJESTÄJÄN PAIKALLINEN KEHITTÄMISSUUNNITELMA

Suomalainen tutkimus kansainvälisessä vertailussa Heikki Mannila

Kestävän liikkumisen asema kuntien poliittisessa päätöksenteossa. Kunta kestävän liikkumisen edistäjänä -seminaari Kuntamarkkinat 13.9.

Yhteiskunnan vaikuttajille ja päättäjille suunnattu keskustelufoorumi

Kampusperustaista osaamisen kehittämistä sote-palveluissa. Nadja Nordling

Meriympäristöön kohdistuvat uhat ja niiden edellyttämät torjunta- ja sopeutumisstrategiat vaativat yhteiskunnan, päättäjien ja tutkijoiden

Green Growth - Tie kestävään talouteen

Transkriptio:

Tutkimuksen vaikuttavuuden ja vuorovaikutuksen haasteet Ohjelmajohtaja Eveliina Saari, Työterveyslaitos Twitter: @EveliinaSaari, eveliina.saari@ttl.fi www.tyostn.fi ja www.terveysstn.fi 20.12.2017

Esitysrunko Tutkimuksen vaikuttavuus: tiede, käytäntö ja yhteiskunta kohtaavat Vuorovaikutuksen haasteet Vaikuttavuustavoitteet ja kertomukset STN- hankkeiden työvälineinä Miten ohjelma voi tukea hankkeiden yhteiskunnallista vuorovaikutusta? 10.4.2018 2

Strategisen tutkimuksen neuvosto rahoittaa korkeatasoista tieteellistä tutkimusta, joka on yhteiskunnallisesti vaikuttavaa ja merkittävää. 3 SUOMEN AKATEMIA

Tutkimuksen vaikuttavuuden muodot Tieteellisesti korkealaatuista Yhteiskunnallisesti merkittävää ja vaikuttavaa Tarvelähtöistä Ymmärrys ilmiöstä kasvaa Uudet välineet, metodit, tuotteet, palvelut yhteiskunnan käyttöön Ratkaisukeskeistä Nähtävissä pitkällä 10 vuoden aikajänteellä Uudet yhteistyösuhteet yhteiskunnallisiin toimijoihin, yhteinen tiedonmuodostus Eivät synny samanaikaisesti, Eri motiivit ruokkivat toinen toistaan Tiedontuottajien ja hyödyntäjien yhteistyötä Saari & Kallio, 2011, Miettinen, Tuunainen & Esko 2015 10.4.2018 Työterveyslaitos Eveliina Saari www.ttl.fi 4

Tieteen tekemisessä on aina monta motiivia Tutkimustyötä ohjaa tutkijoiden motiivi saada asia (ratkaisu, teknologia, menestyksen mahdollisuus) toimimaan, ei niinkään totuuden tavoittelu (Knorr- Cetina 1983) Tutkijoita ajaa eteenpäin tieteellisen faktan rakentaminen. Tieteellinen fakta on laajasti hyväksytty totuus, lainalaisuus, ja se on aina sosiaalisesti konstruoitu. (Latour & Woolgar 1986) Suhteet ja niiden institutionalisoituminen tutkimuksen kannalta hyödyllisiin yhteiskunnallisiin toimijoihin tuo levitysmahdollisuuden faktoille ja metodeille, joita tutkimus tuottaa. (Latour 1987) Tutkijan uraa motivoi henkilökohtaisen kredibiliteetin tavoittelu (Latour & Woolgar 1986) Tutkimuskysymyksestä tulee tehtävissä oleva (doable) kun tutkimuksen kokeellinen, laboratorio ja sosiaalinen maailma kohtaavat. Tämä vaatii artikulointia, koordinointia, integrointia, pohdintaa näiden työkenttien välillä. (Fujimura 1987) 10.4.2018 5

Vaikuttavuuden arviointi -opittua Suoritteet ja vaikuttavuus sekoitetaan yleisesti Vaikuttavuus voidaan todentaa vasta jälkikäteen, se on vaikuttamisen kohteessa aikaansaatu muutos (ajattelutapa, teko, toiminta) Ennakoimattomia vaikutuksia syntyy aina Vaikuttavuuden pohdinta hankkeen/ kokeilun alussa, keskellä ja lopussa edistää vaikuttavuutta Vaikuttavuutta arvioidaan harvoin moniarvoisesti Kvantitatiivinen mittaritieto ei riitä. Sille on annettava merkitys, jotta siitä seuraa tekoja, oppimista, levittämistä. Vaikuttavuuden arviointi on harvoin organisoitu kehittäjien ja levittäjien keskinäiseksi oppimismahdollisuudeksi. 10.4.2018 6

Vuorovaikutuksen haasteet eri maailmoissa liikkuminen Tiede Tieteenalan keskustelu Tiedon luotettavuus Ilmiön ymmärrys Vertaisarviointi Julkaisut: en puhu tästä ennen kuin olen julkaissut tieteellisessä journalissa Yhteiskuntaan vaikuttavat päätökset - Tietotulva, kiire, arvot toivon että tutkijat eivät vain ammu alas jo tehtyjä ratkaisuja, vaan esittäisivät vaihtoehtoja Sanna Lauslahti 12.12.2017, STN vv-koulutus Politiikka Vuoropuhelu Käytäntö Arjen ongelmat, joihin kaivataan ratkaisuja Toimittajien näkökulmana usein Soveltamiskelpoisuus käytäntöön Toiminnassa näkyvä Toimintamalli, käytäntö, jonka vaikuttavuus tutkittu 10.4.2018 Työterveyslaitos Eveliina Saari www.ttl.fi 7

Mitä tutkijan tulisi tietää poliittisesta päätöksenteosta (Dos. Mikko Jakonen 12.12.2017, STN vv-valmennus) Poliittinen päätöksenteko on poliittista Politiikan tavoitteena on luoda jotain uutta, saavuttaa erilaisia tavoitteita ja päämääriä, jotka nekin ovat yleensä poliittisia eivät tieteellisiä Politiikan aikajänteet ovat sekä pitkiä että lyhyitä, päämäärät voidaan saavuttaa montaa reittiä Politiikka tarvitsee aina useita vaihtoehtoja, se ei voi sitoutua yhteen tavoitteeseen Politiikan momentum voi muuttua hetkessä ja se voi luoda hetkessä tilaa uusille näkemyksille Tutkimus ja tutkimuksen vaikuttavuus toteutuu aina pitkäjänteisesti, pikavoittoja ei ole tarjolla 10.4.2018 8

Mitä tutkijan tulisi tietää poliittisesta päätöksenteosta (Dos. Mikko Jakonen 12.12.2017, STN vv-valmennus) Siksi: tutkijan ei tule luottaa politiikkaan politiikka ei ole vakaata ja ennustettavaa TÄSTÄ HUOLIMATTA: Tutkijalla on vastuu siitä, että tieteen viesti päätyy poliitikoille ja päätöksentekijöille kukaan ei tee sitä tutkijoiden puolesta! Politiikassa on yhä yleisempää tietoinen tietämättömyys ja valikoidut totuudet Tieto ja tiede on yleisesti jotain, joka haastaa politiikan, se tuo politiikan kannalta esiin toisen ja usein epämiellyttävän rekisterin tutkijoiden on kestettävä tämä rooli ja poliitikkojen on hyväksyttävä se Tutkimus on osa yhteiskuntaa ja tutkijalla on velvollisuus osallistua keskusteluun demokraattisen yhteiskunnan perusta 10.4.2018 9

Päättäjät tarvitsevat monen tieteenalan tietoa samasta ilmiöstä; STN ruokkii keskustelua Yhteiset keskusteluareenat Kohti parempia päätöksiä ja ymmärrystä niiden vaikutuksista Tutkimus vaikutuksista Varhaiskasvatuksen maksuttomuus vähävaraisille perheille alk v. 2018 http://minedu.fi/artikkeli/-/asset_publisher/varhaiskasvatuksen-maksut-alenevat-vuoden-2018-alusta Päättäjien maailma: Varhaiskasvatuksen maksullisuus vai ei? Vallassa olevan politiikan intressit kohtaavat tieteellisen tiedon Yhteiset keskusteluareenat: Rekisteritutkimus: Heikompiosaisten lapset pärjäävät työuralla, jos ovat aloittaneet varhaiskasvatuksessa aiemmin TITA-hanke: tutkimustulos monilla areenoillla; Ministeritapaaminen, pyöreäpöytä, media Lastenpsykiatrinen tutkimus: Lapsen paras paikka varhaislapsuudessa on oman vanhemman kanssa Debatti, Julkinen keskustelu: puolesta ja vastaan 10.4.2018 10

Vuorovaikutuksen keinot Julkisuus, valtamedia, some vaikuttaminen yleinen tietoisuus -reagoiva tai proaktiivinen tyyli Keskustelu tutkijat & politiikan valmistelijat - Yhteinen ymmärrys ja tiedonmuodostus (SWiPE) Yhteiskehittely yhdessä työskentely ja uusien käytäntöjen luominen (Kumous) 10.4.2018 11

Vuorovaikutus mahdollisuutena: Valitse kysymys ja keskustele vieressä olevan kanssa Mihin yhteiskunnalliseen kysymykseen tutkimuksellani on antia? Miten yhdistämme eri tutkimusnäkökulmia (kvanti, kvali, interventio) luovasti niin, että viestimme vahvistuu? Keihin (tiede, käytäntö, politiikka) haluamme luoda pitkäkestoisen keskustelusuhteen? Mitä uusia yllättäviä keinoja voisimme käyttää vuorovaikutukseen? Millaisia areenoita ja verkostoja luomme, jotka kantavat uusiin hankkeisiin? Mikä on maailmassa muuttunut, kun hankkeemme päättyy? 10.4.2018 12

STN vaikuttavuustavoitteet, vaikuttavuuskertomukset sekä ohjelmajohtamisen tuki 13 SUOMEN AKATEMIA

Miksi vuorovaikutukselle tavoitteita? Vaikuttavuustavoitteet suuntaavat hanketta strategianomaisesti, siksi ne kannattaa muodostaa/ ja arvioida niiden toteutumista yhdessä Vaikka ne eivät ehtisi toteutua, ne antavat suunnan ja merkityksen koko hankkeelle Niitä voi käyttää viestinnän kärkinä BEMINE -tutkimushankkeessa tavoitellaan yhteiskunnallista muutosta kolmella toisiinsa liittyvällä vaikuttavuustavoitteella: http://bemine.fi/vaikuttavuustarinat/ 10.4.2018 14

Vaikuttavuuskertomuksen rakenne Hankkeen nimi ja lyhenne: Konsortiojohtaja: Mihin ohjelmakysymyksiin (A, B, C, D) vastataan? 1. Vaikuttavuustavoite Konsortio määrittelee hankkeen keskeiset (3-n kpl) vaikuttavuustavoitteet, joista kustakin laaditaan oma tarinansa. Mitä vaikuttavuustavoitetta tässä tarkastellaan? Mikä on tarkastelutaso? Tässä esitetään lyhyt kuvaus tavoitteen tutkimuksellisesta ja yhteiskunnallisesta taustasta. 2. Keinot Tässä kerrotaan niistä toimenpiteistä, joita on toteutettu vaikuttavuustavoitteen saavuttamiseksi. Keinoja voivat olla esimerkiksi, uudet menetelmät, uudet kokoonpanot, monitieteisyys, kokeilu, vuorovaikutus, osallistuminen, tapahtumat, esiintymiset, opetus, asiantuntijatehtävät, kansainvälinen yhteistyö, yrityspilotit, patentit, keksintö-ilmoitukset, alustat, portaalit, pelit, jne. 3. Vaikutukset Tässä kuvataan hankkeen konkreettisia vaikutuksia. Niitä voivat olla esimerkiksi uudet näkemykset, julkinen keskustelu (ml. some), muutokset toiminnassa, käyttäytymisessä tai intresseissä, vaikutukset lainvalmisteluun tai strategioihin, uudet opetussisällöt, liiketoimintamallit, tuotteet, jne. 4. Tavoiteltu vaikuttavuus Tässä pohditaan nykytilannetta suhteessa vaikuttavuustavoitteeseen. Mitä on jo saavutettu? Miten tästä eteenpäin? Onko jossain epäonnistuttu ja mitä korjausliikkeitä on tehty? Mitä on opittu? 5. Tahattomat vaikutukset Tässä kuvaillaan muita havaittavissa olevia vaikutuksia, joita hanke on saanut aikaan; niin positiiviset kuin negatiiviset. 6. Taustalla oleva tutkimus Tässä kuvaillaan tämän vaikuttavuustavoitteen toteutumista tukeneet merkittävät tutkimustulokset ja tärkeimmät julkaisut 15

Vaikuttavuuskertomukset oppimisen väline Indikaattorien kerääminen ei riitä, yhteinen reflektio vaikuttavuudesta tärkeää tutkimuksen suuntaamisen ja oppimisen kannalta Vaikuttavuuskertomukset kertovat, mitä tavoitteita ja toimia hanke ja sen yhteiskunnalliset yhteistyökumppanit arvostavat ja näkevät toimiviksi. Ne antavat hankkeille tilaa pohtia yhteiskunnallisia muutoksia ja niiden myötä syntyviä tarpeita suunnata tutkimus- ja vuorovaikutustyötä uusille urille. Vaikuttavuuskertomukset sisältävät tietysti kaiken raportoinnin tavoin tietyn määrän asioiden parhain päin selittämistä. Silti, ne mahdollistavat myös epäonnistumisista oppimisen ja mahdottomiksi osoittautuneiden tavoitteiden uudelleenhahmottamisen. Hankkeiden siloiteltuna brändäyksenä kertomukset eivät tukisi kenenkään toimintaa. Jyrki Hakapää: Yhteiskunnallinen vaikuttavuus paljastuu kertomuksilla http://www.aka.fi/fi/strategisen-tutkimuksen-rahoitus2/blogeja/2017/jyrki-hakapaayhteiskunnallinen-vaikuttavuus-paljastuu-kertomuksilla/ 10.4.2018 16

Miten ohjelma voi tukea hankkeiden yhteiskunnallista vuorovaikutusta? Vuosiseminaari; Rakkaudesta tieteeseen 14.2. kohtaamisareenana Monitieteiset seminaarit sidosryhmille: esim. Tulevaisuuden kestävät ruokaratkaisut, Tutkittua tietoa maahanmuutosta, Syrjäytymisen ehkäisemisen mestarikurssi, Työn murroksen mestarikurssi Keskustelut ministeriön haluamasta ajankohtaisesta aiheesta: esim. TEM: Keskustelua kasvusta ja työllisyydestä, OKM: Mitä tiedämme NEET-nuorista? Politiikka-suosituspaperin koordinointi sekä areenan etsintä: Oppimisen laadusta on huolehdittava, kun nuorten koulutusta siirtyy työpaikoille https://www.ttl.fi/wp-content/uploads/2017/04/amisreformi-policybrief.pdf Muistuttaa ajankohtaisista vaikuttamisen paikoista; esim. lainvalmisteluun liittyvät lausunnot, Digi arkeen- neuvottelukunta jäsenyys Hankkeiden tulosten nosto Ministerien/VNK:n tietoisuuteen Tutkijoiden vuorovaikutusvalmennus ja vaikuttavuuden sparraus Jatkuva twiittaus Työterveyslaitos Eveliina Saari www.ttl.fi 17

Lähteitä ja lisätietoa: Saari, E., Hyytinen, K. & Lähteenmäki-Smith, K. 2008. Kehittävä vaikuttavuusarviointi menetelmänä tutkimus- ja kehitystoiminnan suuntaamisessa ja oppimisessa. Hallinnon tutkimus 1 (27), 35-48. Kallio, K. & Saari, E. 2008. Mitä tutkijat oppivat tutkimuksensa hyödyntäjiltä? Kehittävän vaikuttavuusarvioinnin kokeilu soveltavan tutkimustyön kehittämisessä. Hallinnon tutkimus. Arvioinnin teemanumero 4 (27), 80-94. Saari, E. and Kallio, K. 2011. Developmental impact evaluation facilitating learning in innovation networks. American Journal of Evaluation 2 (32), 227-245. https://www.researchgate.net/publication/48330477_developmental_impact_evaluation_for_facilitating_learning_in_i nnovation_networks Hyytinen, K., Saari, E., Leväsluoto, J., Hasu, M., Käpykangas, S., Melkas, H., Pekkarinen, S., Hyypiä, M., Korvela, P., Nordlund, A., and Toivonen, M. 2017. Human-centered co-evaluation method for digital service innovations. XXVII International RESER Conference. 7-9.9. Bilbao, Spain. http://reser2017.com/proceedings/ KUMOUS, Kokeilut käytäntöön - Arviointi kaikkien taidoksi! Työkirja https://www.ttl.fi/kokeilut-kaytantoon-tyokirja/ Miettinen, R., Tuunainen, J & Esko, T. Epistemological, Artefactual and Interactional-Institutional Foundations of Social Impact of Academic Research. Minerva. September 2015, Volume 53, Issue3, pp 257 277 https://link.springer.com/article/10.1007%2fs11024-015-9278-1 Väliverronen, E. 2015. Tiedeviestintä ja asiantuntijuus tutkijoiden muuttuva suhde julkisuuteen. Yhteiskuntapolitiikka 80(2015): 3, 221-231. http://www.julkari.fi/bitstream/handle/10024/126303/valiverronen.pdf?sequence=1

Kiitos! eveliina.saari@ttl.fi, Twitter: @EveliinaSaari digikumous.fi, smartworkresearch.fi tyostn.fi, terveysstn.fi