VAIKUTTAVAA TUTKIMUSTA. Miten laaditaan hyvä vuorovaikutussuunnitelma? - TANJA SUNI JA IINA KOSKINEN

Transkriptio

1 VAIKUTTAVAA TUTKIMUSTA Miten laaditaan hyvä vuorovaikutussuunnitelma? - TANJA SUNI JA IINA KOSKINEN

2 TYÖPAJAN KULKU Tutkimuksen yhteiskunnallisen vuorovaikutuksen suunnittelun periaatteet Tanja Suni ja Iina Koskinen kertovat osallistavan tutkimuksen suunnittelun periaatteista, haasteista ja niiden ratkaisuehdotuksista. Keskustellaan näkökulmista osallistujien kanssa Harjoitellaan vuorovaikutussuunnitelman laatimista pienryhmissä Ryhmien esitykset ja niiden purku.

3 OSALLISTAVA TUTKIMUSPROSESSI I Motivaatio: osallistavalla tutkimuksella vastauksia suuriin haasteisiin II Osallistavan tutkimusprosessin suunnittelu ja menetelmät III Osallistamisen haasteet näin vältät yleisimmät sudenkuopat

4 I Motivaatio: osallistavalla tutkimuksella ratkaisuja suuriin haasteisiin

5 OSALLISTAVA TUTKIMUS Uusi yhteiskuntasopimus tieteen ja yhteiskunnan välillä: tieteeltä halutaan ratkaisuja maailman kiperiin ongelmiin ja tieteen halutaan edistävän kestävää tulevaisuutta. Tarvitaan uudenlaista yhteistyötä eri tieteenalojen ja tiedon hyödyntäjien kesken transdisiplinaarinen / osallistava tutkimus. Osallistavan tutkimuksen tavoitteena: 1) Yhteiskunnallisesti merkittävien haasteiden ratkaiseminen: ongelmien kuvauksesta aitoon muutokseen 2) Tiedon tuottajien ja hyödyntäjien oppimisprosessi 3) Ratkaisukeskeinen ja yhteiskunnallisesti relevantti tieto 4) Hyötyä tieteelle ja yhteiskunnalle

6 TUTKIJOIDEN JA SIDOSRYHMIEN ROOLIT Suurien yhteiskunnallisten haasteiden ratkaisemiseen tarvitaan tietoa erilaisilta tietoyhteisöiltä: eri tieteenalojen tutkijoilta päätöksentekijöiltä ja päätösten valmistelijoilta järjestöiltä kansalaisilta medialta yksityiseltä sektorilta STAKEHOLDER: HENKILÖ TAI ORGANISAATIO, JOKA VAIKUTTAA TUTKIMUKSEEN JA/TAI JOHON TUTKIMUKSELLA ON VAIKUTUSTA.

7 TUTKIJOIDEN JA SIDOSRYHMIEN ROOLIT Sidosryhmät tarjoavat täydentävää tietoa ja ymmärrystä tosielämän käytännöistä strategiat ja toimintasuunnitelmat rajoitteista arvoista ja normeista Tutkijoiden tehtävänä on varmistaa tutkimuskysymysten tieteellinen korkeatasoisuus laajemmat ja vaihtoehtoiset näkökulmat ja ajanjaksot ymmärrystä ilmiöiden taustoista ja kytköksistä Yhteistyöprosessien luominen tiedon tuottajien ja käyttäjien välillä johtaa tietoon, joka vastaa käyttäjien tarpeisiin, jota he pitävät uskottavampana ja jota he uskaltavat hyödyntää Osallistava, yhteistuotettu (co-production) tutkimus lisää tulosten tieteellistä ja yhteiskunnallista hyväksyttävyyttä ja omistajuutta. OSALLISTAVA TUTKIMUS EI OLE TILAUSTUTKIMUSTA. Lemos et al. 2012, Kirchhoff et al. 2013

8 OSALLISTAVAN TUTKIMUSPROSESSIN VAIKUTUKSET TUOTTEET: Uusi teknologia, tuote, julkaisu, toimintasuunnitelma VERKOSTOT: Uudet kumppanuudet ja luottamus VALMIUDET: Uusi tieto, ymmärrys, vaihtoehtoiset näkökulmat, ryhmät ja yksilöt RAKENTEELLISET MUUTOKSET: - Sosio-ekonomiset vaikutukset: taloudelliset hyödyt, tutkimukseen perustuvat päätökset, muutokset arvoissa ja normeissa - Rakenteelliset muutokset organisaatioissa: osallistavan päätöksenteon institutionalisointi, uudet rahoitusmuodot, pysyvät multi-stakeholder -foorumit Wiek et al ARTIKKELI ON TUTKIMUKSEN TULOS VAIKUTTAVUUTTA VASTA KUN TULOKSET OTETAAN KÄYTTÖÖN

9 OSALLISTAVAN TUTKIMUSPROSESSIN VAIKUTUKSET Tieteenalat vaikuttavat yhteiskunnassa eri tavoin ja niillä on erilaiset markkinat ja yleisöt. Insinööritieteet yritykset ja teollisuus sovellukset, teknologiat Yhteiskuntatieteet julkishallinto ja päätöksentekijät tietoon pohjautuvat päätökset Lääketiede ammatillinen kenttä uudet menetelmät ja taidot Humanistiset tieteet suuri yleisö kriittinen ymmärrys ja julkinen keskustelu Luonnontieteet akateeminen yhteisö uusi tieteellinen tieto Ylijoki, Lyytinen ja Marttila (2011) SAMA VAIKUTTAVUUDEN MALLI EI SOVI KAIKILLE TIETEENALOILLE

10 KYSYMYKSIÄ JA KOMMENTTEJA?

11 KYSYMYKSIÄ JA KOMMENTTEJA? Miten uusia tutkijoita insen-voidaan julkiseen keskusteluun? Tutkijan tehtävänä tuoda keskusteluun vaihtoehtoja, kokonaissnäkemys tai näkökulma, jota mikään intressiryhmä ei aja. Tutkijan rooli julkisena keskustelijana on laajempi kuin hänen tutkimusprofiilinsa omien vahvuuksien kartoi;aminen. Tunne oman alasi toimi;ajat ja luo asiantun<japrofiili esim. somessa. Mitä STN -hakujen ensimmäisistä vuorovaikutussuunnitelmista on opi;u? Ensimmäiset vv-suunnitelmat on analysoitu, ja niiden tuloksista keskustellaan ensin Suomen Akatemiassa, syksyllä julkaistaan tulokset suurelle yleisölle.

12 II Osallistavan tutkimusprosessin suunnittelu ja menetelmät

13 SIDOSRYHMÄT: Päätöksentekijät ja päätöksiä valmistelevat virkamiehet, kansalaiset, järjestöt, yksityissektori, media Source: Future Earth Initial Design Report (2013)

14 TOIMIJAT TUTKIMUKSEN JA KOHDERYHMÄN VÄLILLÄ Research Community Psychology Criminology Anthropology Cultural studies Ethnology History Law Sociology Economy Political science Relgious studies Policy Makers EU National goverments Operative actors Migrant advocacy groups Schools Healthcare providers Prison authorities Religious communities Immigration authorities NGOs (children, young, women) Parties Media Contemporary radicalisation trends and their implications for Europe (SC6-REV- INEQUAL ) Immigrants Children Young Families Local communities Neighbourhoods General public

15 ESIMERKKI HANKKEEN SIDOSRYHMÄJAOSTA ESIMERKKI HANKKEEN SIDOSRYHMÄJAOSTA Durham E., Baker H., Smith M., Moore E. & Morgan V. (2014). The BiodivERsA Stakeholder Engagement Handbook. BiodivERsA, Paris (108 pp).

16 VUOROVAIKUTUSMETODIT ERI SIDOSRYHMÄLUOKILLE Yksi täh): soveltuva metodi Kaksi tähteä: erityisen hyvin soveltuva metodi The BiodivERsA Stakeholder Engagement Handbook /577 Durham E., Baker H., Smith M., Moore E. & Morgan V. (2014) BiodivERsA, Paris (108 pp)

17 SIDOSRYHMIEN KARTOITUS JA LUOKITTELU Osallistaminen Säännöllinen vuorovaikutus, jo;a voidaan varmistaa tutkimuksen relevanssi ja <etoisuus sidosryhmien meneillään olevista prosesseista. Tutkimuksen ja lopputuo;eiden yhteissuunni;elu ja tuo;aminen. Ympäristöministeriö ympäristönormit ja sääntely Työ- ja elinkeinoministeriö elinkeinoelämän sääntely, kansalliset ilmasto- ja biotalousstrategia Kuntalii;o julkiset hankinnat EU:n komissio - ympäristöasiat, Global & Regional Challenges, EU:n poli<ikka ja sääntely SITRA Kiertotalouden innovaa<ot ja liiketoiminta- mallit Yritykset Pyhäjärviseudun ja Meri-Lapin yritykset Biovakka Oy, Honkajoki Oy, Outotec Oy, Pellon Oy, Rudus Oy jne. Konsultoin- Täsmenne;y vuorovaikutus tutkimuksen <etyissä vaiheissa: Näkemykset raja;uihin erityiskysymyksiin, verkostot ja kontak<t, aineistot. Elinkeinoelämän etujärjestöt: Kemianteollisuus ry, Metsäteollisuus ry, Teknologiateollisuus ry Ympäristöteollisuus ja -palvelut YTP ry. Yhteistyö Yhteistyökumppanit, jotka osallistuvat tutkimuksen osien toteu;amiseen ja sisällöntuotantoon sekä tutkimuksen vuorovaikutuksen ja vies<nnän toteu;amiseen. Pyhäjärvi-ins-tuuH Pyhäjärven tapaustutkimus Digipolis Oy Meri-Lapin tapaustutkimus Oulun yliopisto ENVIMAT-malli Vuorovaikutus, vies<ntä, tapahtumien järjestäminen: FES Future Earth Suomi, SYKE BSAG - Bal<c Sea Ac<on Group FWF - Finnish Water Forum YTF - Ympäristö<edon foorumi Tiedotus Säännöllinen <edotus projek<n etenemisestä ja tutkimuksen ajankohtaisesta sisällöstä ja tuloksista. Verkkovies<ntä, sosiaalinen media Asiantun<jat, tutkijat, polii<kot Kansalaiset, suuri yleisö, media

18 TOIMINTASUOSITUKSIA Kaikki tutkimuksen hyödyntäjät eivät ole kiinnostuneita samoista aiheista. Kuka tarvitsee juuri teidän hankkeenne tuottamaa tietoa? Tiedonhyödyntäjien tarpeet ja aikaskaalat ovat erilaisia! Ministerit ja kansanedustajat (toimikausi) Päätösten valmistelijat (vaihtelee alkaen muutamasta kuukaudesta) Lainsäädännön valmistelijat (jopa vuosia) Kuntatason päättäjät ja suunnittelijat (tehtävästä riippuen hyvin erilaisia aikaskaaloja) Yritykset (muutamasta kuukaudesta muutamaan vuoteen). SIDOSRYHMÄYHTEISTYÖ VAATII AIKAA JA RESURSSEJA.

19 TOIMINTASUOSITUKSIA Suunnitelkaa yhdessä sopivia lopputuotteita: Policy-brief tai infografiikkaa Yhdessä tuotettu tietopaketti suosituksista Sovellus suunnittelijoille Pysyvä multi-stakeholder foorumi Jatkohanke LOPPUTUOTTEITA SEKÄ SIDOSRYHMILLE ETTÄ TUTKIJOILLE.

20 CO-DESIGN HANKKEEN ASKELEET 1 Tunnistakaa kohderyhmät ja tietotarpeiden aikaskaalat. Kuka tarvitsee juuri teidän hankkeenne tuo;amaa <etoa? Onko valmisteilla päätöksiä tai prosesseja, joihin tutkimuksenne voisi sopivassa ajassa vaikuttaa? 2 Temaattiset työpajat. Tietotarpeet, roolit, muutos/vaikutus. Alustavat <etotarpeet tärkeimpien sidosryhmien kanssa, guiding research ques<on. Roolit tutkijoille ja sidosryhmille: datan tuotanto, tulosten tulkinta, jae;u johtajuus? Lopputuo;eet? 3 Vuorovaikutussuunnitelma. Sidosryhmien luoki;elu, vuorovaikutus- ja vies<ntämenetelmien valinta. Tutkimuksen, vuorovaikutuksen ja vies<nnän ajoi;aminen. Vastuut, resurssit. Lopputuo;eiden suunni;elu ja ydinvies<en määri;ely yhdessä. 4 ammattimaista Tutkimuksen toteutus. Noudata suunnitelmaa! Hyödynnä osallistavia menetelmiä, fasilitointia ja sidosryhmien omia viestintäkanavia, tiloja ja tilaisuuksia.

21 CASE ESIMERKKI KOHTI VESIVIISASTA KIERTOTALOUTTA Future Earth Suomi koordinoi vuorovaikutusta ja kouluttaa tutkijoita yhteissuunnittelussa Tutkijat suunnittelivat hakemuksen yhteistyössä tiedon hyödyntäjien kanssa Hyödynsivät sidosryhmien priorisointia Kokosivat sidosryhmistä koostuvat ohjausryhmän: ympäristöministeriö, WWF Suomi, teknologiateollisuus, Sitra Viestintäapua Kaskas-medialta: tutkijoille profiilit, hankkeelle oma blogi ja Twitter-tunnus, aktiivinen sosiaalisen median käyttö ja asiantuntijaprofiilin rakentaminen

22 VUOROVAIKUTUSSUUNNITELMA Kick-off , Kiertotalous entry Wikipediaan Workshop Teknologiateollisuu den kiertotalouspäivä Työpajat Pyhäjärvellä Veden käyttö Suomessa infografiikka Asiantuntijahaastatteluja ja lopputuotteiden yhteissuunnittelua Viestintä #vesiviisas Politiikka ja sääntely työpaja, loppuseminaari Sitrassa TAPAHTUMIA Seminaareita järjestetään sidosryhmien omissa tiloissa ja tilaisuuksissa hyödynnetään kontaktien omia verkostoja Future Earth Suomi fasilitoi tilaisuuksia yhteistyössä tutkijoiden kanssa VIESTINTÄ Tiedotteet Policy Brief Infografiikka Blogeja hankkeen sivuilla ja sidosryhmien sivuilla Kiertotalous entry Wikipediaan Uutiskirjealusta: Ympäristötiedon foorumin uutiskirje

23 KYSYMYKSIÄ JA KOMMENTTEJA?

24 KYSYMYKSIÄ JA KOMMENTTEJA? PoliiHseen keskusteluun/päätöksentekoon vaiku;aminen - miten? Selvite;ävä halutun poliizsen päätöksenteon kanavat (valiokunnat, ministerityöryhmät, valmistelijat), aikataulu ja tärkeimmät toimijat. Ministerien ja kansanedustajien erityisavustajat eri;äin tärkeässä roolissa. Muista myös päätöksiä valmistelevat virkamiehet. Etsi kansanedustaja/kaupunginvaltuute;u, joka kiinnostunut juuri sinun aiheestasi. Älä saarnaa vain samanuskoisille. Ota yhtey;ä henkilökohtaises<. Selkeä sähköpos< ja puhelinsoi;o perään toimii parhaiten. Vies< on paketoitava eri;äin <iviiksi, konkreezseksi ja yksinkertaiseksi sen lukemiseen on aikaa alle minuuz! Järjestä keskustelu<laisuus tai ota mukaan tutkimushankkeeseen rajapintaorganisaa<ot Monet pää;äjät seuraavat twi;eriä, joten sitä kau;a voi yri;ää tuoda asioita esille ja myös julkiseen keskusteluun. MIKSI PÄÄTTÄJÄN PITÄISI OLLA KIINNOSTUNUT TULOKSISTASI?

25 KYSYMYKSIÄ JA KOMMENTTEJA? Tutkimuksen, yrityselämän ja hallinnon yhteistoiminta ja toistensa ymmärtäminen? Alueellisia kehi;ämisorganisaa<oita ja niihin lii;yviä yrityskiihdy;ämöjä kuten Varsinais-Suomen alueella Bastu AmmaZkorkeakouluilla on pitkät perinteet ja paljon kokemusta triple helix yhteistyöstä Alakohtaisia järjestöjä: Finnish Water Forum tuo yrityksiä ja hallintoa yhteen ja pyrkii tuo;amaan lisäarvoa ja edistämään esimerkiksi vien<ä. FIBS on yritysvastuuverkosto. Referenssialueyhteistyöstä (esim. SmartClean) mallia. Miten vuorovaikutussuunni;elussa päästään vies-nnän tasolta vaiku;amisen tasolle? Co-design luotu juuri tätä tarkoitusta varten. Osallistava tutkimus, yhteissuunnitellut lopputuo;eet, työnjako ja jae;u vastuu ja mahdollisuus saada relevaza ja oikein ajoite;ua tutkimus<etoa luovat omistajuu;a ja parantavat mahdollisuuksia vaiku;aa. Tutkimus-edon soveltaminen käytäntöön ja hyvien käytäntöjen levi;äminen yhdessä käytännön tekijöiden/ -edon soveltajien kanssa? Älä tyydy visioon vaan suunni;ele yhdessä myös ensiaskeleet, joita toteu;amisessa tarvitaan Sidosryhmän omistajuus hankkeessa lisää todennäköisyy;ä, e;ä <eto otetaan käy;öön Pitkäaikaiset, luo;amukselliset suhteet ja vuorovaikutus lisäävät mahdollisuuksia rajapintaorganisaa<oita kanna;aa hyödyntää tässä Rajapintaorganisaa<ot voivat myös toimia <edon lähteenä: menetelmät, hyvät käytännöt, hankkeet

26 III Osallistamisen haasteet näin vältät yleisimmät sudenkuopat

27 III Osallistamisen haasteet näin vältät yleisimmät sudenkuopat Suunni;eluvaihe Haaste Ratkaisustrategia Aihepiirin määri;ely Yhteisen tutkimuskohteen määri;ely Tiimin rakennus Sopivat roolit sidosryhmille Aihe;a ei pidetä haasteena tai ymmärretä haasteeksi Epätasapaino: tutkijat eivät pidä tarpeeksi <eteellisenä, sidosryhmät tarpeeksi relevanzna yhteiskunnalle, erilaiset odotukset ja laatumääreet. Yksi ryhmä dominoi. Epätasapaino relevanzen ryhmien välillä Kiinnostumisen ja osallistumisen lopahdus Tee ennakkokysely, jolla nostat <etoisuu;a Jae;u johtajuus, yhteiset oikeudet ja velvoi;eet, jatkuva dialogi Oikea määrä erilaisia sidosryhmiä, joilla aito osallisuus hankkeeseen. Sidosryhmien kartoitus ja priorisoin<, osallistamisen mahdollistavat rakenteet, hyödynnä sidosryhmien omia verkostoja, ei vain usual suspects. Oikea osallistumisen taso ja tavat läpi projek<n, harvemmasta osallistumisesta <iviimpään yhteistyöhön, sidosryhmien priorisoin<, anna sidosryhmille vastuuta ja luo siten aitoa omistajuu;a hankkeeseen. Lang et al 2012

28 III Osallistamisen haasteet näin vältät yleisimmät sudenkuopat Suunni;eluvaihe Haaste Ratkaisustrategia Tulosten tulkinta Lopputuo;eiden hyödyntäminen Tieteellinen ja yhteiskunnallinen vaiku;avuus ja sen arvioin< Erilaiset tulkinnat ja poten<aaliset konflik<t, tulkinnoille avoimet epämääräiset tulokset, esim. visiot Tuloksia käytetään/tulkitaan tarkoitushakuises< tai väärin Tulosten legi<mitee<n puute Tuloksia ei hyödynnetä Tulokset hankalia hyödyntää tai ymmärtää <eteellises< tai yhteiskunnallises< Tarkennus: mitä konkreehsia toimia esim. visio vaa<i, ja konflik<n hallinnan menetelmät (Biodiversa) Pidä yllä jatkuvaa dialogia ja reflek<ota, osallista lopussa mukaan myös tutkimusta laajemmat sidosryhmät Ota yhteiskunnallis-poliihnen konteks- huomioon jo suunni;eluvaiheessa: selvitä strategiat ja prosessit ja niiden aikataulu Tulokset vies<;ävä myös -eteelliseen keskusteluun, jo;a <eto leviäisi Suunni;ele lopputuo;eita läpi prosessin yhdessä <edon hyödyntäjien kanssa, vaikutukset eivät aina kausaalises< arvioitavissa tai mita;avissa, ks. vaikutuksen lajit Lang et al 2012

29 KYSYMYKSIÄ JA KOMMENTTEJA?

30 PIENRYHMÄTYÖ Vuorovaikutussuunnitelman laadintaa pienryhmätyöskentely purku Esimerkit mukailtu strategisen tutkimuksen hankehauista. Määrittele kolmen vuoden hankkeelle: Miksi? Ketkä? Milloin ja miten?

31 TEEMA I: Terveys, hyvinvointi ja elämäntavat Terveyteen ja hyvinvointiin liittyvää tietoa on runsaasti tarjolla, mutta suomalaiset eivät omaksu elämäntapoihinsa liittyviä suosituksia, eikä tietoa hyvinvointia ja terveyttä edistävistä elämäntavoista osata riittävästi hyödyntää. Millaiset mekanismit muuttaisivat ihmisten käyttäytymistä pysyvästi parempien elintapojen ja terveemmän elämän suuntaan? Erilaisten ryhmien tunnistaminen, niiden kiinnostuksen kohteiden ja motivoivien tekijöiden selvittäminen ovat teeman kannalta avainasemassa.

32 TEEMA II: Ilmastoneutraali ja resurssiniukka Suomi Luonnonvarojen kestävä käyttö ja ilmastonmuutoksen hillintä edellyttävät ilmastoneutraalia ja resurssiniukkaa yhteiskuntaa. Kiertotaloudessa uusiutuvat ja uusiutumattomat luonnonvarat kiertävät tehokkaasti ja kaikki materiaali- ja energiavirrat käytetään tarkasti. Miten resurssien käyttöä voidaan tehostaa ja samalla tukea siirtymistä kiertotalouteen, joka tuo Suomeen osaamisperusteista kasvua ja vientiä? Mitkä ovat ilmastoneutraalin ja resurssiniukan yhteiskunnan edellytyksiä, ja millä tavalla julkiset toimenpiteet parhaiten tukevat hallittua muutosta kohti ilmastoneutraalia ja resurssiniukkaa yhteiskuntaa?

33 LÄHTEITÄ Durham E., Baker H., Smith M., Moore E. & Morgan V. (2014). The BiodivERsA Stakeholder Engagement Handbook. BiodivERsA, Paris (108 pp). Future Earth Ini<al Design Report (2013) Hirsch Hadorn G, Hoffmann-Riem H, Biber-Klemm S, Grossenbacher-Mansuy W, Joye D, Pohl C, Wiesmann U, Zemp E (Eds) (2008). Handbook of Transdisciplinary Research. Springer. ISBN: (Print) Kirchhoff, C, Lemos, M, and Dessai, S (2013). Ac<onable Knowledge for Environmental Decision Making: Broadening the Usability of Climate Science, Annu. Rev. Environ. Resour : Lang, D, Wiek, A, Bergmann, M, Stauffacher, M, Martens, P, Moll, P, Swilling, M, Thomas, CJ, (2012). Transdisciplinary research in sustainability science: prac-ce, principles, and challenges. Sustainability Science 7:1, pp Lemos MC, Kirchhoff CJ, Ramparasad V Narrowing the climate informa<on usability gap. Nat. Clim. Change 2: McNie EC Reconciling the supply of scien<fic informa<on with user demands: an analysis of the problem and review of the literature. Environ. Sci. Policy 10:17 38 Miller, TR, Wiek, A, Sarewitz, D, Robinson, J, Olsson, L, Kriebel, D, Loorbach D (2014) The future of sustainability science: a solu<ons-oriented research agenda. Sustainability Science 9:2, Moser S Making a difference on the ground: the challenge of demonstra<ng the effec<veness of decision support. Clim. Change 95:11 21 Pohl C, Hirsch Hadorn G (2007). Principles for Designing Transdisciplinary Research. 120 pp. Swiss Academies of Arts and Sciences. Talwar, S, Wiek, A, Robinson J (2011). User engagement in sustainability research. Science and Public Policy, Volume 38, Issue 5, Walter A, Helgenberger S, Wiek A, Scholz R (2007). Measuring societal effects of transdisciplinary research projects: design and applica<on of an evalua<on method. Evalua<on and Program Planning 30, Wiek, A, Harlow, J, Melnick, R, van der Leeuw, S, Fukushi, K, Takeuchi, K, Farioli, F, Yamba, F, Blake, A, Geiger, C, Ku;er R (2015). Sustainability science in ac-on: a review of the state of the field through case studies on disaster recovery, bioenergy, and precau-onary purchasing. Sustainability Science 10:1, Wiek, A, Ness, B, Schweizer-Ries, P, Brand, FS, Farioli F (2012). From complex systems analysis to transforma<onal change: a compara<ve appraisal of sustainability science projects. Sustainability Science 7, Supplement 1, 5-24 Wiek, A, Talwar, S, O Shea, M, and Robinson, J (2014). Toward a methodological scheme for capturing societal effects of par<cipatory sustainability research. Research Evalua<on 23,