Evaluaatiotutkimus sosiaalityön kehittämisessä Mikko Mäntysaari

Transkriptio

1 Evaluaatiotutkimus sosiaalityön kehittämisessä Mikko Mäntysaari 1

2 1 Miksi evaluaatiota tarvitaan sosiaalityössä? Ammatillisuus velvoittaa tietämään, mitä seurauksia asiakkaille on tehdystä työstä. Rahoittajat haluavat tietää, toteuttiko projekti ne tavoitteet joihin rahaa oli myönnetty. Tieteellinen mielenkiinto: tieto on itsessään arvokasta. 2

3 Vaatimus työmenetelmien vaikuttavuutta koskevan tutkimustiedon lisäämisestä ei ole uusi. Aulikki Kananoja ja Anni Pentinmäki totesivat kirjassaan "Yksilökohtainen sosiaalityö", että vaikka sosiaalitieteellisen tutkimuksen avulla voidaan selittää erilaisia vuorovaikutustilanteita ja voidaan ymmärtää, millaisia muutoksia tapahtuu ja miten ne tapahtuvat, ei sosiologinen tieto tai "sosiaaliteoria", kuten kirjoittajat sanovat, tarjoa mallia, miten tarvittavia muutoksia esimerkiksi yksilön ja perheen kohdalla saadaan aikaan. "Kuitenkin sosiaalityö tarvitsee juuri sitä tietoa, joka antaa pohjan muutoksen aikaan saamiselle."(kananoja & Pentinmäki, 1977, 59-60) 3

4 Jönssonin kiusaus Nuori doktorandi Jönsson luuli ensiksi näin:... tutkimus ja käytäntö luovat yhdessä paremman sosiaalityön, asiakkaiden hyödyksi. Tutkimus luo teoreettisia malleja ja näiden perustalta on mahdollista muotoilla sosiaalityöhön metodeja. Tutkijat mittaavat ja arvioivat sitten metodeja niin, että käytännön edustajat tietävät, mikä toimii parhaiten. (Jönson, 1998, s.45) Mutta jatko-opintojensa edistyessä hän oppi että näin ei sovi ajatella! Tuollainen ajattelutapa oli pseudomedisiinistä ja reduktionistista (?). 4

5 Sosiaalityöntekijöiden selvin ero lääkäreihin (tai vaikkapa opettajiin) nähden on, että sosiaalityön työmenetelmien opetus ei juuri perustu menetelmien vaikuttavuustutkimukseen. Tähän on kiinnittänyt huomiota amerikkalainen Bruce Thyer hiukan provokatiivisessa puheenvuorossaan (Thyer, 1996, s. 123), jossa hän vaati, että sosiaalityön menetelmien opetuksen tulisi perustua empiiriseen näyttöön työmenetelmien positiivisista vaikutuksista asiakkaiden elämään. Tämä vaatimus on nykyisen sosiaalityön tutkimuksen varassa mahdoton toteuttaa, minkä Thyer varsin hyvin tietää. 5

6 Hyvä on, myönnetään: Sosiaalityön työmenetelmien arviointitutkimuksen sijaan olisi syytä puhua sosiaalihuollon vaikuttavuustutkimuksesta. Silloin vältämme pulman työmenetelmien tunnistamisesta. 6

7 Thyer edellyttää myös, että valmistuvan opiskelijan olisi kyettävä osoittamaan, että on opintoihin kuuluvien käytännön opetuksen jaksojen aikana kyennyt auttamaan yhtä asiakasta. Tästä auttamisesta olisi annettava uskottava tutkimukseen perustuva näyttö (Thyer, 1996, s. 123). Vastaavasti opiskelijoiden olisi aina vaadittava, että metodien opettaja osoittaa empiirisiin tutkimuksiin vedoten, että esitetty toimintatapa on hyödyllinen (Thyer, 1996, s. 124) Tämä on erittäin kiinnostava vaatimus, koska se konkretisoi, millaisia hankaluuksia mahdollisesti liittyy vaikutsten osoittamiseen. 7

8 1970-luvun alkupuolella Yhdysvalloissa käynnistyi kiivas keskustelu caseworkin vaikuttavuudesta. Keskustelun käynnistäjinä toimivat Joel Fischerin tutkimukset, jotka osoittivat sosiaalityön siihen asti keskeisen työmenetelmän, yksilökohtaisen työn pulmallisen tuloksellisuuden. (Martin & Kettner, 1997, s. 17) Syntyi suoranainen tehokkuus ja vaikuttavuustutkimusten vyöry. Case workin vaikuttavuutta koskevat tulokset vaikuttivat ensin hälyyttävän huonoilta. Myöhemmät uusintatutkimukset antoivat yksilötyön vaikuttavuudesta myönteisemmän kuvan. Huonoja tuloksia ei tulisikaan säikähtää. 8

9 Jönson kertoo artikkelissaan, miten nuorten rikoksentekijöiden hoidon (behandlinsinsatser) tuloksellisuustutkimukset osoittivat, että lyhyt ja tuntuva rangaistus vaikutti paremmin kuin hoitavat toimet. Tätä tulosta kavahtaen Jönson päätyy luopumaan standardoitujen toimintatapojen etsimisestä sosiaalityössä. En oikein ymmärrä Jönsonin ratkaisua. Eikö voisi ajatella, että sosiaalityön eettiset säännöt nimenomaan edellyttäisivät asiakkaita haittaavien työmenetelmien tunnistamista ja poiskitkemistä? 9

10 On hyvä olettaa, että menetelmä ei toimi, tai että projektilla ei ole vaikutuksia. Myönteiset vaikutukset yllättävät. Jönson osuu kuitenkin monessa suhteessa tärkeään asiaan kertoessaan kokemuksistaan. Tutkijaksi kasvaminen merkitsee arvojen ja tosiasiaväittämien toisistaan erottamisen oppimista. Siksi tutkijan on usein hyvin vaikea rohkaistua sanomaan, että jokin työtapa saattaa olla hyödytön tai jopa vahingollinen. Vastaavasti ammattilaisen kannalta saattaa tuntua vaikealta hyväksyä sitä, että joukosta vaihtoehtoisia toimintatapoja joku saattaa olla asiakkaan kannalta parempi kuin toiset. Tutkijalle tällaisesta kannasta syntyy eettinen velvoite osoittaa parhaat mahdolliset työmenetelmät, ja käytännön ammattilaiselle vastaavasti velvollisuus seurata jatkuvasti tutkimusta ja valita käyttöönsä hyviksi todetut toimintatavat. 10

11 2 Evaluaation käsite Evaluaatio on jonkin asian tai toiminnan arvon, merkityksen tai ansion määrittelemistä. (Scriven, 1991a) Erilaisten evaluaatiotutkimuksen metodologioita on paljon; kvantitatiiviset, kvalitatiiviset, koeasetelmaan perustuvat ja toimintatutkimukselliset lähestymistavat ovat yhtä mahdollisia. Menetelmänäkökulmasta evaluaatio ei eroakaan muusta yhteiskuntatieteellisestä tutkimuksesta. Scrivenin mukaan evaluaatio on tilastotieteen kaltainen transdisipliini, jolla ei sinänsä ole omaa sisällöllistä tutkimuskohdettaan, mutta joka tuottaa välineitä toisten tutkimusalojen käyttöön. Evaluaation pitäisi aina tuottaa arvostelma evaluandin arvosta, ansiosta tai merkityksestä. 11

12 Evaluaatiotutkimuksen perusmuotona on ohjelma-arviointi (program evaluation), jossa evaluaation kohde, evaluandi, on jokin toimenpideohjelma, suomalaisessa kontekstissa projekti. Program evaluation is the use of social research methods to systematically investigate the effectiveness of social intervention programs in ways that are adapted to their political and organizational environments and are designed to inform social action to improve social conditions. (Rossi et al., 2004, 16) 12

13 Kaksi projekti- (tai ohjelma-) arvioinnin peruskysymystä ovat: Miten projekti toimii? Vaikuttaako projekti tarkoitetulla tavalla? Ohjelma-arvioinnin perusmenetelmät ovat ennen-jälkeen mittaus ja koeasetelma eri variantteineen. 13

14 3 Evaluaatiotutkimuksen lajit Peruserotteluna voitaneen pitää jakoa kahden tyyppiseen arviointiin: toisaalta on olemassa tiedontuotantoarviointia, joka tähtää samaan kuin tieteellinen tutkimus yleensä, mahdollisimman luotettavan tiedon tuottamiseen. (Pawson & Tilley, 1997) Toinen arvioinnin päätyyppi on kehittävä arviointi, jossa pyritään toiminnan kehittämiseen, ehkä empowerment evaluaation tai osallistavan arvioinnin keinoin. (Patton, 1990; Fetterman et al., 1996) Tässä erottelussa elää vahvana Campbellin ja Cronbachin esiinnostama ristiriita. 14

15 Kehittämisperusteinen evaluaatio, jota erityisesti Patton (1997) on kehitellyt, perustuu tiedon hyödyntämisen keskeiseen merkitykseen evaluaatiossa. Käyttämättä jäävä tieto, vaikka paikkansa pitävääkin, on evaluaation kannalta turhaa tietoa. Evaluaation tilaajat asettavat tutkimuskysymykset. Monessa mielessä houkutteleva näkökulma, mutta sisältää myös ongelmia: mitä seuraa tilanteesta, jossa vain tutkimuksen tilaajat katsotaan keskeiseksi viiteryhmäksi. Johtaako tilanteeseen, jossa evaluaatioita tehdään vain yhteiskunnan hyväosaisten eduista lähtien. (Rajavaara, 1999) Evaluaation on hyvä ottaa huomioon yhteiskunnan laajempi etu, mitä se sitten onkaan. 15

16 Formatiivinen ja summatiivinen evaluaatio Keskeinen evaluaatiotyyppien erottaja Summatiivinen e.:tavallisesti tehdään toiminnan päätyttyä tai vakiinnuttua ulkopuolisen yleisön tai päätöksentekijän tarpeeseen, tekijöinä voivat olla sisäiset tai ulkoiset arvioijat tai näiden yhdistelmät. Kyse ei ole vain vaikutusten arvioinnista eikä kokonaisarvioinnista. Formatiivinen e.: tehdään ohjelman kuluessa tai kehittyessä, ja sitä tehdään organisaatiolle itselleen tarkoituksenaan parantaa arvioinnin avulla toimintaa. Toteuttaja voi olla ulkoinen tai sisäinen arvioija. (Scriven, 1991a, s. 340) Stake: kun kokki maistaa keittoa, kyse on formatiivisesta e., kun asiakas maistaa keittoa, summatiivisesta evaluaatiosta. (Scriven, 1991a, ) 16

17 Arviointi voi olla itsearviointia ja/tai ulkoista arviointia kvantitatiivista vaikuttavuusarviointia kvalitatiivista prosessiarviointia hyötynäkökulmasta lähtevää tai tiedontuotantoarviointia realistista (Pawson & Tilley, 1997) tai konstruktionistista (Guba & Lincoln, 1989) arviointia koeasetelmaan perustuvaa tai löyhää seurantaa 17

18 Arvioinnin menetelmiä on paljon, ja arviointikysymykset ratkaisevat, mikä menetelmä on sopiva kuhunkin kysymykseen. Sahaa ei voi käyttää höyläämiseen, eikä talonrakentamista toisaalta voi toteuttaa vain höylillä (Töttöä matkien). Eli menetelmät on valittava arviointikysymysten mukaan, ja arviointikysymykset yhteiskunnallisen tehtävän tai tarpeen mukaan. 18

19 4 Arvioinnin etiikka Amerikkalaisen arviointiyhdistyksen (American Evaluation Association) eettiset ohjeet syntyivät laajana yhteistyönä. (AEA, 2001) Amerikkalaisella arviointiyhdistyksellä on viisi arvioinnin eettistä periaatetta: Järjestelmällisyys (Systematic Inquiry) Pätevyys (Competency) Rehellisyys (Integrity/Honesty) Ihmisten kunnioittaminen (Respect for people) Yhteiskunnallinen vastuu (Responsibilities for General and Public Welfare) 19

20 4.1 AES:n laatustandardit AES on julkaissut arvioinnin laatustandardit, jotka jakautuvat neljään ryhmään: Hyödynnettävyysstandardit: osallisten identifiointi, arvioijan luotettavuus, informaation laajuus ja valinta, arvojen identifiointi, raportoinnin selkeys, raportin ajankohtaisuus ja hyödyntäminen, arvioinnin vaikutusten maksimointi. Toteuttamiskelpoisuutta kuvaavat standardit: käytännölliset arviointiprosessit, moniarvoisuuden säilyttäminen, kustannusten ja hyötyjen suhteen maksimointi. Tarkoituksenmukaista arvioinnin toteuttamista kuvaavat standardit: palvelunäkökulma, muodolliset sopimukset, oikeuksien kunnioittaminen, inhimillinen vuorovaikutus, 20

21 kokonaisvaltainen ja reilu arviointi, löydösten paljastaminen, intressikonfliktien selvittäminen, taloudellinen vastuu. Arvioinnin tarkkuutta säätelevät standardit: projektin dokumentointi, kontekstisidonnainen analyysi, tietolähteiden luotettavuus, tietolähteiden dokumentointi, tietolähteiden systemaattisuus, kvantitatiivisen ja kvalitatiivisen aineiston analysointi, oikein mitoitetut johtopäätökset, johtopäätösten koherenssi, metaevaluaation tarve. (Hivenen soveltaen Jalava & Virtanen, 1998, ) 21

22 5 Arvioinnin keskeiset elementit Erilaisia tarkistuslista -tyyppisiä luetteloita siitä, mitä arvioinnin tulee pitää sisällään, on olemassa runsaasti. Michael Scrivenin kehittämä Key Evaluation Checklist (Scriven, 1991b) pitää sisällään seuraavat välttämättömät osat (eli nämä elementit on aina löydettävä arvioinnista): Kuvaus: Mitä aiotaan arvioida. Arvioinnin kohde tulee kuvata oikein, mikä ei välttämättä ole sama kuvaus kuin se, jonka arvioinnin tilaaja kohteesta esittää. Kuvauksen tulee tunnistaa komponentit, jotka kohteessa on olemassa. Tilaajan antama kuvaus on käännettävä mitattavissa olevalle kielelle, eli operationalisoitava. Tausta ja konteksti. Taustoitus luo perspektiiviä ja auttaa suunnittelemaan arviointiasetelmaa. Tähän kuuluu asiakkaiden 22

23 ja panostenhaltijoiden tunnistaminen. Mitä arvioinnin kohteena olevan asian/ilmiön on tarkoitus tavoitella. Mitä sen uskotaan tekevän. Tässä vaiheessa myös täsmennetään, millaisesta arviointiasetelmasta on kysymys, onko tarkoitus tehdä formatiivista vai summatiivista, ritualistista vai aitoa, tavoiteperustaista vai tavoitevapaata arviointia. Kuka tai ketkä hyötyvät arvioinnin kohteena olevan ilmiön vaikutuksesta? Kuka tarvitsisi arvioinnin kohteena olevaa ilmiötä, esimerkiksi palvelua, mutta jää sitä ilman. Vastaanottajat tai asiakkaat on tunnistettava. Veronmaksajat ovat usein tärkeitä asiakkaita. Mikä on arvioinnin kohteen kokonaisvaikutus (Outcomes). Tarkoitetut asiakkaat tunnistetaan edellisessä kohdassa, tässä aidot asiakkaat. Resurssien kartoitus. Kyse on arvioinnin kohteen vahvuuksien arvioinnista sen sijaan että arvioitaisiin asiakkaiden tarpeita. 23

24 Mitä eri resursseja arvioinnin kohteella on käytettävissään. Kyse ei ole sen kartoittamisesta, mitä resursseja todellisuudessa tällä hetkellä käytetään, vaan mitä voitaisiin käyttää. Kyse voi olla rahaasta, asiantuntemusta teknologiasta, asiakkaiden tai palvelujen käyttäjien valikoinnista jne. Arvot. Arviointi perustuu aina arvoihin. Arviointiprosessi pitää sisällään arvojen tunnistamisen. Sitä tarvitaan kun faktojen perusteella tehdään lopuksi arvottavia johtopäätöksiä. Arvojen tunnistaminen voi tapahtua arvioinnin kohteen vaikutuspiirissä olevan väestön tarveanalyysin kautta. On epäammattimaista tehdä relativistista arviointita, jossa hyväksytään työskentelyn perustaksi arvoja niitä testaamatta tai arvioimatta. Prosessi. Prosessin hahmottelu aloitettiin kuvailussa, ja nyt edellisessä kohdassa tunnistetut arvot otetaan käyttöön tässä prosesissa. Prosessin kuluessa arvioinnin kohteen kaikki 24

25 ominaisuudet analysoidaan keräämällä niistä tietoa ja soveltamalla tässä tiedonkeruussa edellä täsmennettyjä arvoja. Vaikutukset (Outcomes). Mitä arvioinnin kohteen avulla saadaan aikaiseksi? Millaisia tarkoitettuja ja tarkoittamattomia vaikutuksia sillä on? Tarkoitetut ja tarkoittamattomat vaikutukset tulee erottaa toisistaan. Painopisteenä tulee olla, mitä lisäarvoa arvioinnin kohteella oikeasti saavutetaan. Harvard-erhettä tulee tarkkailla. a Se, mitä pidetään vaikutuksena, vaikuttaa olennaisesti arviointiasetelmaan. Vaikutukset tulee erottaa prosessista. Rahan kuluminen ei ole toiminnan vaikutus, se on vain kulu. Samoin se, että ohjelma a Harvard-erheellä tarkoitetaan erityisesti koulutuksen arvioinnissa havaittua ilmiötä. Jos haluamme verrata toisiinsa Kuopion yliopiston ja Harvard Universityn opetuksen laatua, ei vertailua voi suorittaa pelkästään esimerkiksi laskemalla, kummassa yliopistossa on valmistunut enemmän nobelisteja. Vertailussa on huomioitava myös opiskelemaan tulevien nuorten motivaatio, kyvyt ja taidot. 25

26 työllistää ihmisiä ei ole vaikutus, vaan prosessin ominaisuus. Summatiiviset (siis vaikutusta kaikkien asiakkaiden kohdalta tarkastelevat) tilastot eivät ole riittävän hyviä. Usein kokonaisvaikutusta mittaavat tilastot voivat osoittaa nollaa tai miinusta, mutta se, että esimerkiksi köyhät tai etniseen vähemmistöön kuuluvat ihmiset hyötyvät, voi olla hyvin tärkeää. Tässä arvot tulevat taas mukaan. Mikä on kausaatio mikä vaikuttaa, jotta vaikutuksia syntyy. Kustannukset. Tässä arvioidaan, miten käytettävissä olevat taloudelliset resurssit suhteutuvat asiakkaiden määriin, henkilöstöön, käytettävissä olevaan aikaan. Kyse voi olla myös suorien ja epäsuorien kustannusten kirjaamisesta. Vertailu vaihtoehtoisten mallien välillä. Tunnistetut ja ei-tunnistetut vaihtoehdot. Mitä muita toimintamalleja voi olla olemassa. Erityisen tärkeitä ovat kriittiset kilpailijat eli sellaiset, 26

27 jotka saavat parempia tuloksia pienemmillä panoksilla. Yleistettävyys. Mitä hyötyä toimintamallista voisi olla, jos toiset ihmiset käyttäisivät sitä. Millaisia markkinoita sovelletulle toimintatavalle voisi olla. Merkitys. Arvio kaikesta edellä sanotusta, synteesi, joka tuottaa arvion arvioinnin kohteen suhteellisesta kustannus-tehokkuudesta todellisiin tarpeisiin vastaamisessa, ja pitäen mielessä eettiset ja lailliset näkökohdat, sivuvaikutukset ja mallin mahdollisen yleistettävyyden. Synteesin tekemistä ei voi pääsääntöisesti jättää asiakkaalle. Suositukset. Tilaaja voi toivoa näitä tai sitten ei. Tilaaja voi seurata niitä tai ei. Raportti. Raportoinnin kieli, mitta, formaatti, väline, aika, paikka ja henkilöstö on harkittava huolella. Samoin salaisuus, julkisuus 27

28 ja ennakkotarkastus. Formatiivisessa arvioinnissa raportoinnilla on koulutusfunktioita. Raportoinnissa on sekä tieteellisen esittämisen että arkikielisen esittämisen funktioita ja tarpeita. Visuaalinen ulkoasu on tärkeä tekijä. Meta-arviointi. Ammattilainen käsittelee omaa tuotostaan samalla kriittisyydellä kuin arvioinnin kohdettakin. 28

29 6 Arviointikokemuksia Työskentelin Stakesissa vuosina 1993 ja , ja tänä aikana toimin sosiaalipalvelujen arviointiyksikkö FinSocin päällikkönä. Joitakin arviointitutkimuksiani väitöskirjani (Mäntysaari, 1991) realistinen implementaatiotutkimus kvalitatiivisella aineistolla. toimeentulotuen siirtoa Kansaneläkelaitoksen hoidettavaksi arvioiva projekti (Mäntysaari, 1997), kvalitatiivinen ja kvantitatiivinen aineisto, vertailuasetelma. Kotitaloustyön tukikokeilun arviointi (Kainlauri et al., 2000), kvantitatiivinen aineisto, vertailuasetelma kahden mallin välillä. Lahden työllistämiskokeilun arviointi (Mäntysaari, 1999), 29

30 kvantitatiivinen aineisto, ennen-jälkeen asetelma. Albatrosin arviointi (Karisto et al., 2000), kvalitatiivinen ja kvantitatiivinen aineisto. Harava-hankkeen arviointi (2005), kvalitatiivinen ja kvantitatiivinen aineisto. 30

31 Viitteet AEA (2001) Guiding Principles for Evaluators. American Evaluation Association. Tulostettu Fetterman, David M., Kaftarian, Shakeh J., Wandersman, Abraham (toimittajat) (1996) Empowerment Evaluation. Knowledge and Tools for Self- Assessment and Accountability. Thousand Oaks, CA: Sage. Guba, Egon G., Lincoln, Yvonna S. (1989) Fourth Generation Evaluation. Newbury Park, London, New Delhi: Sage. Jalava, Urpo, Virtanen, Petri (1998) Tietoa luova projekti. Polku oppivaan organisaatioon. Kirjayhtymä. Jönson, Håkan (1998) Praktik och forskning. Nordisk Sosialt Arbeid (1), Kainlauri, Anne, Mäntysaari, Mikko, Andersson, Sirpa (2000) Kotitaloustyön 30-1

32 tukikokeilun arviointi. Työhallinnon julkaisuja 255. Helsinki: Työministeriö. Kananoja, Aulikki, Pentinmäki, Anni (1977) Yksilökohtainen sosiaalityö. Teoria ja käytäntö. Porvoo-Helsinki-Juva: WSOY. Karisto, Antti, Lindqvist, Tuija, Mäntysaari, Mikko (2000) Albatrossin evaluaatio. Sosiaaliviraston julkaisusarja A 6/2000. Helsinki: Helsingin kaupungin sosiaalivirasto. Martin, Lawrence L., Kettner, Peter M. (1997) Performance measurement: the new accountability. Administration in Social Work 21 (1), Mäntysaari, Mikko (1991) Sosiaalibyrokratia asiakkaiden valvojana. Byrokratiatyö, sosiaalinen kontrolli ja tarpeitten sääntely sosiaalitoimistoissa. English Summary. Sosiaalipoliittisen yhdistyksen tutkimuksia no 51. Tampere: Vastapaino. (1997) Sosiaalityön ydintehtävät muutoksessa. Teoksessa Toimeentulotukikokeilu Loppuraportti, Selvityksiä no 5. STM, sivut

33 (1999) Toimeentulotuki työllistäjänä. Lahden työllistämispalveluprojektin arviointia. FinSoc työpapereita no 3. STAKES. Patton, Michael Quinn (1990) Qualitative Evaluation and Research Methods. Newbury Park,London,New Delhi: Sage, second edition painos. (1997) Utilization-focused Evaluation. The New Century Text. Sage, kolmas painos. Pawson, Ray, Tilley, Nick (1997) Realistic Evaluation. Oaks and New Delhi: Sage Publications. London, Thousand Rajavaara, Marketta (1999) Arviointitutkimuksen hyödynnettävyys. Teoksessa Arviointi ja asiantuntijuus, toimittajat Risto Eräsaari, Tuija Lindqvist, Mikko Mäntysaari, Marketta Rajavaara. Gaudeamus, sivu XXX. Rossi, Peter H., Lipsey, Mark W., Freeman, Howard E. (2004) Evaluation. A systematic approach. Sage, 7. painos. Scriven, Michael (1991a) Evaluation Thesaurus. Newbury Park,CA: Sage, neljäs painos. 30-3

34 (1991b) Evaluation Thesaurus. SAGE Publications, neljäs painos. Thyer, Bruce (1996) Guidelines for Applying the Empirical clinical practice model to social work. The Journal of Applied Social Sciences 20 (2),