Proseduraaliset eli prosesseja tutkivan toiminnan menetelmät 1
Mikä on prosessi? Prosessi on jokin tapahtumasarja, joka alkaa jostakin ja päätyy johonkin. Siinä voi olla (ja yleensä onkin) toimijoita, jotka aktiivisesti vaikuttavat tapahtumien kulkuun (interventiot). Joskus prosessit etenevät itsestään, jolloin niiden käynnistäjänä on jokin muu toimeenpaneva voima. Prosessia ei yleensä arvioida irrallaan sen tuloksesta. Prosessin tarkoituksena on tuottaa jotakin, eli sen tulokseksi odotetaan produkteja. Prosessia sanotaan produktiiviseksi, jos se tuottaa tuloksia. Tulos voi olla laadultaan aineetonta, henkisiä tuloksia, kuten esimerkiksi ajatusmalleja, mutta myös muita, ei-fyysisiä tuloksia, kuten sävellyksiä tai runoja. Aineettomiin tuloksiin on laskettavissa myös erilaiset palvelut, kuten esimerkiksi terveys- ja hyvinvointipalvelut tai markkinointisuunnitelmat. Usein prosessien tuloksena on kuitenkin selvästi aineellisia, näkyvissä olevia tuloksia, kuten visuaalisesti havaittavissa olevia taideteoksia, elintarvikkeita, asuntoja tai autoja. 2
Prosessien tutkiva ote asettuu kuvion alaosaan sen praktis-objektiiviseen tutkimusotteeseen unohtamatta prosessien subjektiivista ja reflektiivistä luonnetta TEOREETTINEN positivistisempiirinen paradigma tulkinnallinen paradigma OBJEKTIIVINEN SUBJEKTIIVINEN kriittisrealistinen paradigma tulkinnalliseksperientalistinen paradigma PRAKTINEN 3
Mitä prosesseista tutkitaan? Prosessia (sen kulkua, organisoitumista, tuloksia jne.) voidaan tutkia ja analysoida monin eri tavoin, esimerkiksi: Kuvailemalla (> case, multiple case) Observoimalla (> fenomenologia, etnografinen analyysi) Osallistuvan observoinnin keinoin (> etnografinen analyysi, toimintatutkimus) Haastattelemalla (> etnografinen analyysi) Analysoimalla projektin asiakirjoja (> luokittelevat ja tulkinnalliset sisällönanalyysit Analysoimalla ääneenajatteluaineistoa (> protokolla-analyysi) Arvioimalla sen tuloksia ja vaikutuksia (> arviointitutkimus, pehmeä systeemianalyysi, realistinen evaluaatio) 4
Määrällisissä ja laadullisissa metodeissa on keinoja tutkia prosesseja, mutta ne lähtevät liikkeelle jo olemassa olevasta, aikaisemmin saaduista tuloksista ja tarkastelevat meneillään olevaa ja mahdollista muutosta tässä hetkessä tähän asti eniten käytetyt menetelmät ovat ensisijaisesti työ- ja toimintaorganisaatioiden kehittymiseen orientoituneita niiden lähestymistapojen ongelmana on välttelevä suhtautuminen tuloshakuisuuteen ja sen vuoksi niiden kohteena on enemmänkin kohteen kuvailu kuin konkreetteja tuloksia tuottavat toimet. 5
Prosessien analysointi on ensisijaisesti arvioivaa Prosessia voidaan tutkia tuloksia testaamalla ja mittaamalla tai tulkitsemalla (= empiiriset kvantitatiiviset ja kvalitatiiviset menetelmät). Silloin on kyseessä perinteinen tieteellinen tutkimustoiminta, joka tavoittelee propositionaalista, deklaratiivista tietoa (totuusväittämätietoa). Prosesseja tutkitaan kuitenkin ensisijaisesti käytännöllisin tavoittein, jolloin saavutetaan relatiivista eli suhteellista, proseduraalista eli toiminnallista tietoon. Arvioivan toiminnan logiikka tähtää ensisijaisesti tuloksen hyväksymiseen (affirmation) eikä niinkään sen todeksi vahvistamiseen (confirmation, joka on empiirisen tutkimuksen tehtävä). 6
Arviointitieto osa laajennettua tiedonkäsitystä Propositionaalisella tiedolla tarkoitetaan sellaista väittämätietoa, joka voidaan ilmaista kielellisesti merkkien avulla. > tavanomainen tieteellisen tiedon laji. Arvioiva (evaluoiva) tieto ilmaisee, että jokin kohde (asiantila, esine, teko jne.) on hyvä tai arvokas suhteessa johonkin annettuun arvojärjestelmään eli se täyttää arviointikriteerit. Kriteerit voivat olla esimerkiksi taloudellisia, terveydellisiä, esteettisiä tai moraalisia. Myös taidearvostelukin voi perustua arviointijärjestelmään eli olla esimerkkinä arvioivasta tiedosta (Niiniluoto 1989, 56) 7
Prosessin kulkua voidaan analysoida monin eri tavoin Käytännöllisessä ja luovassa prosessissa edetään tunnetuista (tämän hetken) asioista tuntemattomaan (seuraavan hetkeen). Siinä voidaan kiinnittää huomiota ja nostaa näkyviin esimerkiksi tekijän sisäisiä tuntemuksia - toimintaan liittyviä reflektioita? tekijän tietoa hiljaista tietoa asiantuntijan osaamista prosessin kulkua kokonaisuudessaan jotakin sen eri vaihetta erikseen ratkaisua edellyttäviä tilanteita ja niissä tapahtuvaa päätöksentekoa 8
Miten prosessia kuvataan sisältäpäin? Kannattaa fokusoida prosessin olennaisiin vaiheisiin. Se merkitsee, että jokainen prosessin aikana ollut yllätyksen aihe, yhdistettynä siitä syntyneeseen mielikuvaan, kumottuun teoriaan, näkyviin nousseeseen hiljaiseen tietoon, muutettuun toimintamalliin, muuttuneeseen mielikuvaan, tuodaan näkyviin. Niihin tulee reflektoida ja saada näkyvään muotoon. On pohdittava, mikä on niiden merkitys hankkeeseen kokonaisuudessaan? Mikä on niiden merkitys ja seuraukset tulevissa toiminnoissa? (Scrivener 2000) 9
Käytännöllisessä ja luovassa prosessissa on epätraditionaalinen tutkimusote Käytännön työn prosessiin kohdistuva tutkimus ei ole lähtökohdiltaan samanlainen kuin traditionaalinen tutkimus, jossa aluksi asetetaan kysymys, josta johdetaan jokin tutkimusongelma joka ratkaistaan tai hypoteesi, jonka paikkansapitävyyttä koetellaan. Traditionaalisessa tutkimuksessa aloitetaan usein teoria- ja kirjallisuustarkastelulla, jolloin painopiste asettuu loogisen ongelman tai hypoteesin valintaan (kvantitatiivinen tutkimus) tai painopiste asettuu sellaisen aineiston hankintaan, jota analysoidaan erilaisin tulkinnallisin keinoin (kvalitatiivinen tutkimus). Kummassakin tapauksessa teorialla on ratkaiseva merkitys joko siitä lähdetään liikkeelle tai siihen päädytään tutkimuksen tuloksena. Käytännön prosessin (systeemin) tutkimus aloitetaan pätevän toimintamallin valinnalla, joka suuntaa tekemistä sen aloitusvaiheessa, jota seurataan, arvioidaan, tarkistetaan, muutetaan ja tilanteen mukaan johdetaan vähitellen kohti hyväksyttävää ratkaisua. 10
joka on varsinainen tutkimusmenetelmällinen haaste! Päinvastoin kuin traditionaalisessa tutkimuksessa käytännöllisessä, luovassa prosessissa on useita mahdollisia sisältöjä ja tavoitteita ja ne voivat muuttua, kasvaa ja saada prosessin kuluessa erilaisia painotuksia. Prosessin kuvauksen tulee käsittää keinot, joilla tekijä kuvaa itseään itsensä tunnistavana, systemaattisena, reflektiivisenä, kantaa ottavana ja luovana persoonana. Tutkimusmenetelmällä haetaan vastausta siihen, mitä seikkoja ao. prosessiin sisältyy, mikä on sen muoto ja mitkä ovat sen vaiheet ja mitä saadaan tulokseksi. Keskeinen ratkaistava asia on, miten siitä dokumentoidaan. 11
Prosessin tutkiva ote voi kohdentua eri tavoin Prosessi on reflektointia edellyttävä tapahtuma = prosessi on itsetuntemusta lisäävä tapahtuma Prosessi on tekemisperusteista tutkimusta eli tekemällä tutkimista (practice-based research) = prosessi on tutkimusmenetelmä Prosessissa pyritään arvioimaan kehittymistä = prosessi on tutkimusasetelma, jonka puitteissa arvioidaan asetettujen tavoitteiden saavuttamista Prosessi on tavoitteellinen tapahtuma, jonka tuloksellisuutta ja vaikuttavuutta tutkitaan = prosessi on tutkimuskohde 12
Prosessiin liittyvän tiedon kokoaminen Prosessi merkitsee muutoksia olosuhteissa, toimintatavoissa, tuloksissa, oppimisessa, tottumisessa asioihin, motivaatiossa jne. Prosessien hallinnan asiantuntijat, taiteilijat ja muotoilijat ovatkin tottuneet siihen, että työskentelyn aikana voi tapahtua mitä hyvänsä. Materiaalit, työvälineet, koneet, laitteet, aikatekijät, tekniikka yms. saattavat muuttaa tilanteen aiotusta aivan toiseksi. Aina ei ihmisten toimissa ole edes kysymys tietoisesta toiminnasta ja pelkästä tuloshakuisuudesta, vaan joskus tutkittavalle syntyy ideoita ja impulsseja kesken kaiken muihin kuin tutkijan ennakolta odottamiin asioihin. 13
Prosessin dokumentaatio Prosessia koskeva aineisto voidaan koota ajallisesti lyhyenä tai pitkänä jaksona nauhoitetuista haastatteluista, osallistuvan observoinnin keinoin tai ääneenajattelumenetelmällä. Lyhyt poikkileikkaustilanne Prosessi, jossa huomiota kiinnittävä ilmiö esiintyy, voidaan analysoida tapahtumavaiheittain, mutta myös avainkohtien tai - tapahtumien kautta tai ilmiössä olevien eri tekijöiden erillis- tai yhteisvaikutuksena. Pitkittäistarkastelu Joskus ilmiö on niin monisäikeinen, että siinä vuorottelevat monet eri tekijät kohoten kukin erikseen vaikuttavaksi prosessin kuluessa. Niiden merkitys saattaa aueta vasta kokonaisuutta jälkeenpäin tarkasteltaessa ja siksi niiden muistiin merkitseminen voi olla hyvinkin tärkeää. 14
Päättelyn logiikoista abduktiivinen kohoaa nyt erityisasemaan 15
Reflektiivinen ote avainasemassa Käytännöllistä, luovaa prosessia voidaan tutkia ja arvioida hankkeen sisältä (reflection-in-action and -practice ) hankkeen ulkopuolelta (reflection on action and practice ) Luovan tuottamisen prosessia voidaan siis reflektoida sekä prosessissa itsessään, sen sisällä, samoin kuin prosessia sinällään. 16
Mitkä ovat prosessissa itse mukana olevan henkilön tutkimukselliset keinot? Itse koettunakin prosessi on dokumentoitava tai muuten saatava näkyviin, joka edellyttää sen tapahtumien havaitsemista ja niihin reflektointia Prosessin dokumentointi auttaa opiskelijoita / tekijöitä itseään ymmärtämään ja perustelemaan, mitä he olivat tekemässä silloin, kun he tekevät intuitiivisia päätöksiä (De Freitas 2002) 17
Prosessia tutkivan otteen luonne perustuu Tekijän osaavan ammattilaisen reflektioon eli itseymmärrykseen, joka on Eksploratorista (etsivää) kokeilua Muutosta testaavaa kokeilua Hypoteesia testaavaa kokeilua Kokeilevan toiminnan tulosten käytäntöön suuntautunutta arviointia 18
Reflektio ja sen ammatillinen näkökulma: reflektio yhteisöllisenä tapahtumana Yhteisölliselle reflektiolle luonteenomaisia piirteitä: Reflektio ei ole vain sisäinen, psyykkinen prosessi eikä pelkkää pohtimista; se on toimintapainotteista. Reflektio ei ole kieleen perustuva, yksilöllinen prosessi; se edellyttää sosiaalista kanssakäymistä. Reflektio ei ole arvovapaata eikä neutraalia; se kuvaa ja palvelee inhimillisiä, sosiaalisia, kulttuurisia ja poliittisia tavoitteita. Reflektio on ideologisesti muovautunutta; se muovaa ideologiaa. Reflektio ei ole mekaaninen prosessi eikä pelkkää uusien ideoiden tuottamiseen tähtäävää luovaa toimintaa; se on toimintaa, joka pystyy muokkaamaan yhteisöä kommunikoinnin, valintapäätösten ja sosiaaliseen elämään osallistumisen avulla. (Kemmis 1985, 140,149) 19
Reflektion tasot yleisesti ottaen Tekninen reflektio; ongelmanratkaisua. Tulkinnallinen reflektio; toimintojen harkintaa myös moraalisena kysymyksenä. Kriittinen reflektio; ajatteluun painottuvaa arviointia (Kemmis 1985, 142-145) 20
Reflektoinnin tasot Mezirowin mukaan Reflektoinnin kohteina voivat olla havainnot, ajattelu ja toiminta sekä näiden vakiintunut tarkastelutapa, joita voidaan tarkastella ja tutkia seitsemällä eri tasolla (Mezirow 1981) 21
Esimerkki muotoiluprosessin aloittamisesta itsereflektoinnin avulla Pasi Kaukonen: Delivery - what is the designers process like when creating a new product? Diploma work 1366/1999 The Kuopio Academy of Crafts and Design "The Delivery (Synnytys)" is a description of the work of a designer from different starting points when creating a new product. Creation and working process are discussed on the basis of notes from the work diary. 22
. esimerkki muotoiluprosessin aloittamisesta itsereflektoinnin avulla Human spinalcord and light are two things which can be seen in all objects of "Evolution" in one way or another. My action is lead by what I think myself. It affects my thoughts, observation, attitudes and action: how does the product change when the designer/ maker grows and develops in his work. 23
Reflektoinnin jaksottuminen Reflektointi jaksottuu tiettyihin vaiheisiin, esim. kun työskentely pysähtyy päivän päättyessä viikonloppuisin projektin lykkääntyessä projektin siirtyessä uuteen vaiheeseen projektin päättyessä Reflektio kohdistuu työhön, sen lähestymistapoihin, aikaisemmin toteutuneisiin hankkeisiin vertaamiseen, tuloksiin, jne. 24
Reflektoinnin tallennus Reflektio on primaari kognitiivinen mekanismi, jonka avulla voidaan käsitellä odottamattomia mekanismeja. Tämänkin vuoksi on suositeltavaa, että kaikki reflektiot sekä tarkoitettuine että ei-tarkoitettuine seuraamuksineen jotenkin tallennetaan ja raportoidaan systemaattisesti. Silloin sekä tutkimusmielessä että oppimismielessä niistä saadaan irti tarkoitettu hyöty. (Schön 1983) 25
Reflektion tallennusmuotoja Ääneenajattelun ääninauhoitus Toiminnan ja siihen liittyvän ääneenajattelun videointi Päiväkirjat ja työmuistiinpanot Prosessiportfolio Muita, vähemmän käytettyjä tallennusmuotoja reaaliaikaisen vastauslaitteen käyttäminen (laite kehitteillä) 26
Prosessin sisäistä ja ulkopuolista reflektointia sekä arvioivaa tietoa hyväksi käyttäviä menetelmiä Toimintatutkimus Kehittävä työntutkimus Pehmeä systeemimetodologia Realistinen kriittinen evaluaatio 27
Toimintatutkimus prosessin arviointimenetelmänä Toimintatutkimus (action research) on sellainen tutkimusote, jossa samanaikaisesti toteutetaan sekä tutkimus että käytännön tilanteen tai tutkittavan ilmiön tavoitteena oleva muutos. Toimintatutkimuksen ideana on hankkia tietoa, jolla ohjataan käytäntöä muuntelemalla jotakin tiettyä, tutkimusprosessin osana olevaa todellisuutta Toimintatutkimus soveltuu parhaiten erilaisten organisaatioiden toiminnan kehittämiseen. 28
Toimintatutkimuksen periaate Toimintatutkimus (action research) voidaan nähdä yhtenä arviointieli evaluaatiotutkimuksen suuntauksena. Se on painottunut toiminnan kohteen ymmärtämiseen sosiaalisena tapahtumana. Toimintatutkimus on tapaustutkimuksen kaltainen, prosessia käsitelevä tutkimusstrategia, joka kohdistuu tiettyyn erityistapaukseen. Toimintatutkimuksen alkuperäisen ajatuksen esittäjä ja oppi-isä on yhteiskunnan kehittämisestä ja humanismista kiinnostunut psykologi Kurt Lewin (1890-1947) 29
Toimintatutkimuksen tavoite Toimintatutkimus on prosessi, joka tähtää asioiden muuttamiseen ja kehittämiseen entistä paremmiksi. Toiminnan kehittäminen ymmärretään tällöin jatkuvaksi prosessiksi, joka ei pääty esimerkiksi entistä parempaan toimintatapaan. Keskeistä on uudella tavalla ymmärretty prosessi. Toimintatutkimus piirtyy tällä tavoin ymmärrettynä lähestymistavaksi, joka ei ole kiinnostunut vain siitä, miten asiat ovat, vaan ennen kaikkea siitä, miten niiden tulisi olla. Toimintatutkimuksen tarkoituksena on kehittää uusia taitoja tai uutta lähestymistapaa johonkin tiettyyn asiaan sekä ratkaista ongelmia, joilla on suora yhteys johonkin käytännölliseen toimintaan. (Aaltola ja Syrjälä 1999, 21) 30
Toimintatutkimuksen kulku kaaviona (Suojasen 1999 mallia mukaillen Linturi 2003) 31
Miten toimintatutkimus etenee Keskeinen piirre on ryhmässä tapahtuva, kierros kierrokselta etenevä toiminta, jolloin hankkeeseen osallistuvat henkilöt yhteisesti hyväksyvät toimintansa viitekehyksen ja tekevät ryhmän jäsenten kesken tarvittavan työnjaon. Tutkija ei siis ole mikään ulkopuolinen henkilö eikä tietoja hankita jälkeenpäin tai tallenneta jonnekin muiden käytettäväksi, vaan kaikki tapahtuu "tässä ja nyt". Erityistä osaamista edellyttää toiminnan seuraaminen, niin että tarpeellinen tieto saadaan prosessoitua ja käyttöön. 32
miten toimintatutkimus etenee Toimintatutkimuksen mallin yleisenä ideana on eteneminen spiraalimaisesti suunnittelu - toiminta - havainnointi - reflektointi kierroksissa eli sykleissä. Yhtä tällaista kierrosta voi pitää vasta tutkimuksen alkuna, ja tavallisesti jokaiseen toimintakierrokseen kuuluu useita lisäkierroksia tai sivukierroksia sen mukaan, millaisia lisä- tai tukitoimintoja suunnittelun ja valmistuksen prosessiin liittyy. Syklin yksi kierros on perusta seuraavalle ja tarkoituksena on jatkuvasti tarkastella sitä suhdetta, joka muodostuu aikaisemman syklin havainnoinnista. 33
Reflektion tehtävä toimintatutkimuksen prosessissa Toimintatutkimuksen tavoitteet ja ongelmat muotoillaan yhdessä tutkijoiden, systeemissä toimivien henkilöiden ja asiakkaiden kanssa. Usein on jonkin verran vaikeaa määritellä, kuka on asiakas eli tuloksen tarvitsija. Onko se työn tekijä itse vai työn antaja, onko se asiakas sanan varsinaisessa mielessä tai esimerkiksi tekijälle tuntematon tuloksen haltuun ottaja tms. Tutkijan on tässä prosessissa aina tarkkaan tiedostettava oma roolinsa. Hän kuuluu toimintatutkimuksessa sen organisaatioon, itse systeemiin, ei sen ulkopuolelle. Toimintatutkimuksessa on kriittisellä reflektiivisyydellä keskeinen merkitys. Tutkija ja mahdollisesti asiakkaat ja muutkin hankkeessa mukana olijat tarkastelevat kriittisesti tekemisiään. He täsmentävät kysymyksiään, pohtivat käytettyjä menetelmiä ja toimintasuunnitelman pätevyyttä. 34
Toimintatutkimuksen vaiheet Määritellään ongelma tai asetetaan tavoitteet. Mikä tarvitsee kehittämistä tai minkälaisen tulisi olla uuden ratkaisun? Tehdään katsaus kirjallisuuteen tai muuhun lähdemateriaaliin, jotta voidaan todeta, onko aiemmin kohdattu samantyyppisiä ongelmia tai saavutettu kuvatun kaltaisia tavoitteita. Määritellään testattavat ongelmat tai lähestymistavat selvästi, tarkasti ja käytännöllisesti. Suunnitellaan toimintatutkimuksen asetelma ja määritellään tarvittavat prosessit ja olosuhteet. Millaisia ovat ne erityiset seikat, joita tutkimusprosessissa tulee toteuttaa, jotta tavoitteet saavutetaan? Määritellään arviointikriteerit, mittausmenetelmät ja muut tarvittavat palautteen saamisen muodot. Analysoidaan koottu tietoaines ja evaluoidaan tulokset. 35
Mihin toimintatutkimus soveltuu? Toimintatutkimuksen strategia soveltuu kaikkialle, missä on jonkin asian suorittajia ja "asiakkaita" eli tulosten tarvitsijoita, kaikkialle, missä toiminnoissa voidaan saavuttaa konsensus tai missä ei ainakaan vallitse ristiriitaa tavoitteiden ja taustalla olevien arvostusten välillä. 36
Toimintatutkimuksen validiteetti- eli luotettavuuskriteerit Pätevää toimintatutkimusta ei voida tehdä yksin. Toimintatutkimukseen kuuluu ryhmä ihmisiä, jotka voivat olla työtovereita, asiakkaita, opettajia tai ohjaajia, ystäviä, jotka voivat ottaa vastustajan roolin jne. Tutkija tarvitsee sekä tukijoita että vastustajia, jotka esittävät haasteita ja vastalauseita. Nämä kontaktit tulisi voida järjestää neuvottelujen muotoon. Tarkoituksena on löytää kaikki virheet, epäonnistuneet ratkaisut, aukkopaikat, mutta ongelmien lisäksi myös lupaavat uudet ratkaisut ja vaihtoehdot. Hyvä toimintatutkimus perustuu monen erilaisen tiedon hyvään vuorovaikutukseen. Toimintatutkimus tarjoaa erinomaisen mahdollisuuden kytkeä yhteen käytännön työskentelyssä tarvittavan kokemusperäisen tiedon, empiirisesti todennettavan kokeellisen tiedon ja hermeneuttisen, tulkitsevan tiedon käyttö ja tulokset. 37
Systeemien tutkimus Systeemi tarkoittaa yleisesti ottaen ilmiötä, jossa on olemassa vuorovaikutusta sen eri osien välillä. Se voi olla luonnonlakien alainen tapahtuma tai toimintaa artefaktien eli ihmisen aikaansaamien kohteiden sisällä ja välillä. Systeemillä tarkoitetaan myös järjestelmää, ryhmää asioita tai osia, jotka toimivat yhtenä kokonaisuutena jonkin päämäärän toteuttamiseksi. Se voi olla myös joukko ideoita, teorioita ja toimintamalleja, joiden mukaan jokin saadaan toimimaan. Systeemi koostuu rajatusta määrästä erillisiä tekijöitä, joista voidaan määritellä alasysteemejä. 38
Systeemianalyysit Systeemianalyysi on tutkimusmenetelmällisesti tehokas selitys- ja kuvausjärjestelmä pikemminkin kuin tieteellinen syy seuraus malli. Systeemianalyysi voidaan määrittää menetelmäksi, jossa yhdistyvät intuitio ja arviointi. Systeemi voi saada aikaan synergiaa ja ilmiötä voidaan tarkastella tietyissä ajanjaksoissa, kuten esimerkiksi sykleittäin, vaiheittain jne. Systeemianalyysit kohdistuvat mm. sellaisten päätöksentekoprosessien tutkimukseen, joiden ongelmat keskittyvät mm. sosioteknisten järjestelmien identifiointiin, optimointiin ja kontrollointiin ottaen huomioon monitahoiset tavoitteet, reunaehdot ja resurssit. Systeemiteorioilla on läheinen yhteys kybernetiikkaan sekä systeemidynamiikkaan, samoin kaaosteorioitten, tekoälytutkimuksen, hermoverkkotutkimuksen sekä tietokonemallinnuksen ja simulaatioiden kehittämiseen. 39
Systeemin mallinnus Systeemiä tutkitaan osana todellisuutta. Systeemianalyysissa rakennetaan malleja, joita tarkastellaan ja tutkitaan osana todellisuudesta. Malli itsessään on myös eräs systeemi. Se on tarkoituksella valittu tai laadittu niin, että se tuo esiin systeemin olennaiset ominaisuudet ja muistuttaa sitä niin hyvin, että siitä tehdyt päätelmät pätevät myös itse systeemissä siitäkin huolimatta, että malli tavallisesti sisältää huomattavasti vähemmän elementtejä ja yhteyksiä kuin mallinnuksen kohde. Malli voi olla ajatusmalli eli mentaalinen malli tai se voidaan kehittää havainnemalliksi esimerkiksi laatimalla luonnoksia, hahmomalleja, pienoismalleja, tuotantosuunnitelmia, teatterille näytelmäsovituksia, tanssia varten koreografioita jne. 40
Mallin kieli? Kun ajatukset on konkretisoitu fyysiseksi malliksi, voidaan objektiivisemmin ja vakavammin kontrolloida, tutkia ja keskustella mallin oikeellisuudesta. Mallin rakentamiseen valitaan sopiva kieli, joka voi olla manuaalisesti tai tietotekniikalla hallittavissa. On otettava huomioon tämän kielen rajoitukset ja pidettävä huolta myös näkökohdista, jotka eivät tule mallissa näkyviin. Esimerkiksi tunnepohjaisia näkökohtia on vaikea tai jopa mahdoton kuvata, mutta niitä ei hyvässä mallissa pitäisi myöskään lyödä laimin. 41
Systeemianalyyttiset koulukunnat Systeemianalyyseissä on erilaisia koulukuntia ja erilaisia näkemyksiä suunnittelukohteen erityisluonteen ja jopa suunnittelijan maailmankatsomuksen mukaisesti. Kvantitatiivisesta, määrällisestä suunnittelusta kiinnostuneessa perinteisessä systeemianalyysissa (systeemiteknologinen lähestyminen) on tavoitteena pääasiassa kuvata ja analysoida tutkittavia systeemejä ja joissakin teknisissä tarkoituksissa suunnitella ja ohjata niitä. (vrt. hierarkkiset systeemimallit) Kvalitatiivinen systeemianalyysi (systeemistrateginen lähestyminen) rakentuu vähemmän muodollisille malleille ja tekniikoille ja lähtee epämuodollisista kuvauksista, käytännöllisestä tiedosta ja terveen järjen käytöstä. Tarkoituksena on saada aikaan erilaisia päätös- ja toimintastrategioita annetussa ongelmatilanteessa sekä analysoida niiden vaikutuksia 42
Perinteinen systeemianalyysi on matemaattispohjainen tieteenala, joka pyrkii tutkimaan ja analysoimaan ongelmia kokonaisuuksina soveltamalla laskennallisia malleja. Systeemiajattelu ja siitä kehitettyjen erityisten menetelmien kokonaisuus eli systeemimetodologia on keino ymmärtää havaittujen ilmiöiden ja tapahtumien kokonaisuuksia, ominaisuuksia ja niiden välisiä suhteita. Systeemianalyysin avulla voidaan tarkastella monimutkaisia dynaamisia prosesseja ilman, että jokainen prosessiin tavalla tai toisella vaikuttava toimija joudutaan määrittelemään, mallintamaan ja kuvaamaan erikseen. Systeemianalyysillä hahmotetaan systeemin eri tekijöiden hierarkkista järjestymistä ja näin voidaan laajentaa ymmärrystä tarkastelun alla olevista ongelmaryppäistä. 43
Pehmeä systeemianalyysi Pehmeä systeemianalyysi (Soft Systems Methodology) on amerikkalaisen Peter Checklandin vuonna 1986 julkaiseman teoksen Systems Thinking, Systems Practice innoittamana levinnyt laajaan käyttöön ja rantautunut myös Suomeen. Checkland tarkoittaa metodologialla joukkoa erilaisia metodeja tai tekniikoita, jotka sovelletaan kulloiseenkin tilanteeseen soveltuviksi ratkaisumalleiksi. Tässä tapauksessa systeemissä etenevä suunnittelija vastaa samanaikaisesti sekä kysymykseen "mitä?" että kysymyksen "miten?". (Vrt. Mannermaa 1992, 260) 44
Pehmeän systeemimetodologian tarkoitus Pehmeä systeemianalyysi soveltuu metodiksi käytännönläheisten ja tulostavoitteisten kehittämishankkeiden tutkimustehtäviin. Sen lähtökohtana ovat pehmeät, huonosti ja epätäsmällisesti määritellyt ongelmat. Ongelmia käsitellään todellisessa maailmassa eikä niiden käsittelyä eristetä pelkästään laboratorioihin. Ratkaisun kriteerinä on, että asianomaiset ihmiset pitävät sitä onnistuneena tai että ongelmatilanne on parantunut tai että on saatu näkemystä asiaan. Pehmeä systeemianalyysi on tarkoitettu yleiseksi ja joustavaksi kehikoksi ongelmanratkaisutilanteissa kaikenlaisiin sellaisiin inhimillisiin systeemeihin, jotka ovat luonteeltaan enemmän tai vähemmän "pehmeitä". 45
Pehmeän systeemimetodologian kulku 46
Pehmeässä systeemianalyysissä on seuraavat vaiheet: On havaittu jokin heikosti tai huonosti määritelty ongelma tai kehittämistarve. Ongelmaa pyritään täsmentämään. Määritellään alustavasti ne osatekijät, joilla systeemiä voitaisiin parantaa tai kehittää. Määritellään ne ydinvisiot (root definitions), joilla parannukset tai kehittäminen voitaisiin aikaan saada. Muodostetaan niistä erilaisia käsite- ja ratkaisumalleja. Parannellaan ja kehitellään näitä ratkaisumalleja käyttäen hyväksi yleistä systeemiajattelua. Verrataan ratkaisumalleja todellisuuteen. Vertailun tuloksia hyväksi käyttäen määritellään todellisuuden tasolla systeemiin kohdistuvat suotavat ja toivottavat muutokset. Suoritetaan tarvittavat toimenpiteet. 47
Pehmeän systeemimetodologian idea Mallissa vaiheet on jaettu kahteen kenttään: reaalimaailman kenttään ja systeemiajattelun kenttään. Toiminnan kierto tapahtuu siirtymällä kentästä toiseen ja palaamalla takaisin Lähtökohtana on systeemin määrittely inhimillisen ja teknologisen maailman tavoitteellisena yhteistoimintana. Sen jälkeen valitaan järjestelmä, joka ratkaisee havaitut ongelmat, ja aloitetaan toimenpiteet. Määritellään valitun systeemin tavoitteet ja suoritusten mittaukset sekä suunnitellaan suoritusten ja tulosten arvioinnit. Systeemi voidaan suunnitella joko paperilla tai tietokoneella, sitä varten voidaan rakentaa erilaisia malleja, sitä voidaan simuloida ja etsiä erilaisia optimiratkaisuja. 48
Esimerkki systeemimetodologian soveltamisesta ammatilliseen tutkimustehtävään Pehmeän systeemimetodologian soveltaminen yrityksen toimituslogistiikan mallinnukseen. (Lammenoja 2005; Anttila 2005, 438) 49
Pehmeän systeemianalyysin tutkimuksellinen luotettavuus Tutkimusstrategiana pehmeä systeemianalyysi toimii niin, että jos ratkaisu näyttää hyväksyttävältä, tarkistetaan sen luotettavuus todellisuuteen nähden. Toimiiko tulos reaalimaailmassa? Onko tulos asetettujen kriteerien mukainen? Onko prosessin alussa asetettuihin ongelmiin saatu vastaus? Prosessin kriteereinä voidaan pitää toiminnan tavanomaista kulkua, esimerkiksi missä määrin se vastaa ns. normaalia työn kulkua. Suurten systeemien onnistumisen arvioimiseksi tarvitaan kuitenkin lisäksi laajoja muita evaluointimenetelmiä, esimerkiksi haastatteluja, kyselyitä, havainnointimenetelmiä, erilaisia laboratiivisia kokeita, työntutkimusmenetelmiä, yms. 50
Realistinen kriittinen arviointi projektisuuntautuneen t&k toiminnan metodisena ratkaisuna. Realistinen arviointi (evaluaatio) on uusin metodologinen tulokas tutkimuksen maailmaan. Se nojaa tieteellisen realismin (scientific realism) tieteenfilosofiseen suuntaukseen. (Michael Scriven 1994; Rom Harre 1986) 51
Realistisen evaluaation taustaideologia Ammattialan tutkimuksen lähtökohta voi olla myös tutkimus prosessin kautta eli tekemällä (esimerkiksi: through the project mnagement). Tällöin tutkimus- ja kehitystoiminnan kohteena voi olla suunnitteluja tuotantotoiminta kokonaisuudessaan tai jokin sen osa-alueista tai sen tarkoituksena voi olla tuottaa tietoa toiminnasta sinänsä. Tutkimuskohteita voivat siten olla esimerkiksi ammattialalla tehtävien päätösten rakenne, alalla toimivan henkilön ympäristövastuu tai jonkin teknisen ratkaisun toimivuus, erilaisten artefaktien käyttötarve, käytettävyyteen liittyvät tekijät tai jonkin projektin ja sen graafisten liittymien retorinen tai semioottinen ulottuvuus, esimerkiksi yrityskuva tms. (Vrt. Brusila 2001, 57) 52
Realistisen evaluaation periaatteet Pikemminkin kuin keskittymällä tapahtumiin ja muuttujien välisiin yhteyksiin ja niihin vaikuttavien tekijöiden syy seuraus -suhteisiin, realistinen evakluaatio kohdistaa kysymyksen siihen, miten hankkeet toimivat, mitä varten ja missä olosuhteissa, pyrkien kokonaisvaltaiseen, holistiseen perspektiiviin. Realistinen evaluaatio käytetään monimenetelmällistä lähestymistapaa. Tutkija arvioitsija ei ainoastaan arvioi käytännön tuloksia vaan säilyttämällä kosketuksensa kokonaisuuteen, pyrkii sitä myös muuttamaan 53
Realistinen evaluaatio nojaa tieteelliseen realismiin Tieteellinen realismi hyväksyy sen periaatteen, että tiedoksi voidaan kutsua niitä väitteitä, joille on olemassa toistaiseksi paras perustelu siitä huolimatta, että saatetaan epäillä niiden totuutta ja olla jopa oikeassa tässä epäilyssä. Onkin todennäköistä, että ajan mukana uuden evidenssin ja uusien käsitteiden ja teorioitten myötä tieto paranee lähestyen totuutta, tulemalla yhä paremmin totuudenkaltaiseksi. (Niiniluoto 1989, 60) 54
ja perustuu arvioivaan tietoon Propositionaalisella tiedolla tarkoitetaan sellaista väittämätietoa, joka voidaan ilmaista kielellisesti merkkien avulla. > tavanomainen tieteellisen tiedon laji. Arvioiva tieto ilmaisee, että jokin kohde (asiantila, esine, teko jne.) on hyvä tai arvokas suhteessa johonkin annettuun arvojärjestelmään eli se täyttää arviointikriteerit. Kriteerit voivat olla esimerkiksi taloudellisia, terveydellisiä, esteettisiä tai moraalisia. Myös taidearvostelukin voi perustua arviointijärjestelmään eli olla esimerkkinä arvioivasta tiedosta 55
Realistinen evaluaatio on uudentyyppinen arvioiva tutkimusmenetelmä realistinen evaluaatio on tuloshakuinen menetelmä. Se ei ainoastaan etsi tuloksia, vaan myös mekanismeja, joilla tuloksia saadaan aikaiseksi konteksteja, joissa näitä tuloksia pannaan syntymään, näiden interventioiden sisältöjä. (Pawson & Tilley 1997; Kazi 1998) 56
Realistisen evaluaation tavoitteet Realistisen evaluaation tavoitteena on tuottaa holistista, kokonaisvaltaista lähestymistapaa käytännön evaluaation kysymyksiin. Se näkee käytännön prosessit sellaisina avoimina systeemeinä, joita voidaan evaluoida niiden todellisten sisältöjen mukaan ottamalla täydellisesti huomioon niiden monimuotoisuus. Menetelmällisesti realistinen evaluaatio ei ole sen enempää määrällistä kuin laadullistakaan, vaan asettuu omaksi prosesseja analysoivaksi menetelmälliseksi strategiakseen. 57
Ohjenuorana käytännön järki Menetelmän taustalla oleva teoria perustuu järjen käyttöön ja asioitten mielekkyyteen (sensemaking) ohjaamalla käytännön ratkaisujen tekemiseen. Realistinen evaluaatio tuottaa uutta lähestymisparadigmaa postpositivismin maailmaan ja hyödyntää konstruktivistisen tradition arvomaailmaa uudella tavalla. 58
siksi käytännöllinen, monimenetelmällinen, arvioiva metodi eli kriittinen realistinen arviointi joka tunnistaa sekä empiirisen käytännön että tulkinnallisen lähestymistavan rajoitukset, ja joka pyrkii tuottamaan perspektiiviä, joka menee kauemmas ohi edellä mainittujen menetelmien, tarjoaa muita proseduraalisia menetelmiä paremmat tulokset. Pragmaattinen eli käytännöllinen tarkoittaa tässä keskittymistä siihen, mitä kulloinkin havaitaan hyödylliseksi ja sopivaksi. 59
Vaikuttavuus arvioinnin kohteena Realistinen evaluaatio tähtää vaikuttavuuden arviointiin. Todellisuus on vaikutusten ja vastavaikutusten monimutkainen järjestelmä. Perinteinen tiede etsii kausaalisuhteita eli syy seuraus -suhteita. Se on tuttua esimerkiksi mekaanisten laitteiden, kuten höyrykoneen yms. riittävän yksinkertaisista systeemeistä. Se on kuitenkin liian yksioikoinen selitys todellisuuden kompleksisille vuorovaikutusjärjestelmille. Todellisuuden käsittämisestä vaikutuksiksi seuraa se hyöty, että kaikki, mikä jollakin tapaa vaikuttaa, on todellista, myös mielikuvat, uskomukset, tieto. Kaikki nämä vaikuttavat maailmassa ja ovat siis omanlaistaan todellisuutta. Esimerkiksi uskontojen vaikutus maailmanhistoriaan ja kansojen kohtaloihin on hyvin todellista. (Karvonen 1999) 60
Kriittinen arviointi - (evaluointi) - strategiana perustuu toimenpidemallien (interventio) rakenteen tutkivaan lähestymiseen, jossa sovelletaan sekä yksittäisistä että multi-case tapauksista koottujen aineistojen analyysejä. Evaluaatiostrategioita sovelletaan käytännössä niin ettei niiden tehokkuus esitellään sekä käytännössä että soveltaen myös suoraan interventiomalleihin. Strategiat muodostuvat niin, että ne systemaattisesti kuljettavat ja yhdistävät vähimmäismäärän käytännön tuloksia muihin vastaavin hankkeisiin. (Kazi 1998) 61
Kriittisen evaluaation perusidea on hankkeen mallinnus (Pawson and Tilley 1997b; Kazi 1998) Kehittämishankkeen taustateoria ja mallinnus Mikä (ehkä) toimii ja missä kontekstissa? Toimintaohjelma Toiminta-oletukset (hypoteesit Mikä (todella) toimii ja missä kontekstissa? Havainnot 62
Realistinen evaluaatio edellyttää mallinnusta Interventioiden kulku voidaan ymmärtää mallina ja sen tehokkuus riippuu siitä, missä määrin malli vastaa todellisuutta. Evaluaatio alkaa olemassa olevan sisältöjä, mekanismeja ja tuloksia koskevaan tietoon perustuvalla mallinnuksella, jota aineiston kokoamisen kautta jatkuvasti täsmennetään ja kehitetään. Käytännön realistinen evaluaatio ei arvioi ainoastaan aikaisemmin tapahtunutta sen valossa, mikä hankkeessa toimii / pelaa (kuten tekevät edellä mainitut kolme lähestymistapaa) vaan myös suoraan edistää tulevan käytännön kehittämistä sen perusteella mikä nyt toimii / pelaa, kenen hyväksi ja missä kontekstissa. 63
realistinen evaluaatio edellyttää mallinnusta. Realistinen arviointi koskee siis hankkeen mallinnuksen parantamista ja pyrkii sitä kautta parantamaan myös käytännön sisältöjä itsessään. Aineiston kokoamisen avulla pyritään saamaan evidenssiä eli näyttöä tavoitteita ja ohjelman sisältöä parantavista seikoista niin, että saadaan syntymään generoiva vaikutus taustatekijöihin, niiden mekanismeihin ja sisältöihin. Realistisen evaluaation mallia rakennettaessa pyritään hahmottamaan reaalitodellisuuden likiarvoja ja verrataan saatuja tuloksia todellisuuteen, interventioiden vaikuttavuuteen ja siihen, kuinka hyvin ne toimivat todellisuudessa. Malli on tässä tapauksessa iteratiivinen, syklinen ja muuntumiselle altis. 64
Evaluaatio käytännön tasolla Reaalitodellisuudessa käytännön asiantuntijat mallintavat todellisuutta käytännön hankkeissa. Tosielämässä malli sisältää teoreettisen orientaation (= esiymmärryksen tai aikaisemman asiasta olemassa olevan tiedon), käytännön viisautta, alan asiantuntijoiden hyväksymää tietoutta, hiljaista tietoa ja aikaisempaa kokemustietoa siitä, mikä toimii, mitä ja ketä varten se toimii ja missä kontekstissa se toimii. Asiantuntija rakentaa mallinsa niin, että hän voi sen avulla suunnata kehittämishankkeen toivottuun suuntaan ja tarvittaessa myös muuttaa sitä. Riippuen hankkeen eettisistä päämääristä ja taustalla olevista arvoista malli voidaan rakentaa yhdessä muiden toimijoiden kanssa. Muut mallin rakentamiseen vaikuttavat tekijät liittyvät hiljaiseen tietoon ja toimijoiden osoittamaan käytännön viisauteen ja osaamiseen. Siihen kytketään myös vastaavista muista hankkeista saatu kokemus, ammattialan edellyttämät ehdot ja vaatimukset. Malliin voi liittyä henkilökohtaisia, sosiaalisia ja ympäristöllisiä vaikeuksia sekä jokin ohjelma, jonka avulla voidaan antaa tukea, suojella tai korjata toimintoja ja muutoksiin kohdistuvia odotuksia. (Kazi & Spurling 2000) 65
Realistisessa evaluaatiossa käytettävät tutkimusmenetelmät ovat sidoksissa tutkijan arviointinäkökulmaan. Valintatarjotin on kokonaan käytettävissä määrällisistä tutkimuksista laadullisiin ja jopa kriittisiin menetelmiin saakka. Siinä voidaan käyttää tarvittaessa testausmenettelyjä, jolloin kokeellisen asetelman valinta intervention vaikuttavuuden osoittamiseksi edellyttää hyvin ennalta suunniteltua kohderyhmää sekä mahdollista vertailu- tai kontrolliryhmää ja tutkimuksen toteuttamista. Kokeellisessa asetelmassa on myös mietittävä tarkkaan vaikuttavuutta osoittavat indikaattorit. jatkuu 66
realistisessa evaluaatiossa käytettävät tutkimusmenetelmät Jos arvioinnin kannalta on tärkeää tietää usean toimijan käsityksiä, mielipiteitä tai ajatuksia tutkittavasta ilmiöstä, lomakekysely (survey) on käyttökelpoinen menetelmä. Strukturoiduilla kysely- ja haastattelututkimuksilla saadaan kerättyä suhteellisen pieni määrä informaatiota suureltakin joukolta ihmisiä. Jos pidetään tärkeänä laatia kokonaiskuvaus hankkeesta, toteutetaan case-tutkimus, mutta jos siinä on kohtia, joita on observoitava tarkemmin, silloin toteutetaan esimerkiksi laadullisen observoinnin analyysi. Realistiseen evaluaatioon sopivat hyvin myös syvemmälle menevät laadulliset analyysit, joita voidaan soveltaa mm. käytettävyys- ja esteellisyysanalyysien tekemiseen. Yhtä hyvin semioottinen analyysi on sovellettavissa tähän moniulotteiseen evaluaatiomalliin. 67
Mallinnusesimerkki. Realistisen evaluaation toteuttaminen muotoiluprosessissa (Myllyluoma 2004) 68
Realistisen evaluaation toteuttaminen iteratiivisessa, kierroksittain etenevässä hankkeessa (Anttila 2005) 69