Onko opinnäytetyöstä kehittämistyöksi? Mistä löytyvät opinnäytetyön metodologiset ratkaisut?

Transkriptio

1 Onko opinnäytetyöstä kehittämistyöksi? Mistä löytyvät opinnäytetyön metodologiset ratkaisut? Ammattikorkeakoulujen Opinnäytetyö ja ohjaus seminaari 2008 Pirkko Anttila Esityksen taustalla ovat teokset: Anttila, Pirkko Tutkiva toiminta ja ilmaisu, teos, tekeminen. Hamina: Akatiimi Anttila, Pirkko Realistinen evaluaatio ja tuloksellinen kehittämistyö. Hamina: Akatiimi Ammattikorkeakoululaki 351/2003 toteaa, että Tutkimus- ja kehittämistoiminta T&K- kohdistuu työelämän käytännöllisiin kysymyksiin kehittämällä uusia tai parannettuja tuotteita tuotantovälineitä tai -menetelmiä palveluja ja tuotteistamalla innovaatioita Ammattikorkeakoulujen kehittämistyön tarkoituksena on, että T&K toiminnalla kehitetään opinnäytetöitä hankkeistetuiksi ja projektien kaikkien osapuolen osaamista hyödyntäviksi koska tavoitteena on yhteisen tietämyksen sekä ymmärryksen kumuloituva kasvu. Kehittämishanke voi kytkeytyä opinnäytetyöhön erilaisin vaihtoehdoin. Toteuttamistavaltaan opinnäytetyö on tutkimuksellinen, toiminnallinen tai taiteellinen kehittämistehtävä, ja siihen sisältyy aina kirjallinen osuus. Työ voi olla esimerkiksi suunnittelu-, tuotekehitys-, selvitys- tai arviointitehtävä tai toiminnallinen tai taiteellinen kokonaisuus, joka vahvistaa tekijänsä valmiuksia toimia käytännön asiantuntijatehtävissä. Työssä hyödynnetään tutkittua tietoa ja sovelletaan toimivia työ- ja tutkimusmenetelmiä. Opinnäytetöiden nykyiset valtaparadigmat? Erään tehdyn selvityksen mukaan ammattikorkeakoulujen opinnäytetöissä on kolme valtaparadigmaa (Anttila 2007): A) Perinteinen akateeminen näkemys, johon sisältyy kaksi pääsuuntausta, kvantitatiivinen tutkimusote, jolloin pääpaino on määrällisen, tilastollisesti osoitettavissa olevan tiedon käsittelyssä tulkinnallinen, laadullinen tutkimusote, jolloin pääpaino on joko toteava, selostava, luokitteleva tai tulkinnallinen kohteen käsittely Näitä näkemyksiä tukevat mm. kaikki ops:t, joissa panostetaan vahvasti kvanti- ja kvaliopintoihin ja painotetaan menetelmäopintojen merkitystä. 1

2 B) Kokemuksellisuutta, intuitiivisuutta ja luovia oivalluksia painottava näkemys, jolloin pääpaino on prosessissa ja sen tuloksissa. Menetelmäopintoihin ei paljon panosteta. C) Teknis-ammatillinen näkemys, jolloin pääpaino asettuu työtaitojen, teknisten ratkaisujen ja ammatillisen osaamisen osoittamiseen sekä toiminnan tuloksellisuuteen. Menetelmäopintoihin ei tässä näkemyksessä paljon panosteta. Kehittämishankkeen tutkimuksellinen paradigma on ammattikorkeakouluissa kuitenkin kiinnostuksen kohteena Perinteinen tutkimus korostaa yksilöä ja yhteisöjä tutkimusyksikköinä kokonaisuuden osina. joihin vaikutetaan Uusi, esiin nouseva tutkimuksellinen paradigma korostaa yksilöä ja yhteisöjä erillisinä, itsenäisinä, omaehtoisina kehittämishankkeeseen osallistuvina toimijoina ja vaikuttajina Kehittämishankkeen vuorovaikutuksellisuus, yhteistoiminnallisuus ja vaikuttavuus odottavat otetta yhteisöllisyyden tutkimukseen, mutta myös yhteisöllisyyttä tutkimuksen teossa. Osallistuminen, kokemuksellisuus ja empowerment (valtaistuminen, voimaantuminen) odottavat entistä vahvempaa otetta yksilöllisyyden tutkimukseen, mutta myös yksilön kokemuksellisuutta tutkimuksen teossa. Tutkimuskentällä se näkyy siinä, että erilaisten prosessien ja systeemien samoin kuin sosiaalisen diskurssin tutkimus on noussut esiin. Erityisen suuri haaste kohdistuu taidollista osaamista ja luovaa ideointia, jopa innovaatioiden syntymistä koskevien prosessien tutkimiseen. Hankkeistetun opinnäytetyön ohjaamisen ja raportoinnin problematiikkaa T&K - työssä opinnäytetyön toteutus on ongelmallinen verrattuna perinteiseen, akateemiseen tutkielmaan, varsinkin jos siihen liittyy yritysyhteistyötä ja runsaasti käytännön kehittämistoimintaa. Koko hankkeella on toisenlainen viritys: kohteena on laaja kokonaisuus, josta vain osaan saattaa kohdistua varsinaisen tutkivan otteen paine. Sen ratkaiseminen, mistä näkökohdasta tutkimuksellinen osuus toteutetaan, ei ole kovin yksinkertainen tehtävä. Millä menetelmällisillä keinoilla kehittämishankkeiden opinnäytetöissä eteenpäin? Menetelmälliset ratkaisut kannattaa hakea läheltä käytäntöä ja työelämää siihen ei tarvita menetelmällistä kikkailua eikä traditionaalisen akateemisen tutkimuksen sokeaa jäljentämistä. Menetelmien on oltava vakuuttavia, uskottavia ja luotettavia ei riitä, että uskotellaan tilastollista totuutta, jos aineisto on riittämätön ja hatara. Käytännöllisen arvioinnin ja käytännöllisen hyväksynnän keinot käyttöön hylkäämättä kuitenkaan tieteellisen näytön merkitystä, jos siihen on riittävät resurssit (Huom! affirmation vs. confirmation ) Yksilön sisäiset, kokemukselliset, subjektiiviset, itsereflektointiin perustuvat tutkimusotteet kehittämisen kohteiksi Proseduraaliset, yhteistoiminnalliset, intersubjektiiviset, yhteisölliseen reflektointiin ja arviointiin perustuvat tutkimusotteet kehittämisen kohteiksi. 2

3 On monta tapaa koota ja siirtää tietoa kehittämishankkeiden avulla Määrällisen tiedon hankinnan keinoin (testaukset, mittaukset, kyselyt jne.) Sisältöjen laadullisen tulkinnan keinoin (sisällönanalyysit, diskurssianalyysit, etnografiset analyysit, fenomenologiset analyysit, semioottiset analyysit yms.) Artefakteihin kiinnittyvänä tietona (esim. valmistusteknologia, käyttöfunktiot) Hiljaisena tietona Kokemuksellisena käytännön tietona Intersubjektiivisen kokemuksellisuuden keinoin Subjektiivisen kokemuksen keinoin Kehon aistimuksin (näkö-, kuulo-, haju-, maku-, kosketus-, liiketunto-, lihastunto- aistimuksin) Itsereflektion keinoin Tunteen välittymisen keinoin Kehittämishankkeen prosessi (tiivistettynä) (Anttila 2007, 88) 3

4 Tutkijan position ja valittavan menetelmällisen lähestymistavan määrittyminen opinnäytetöissä Erityyppisten tutkijaroolien sijoittaminen opinnäytetyön tutkimukselliseen otteeseen riippuu siitä, millaista tietokäsitystä tutkimus edustaa. Tämä soveltuu, kun tavoitellaan teorioihin tukeutuvaa, esim. testattavaa tietoa Tämä soveltuu, kun tavoitellaan tulkittavaa, esim. merkityksenantoon tähtäävää tietoa ja uusia teoreettisia konstruktioita Tämä soveltuu, kun tavoitellaan prosessien kulkua ja tuloksellisuutta analysoivaa tietoa Tämä soveltuu, kun tavoitellaan subjektiivisen kokemuksen, luovan taiteellisen prosessin tai esim. hiljaisen tiedon näkyviin saamista Kuva: Tutkijan oman position valinta tutkimusparadigman eri ulottuvuuksilla (Anttila 2007, 36) Perinteisellä tieteellisellä propositionaalisella tiedolla tarkoitetaan sellaista väittämätietoa, joka voidaan ilmaista kielellisesti merkkien avulla ja todentaa sen luotettavuus ja asetettujen hypoteesien vastaavuus. Se on akateemisen tutkimuksen keskeinen tiedonkäsitys ja sitä tavoitellaan teoreettiseen orientaatioon suuntautuvissa tutkimusotteissa. Arviointitieto edustaa laajennettua tiedonkäsitystä kehittämishankkeen tiedonhankinnan metodologisena perusteena Arvioiva (evaluoiva) tieto ilmaisee, että jokin kohde (asiantila, esine, teko jne.) on hyvä tai arvokas suhteessa johonkin annettuun arvojärjestelmään eli se täyttää arviointikriteerit. Arvioivan tiedon kriteerit voivat olla esimerkiksi taloudellisia, sosiaalisia, kulttuurisia, terveydellisiä, tuotannollisia, eettisiä, esteettisiä yms. Kehittämishankkeissa on eniten käyttöä sellaisella tiedolla, jolle voidaan asettaa tiedon käyttökelpoisuuden, hyödynnettävyyden ja sovellettavuuden kriteereitä. Arviointitieto osa laajennettua tiedonkäsitystä Propositionaalisella tiedolla tarkoitetaan sellaista väittämätietoa, joka voidaan ilmaista kielellisesti merkkien avulla. > tavanomainen tieteellisen tiedon laji. Tekemisperusteinen toiminnallinen - tutkimus eli tekemällä tutkiminen (practice based research) On vallalla selvä hämmennys siitä, voidaanko käytännön työtä (studio practice) pitää jonkinlaisena tutkimusmenetelmänä sinänsä. Koska on vaikea tajuta, kuinka sitä voidaan soveltaa tutkimuksellisesti, se voi johtaa tavanomaisten akateemisten tutkimusmenetelmien liialliseen käyttöön studiotyön kustannuksella, eräänlaisena vyö ja henkselit ( belt and braces ) periaatteena, joka johtaa käytännön työn mitätöimiseen (Cinderella research method) (Reilly 2004) 4

5 Toiminnallisen opinnäytetyön idea perustuu parhaimmillaan Tekijän osaavan ammattilaisen reflektioon eli itseymmärrykseen, jossa parhaalla mahdollisella tavalla saadaan yhdistettyä perinteisen akateemisen tutkimuksen olennaiset piirteet sekä ammattiteorian että ammattikäytännön kriteereihin. Kehittämishanke voi olla Eksploratorista eli uusia ratkaisuja etsivää tutkivaa toimintaa Muutosta testaavaa eli erilaisia ratkaisumalleja kokeilevaa tutkivaa toimintaa Hypoteesia testaavaa eli ennakolta oletetun ratkaisun toimivuutta kokeilevaa toimintaa Kokeilevan toiminnan tulosten käytäntöön suuntautunutta arviointia Kokeilevan toiminnan logiikka tähtää ammatillisissa t&k -hankkeissa ensisijaisesti tuloksen hyväksymiseen (affirmation) eikä niinkään sen todeksi vahvistamiseen (confirmation), joka on akateemisen empiirisen tutkimuksen tehtävä. Tarjolla on kolme erilaista päättelyn logiikkaa, eli deduktiivinen (teoriasidonnainen), induktiivinen eli aineistolähtöinen ja abduktiivinen logiikka, joka kohoaa kehittämishankkeissa erityisasemaan Abduktiivinen päättely Alkaa käytännön tasolta ja päättely tapahtuu vuorotellen teorian ja käytännön tasolla. Päättelyä johdetaan kohti ilmiön mallinnusta. Kun induktio lähtee liikkeelle empiriasta ja deduktio teoriasta, abduktiivinen päättely myös lähtee liikkeelle empiriasta, mutta ei torju myöskään teorian olemassaoloa kaiken taustana. Tarvittaessa voidaan kehittää myös käytäntöä palvelevia teorioita. Abduktio kattaa kaikki sellaiset operaatiot, joiden avulla luodaan teorioita, käsitteitä ja malleja, etenipä itse päättelyprosessi mihin suuntaan hyvänsä. Abduktiivisen päättelyn avulla luodaan esimerkiksi tuotekonsepteja (eli alustavia, hypoteettisia tuotteen mallinnuksia konkreetilla tasolla). ja perustuu siihen, että uuden teorian muodostus (ja asioiden mallinnus) on mahdollista vain silloin, kun havaintojen tekoon liittyy jokin johtoajatus (guiding principle). Uusi teoria (tai kohteen mallinnus) ei siis synny vain entistä tarkistamalla (deduktiivinen päättely) tai pelkästään havaintojen pohjalta, kuten induktiivisessa päättelyssä tehdään. Johtoajatus voi olla luonteeltaan epämääräinen intuitiivinen käsitys tai se voi olla hyvinkin pitkälle muotoiltu hypoteesi. Ei kuitenkaan hypoteesi, joka osoitetaan oikeaksi tai vääräksi vaan pikemminkin työhypoteesi, joka voidaan muuttaa ja kumota kesken prosessin. Sen avulla havainnot voidaan keskittää joihinkin seikkoihin tai olosuhteisiin, joiden uskotaan tuottavan uusia näkemyksiä ja ideoita, uutta teoriaa tai uuden mallinnuksen kyseisestä ilmiöstä. 5

6 Abduktio on eräänlainen älyn välähdys, kirkkaan hetken oivallus, jolloin päättely perustuu näihin koettuihin tosiasioihin, kokemuksiin, joita koetellaan edestakaisin teoriaan ja käytäntöön peilaten. Lähtökohtana voidaan erittäin hyvin käyttää aikaisempaa kirjallisuutta ja teorioita, mutta ei niihin nojattaviksi, vaan esimerkiksi inspiraation ja ideoitten lähteenä. Abduktion edestakaisin sahaavalla päättelyllä kootaan asiasta vuorotellen uusi tiedollinen kuva (uusi teoria) ja sen jälkeen työhypoteesin tai oivalluksen pätevyyttä koetellaan käytännössä (päättelyn empiirinen vaihe) Abduktiivista päättelyä varten on tutkijalla jokin johtoajatus, joka liittyy hänen aikaisempiin kokemuksiinsa ja niissä syntyneeseen ratkaistavaan ongelmaan. Tämä edellyttää, että tutkija hallitsee edes jollakin tavalla tutkimansa aiheen. Hänellä tulee olla sekä tiedollinen että käytännöllinen esiymmärrys aiheestaan. Ellei hänellä ole mitään ennakkokäsityksiä tai tietoa asiasta tai ellei hän osaisi tehdä asiaa käytännössä, hän päätyisi vain havaintojen kuvaamiseen (vrt. deskriptiivinen analyysi), eikä hän pystyisi havaitsemaan aineistostaan tuloksen kannalta olennaista ( vrt. tulkinnalliset ja ymmärrykseen ja merkityksenantoon liittyvät analyysit) Mihin abduktiivinen päättely soveltuu? Abduktiivinen päättely edustaa prosessin etenemiselle tyypillistä logiikkaa Abduktiivisella päättelyllä voidaan ilmiöstä nostaa näkyviin muulla logiikalla näkymättömiin jääviä ja tiedostamattomia elementtejä, esimerkiksi intuitioita ja oivalluksia (esim. ongelmanratkaisua, parempia menetelmiä yms. > ahaa - elämys) tekijän sisäistä tietoa, hiljaista tietoa (tacit knowledge) (esimerkiksi työtaitoon liittyviä tekijöitä) haptis- taktiilis- kinesteettistä havaintotietoa (esim. työvälineiden ja materiaalien käsittelyn aistimuksia) auditiivista havaintotietoa (esim. kuuloaistimuksia) tunteiden ja emootioiden vaikutusta (esim. esteettisyyden tekijät, harmonia- disharmonia yms.) näkemyksiin ja arvostuksiin liittyviä tekijöitä (esim. hyvä, parempi, paras, heikko, huono, kelvoton ) Prosessia voidaan analysoida monin eri tavoin Siinä voidaan kiinnittää huomiota ja nostamalla näkyviin esimerkiksi tekijän sisäisiä tuntemuksia - toimintaan liittyviä reflektioita? tekijän tietoa hiljaista tietoa asiantuntijan osaamista prosessin kulkua kokonaisuudessaan jotakin sen eri vaihetta erikseen ratkaisua edellyttäviä tilanteita ja niissä tapahtuvaa päätöksentekoa Prosessin dokumentoinnin keinoja? Prosessi on kokemuksellinen tapahtuma, jota voi tarkastella sekä havainto- ja kokemusmaailmassa toimivan tekijän että kohteena olevan prosessin näkökulmista. 6

7 Portfolion liittäminen prosessin kulkuun ja havaintojen tekemisen eri muotoihin lähentää ja kokoaa näkökulmia kummastakin suunnasta. Portfolio ja sen sisältö tallentaa tapahtumat ja reflektiot ja toimii tulkittavana aineistona palvellen kumpaakin tarkoitusta. Ääneenajattelun ja nauhoituksen /videoinnin avulla tallentuvat herkimmätkin vivahteet sekä prosessin eteneminen. Muistiinpanot, pöytäkirjat, valokuvat, piirrokset, luonnokset yms. dokumentoivat sekä prosessin kulkua että sen tuotosten kehittymistä. Toimintaprosessin sisältä vai ulkoa päin tapahtuva tutkimusote? Ulkoinen tutkimusote (ulkoinen arviointi) Tutkija (tai tutkijaryhmä) on hankkeen ulkopuolinen, objektiivinen tiedon kokoaja, joka raportoi kehittämishankkeen kokonaisuudesta, sen tuloksista ja vaikutuksista toimeksiantajalle tai päättäjille. Tämä tutkimusote on yleensä summatiivista, kokonaisuutta ja sen tuloksia ja vaikutuksia tarkastelevaa. Tutkijalla ei ole vaikutusta varsinaisen kehittämistuloksen muodostumiseen. (> kyselyt, haastattelut, benchmarking, delfoi-menetelmä yms.) Sisäinen tutkimusote (sisäinen arviointi): kohdistuu joko vain prosessiin, vain tulokseen tai molempiin samanaikaisesti. Sisäisen arviointi on ns. itsearviointia tai yhteistoiminnallista monitahoarviointia. Tämä tutkimusote on yleensä formatiivista, vaiheittaista. Tutkija on sisällä hankkeessa ja osallistuu kehittämistuloksen tuottamiseen. (> toimintatutkimus, RE, ITE- arviointi, vertaisarviointi, portfolioarviointi jne.) Mitkä ovat tutkijan käytössä olevat prosessin tutkimisen keinot? A Perinteinen akateeminen lähestymistapa Prosessia (sen kulkua, organisoitumista, tuloksia jne. ) voidaan sen ulkopuolelta tutkia eri tavoin Kuvailemalla (case, multiple case ) Observoimalla (> fenomenografia, etnografia) Osallistuvan observoinnin keinoin Haastattelemalla (> etnografinen analyysi) Analysoimalla projektin asiakirjoja ( > luokittelevat ja tulkinnalliset sisällönanalyysit Analysoimalla ääneenajatteluaineistoa (> protokolla-analyysi) B Toiminnallinen, prosessin sisäiseen reflektointiin sekä arviointiin perustuva lähestymistapa Kehittävä työntutkimus Toimintatutkimus Pehmeä systeemimetodologia Realistinen kriittinen evaluaatio 1. Kehittävä työntutkimus Kehittävän työntutkimuksen ideana on tehdä näkyviksi nykyisten työkäytäntöjen vahvuuksia ja ongelmakohtia. Siinä hyödynnetään osallistujien omia kokemuksia ja ideoita: se saa heidät itse innostumaan ja tuottamaan asiakaslähtöisempiä, laadukkaampia ja tehokkaampia, työtapoja. 7

8 Siinä tuodaan eri osapuolten - johdon, esimiesten, työntekijöiden ja asiakkaiden - näkökulmat vuoropuheluun Kuva: Kehittävä työntutkimus: syklinen eteneminen ( ) 2. Toimintatutkimus kehittämisprosessin arviointimenetelmänä Toimintatutkimus (action research) on sellainen tutkimusote, jossa samanaikaisesti toteutetaan sekä tutkimus että käytännön tilanteen tai tutkittavan ilmiön tavoitteena oleva muutos. Toimintatutkimuksen ideana on hankkia tietoa, jolla ohjataan käytäntöä muuntelemalla jotakin tiettyä, tutkimusprosessin osana olevaa todellisuutta Toimintatutkimus soveltuu parhaiten erilaisten organisaatioiden toiminnan kehittämiseen. Kuva: Toimintatutkimuksen kulku kaaviona Suojasen 1999 mallia mukaillen Linturi Teoksessa: Anttila 2007, 137) 8

9 Toimintatutkimuksen mallin yleisenä ideana on eteneminen spiraalimaisesti suunnittelu - toiminta - havainnointi - reflektointi kierroksissa eli sykleissä. Yhtä tällaista kierrosta voi pitää vasta tutkimuksen alkuna, ja tavallisesti jokaiseen toimintakierrokseen kuuluu useita lisäkierroksia tai sivukierroksia sen mukaan, millaisia lisätai tukitoimintoja suunnittelun ja valmistuksen prosessiin liittyy. Syklin yksi kierros on perusta seuraavalle ja tarkoituksena on jatkuvasti tarkastella sitä suhdetta, joka muodostuu aikaisemman syklin havainnoinnista. Keskeinen piirre on ryhmässä tapahtuva, kierros kierrokselta etenevä toiminta, jolloin hankkeeseen osallistuvat henkilöt yhteisesti hyväksyvät toimintansa viitekehyksen ja tekevät ryhmän jäsenten kesken tarvittavan työnjaon. Tutkija ei siis ole mikään ulkopuolinen henkilö eikä tietoja hankita jälkeenpäin tai tallenneta jonnekin muiden käytettäväksi, vaan kaikki tapahtuu "tässä ja nyt". Erityistä osaamista edellyttää toiminnan seuraaminen, niin että tarpeellinen tieto saadaan prosessoitua ja käyttöön. 3. Pehmeä systeemimetodologia (Checkland, P.1986) Pehmän systeemimetodologian ideana on liikkua todellisuuden ja ideoista liikkeelle lähtevän ongelmanratkaisun ja sen mallinnuksen aikaansaaman prosessoinnin maastoissa kiertäen, kunnes päädytään selkeään, teoreettisestikin perusteltuun ratkaisuun. Kuva: Pehmeän systeemisuunnittelun malli. Checkland 1986, 163, sovelt. Anttila 2007, 134 9

10 Pehmeän systeemianalyysin vaiheet On havaittu jokin heikosti tai huonosti määritelty ongelma tai kehittämistarve. Ongelmaa pyritään täsmentämään. Määritellään alustavasti ne osatekijät, joilla systeemiä voitaisiin parantaa tai kehittää. Määritellään ne ydinvisiot (root definitions), joilla parannukset tai kehittäminen voitaisiin aikaan saada. Muodostetaan niistä erilaisia käsite- ja ratkaisumalleja. Parannellaan ja kehitellään näitä ratkaisumalleja käyttäen hyväksi yleistä systeemiajattelua. Verrataan ratkaisumalleja todellisuuteen. Vertailun tuloksia hyväksi käyttäen määritellään todellisuuden tasolla systeemiin kohdistuvat suotavat ja toivottavat muutokset. Suoritetaan tarvittavat toimenpiteet. 4. Realistinen kriittinen evaluaatio (RE) Realistinen arviointi (evaluaatio) on uusin metodologinen tulokas tutkimuksen maailmaan. Se nojaa tieteellisen realismin (scientific realism) tieteenfilosofiseen suuntaukseen ottaen huomioon sen pragmatistisen sovellettavuuden.. menetelmän pääkehittäjiä mm. Rom Harre 1986; Michael Scriven 1994; Pawson and Tilley 1997: Kazi 1998). Se on käytännöllinen, monimenetelmällinen, arvioiva metodi joka tunnistaa sekä empiirisen käytännön että tulkinnallisen lähestymistavan rajoitukset ja siksi pyrkii tuottamaan perspektiiviä, joka menee kauemmas ohi edellä mainittujen muiden menetelmien, keskittyen siihen, mitä kulloinkin havaitaan hyödylliseksi ja sopivaksi. Menetelmän taustalla oleva teoria perustuu arkijärjen käyttöön ja asioitten mielekkyyteen (sensemaking) ohjaten siten käytännön ratkaisujen tekemiseen Kriittisen evaluaation perusidea on hankkeen mallinnus Kehittämishankkeen tulosten soveltaminen käytäntöön ja siirtäminen edelleen Kehittämishankkeen taustoitus ja teoreettinen orientaatio sekä esiymmärrys) Toimintaohjelman/ kehittämisohjelman suunnittelu Tulosten todentaminen: mikä toimii, mihin tarpeisiin, ketä ja mitä varten, missä olosuhteissa jne. Tulosoletukset (hypoteesit): mikä toimii, mihin tarpeisiin, ketä ja mitä varten, missä olosuhteissa jne. Reflektoivan toiminnan toteuttaminen Arvioinnin toteuttaminen ja monimenetelmällinen aineiston käsittely Kehittämisohjelman / toimintaohjelman toteuttaminen 10

11 Kuva: Realistisen evaluaation mallinnus ja kehittämishankkeen eteneminen vaiheesta toiseen (Anttila 2007, 81) Realistinen evaluaatio käyttää hyväksi empiirisen, määrällisen tutkimuskäytännön vahvuuksia, tulkinnallisia lähestymistapoja sekä arviointiin perustuvia, pragmaattisia, monimuotoisia lähestymistapoja, mutta myös tutkien niiden rajoituksia silmällä pitäen sitä, mikä toimii ja ketä varten ja missä kontekstissa RE prosessin vaihe I Kehittämishankkeen suunnitelman laatiminen T&K -hanke lähtee liikkeelle joko konkreettista reaalimaailman ilmiöstä, odotuksesta, tarpeesta tms. tai ilmassa liikkuvasta visiosta, ideasta, josta luodaan ensimmäinen mielikuva. Tässä vaiheessa liikutaan arkikielen tasolla, tehdään luonnoksia, kuvaillaan odotettuja ominaisuuksia jne. Ryhmä tai tiimi kutsutaan kokoon keskustelemaan hankkeen lähtökohdista, tavoitteista ja menettelytavoista ja sopimaan hankkeeseen kuuluvien tahojen tehtävistä ja asemista. Yhdessä ryhmän kanssa määritellään hankkeen arvotaustat sekä se tieto- ja taitoperusta, jolle hanke pohjautuu. Yhteistä mielikuvaa hankkeen toteuttamisesta rakennetaan niin pitkälle kuin mahdollista. Suunnitteluryhmän tai tiimin yhteisistä näkemyksistä on syytä päästä perille jo tässä vaiheessa, joskaan mielikuvien ei vielä tarvitse olla kovin täsmällisiä. Ensimmäiseen vaiheeseen kuuluu tässä mallissa tuumailu, jossa sekä ulkoisia että sisäisiä vaikutteita tarkastellaan yhteisin voimin. RE -prosessin vaihe II: Ohjelmateorian laatiminen, ratkaisumallin hahmottaminen, tutkittavien ongelmien asettaminen ja arviointisuunnitelman laatiminen Yleensä T&K-hanke on mutkikas kokonaisuus, joka kannattaa eritellä ja luokitella hallittaviksi yksiköiksi. Ongelmat tai ratkaistavat seikat määritellään Mikä tilanteessa tarvitsee kehittämistä, mitkä ovat tulostavoitteet ja odotukset? Minkälaisen tulisi olla uuden ratkaisun? Kenen määrittelemät tavoitteet ja odotukset otat huomioon? Etsitään muotoa kysymyksille Mikä toimii? Mitä varten? Missä kontekstissa? Asetetaan mahdolliset hypoteesit. Tehdään katsaus kirjallisuuteen tai muuhun lähdemateriaaliin, jotta voidaan todeta, onko aikaisemmin kohdattu samantyyppisiä ongelmia tai saavutettu kuvatun kaltaisia tavoitteita? Mitä niistä on havaittu? Mikä on jäänyt selvittämättä? Tutkittavat ongelmat ja kysymykset määritellään yhdessä ryhmän kanssa selvästi, tarkasti ja käytännöllisesti. Usein on tarpeen määritellä myös hankkeen henkilökohtaiset vastuualueet. Laaditaan arviointisuunnitelma: ulkoinen ja/ tai sisäinen arviointi ja millä kriteereillä arviointia suoritetaan? Määritellään kriittisessä arvioinnissa käytettävät kriteerit (esimerkiksi 11

12 reflektoinnissa ja palautteen kokoamisessa sekä empiirisissä tutkimusosioissa käytettävät kriteerit) sekä muut palautteen saamisen muodot RE -prosessin vaihe III: toiminnan toteuttaminen, tiedonhankinta, reflektointi, palautteet Hanke kokonaisuudessaan mallinnetaan aikaisemmissa suunnitteluvaiheissa ja käytännön toteuttamisvaiheessa toteutetaan ao. mallinnus, mutta ollaan valmiita korjaamaan ja muuttamaa sitä, jos tarpeen. Määritellään hankkeen syklit eli ne perustoiminnot, joiden kautta hanke etenee (jaksot, ajoitukset, keskinäiset yhteydet). Suunnitellaan sykleittäin tarvittavat prosessit ja olosuhteet, joissa ne on tarkoitus toteuttaa. Selvitetään ne erityiset seikat, joita tutkimusprosessissa tulee toteuttaa tavoitteiden saavuttamiseksi. Tutkittaviksi valitut kohteet käsitteellistetään käyttäen sopivia käsitekehyksiä (sanallisia käsitteitä, visuaalisia mallinnuksia, toimintamallinnuksia tms.) Näissä mallinnuksissa (tuotekonsepteissa, toimintakonsepteissa yms.) kuvataan kohteelta odotettavia ominaisuuksia ja relaatioita (suhteita) muihin tekijöihin. Jos mahdollista, laaditaan keskenään kilpailevia konsepteja, joita voidaan verrata ja testata. Kunkin syklin aikana toteutetaan tarvittavat tutkimus- ja arviointitoimet RE -prosessin vaihe IV: Hankkeen arviointi eri tavoin kootun tiedon valossa suhteessa asetettuihin tavoitteisiin Tässä vaiheessa hankkeen kokonaisuutta arvioidaan ensisijaisesti ulkoisin tutkimus- ja arviointikeinoin (haastattelut, kyselyt, testaukset, asiantuntija-arviot, vertaisarvioinnit /benchmarking, jne.) mutta myös sisäisenä arviointina ( portfolioarviointi, ryhmäkeskustelut, yms.) Saadut tulokset heijastetaan asetettuihin arvopäämääriin, tavoitteisiin, odotuksiin yms. ja arvioidaan niiden vastaavuus. Saatujen tulosten merkitys arvioidaan hankkeen tuloksellisuuden, vaikuttavuuden, tehokkuuden, yms. näkökulmista: onko vastaavuutta. RE prosessin vaihe 5. Teoreettisen kokoamisen vaihe (retroduktion toteuttaminen). Tulokset ja niistä tiedottaminen Analysoidaan tutkimustulokset sekä koottu reflektointiaines soveltuvimpien analyysimenetelmien mukaan. Valitaan tarkoituksenmukainen analyysin syvyystaso. Evaluoidaan tulokset yhdessä T&K -hankkeen ryhmän kanssa ja tarkistetaan vastaavuus reaalimaailman havaintoihin ja asetettuihin tavoitteisiin nähden. Pelkistetään saatu tulos kullekin ammattialalle ominaisella verbaalisella ilmaisutavalla että alalle ominaisina teoksina Tulosten merkitsevyyden ja vaikuttavuuden tarkastelu reaalimaailmassa päättöanalyysi. Siirretään tuloksen tarkastelu yksittäistapauksesta laajempaan kontekstiin ja tarkastellaan sen merkitystä ja vaikuttavuutta ammattialan keskeisten kysymysten suunnassa: esimerkiksi subjektiivisella hyvinvointiulottuvuudella tai käytettävyys- tai muussa kuluttajanäkökulmaan liittyvässä kontekstissa tai kulttuuripoliittisessa, tuotannollisessa, kuluttajapoliittisessa, koulutuspoliittisessa tms. kontekstissa. Tuloksista tiedottaminen 12

13 Koska realistisen evaluaation menetelmä perustuu käytännön järjellä tapahtuvaan tutkimustulosten hyödynnettävyyteen, realistinen kriittinen evaluaatio voi tarkastella myös tavanomaisen määrällisen ja laadullisen tutkimuksen tuloksia uudessa valossa arvioiden käytännön näkökulmasta niiden soveltuvuutta T&K- hankkeeseen liittyvän tutkimuksen pätevyys- ja luotettavuuskriteerit Kehittämishankkeeseen liittyvän opinnäytetyön tulee täyttää vähintään seuraavat kriteerit: uskottavuus luotettavuus realistisuus käytännönläheisyys vaikuttavuus motivoivuus resurssien puitteissa toteutettavissa oleva tuloksiltaan työelämän ja tuotannon suunnalla hyväksyttävissä ja käytettävissä oleva 13