Tutkimus, tiedon hankinta ja hyödyntäminen kehittämishankkeissa

Transkriptio

1 Tutkimus, tiedon hankinta ja hyödyntäminen kehittämishankkeissa OPETUSTOIMEN HENKILÖSTÖKOULUTUKSEN JA OSAAMISEN KEHITTÄMISEN MENESTYSTEKIJÄT 2012 Pirkko Anttila

2 Kehittämishankkeeseen liittyvän tutkimuksen lähtökohta voidaan määritellä seuraavilla ulottuvuuksilla teoriahakuinen objektiivinen subjektiivinen praktinen, käytäntöhakuinen

3 Miten hankkeeseen tarvittava tietomäärä hankitaan? Teoriahakuisesti käyttäen määrällisiä, laskennallisia menetelmiä käyttäen tulkinnallisia, laadullisia menetelmiä Objektiivisesti Subjektiivisesti kriittisesti ja realistisesti arvioiden käyttäen tulkinnallisia ja kokemuksellisia (reflektiivisiä) menetelmiä Käytäntöhakuisesti

4 Tutkijan positio määrittyy valittavan menetelmällisen lähestymistavan mukaan Tavoitellaan teorioihin tukeutuvaa, esim. testattavaa tai kyselyihin perustuvaa tietoa Tavoitellaan tulkittavaa, esim. ymmärrykseen tai merkityksenantoon tähtäävää tietoa ja halutaan luoda uusia teoreettisia konstruktioita Tavoitellaan prosessien kulkua ja tuloksellisuutta analysoivaa tietoa Tavoitellaan subjektiivisen kokemuksen, luovan prosessin tai esim. hiljaisen tiedon näkyviin saamista

5 Realistinen kriittinen evaluaatio käyttökelpoisena menetelmänä Realistinen arviointi (evaluaatio) on eräs uusimmista metodologisista tulokkaista. Se nojaa tieteellisen realismin (scientific realism) tieteenfilosofiseen suuntaukseen. (Michael Scriven 1994; Rom Harre 1986) Kaikenlainen tiedonhankinta ja käyttö edellyttää jonkinlaista suhdetta ns. teoriaan eli käytettävissä olevaan tietopohjaan. Realisti ymmärtää tiedon / teorian pyrkivän todellisuuden ymmärtämiseen ja sen hallintaan.

6 Miten tieteellinen realismi näkee teorian ja todellisuuden välisen suhteen? Tieteellisen realismin näkemyksen mukaan teoria on hyvä ja sitä voidaan soveltaa, kun (jos) se vastaa todellisuutta, eli silloin kun teorian luomat odotukset vastaavat sitä mikä on todellisuudessa olemassa Realistit ovat kuitenkin taipuvaisia katsomaan, että se mitä uskomme tällä hetkellä on vain todellisuuden likiarvo, ja että jokainen uusi havainto vie meidät lähemmäksi todellisuuden ymmärtämistä. Siksi tieteellinen työ (ja asioiden kehittäminen) perustuu parhaimmillaan reaalimaailmassa tehtyihin omiin havaintoihin ja niiden kriittiseen arviointiin ja niiden pohjalta tapahtuvaan teorian jatkuvaan parantamiseen

7 Realistinen evaluaatio on käytännöllinen, monimenetelmällinen, arvioiva metodi joka tunnistaa sekä empiirisen käytännön että tulkinnallisen lähestymistavan hyvät ominaisuudet sekä rajoitukset ja siksi pyrkii tuottamaan perspektiiviä, joka sekä yhdistää eri menetelmiä että menee vielä kauemmas niiden ohi keskittyen siihen, mitä kulloinkin havaitaan hyödylliseksi ja sopivaksi. Menetelmän taustalla oleva teoria perustuu arkijärjen käyttöön ja asioitten mielekkyyteen (sensemaking) ohjaten siten käytännön ratkaisujen tekemiseen RE sitoutuu tieteellisen realismin pragmatistiseen suuntaukseen

8 Realistinen evaluaatio hankkeen kehittämis- ja tutkimusstrategiana perustuu toimenpidemallien (interventiomallinnuksen) avulla tapahtuvaan toiminnan tutkivaan lähestymiseen, Evaluaatiostrategiaa voidaan soveltaa sekä yksittäisiin tapauksiin että multi-case tilanteisiin. Evaluaatiostrategioita sovelletaan niin että niiden tehokkuus todennetaan heti paikan päällä käytännössä Strategiat suunnitellaan niin, että niitä voidaan soveltaa ja käytännön tuloksia voidaan käyttää myös muissa vastaavissa hankkeissa. (Kazi 1998)

9 Kriittisen evaluaation perusideana on hankkeen mallinnus (Pawson and Tilley 1997b; Kazi 1998)

10 Realistisen evaluaation makrotason mallinnusesimerkki (MOL Työvoimaministeriö 2006)

11 RE soveltaminen metodologisella tasolla Realistinen evaluaatio käyttää hyväksi empiirisen, määrällisen tutkimuskäytännön vahvuuksia, tulkinnallisia lähestymistapoja sekä arviointiin perustuvia, pragmaattisia, monimuotoisia lähestymistapoja, mutta ottaen huomioon myös niiden rajoitukset silmällä pitäen sitä, mikä toimii ja ketä varten ja missä kontekstissa Käytännön realistinen evaluaatio ei arvioi ainoastaan aikaisemmin tapahtunutta (kuten tekevät perinteiset tieteelliset analyysimenetelmät) vaan arvioi tulevaa sen valossa, mikä on mahdollista, suotavaa ja todennäköistä Evaluaatio kohdistuu sen arviointiin, mikä saadaan toimimaan / onnistumaan, kenen hyväksi ja missä kontekstissa Evaluaatio ottaa huomioon myös kokeilevan, interventioihin perustuvan eksploratiivisen eli uutta luovan ja kokeilevan toiminnan.

12 Miksi etukäteen tehty mallinnus on tarpeen? Kehittämishanke alkaa olemassa olevan kohteen sisältöjä, mekanismeja ja tuloksia koskevaan tietoon perustuvalla mallinnuksella, jota aineiston kokoamisen kautta jatkuvasti täsmennetään ja kehitetään Mallinnus sisältää intervention suunnitelman eli tilanteen kulkuun puuttumisen eri muodot ja vaiheet. Mallintamisen tehokkuus riippuu siitä, missä määrin malli saadaan vastaamaan todellisuutta.

13 Kehittämishankkeen realistisen evaluaation mallinnusesimerkki (Tarkemmin teoksessa: Realistinen evaluaatio ja tuloksellinen kehittämistyö. Anttila 2007)

14 Kehittämisprosessien syklinen luonne: mihin kehittämishankkeen tutkivassa otteessa kiinnitetään huomiota? Interventiot Kehittämisprosessiin kohdistetaan tarkoituksellisia, muutokseen ja parantamiseen tähtääviä toimia, interventioita. Interventiot suunnitellaan yleensä etukäteen ja niiden vaikutuksia ja vaihtoehtoja vertaillaan keskenään. Iteratiivisuus ja syklit Tyypillistä prosessin etenemiselle on iteratiivisuus, joka tarkoittaa, että siinä on kierroksittain eteneviä vaiheita, syklejä, joihin interventiot kohdistuvat. Syklin aikana tapahtumia tarkkaillaan, tehdään havaintoja asian sujumisesta, korjataan ja muutetaan tavoitteiden saavuttamiseksi. Joskus prosessit etenevät itsestään, jolloin niiden käynnistäjänä on jokin prosessin omaan dynamiikkaan liittyvä toimeenpaneva voima. Prosessi vai produkti? Prosessin tarkoituksena on tuottaa jotakin, eli saada aikaan tuotos, produkti. Tulos voi olla laadultaan aineetonta, kuten esimerkiksi ajatusmalleja, mutta myös muita, ei-fyysisiä tuloksia vaikkapa runoja. Aineettomiin tuloksiin kuuluvat myös erilaiset palvelut, kuten esimerkiksi terveys- ja hyvinvointipalvelut, ohjelmasuunnitelmat tai markkinointisuunnitelmat. Usein kehittämishankkeen parasta tulosta edustaa kuitenkin sen koettu prosessi, joka lähentää toimijoita toisiinsa ja osoittaa kokemuksen yhteisöllisyyden merkityksen.

15 RE- prosessin aloitusvaiheet vaihe 1

16 Esimerkki: Kehittämishankkeen (talon peruskorjaus) tavoitteiden priorisointi funktioanalyysin tapaan

17 > ydinkohdat vaiheesta1: hankesuunnitelman laatiminen Tutkimus- ja kehityshanke lähtee liikkeelle joko konkreettista reaalimaailman ilmiöstä, odotuksesta, tarpeesta tms. tai ilmassa liikkuvasta visiosta, ideasta, josta luodaan ensimmäinen mielikuva. Tässä vaiheessa liikutaan arkikielen tasolla, tehdään luonnoksia, kuvaillaan odotettuja ominaisuuksia jne. Ryhmä tai tiimi kutsutaan kokoon keskustelemaan hankkeen lähtökohdista, tavoitteista ja menettelytavoista ja sopimaan hankkeeseen kuuluvien tahojen tehtävistä ja asemista. Yhdessä ryhmän kanssa määritellään hankkeen arvotaustat sekä se tieto- ja taitoperusta, jolle hanke pohjautuu. Yhteistä mielikuvaa hankkeen toteuttamisesta rakennetaan niin pitkälle kuin mahdollista. Suunnitteluryhmän tai tiimin yhteisistä näkemyksistä on syytä päästä perille jo tässä vaiheessa, joskaan mielikuvien ei vielä tarvitse olla kovin täsmällisiä. Ensimmäiseen vaiheeseen kuuluu tässä mallissa tuumailu, jossa sekä ulkoisia että sisäisiä vaikutteita tarkastellaan yhteisin voimin.

18 RE -prosessin vaihe II: ohjelmateorian laatiminen, ratkaisumallin hahmottaminen, tutkittavien ongelmien asettaminen ja arviointisuunnitelman laatiminen

19 ydinkohdat vaiheesta 2 Yleensä tutkimus- ja kehityshanke on mutkikas kokonaisuus, joka kannattaa eritellä ja luokitella hallittaviksi yksiköiksi. Ongelmat tai ratkaistavat seikat määritellään Mikä tilanteessa tarvitsee kehittämistä, mitkä ovat tulostavoitteet ja odotukset? Minkälaisen tulisi olla uuden ratkaisun? Kenen määrittelemät tavoitteet ja odotukset otetaan huomioon? Etsitään muotoa kysymyksille Mikä toimii? Mitä varten? Missä kontekstissa? Asetetaan mahdolliset hypoteesit. Tehdään katsaus kirjallisuuteen tai muuhun lähdemateriaaliin, jotta voidaan todeta, onko aikaisemmin kohdattu samantyyppisiä ongelmia tai saavutettu kuvatun kaltaisia tavoitteita? Mitä niistä on havaittu? Mikä on jäänyt selvittämättä? Tutkittavat ongelmat ja kysymykset määritellään yhdessä ryhmän kanssa selvästi, tarkasti ja käytännöllisesti. Usein on tarpeen määritellä myös hankkeen henkilökohtaiset vastuualueet. Laaditaan arviointisuunnitelma: ulkoinen ja/ tai sisäinen arviointi ja millä kriteereillä arviointia suoritetaan? Määritellään arvioinnissa käytettävät kriteerit (esimerkiksi reflektoinnissa ja palautteen kokoamisessa sekä empiirisissä tutkimusosioissa käytettävät kriteerit) sekä muut palautteen käsittelyn muodot

20 RE -prosessin vaihe III: toiminnan toteuttaminen, tiedonhankinta, reflektointi, palautteet

21 ydinkohdat vaiheesta 3: Kehittämishankkeen toteuttaminen, tiedonhankinta, reflektointi, palautteet Hanke kokonaisuudessaan mallinnetaan jo suunnitteluvaiheissa, mutta käytännön toteuttamisvaiheessa se toteutetaan. Samalla ollaan valmiita korjaamaan ja muuttamaa sitä, jos on tarpeen. Täsmennetään hankkeen syklit eli ne perustoiminnot, joiden kautta hanke etenee (jaksot, ajoitukset, keskinäiset yhteydet). Suunnitellaan sykleittäin tarvittavat prosessit ja olosuhteet, joissa ne toteutetaan. Selvitetään ne erityiset seikat, joita myös tutkimusprosesseissa tulee toteuttaa tiedonhankinnan saavuttamiseksi. Tutkittaviksi valitut kohteet käsitteellistetään käyttäen sopivia käsitekehyksiä (sanallisia käsitteitä, visuaalisia mallinnuksia, toimintamallinnuksia tms.) Näissä mallinnuksissa (tuloskonsepteissa, toimintakonsepteissa yms.) kuvataan kohteelta odotettavia ominaisuuksia ja relaatioita (suhteita) muihin tekijöihin. Jos mahdollista, laaditaan keskenään kilpailevia konsepteja, joita voidaan verrata ja testata. Kunkin syklin aikana toteutetaan tarvittavat tutkimus- ja arviointitoimet

22 RE -prosessin vaihe IV: hankkeen arviointi eri tavoin kootun tiedon valossa suhteessa asetettuihin tavoitteisiin

23 ydinkohdat vaiheesta 4: Kehittämishankkeen kokoava arviointi eri tavoin kootun tiedon valossa suhteessa asetettuihin tavoitteisiin. Hankkeen kokonaisuutta arvioidaan ulkoisena arviointina tutkimus- ja arviointikeinoin (haastattelut erityisesti esim. delfoi-menetelmät -, kyselyt, testaukset, asiantuntija-arviot, vertaisarvioinnit / benchmarking, jne.) mutta myös sisäisenä arviointina ( portfolioarviointi, ryhmäkeskustelut, yms.) Saadut tulokset heijastetaan asetettuihin arvopäämääriin, tavoitteisiin, odotuksiin yms. ja arvioidaan niiden vastaavuus. Saatujen tulosten merkitys arvioidaan hankkeen tuloksellisuuden, vaikuttavuuden, tehokkuuden, yms. näkökulmista: onko vastaavuutta?

24 Vaihe 5. Teoreettisen kokoamisen vaihe. Tulokset ja niistä tiedottaminen Analysoidaan tutkimustulokset sekä koottu reflektointiaines soveltuvimpien analyysimenetelmien mukaan. Valitaan tarkoituksenmukainen analyysin syvyystaso. Evaluoidaan tulokset yhdessä kehittämishankkeen johtoryhmän kanssa ja tarkistetaan vastaavuus reaalimaailman havaintoihin ja asetettuihin tavoitteisiin nähden. Pelkistetään saatu tulos kullekin ammattialalle ominaisella verbaalisella ilmaisutavalla että alalle ominaisina toimintamalleina / teoksina

25 Ydinkohta vaiheesta 6_ Tulosten merkitsevyyden ja vaikuttavuuden tarkastelu reaalimaailmassa päättöanalyysi. Tuloksista tiedottaminen Siirretään tuloksen tarkastelu yksittäistapauksesta laajempaan kontekstiin ja tarkastellaan sen merkitystä ja vaikuttavuutta alan keskeisten kysymysten suunnassa: esimerkiksi subjektiivisella ulottuvuudella esimerkiksi elämässä selviytymiseen tai tuloksen käytettävyyteen tai muussa yksilön hyvinvointiin liittyvässä kontekstissa tai yhteiskunnallisella ulottuvuudella, koulutuspoliittisessa, kulttuuripoliittisessa, tuotannollisessa, kuluttajapoliittisessa tms. kontekstissa.

26 Realistisen evaluaation menetelmä perustuu siis käytännön järjellä tapahtuvaan analyysitulosten hyödynnettävyyden arviointiin RE perustuu järjen käyttöön ja asioitten mielekkyyteen (sensemaking) ohjaamalla käytännön ratkaisujen tekemiseen. Realistinen kriittinen evaluaatio voi tarkastella myös tavanomaisen määrällisen ja laadullisen tutkimuksen tuloksia uudessa valossa arvioiden käytännön näkökulmasta niiden soveltuvuutta RE tuottaa uutta näkökulmaa