OHJEITA TUTKIMUKSEN TEKEMISEEN, OPPONOINTIIN JA ARVIOINTIIN * Joensuun yliopisto Taloustieteiden laitos Kansantaloustiede. Matti Estola Jari Viitanen

Transkriptio

1 OHJEITA TUTKIMUKSEN TEKEMISEEN, OPPONOINTIIN JA ARVIOINTIIN * Joensuun yliopisto Taloustieteiden laitos Kansantaloustiede Matti Estola Jari Viitanen 2002 SISÄLLYSLUETTELO: 1. JOHDANTO 2. TUTKIMUSPROSESSI 3. TUTKIMUSAIHEEN VALINTA 4. KIRJALLISUUSKATSAUS OSANA TUTKIMUSPROSESSIA 5. TUTKIMUSSUUNNITELMA 5.1. Tutkimussuunnitelman tehtävät 5.2. Tutkimussuunnitelman sisältö 6. TUTKIMUSRAPORTIN RAKENNE 6.1. Kirjallisuuskatsaus 6.2. Tutkimusongelman esittely ja lähestymistavan valinta 6.3. Tutkimusaineiston kuvaus 6.4. Tutkimuksen analysointiosa Teoreettinen tutkimusasetelma Deskriptiivinen eli kuvaileva tutkimusasetelma Empiirinen tutkimusasetelma 6.5. Tulosten raportointi ja vertailu aiempiin tutkimuksiin 6.6. Loppupäätelmät 6.7. Johdanto ja tiivistelmä 7. TUTKIMUKSEN ESITTÄMINEN JA OPPONOINTI 8. TUTKIMUSTEN ARVOSTELU * Tekijät kiittävät Lauri Frankia, Kalle Määttää ja Hilkka Taimiota työn rakennetta parantaneista kommenteista.

2 1. JOHDANTO Tämä moniste on tarkoitettu kansantaloustieteen opiskelijoille. Vaikka kirjoituksessamme esiintyykin päällekkäisyyksiä Taimio & Tammen (1996) monisteen kanssa, heidän työnsä keskittyy kuitenkin pääasiassa aineiston hankintaan, tutkimusraportin muodollisiin kriteereihin ja työn ulkoasuun. Tässä monisteessa keskitymme puolestaan itse tutkimusprosessiin, tulosten raportointiin ja niissä esiintyviin ongelmiin. Tarkoituksemme on antaa lukijalle kokonaiskuva tutkimuksen suunnittelusta, toteuttamisesta ja arvostelusta siten, että tiettyjä ongelmia osataan ennakolta välttää ja opiskelija saa samalla käsityksen työnsä arviointikriteereistä. Yliopistotutkintojen yksi tehtävä on opettaa kirjoittamaan tieteellistä tekstiä. Tieteellinen teksti eroaa tavallisesta tekstistä siten, että siinä jokainen väittämä ja tulos pyritään perustelemaan: mitä huolellisempaa perustelu on, sitä tieteellisempää on teksti. Väitteet voidaan perustella periaatteessa kolmella tavalla: 1) loogisesti kestävällä argumentoinnilla, jonka vahvin muoto on muuntaa väitteet lausekaavoiksi jollakin logiikan kielellä, jolloin päättelyn muodollinen virheettömyys voidaan todeta (ks. esim. Estola (1994)), 2) havaintoevidenssillä tai 3) aiempiin tutkimuksiin viitaten. Väitteiden perustelua edellytetään pro- ja tutkimusseminaarityöskentelyssä, tutkielmissa sekä muussa opiskeluun liittyvässä raportoinnissa. Kirjallisia töitä arvostellaan myöhemmin esitettävien kriteerien ohella myös sillä perusteella, miten hyvin raportti täyttää tieteelliselle tekstille asetetut vaatimukset. Tieteelle on tunnusomaista kriittinen suhtautuminen aiempaan tietoon. Tällä perusteella voidaan kyseenalaistaa myös se, miksi yliopistotutkintoihin kuuluu tutkimustyö. Sitä voidaan perustella seuraavasti. Tutkimustyön kautta opiskelija osoittaa kypsyytensä itsenäiseen tiedon hankintaan, analyyttiseen ajattelukykyyn sekä kriittiseen suhtautumiseen olemassa olevaan tietoon, mikä on uuden tiedon tuottamisen edellytys. Tutkimustyö on myös kisällinnäyte tutkimustyöhön suuntautuville. Tieteellisen toiminnan perusajatus on, että olemassa olevaa tietovarantoa kasvatetaan korvaamalla aiemmin tarkaksi luultu tieto paremmin perustellulla tiedolla. Tähän kuuluu olennaisena osana joko aiemman tiedon hyväksyminen, sen uudelleen arviointi tai hylkääminen. Tämän välttämättömät ehdot ovat, että olemassa oleva tieto ymmärretään ja siihen osataan suhtautua kriittisesti. Tutkimuksen kirjoittaminen itsessään on oppimisprosessi, jossa luennoilla ja kirjoista toisinaan pinnallisesti opittujen asioiden ymmärrystä syvennetään. Tietyn asian ymmärtää syvällisesti usein vasta opettaessaan sitä muille tai kirjoittaessaan siitä tutkielman. Tutkimustyön kyseenalaistamisen ohella voidaan kyseenalaistaa myös se, että yliopistotutkintoihin kuuluu seminaariesitelmien pitäminen ja opponointi. Näitä voidaan perustella seuraavasti. Seminaariesitelmissä 1) harjoitellaan esiintymistä sekä omien mielipiteiden puolustamista kriittisen yleisön edessä, 2) opitaan kyseenalaistamaan kestävillä argumenteilla toisten esittämät mielipiteet ja ottamaan vastaan kritiikkiä siinä hengessä, että perusteltuun kritiikkiin vastaaminen on keino viedä asioita eteenpäin periaatteella: Teesi (väite) => Antiteesi (vastaväite) => Synteesi (uusi tieto). Nämä valmistavat opiskelijaa opintojen jälkeiseen julmaan maailmaan, jossa kritiikkiä on kestettävä ja vain kestävästi perustellut mielipiteet menevät läpi. Seminaariesitelmät opettavat myös, että 3) oletetun kritiikin huomioiminen tutkimusraporteissa on paras tapa puolustautua kritiikkiä vastaan. Tämä moniste alkaa tutkimusprosessin yleisellä kuvauksella. Sen jälkeen tarkastelemme osioissa 3-5 tutkimusaiheen valintaa sekä kirjallisuuskatsauksen ja tutkimussuunnitelman laatimista. Tutkimusprosessin eri vaiheita ja niissä esiintyviä ongelmia käsitellään osiossa 6. Osioissa 7 ja 8 tarkastelemme opponentin roolia tutkimusten arvioinnissa sekä tutkimusten yleisiä arvosteluperiaatteita. Moniste on kirjoitettu käyttäen hyväksi sekä kirjallisuusluettelossa 2

3 mainittuja teoksia että kirjoittajien kokemuksia tutkimustöiden ohjaamisesta. Lisää tietoa aiheesta löytyy kirjallisuusluettelon teoksista. 2. TUTKIMUSPROSESSI Seminaarityön ja tutkielman kirjoittaminen on pitkäaikainen prosessi. Harva saa aikaan suoraan valmista tekstiä, vaan yleensä tekstiä parannetaan, joitakin osia poistetaan ja uusia lisätään kirjoitusprosessin edistyessä. Kirjoittaminen itsessään on siten evolutionaarinen, tekijäänsä opettava, prosessi. Vaikka kansantaloustieteessä ei voida esittää yhtä ainoaa mallia, jota jokaisen tutkimuksen tulisi noudattaa, tutkimusprosessit etenevät kuitenkin yleensä kuvion 1 mukaisissa vaiheissa. AIHEESEEN PEREHTYMINEN Aihepiirin ja aiheen valinta Aihepiirin aiempaan tutkimukseen perehtyminen ja käsitteiden selvittäminen Tulos: Kirjallisuuskatsaus TUTKIMUSONGELMAN TÄSMENNYS Lähestymistavan valinta Aineiston keruu-, käsittely- ja raportointisuunnitelmat Työohjelma: aikataulu ja rahoitus Tulos: Tutkimussuunnitelma TUTKIMUKSEN TOTEUTUS Tutkimusaineiston keruu Aineiston analysointi Tulos: Tutkimusraportti Kuvio 1: Tutkimuksen kulku (Lähteet: Hirsjärvi et al. (1997, 58) ja Hakala (1999, 72)). Tutkimuksen teko ei kuitenkaan yleensä ole edellisen kaltaista askeltamista vaiheesta toiseen, vaan eri vaiheet ovat päällekkäisiä. Esimerkiksi tutkimustuloksia usein analysoidaan ja raportoidaan samalla kun parannetaan tutkimuksen teoreettista viitekehystä. Seuraavissa osioissa käymme tarkemmin läpi tutkimusprosessin eri vaiheita siinä järjestyksessä, kun tutkimusprosessi yleensä etenee. 3

4 3. TUTKIMUSAIHEEN VALINTA Tutkimusprosessi alkaa tutkimuksen aihepiirin valinnalla. Kansantaloustieteessä aihepiiri tarkoittaa jotakin kansantalouden ilmiöiden osa-aluetta, esimerkiksi rahoitusmarkkinoita, epätäydellisen kilpailun problematiikkaa tai Suomen alueittaista työllisyyskehitystä. Tutkimuksen aihe on jokin aihepiiriin kuuluva tarkemmin rajattu teema. Esimerkiksi optioiden hinnoittelumallit on yksi rahoitusmarkkinoihin liittyvä rajatumpi teema, Cournotin malli oligopolistisen kilpailutilanteen hinnan ja tuotannon määräytymisestä on yksi rajattu teema epätäydellisen kilpailutilanteen problematiikasta jne. (Ks. myös Taimio & Tammi (1996)). Tutkimusaiheen valinta voi joskus olla vaikea tehtävä. Periaatteessa työn aihe voi olla mikä hyvänsä yhteiskunnallinen ilmiö, joka voidaan laskea kansantaloustieteen piiriin kuuluvaksi. Aihe tulee kuitenkin kyetä täsmentämään toteuttamiskelpoiseksi tutkimusongelmaksi, kuten esimerkiksi: Voiko Joensuun huoltoasemien toimintaa mallintaa oligopolistisen kilpailuteorian mukaisesti? Vaikka yleinen periaate on, että opiskelija itse valitsee tutkimusaiheensa, työn toteuttamiskelpoisuus tulee kuitenkin varmistaa työn ohjaajan kanssa. Tutkimuksen aihepiirin ja aiheen valintaan vaikuttavat mm. seuraavat tekijät: 1. Henkilökohtainen kiinnostus aiheeseen. 2. Aiheen ennakkotuntemus. 3. Aiheen sopivuus kansantaloustieteeseen. 4. Aiheen tutkittavuus: Onko aineistoa saatavilla ja teema menetelmällisesti hallittavissa? 5. Aiheen merkitys suunnitellun urakehityksen kannalta. 6. Aiheen tutkimisen opettavaisuus tutkijalle. 7. Aiheen yhteiskunnallinen merkitys. 8. Aiheen tutkimisen vaatima aika ja taloudelliset resurssit. 9. Tutkimuksen mahdollinen toimeksiantaja tai rahoittaja(t). Aikaa ja vaivaa voi säästää siten, että karttaa tutkimuksen aiheen valintaan liittyviä ongelmia. Seuraavassa on lueteltu muutamia kriteerejä, jotka auttavat välttämään ongelmia. 1. Älä valitse aihetta, josta et ole kiinnostunut ja josta et tiedä mitään. Tällaisen pakkopullan tekeminen johtaa yleensä huonoon ja pintapuoliseen tutkimukseen. 2. Älä rakenna työtäsi sellaisen työn perustalle, jonka olet tehnyt jotakin muuta tarkoitusta varten. Vaikka aihepiiri pysyisikin samana, työn näkökulmaa on usein tarkennettava kansantaloustieteeseen sopivaksi. 3. Älä valitse aihetta, jota et voi myöhemmin rajata. Aiheet, jotka muistuttavat kirjan otsikkoa, ovat yleensä liian laajoja tutkimusten otsikoiksi. Mitä paremmin ongelma on rajattu, sitä syvällisempään tutkimusotteeseen päästään ja sitä suuremmalla todennäköisyydellä saadaan mielenkiintoisia tuloksia. 4. Älä valitse aihetta, johon tarvitset vain yhden lähteen. Useiden lähteiden jäsentely kehittää ajattelua siten, että kykenee suhtautumaan lähteisiin kriittisesti. 5. Vältä aiheita, joihin suhtaudut tunteikkaasti. Liian tunteikas aihe saattaa kadottaa tutkijan objektiivisuuden, jolloin tutkimustulos voi olla tarkoitushakuinen ja ennalta määrätty. 6. Vältä aiheita, joihin tutustuminen vaatii aikaa ja vaivaa vaativien taitojen opettelua. Esimerkiksi proseminaarityötä varten ei kannata opetella uutta ekonometristä menetelmää eikä pro gradu -työtä varten uutta kieltä tutustuakseen aiempiin tutkimuksiin. 4

5 4. KIRJALLISUUSKATSAUS OSANA TUTKIMUSPROSESSIA Kun tutkimuksen aihepiiri ja aihe on valittu, kirjoitetaan kirjallisuuskatsaus. Kirjallisuuskatsaus on mahdollisimman informatiivinen jäsennelty selvitys siitä, minkälaisia tutkimuksia aihepiiristä on tehty, mistä näkökulmista ja millä menetelmillä aihetta on tutkittu sekä miten suunnitteilla oleva tutkimus liittyy aiempiin tutkimuksiin. Toisin sanoen, mitä on jo tehty ja mitä on vielä tekemättä. Hyvä kirjallisuuskatsaus ei ole luettelo yksittäisten tutkijoiden tuotannosta, vaan aihepiirin tutkimuskirjallisuuden, tutkimussuuntausten ja -tulosten looginen jäsennys. Kirjallisuuskatsauksen laatiminen on työläs vaihe. On luettava edustava joukko aiheen tutkimuskirjallisuutta ja arvioitava sitä kriittisesti: jäsenneltävä esitettyjä näkökulmia, tutkimusasetelmia ja -tuloksia. Hyvässä kirjallisuuskatsauksessa tutkija osoittaa eri tutkimuksissa olevat näkemyserot, yksittäisten tutkimussuuntausten mahdolliset sisäiset ristiriitaisuudet ja loogiset puutteet sekä eri tutkimussuuntausten mahdolliset ristiriitaisuudet. Tätä kautta tutkija kykenee rakentamaan mielekkään tutkimusasetelman. Mitä paremmin tutkija tarkentaa työnsä tutkimusongelman tässä vaiheessa, sitä täsmällisemmin hän voi laatia kirjallisuuskatsauksensa ongelmanasetteluaan tukevaksi. Kirjallisuuskatsauksen tehtävät lyhyesti: 1. Tutustuttaa aiheen tutkimusperinteeseen. Hahmotetaan aiemmat lähestymistavat ja niiden kautta saadut tulokset. 2. Tarjota käsitteet ja näkökulma sekä mahdollisesti myös teoria tutkimusongelman analysointiin. Tätä kautta varmistetaan tutkimusasetelman mielekkyys. 3. Ohjata menetelmävalinnoissa. 4. Luoda perusteet ja suuntaviivat ongelmien rajauksille ja niiden jaottelulle. 5. Osoittaa, mitä ja millaisia tutkimushypoteeseja voidaan asettaa. 6. Perehdyttää alustavasti niihin ongelmiin, joita tutkija kohtaa tutkimusta tehdessään. 7. Auttaa oman tutkimusongelman tarkentamisessa. Tutkimuskirjallisuuden mahdollisia luokitteluperusteita: 1. Mikro/makroperusteiset tutkimukset. 2. Teoreettiset/empiiriset/deskriptiiviset (tarkemmin osio 6.4) tutkimukset. 3. Erilaiset teoreettiset ja menetelmälliset lähestymistavat; koulukuntakohtaiset erot. 4. Eri menetelmillä saadut tulokset. 5. Erilaiset tutkimusaineistot. Tutkimusaiheen kirjallisuuteen perehtyminen on hyvä aloittaa yleiskuvan hahmottamisella sekä teemaan liittyvien käsitteiden selventämisellä. Aloittelevan tutkijan lähtökohtana on usein käsikirjatyyppinen kirjallisuus: oppikirjat ja survey- eli katsausartikkelit. Uusin tutkimustieto löytyy tutkimuslaitosten, korkeakoulujen yms. instituutioiden työ- ja keskustelupapereista. Parhaat näistä julkaistaan parin vuoden viiveellä tieteellisissä aikakauslehdissä. Oppikirjoihin uudet tutkimustulokset ja menetelmät tulevat vasta vuosien viiveellä. Jotkut lehdet, kuten Kansantaloudellinen aikakauskirja, Journal of Economic Literature (JEL) jne. sisältävät katsauksia sekä alakohtaisia luokitteluja tehdyistä tutkimuksista. Elektroniset tietokannat, esimerkiksi Helecon, mahdollistavat tietyn aihekokonaisuuden tutkimuskirjallisuuden hakusanapohjaisen etsinnän. Kirjallisuuskatsauksen perusteella tutkija laatii aiheestaan tutkimussuunnitelman. 5

6 5. TUTKIMUSSUUNNITELMA 5.1. Tutkimussuunnitelman tehtävät Tutkimussuunnitelma on eräänlainen tuoteseloste tutkimuksesta, jolla on monta tarkoitusta. Sen tärkein tehtävä on tutkimusongelman täsmällinen määrittely. Toinen tehtävä on sitouttaa tutkija ja työn ohjaaja tutkimuksen toteuttamiseen. Yhdessä nämä mahdollistavat tutkimuksen aikataulun arvioinnin: Milloin ja miten tutkimusaineisto kerätään ja mitä menetelmää analysoinnissa käytetään. Tutkimusprojektien mahdollinen yhteistyö ja ulkopuolisen rahoituksen haku edellyttävät myös tutkimussuunnitelman laatimista. Nämä tahot päättävät tutkimussuunnitelman perusteella, soveltuuko tutkimushanke yhteistyöprojektiin ja onko se rahoittamisen arvoinen Tutkimussuunnitelman sisältö Tutkimussuunnitelman sisältö vaihtelee sen mukaan, onko valittu lähestymistapa teoreettinen, empiirinen vai deskriptiivinen (tarkemmin osio 6.4). Tutkimussuunnitelmassa perustellaan, miksi aiheen tutkiminen on hyödyllistä, miksi valittu lähestymistapa on mielekäs, mitä merkitystä odotetuilla tuloksilla voi olla sekä mikä on tutkimuksen mahdollinen kontribuutio (lisäys, parannus) aiempaan tutkimustietoon. Tutkimussuunnitelmaan liitetään yleensä lyhyt selonteko aiheen aiemmista tutkimuksista sekä siitä, mihin lähestymistapaan aiottu tutkimus kuuluu. Vaikka tutkimussuunnitelmat eroavatkin toisistaan, yleensä niistä löytyy seuraavat asiat: 1. Mikä on täsmällinen tutkimusongelma. 2. Miksi kyseistä ongelmaa on mielekästä tutkia valitulla lähestymistavalla. 3. Mitä tutkimuksia aiheesta on aiemmin tehty ja minkälaisia tuloksia on saatu. 4. Miten tutkimus eroaa aiemmista ja mitä merkitystä odotetuilla tuloksilla voi olla. 5. Mitä aineistoja aiotaan käyttää, miten ne kootaan ja miten niitä analysoidaan. 6. Mikä on tutkimuksen aikataulu ja arvioidut kustannukset. 7. Miten tutkimustulokset raportoidaan. Tutkimussuunnitelmaan liitetään yleensä tulevan tutkimusraportin oletettu sisällysluettelo eli dispositio. Tutkimussuunnitelma kannattaa tehdä huolella, sillä se ohjaa tutkimuksen eri vaiheiden toteuttamista. Tarkka työsuunnitelma helpottaa myös työn ohjaajan tehtävää. Tutkimusprosessin aikana suunnitelmia voidaan sitten tarvittaessa muuttaa. 6. TUTKIMUSRAPORTIN RAKENNE Tutkimusraportti voidaan kirjoittaa joko aktiivi- tai passiivimuodossa. Esimerkiksi: Tässä tutkimuksessa tarkastelen (tarkastellaan), onko Valittua muotoa tulee käyttää johdonmukaisesti läpi koko tutkimusraportin. Englanninkielisissä tutkimusraporteissa käytetään yleisesti monikollista ilmaisua, vaikka kyseessä olisikin vain yksi kirjoittaja. Esimerkiksi: In this study, we concentrate Tämä selittyy tieteen traditioilla, joissa yksittäisen tutkijan roolia ei ole tapana korostaa. Myös suomenkielisessä raportoinnissa voidaan käyttää monikollista ilmaisua yhden kirjoittajan tapauksessa. Esimerkiksi: Luvussa 6 tarkastelemme asiaa laajemmin. Tämä voidaan tulkita siten, että luvussa 6 kirjoittaja yhdessä lukijan kanssa tarkastelee asiaa laajemmin. Vaikka kirjoitustyylistä riippuu, mitä muotoa kirjallisessa raportoinnissa käytetään, passiivimuodon käyttöä voidaan pitää suotavampana ja se on myös kansainvälisen käytännön mukainen. 6

7 Tutkimusraportti koostuu yleensä seuraavista osioista, joihin tutkimusongelman erityispiirteet ja raportin laajuus voivat tuoda muutoksia. Tähän rakenteeseen ei siis tule pitäytyä orjallisesti. 1. Johdanto (7.) 2. Tutkimusongelman esittely ja lähestymistavan valinta (2.) 3. Kirjallisuuskatsaus (1.) 4. Tutkimusaineiston kuvaus (3.) 5. Analysointiosa (4.) 6. Tulosten raportointi ja vertailu aiempiin tutkimuksiin (5.) 7. Loppupäätelmät (6.) Johdannossa aikamuotona käytetään joko preesensiä tai futuuria viittaamaan tulevaan tekstiin. Muissa osioissa taas käytetään sitä aikamuotoa, joka parhaiten sopii asiayhteyteen. Esimerkiksi loppupäätelmissä voidaan käyttää imperfektiä (Tässä tutkimuksessa tarkasteltiin ), preesensiä (Tutkimuksen keskeisin tulos on, että ) tai muuta asiayhteyteen sopivaa sijamuotoa (Jatkossa voisi olla mielenkiintoista tutkia ). Vaikka yllä kuvatut osiot esiintyvät tutkimusraportissa yleensä yllä esitetyssä järjestyksessä, käytännössä ne toteutetaan yleensä osioiden jäljessä (suluissa) esitetyssä tutkimuksen luonnollisessa etenemisjärjestyksessä. Jatkossa tarkastelemmekin tutkimusprosessia sen luonnollisessa etenemisjärjestyksessä. Tutkimusraportin osioita kutsutaan joko luvuiksi (chapter) tai osioiksi (section) riippuen siitä, onko kyseessä laaja (oppikirja tai opinnäytetyö) vai suppea (artikkeli) työ. Itse teksti koostuu kappaleista, lauseista ja sanoista. Luvut ja osiot voidaan edelleen jakaa alalukuihin (-osioihin), sikäli kun se on mielekästä. Luvun teema koostuu esimerkiksi kolmesta osateemasta, jotka otsikoidaan sisältöjä vastaten. Vaikka seuraavaksi tarkastelemamme osiot ovatkin tutkimuksen itsenäisiä osia, ne liittyvät kuitenkin kiinteästi toisiinsa tutkimusongelman ympärille keskittyen. Tutkimusraportin loogisuuden ja johdonmukaisuuden kannalta on tärkeää, että raportti seuraa tutkimusongelman määrittämää punaista lankaa alusta loppuun Kirjallisuuskatsaus Tutkimusaiheen valinnan jälkeistä kirjallisuuskatsausta (ks. osio 4) voi käyttää lähtökohtana tutkimusraportin tämän osion kirjoittamisessa. Sellaisenaan se ei kuitenkaan yleensä kelpaa. Tutkimusongelman täsmentymisen myötä osa kirjallisuuskatsauksesta tippuu pois ja uusia lähteitä tulee tilalle. Tutkimusraportin tämän osion laatimiseen pätevät osiossa 4 esitetyt säännöt sillä täsmennyksellä, että osion laajuus ja kattavuus riippuvat raportin tyypistä. Artikkelityyppisissä julkaisuissa kirjallisuuskatsaus sisällytetään usein johdantoon tilan puutteen vuoksi. Laajemmissa tutkimusraporteissa puolestaan on suotavaa, että kirjallisuuskatsaus erotellaan omaksi osiokseen. Olipa kirjallisuuskatsaus sitten oma osionsa (lukunsa) tai osa johdantoa, se ei saa viedä liian suurta osaa tutkimusraportista eikä tehdä siitä raskasta luettavaa. Olennaista on, että tutkimusongelma ja valittu lähestymistapa tulevat perustelluiksi aiheen tutkimuskirjallisuuden kautta. Mahdollisia perusteluja voivat olla: 1. Aihetta ei ole aiemmin tutkittu. 2. Aihetta ei ole aiemmin tutkittu kyseisellä mielekkäällä tavalla. 3. Kyseisellä lähestymistavalla ulkomaisissa tutkimuksissa saadut tulokset voidaan kyseenalaistaa - tai etsiä niille tukea - kotimaisen aineiston avulla. 7

8 6.2. Tutkimusongelman esittely ja lähestymistavan valinta Tässä osiossa esitellään analysointikohteeksi valittu tutkimusongelma mahdollisimman informatiivisessa muodossa. Hyvä tapa on pukea ongelma kysymysmuotoon, esimerkiksi: 1. Miksi Suomen BKT on kasvanut luvulla Ruotsin BKT:tta nopeammin (sikäli kun tämä on havaittu)? 2. Kannattaako Ruotsin liittyä EMS:n jäseneksi? 3. Onko Suomessa havaittavissa alueittaisia eroja työttömyyden suhteen, ja jos on, voidaanko niiden tasoittumista selittää työvoiman liikkuvuudella? Kun tutkimusongelma on määritelty, tässä osiossa perustellaan, miksi ongelman analysoiminen valitulla tavalla on hyödyllistä joko tieteen kehittymisen, elinkeinoelämän tai työn rahoittajan näkökulmasta katsottuna. Lähestymistavan valintaan vaikuttaa myös se, onko havaintoaineistoa olemassa sekä minkälaisen analysointitavan aineisto sallii. Tutkimuksen aiheen, tutkimusongelman ja analysointitavan valinnassa tutkijan kunnianhimo, osaaminen ja aiemmat tutkimukset ovat merkittävässä asemassa. Tätä valintaa voi samastaa voimistelijan kilpailuissa esittämän liikesarjan valintaan. Täyden kympin voi saada vain riittävän vaativan liikesarjan onnistuneesta toteutuksesta. Mitä vaativampi liikesarja on, sitä suurempi epäonnistumisriski siihen liittyy. Tutkijan tulee siis tuntea hyvin oma suorituskykynsä, jotta pettymyksiltä vältytään. Työn ohjaajan kanssa voidaan myös sopia vaihtoehtoisista toteuttamistavoista siltä varalta, että alkuperäinen lähestymistapa osoittautuu liian vaativaksi Tutkimusaineiston kuvaus Tämä osio kirjoitetaan vain siinä tapauksessa, että kyseessä on joko empiirinen tai deskriptiivinen työ. Jos kyseessä on puhtaasti teoreettinen työ, tutkimusaineisto koostuu aiheen tutkimuskirjallisuudesta, mitä ei tarvitse erikseen kuvata. Aineiston keräystapa kuvataan riittävän yksityiskohtaisesti: mistä ja miten havainnot on saatu. Lisäksi selvitetään, onko aineistoa muokattu ennen varsinaista analysointia, ja jos on, niin millä perusteella. Onko esimerkiksi tehty kausitasoituksia aikasarjoihin? Edelleen kuvataan aineistoon kuuluvat muuttujat ja niiden väliset riippuvuudet tilastollisten tunnuslukujen - keskiarvot, varianssit, korrelaatiokertoimet, aikasarjaominaisuudet - valossa. Jos lähestymistapa on empiirinen, tässä osiossa perustellaan myös, miksi tietyt muuttujat on valittu kuvaamaan tutkimusasetelman teoriaperustassa esiintyviä muuttujia Tutkimuksen analysointiosa Teoreettinen tutkimusasetelma Yksi teoreettisen tutkimuksen lähestymistapa on, että analysointikohteeksi valitaan jokin tietty talouden ilmiö, jota analysoidaan teoreettisilla malleilla: Esimerkiksi kahden maan valuuttojen välisen vaihtokurssin määräytyminen. Tätä ilmiötä kuvataan jollakin lähestymistavalla - esimerkiksi mikro- tai makroperusteisesti - rakennetulla mallilla. Mallin avulla kartoitetaan tilanteeseen liittyvät muuttujat ja niiden väliset riippuvuudet, ja mallin toimivuutta testataan sen tuottamien ennusteiden avulla. Tarkastellaan esimerkiksi sitä, miten malli ennustaa vaihtokurssin muuttuvan, jos kotimaan yleinen hintataso nousee ulkomaista nopeammin. Vallitsevan ajattelun mukaisesti tämän tulisi heikentää kotimaan valuutan vaihtoarvoa. Jos malli tuottaa tämän 8

9 ennusteen, se antaa tukea mallin loogisuudelle. Mallin tieteellinen arvo riippuu sen käyttökelpoisuudesta, yleisyydestä, monipuolisuudesta ja innovatiivisuudesta (luovista uutuuksista) aiempiin verrattuna. Teoreettisen mallin ei välttämättä tarvitse olla matemaattisesta muotoa; myös muunlaiset loogiset rakennelmat kelpaavat, esimerkiksi tietokoneohjelma. Yllä kuvattu uuden, olemassa olevaa teoriaperustaa parantavan mallin kehittäminen on vaativaa, tyypillisesti väitöskirjatason tutkimusta. Pro gradu -tason teoreettisessa tutkimusasetelmassa analysointikohteeksi valitaan yleensä jokin olemassa oleva tutkimussuuntaus, kuten kuluttajan valintateoria tai täydellisen kilpailun teoria. Tutkimusote voi tällaisessa työssä olla aiheen erilaisten lähestymistapojen kriittinen ja syntetisoiva analysointi. Onnistuneessa tapauksessa analysoinnin kautta voidaan löytää aiemmin havaitsemattomia yhteyksiä eri suuntausten välillä. Toisaalta voidaan myös kyetä osoittamaan, että tietyt suuntaukset ovat keskenään ristiriitaisia siten, että samanaikaisesti vain toinen niistä voi olla tosi. Jos sellaisia uusia syntetisoivia yhteyksiä tai ristiriitaisuuksia ei löydetä, jotka tekisivät työn ansiokkaaksi, työ kelpaa siitä huolimatta pro gradu -työksi laajennettuna kirjallisuuskatsauksena. Kolmannessa mahdollisessa teoreettisessa tutkimusasetelmassa analysointikohteeksi valitaan jokin tietyn ilmiön selittämiseksi kehitetty teoria. Teorian pääpiirteet ja kehityshistoria kuvataan sillä tarkkuudella, että suuntauksen hyviä ja huonoja puolia kyetään analysoimaan. Teorian olettamuksia ja sen perusteella laadittuja ennusteita verrataan reaalimaailman käyttäytymiseen. Yhtäpitävyyksiä ja ristiriitoja etsimällä löydetään suuntauksen vahvuudet ja puutteet, joiden havaitseminen on lähtökohta teorian kehittämiselle. Teorian aiemmin havaitsemattomien puutteiden osoittaminen on ansiokasta, ja vielä ansiokkaampaa on kyetä parantamaan teoriaa niiden osalta. Oman parannetun teorian esittäminen on tällaisen tutkimuksen arvokkain osa Deskriptiivinen eli kuvaileva tutkimusasetelma Deskriptiivisessä tutkimusasetelmassa tutkimuskohteen ilmiökenttää kuvaavista muuttujista kerätään havainnot, joita analysoidaan tilastollisin menetelmin. Tällaisessa analyysissa ei yleensä ole varsinaista teoreettista ajattelua taustalla, vaan havaintoja tarkastellaan puhtaasti tilastotieteellisin keinoin. Muuttujista etsitään joko korrelaatioita (keskinäisiä riippuvuuksia) tai aikasarjaperusteisia säännönmukaisuuksia: trendi, kausi- ja suhdannevaihtelu, autokorrelaatiorakenne, yhteisintegroituvuus jne. Näiden havaintojen perusteella voidaan testata monenlaisia hypoteeseja, kuten Granger kausaalisuusrelaation olemassaoloa, muuttujien tilastollista riippumattomuutta jne. Hyvä kuvaileva työ luo perustan ilmiökentän muuttujien riippuvuuksien teoreettiselle mallintamiselle Empiirinen tutkimusasetelma Empiirisessä tutkimusasetelmassa analysointikohteeksi valitaan jokin tarkasteltavaa ilmiötä kuvaava teoria, jonka selitys- ja ennustuskykyä arvioidaan havaintoaineiston avulla. Teoriaperustassa esiintyville muuttujille etsitään empiiriset vastineet, joista kerätään havainnot. Tämän jälkeen teoria kirjoitetaan sellaiseen muotoon, että siinä esiintyvien parametrien arvot saadaan estimoitua havaintoaineistosta. Estimoidun mallin selitys- ja ennustuskykyä arvioidaan tilastollisin menetelmin. Onnistuneessa tapauksessa yllä kuvattu estimointi kyetään toteuttamaan siten, että malli kuvaa tarkasteltavaa ilmiötä riittävällä tarkkuudella. Epäonnistuneessakin tapauksessa, jossa malli ei kuvaa ilmiötä hyvin, analyysi ei ole nollatutkimusta. Tällöin tulokset osoittavat, että joko testattu teoreettinen malli tai siinä esiintyvien muuttujien empiiriset vastineet 9

10 (tai molemmat) ovat puutteellisia. Epäonnistuneen analysoinnin positiivinen lopputulos voi olla se, että kyetään osoittamaan, mistä syystä tarkasteltu malli ei toiminut hyvin. Tämä antaa lähtökohdan teoriaperustan kehittämiselle. Toinen hyödyllinen tulos tällaisesta analyysista voi olla se, että osataan valita ilmiötä kuvaamaan jokin toinen paremmin toimiva teoria. Empiirisen ja deskriptiivisen tutkimusotteen ero on siinä, että jälkimmäisessä kuvaillaan joko tapahtunutta kehitystä tai analysointikohteeksi valittua ilmiötä ilman tarkkaa ennakkokäsitystä ilmiön syntymekanismista. Empiirisessä tutkimuksessa taas tutkimusaineisto hankitaan ja ilmiötä tarkastellaan jonkin tietyn teoreettisen tai menetelmällisen lähestymistavan kautta. Tämä mahdollistaa tieteellisten hypoteesien testaamisen sekä ilmiön selitysmallin rakentamisen. Tässä vaiheessa voidaan myös erotella kvantitatiivinen ja kvalitatiivisen analyysi: Edellisessä muuttujat on mitattu vähintään intervalli- eli välimatka-asteikoillisina, kun taas jälkimmäisessä muuttujien mittausasteikko on nominaalinen (luokittelu-) tai ordinaalinen (järjestys-) Tulosten raportointi ja vertailu aiempiin tutkimuksiin Tässä osiossa tutkimuksen analysointitulokset raportoidaan mahdollisimman informatiivisessa muodossa: taulukkoina, graafeina (kuvaajina), luetteloina tai sanallisessa muodossa tilanteesta riippuen. Saatujen tulosten vertailu aiempiin paljastaa niiden tieteellisen merkitsevyyden. Jos tulokset poikkeavat aiemmista siten, että ne perustellusti kumoavat aiempia ennakkooletuksia tai tuloksia, tällä voi olla tieteellistä ajattelua eteenpäin vievä vaikutus. Jos tutkimuksessa päädytään aiemmista poikkeaviin tuloksiin, tutkijan tulee pyrkiä selittämään, mistä tämä johtuu. Uusien ja tieteellisesti merkitsevien tulosten löytäminen on tutkimuksen päätarkoitus. Jos taas tulokset tukevat aiempia tutkimuksia tai jotakin tiettyä suuntausta suhteessa johonkin toiseen, myös tämä tulee raportoida selkeästi Loppupäätelmät Tutkimusraportin loppupäätelmissä kootaan yhteen keskeiset tutkimustulokset ja verrataan niitä aiempiin. Loppupäätelmissä ei tule esittää uusia tuloksia ja ajatuksia päätekstiin verrattuna. Sen sijaan voidaan pohdiskella analyysin hyötyjä ja haittoja siinä hengessä, antavatko tulokset aihetta jatkotutkimuksille. Tutkimusraportin rakennetta voidaan ajatella tiimalasin avulla. Kun johdanto on supistanut aiheen tutkimuskenttää siten, että tutkimusongelma ja lähestymistapa on rajattu monesta mahdollisesta yhdeksi tietyksi, raportin loppupäätelmissä lasia taas laajennetaan siten, että saatujen tulosten merkitsevyyttä ja yleistettävyyttä pohditaan koko tutkimusaihepiiriä koskien: Minkälaisiin alkuehtoihin, tilanteisiin ja aineistoihin saadut tulokset voidaan yleistää? 6.7. Johdanto ja tiivistelmä Tutkimusraportin johdanto ja tiivistelmä (abstrakti) kirjoitetaan yleensä viimeisinä. Näin siitä syystä, että tutkimusprosessin edetessä moni olettamus muuttuu ja viime kädessä vasta analysointiosassa saadut tulokset ohjaavat työn johdannon kirjoittamista. Johdannossa kissa nostetaan pöydälle eli perustellaan, miksi valittu tutkimusongelma on mielenkiintoinen ja haastava. Edelleen selvitetään tutkimuksen mahdolliset taustatekijät. Johdannossa perustellaan kirjallisuuskatsaukseen viitaten tutkimuksen lähestymistavan valinta tuoden esiin sen suhteelliset edut. Tässä yhteydessä myös kerrotaan, minkälaisia tuloksia valitulla lähestymistavalla on mahdollista saada. Johdanto päätetään tutkimusraportin sisällön karkeaan esittelyyn. Tiivistelmä 10

11 puolestaan kiteyttää olennaisen koko tutkimuksesta: sen tarkoituksen, tekotavan ja keskeiset tulokset. Tiivistelmä kirjoitetaan sillä periaatteella, että jokainen siinä oleva sana on harkittu ja tärkeä. Tiivistelmän ja johdannon tehtävä on herättää lukijan mielenkiinto siten, että lukija motivoituu lukemaan raportin läpi. Tiivistelmän ja johdannon jälkeen kiinnostunut lukija käy yleensä läpi tutkimuksen loppupäätelmät, ja jos myös nämä kiinnostavat, lukija on motivoitunut lukemaan myös kirjallisuuskatsaus- ja analysointiosan. Hyvin kirjoitettu tiivistelmä ja johdanto palvelevat myös sellaista lukijaa, joka ne luettuaan päättää olla lukematta tutkimusta tarkemmin läpi. 7. TUTKIMUKSEN ESITTÄMINEN JA OPPONOINTI Sekä yliopisto- että reaalimaailmassa tutkimuksen tekijä joutuu usein luovuttamaan tutkimuksensa kriittisen yleisön arvioitavaksi. Tämän monisteen johdantoluvussa perusteltiin, miksi tutkimuksen kriittinen arviointi on tärkeää. Yliopistomaailman näkyvä esimerkki tutkimuksen julkisesta esittämisestä ja kriittisestä arvioinnista on väitöskirjan puolustaminen. Myös seminaarityöskentely huipentuu seminaarityön esittämiseen, jolloin kriittisenä kuulijakuntana ovat seminaarin osanottajat. Seminaarityön esittelyssä tulee ottaa huomioon kuulijakunnan ennakkotiedot aiheesta, valmius ymmärtää esitystä sekä esitykseen varattu aika. Mitä vähemmän aikaa on, sitä täsmällisemmin ja selkeämmin esittäjän tulee keskittyä vain olennaiseen. Työn esittelyssä tulee kuitenkin käydä ilmi seuraavat asiat: 1) Mitä ja miten on tutkittu? 2) Mitä aineistoa ja tutkimusmenetelmää on käytetty? sekä 3) Mitkä ovat tutkimuksen keskeiset tulokset ja miten ne suhtautuvat aiempaan tutkimustietoon, sikäli kun sellaista on? Piirtoheitintä ja muita oheisvälineitä voi käyttää esityksen havainnollistamisessa. Työn arviointia kutsutaan opponoinniksi ja arvioitsijaa opponentiksi. Seminaari-työskentelyssä työlle määrätään pääopponentti. Opponoinnin päätarkoitus voidaan kiteyttää seuraavasti: Opitaan antamaan perusteltua kritiikkiä ja puolustautumaan perustellusti. Työn tieteellisen tason arvioinnin kannalta seuraavat kysymykset ovat keskeisiä: 1) Onko tutkimus tärkeä tiedemaailman kannalta? 2) Onko työ lisännyt tutkimustietoa aiheesta? sekä 3) Osoittaako työ tekijän olevan kypsä tieteellisen tutkimuksen tekemiseen ja esittämiseen? Seuraavassa esitetään luettelomaisesti seikkoja, joita voidaan käyttää apuna tutkimuksen opponoinnissa ja arvioinnissa. (Tella & Lavonen (1994)). 1. Työn kokonaisilme Tutkimusaiheen valinta, rajaus ja perustelut. Tutkimusraportin rakenteen loogisuus; osioiden ja alaosioiden määrittely. Kirjallisuuskatsauksen, analysointiosan ja tutkimustulosten esittelyn tasapaino. Kirjallisen esityksen laatu: kielen tasokkuus, selkeys ja ulkoasu. Onko työn muodolliset vaatimukset (kansilehti, tiivistelmä yms.) täytetty? Kuvioiden, taulukoiden, asetelmien sekä liitteiden informatiivisuus ja ulkoasu. 2. Tutkimusraportin otsikoinnin ja sisällön vastaavuus Vastaako työn nimi tutkimuksen sisältöä? Vastaavatko työn otsikot osioiden sisältöä? 3. Tutkimuksen teoriaosan selkeys ja kattavuus Perehtyneisyys kirjallisuuteen ja sen käyttö: Onko kokonaiskuva erilaisista tutkimussuuntauksista hahmotettu? Miten työ liittyy tutkimusperinteeseen? 11

12 Onko tutkimuksessa käytetyt käsitteet määritelty selkeästi? 4. Tutkimusongelmat ja hypoteesit Ovatko tutkimusongelmat tärkeitä, relevantteja ja hyvin muotoiltuja? Ovatko mahdolliset hypoteesit selkeästi muotoiltuja? 5. Tutkimusmenetelmän valinta ja käyttö Miten tutkimusasetelma on kuvattu? Onko tutkimusasetelmaa arvioitu kriittisesti todeten sen rajoitukset ja puutteet? Miten käytetty tutkimusmenetelmä on kuvattu? Onko tutkimusmenetelmä ansiokas, onko menetelmää käytetty oikein ja onko menetelmän käyttö perusteltu? Miten tutkimuksen empiirinen osio on toteutettu? Onko aineiston keruu kuvattu? 6. Tutkimuksen tulokset ja johtopäätökset Mitkä ovat tutkimuksen päätulokset ja miten ne on tulkittu? Onko asetettuihin tutkimusongelmiin vastattu? Esittääkö tutkija johtopäätöksiä ja/tai suosituksia tulostensa pohjalta? Onko tuloksia verrattu aiempiin ja onko niiden luotettavuutta ja yleistettävyyttä arvioitu? 7. Lähteiden käyttö Miten lähteisiin on viitattu tekstissä? Onko lähdeluettelo selkeä ja sisältääkö se kaikki tekstiosassa viitatut lähteet? Kaikkiin yllä oleviin kohtiin ja kysymyksiin ei yleensä saada positiivista vastausta. Työtä täytyykin arvioida sen kokonaiskuvan perusteella. Esimerkiksi oikeinkirjoitus on helpompi korjata kuin työn rakenteelliset puutteet. Jos suurimpaan osaan yllä esitetyistä kysymyksistä saadaan negatiivinen vastaus, opponentin täytyy uskaltaa tuoda kritiikki esiin ja tarpeen vaatiessa asettaa jopa koko tutkimus kyseenalaisiksi. On selvää, että väitöskirjatason tutkimukselta vaaditaan enemmän kuin pro gradu -tutkielmalta. Vastaavasti proseminaarityön, jossa opetellaan tieteellistä kirjoittamista ja tutkimuksen tekemistä, vaatimustaso ei vastaa pro gradu -tutkielmia. Em. kriteerejä voidaan kuitenkin käyttää kaikkien kansantaloustieteellisten tutkimusten arvioinnissa kunhan muistetaan työn vaatimustaso. 8. TUTKIMUKSEN ARVOSTELU Jokainen kansantaloustieteen koulutusohjelmassa kirjoitettava tutkimus, essee -kirjoitus, raportti tai seminaarityö voidaan käsittää arvosteltavaksi opinnäytetyöksi. Jotkut opinnäytetyöt arvostellaan asteikolla 1-3 ja toiset asteikolla hyväksytty/hylätty. Seminaarityöskentelyn arvosana määräytyy kirjallisten raporttien, niiden esittämisen sekä opiskelijan osallistumisen perusteella kuitenkin siten, että pääpaino on kirjallisella raportoinnilla. Jos opiskelijat kommentoivat toisten esittämiä töitä siten, että tästä on hyötyä työn tekijälle, tämä vaikuttaa arvosanaan positiivisesti. Pro gradu -tutkielmat arvostellaan arvosanoilla approbatur - laudatur. Vaikka jokainen työ on itsenäinen, eikä siten suoraan verrannollinen toiseen työhön, on kuitenkin olemassa tietyt tiedeyhteisön pelisäännöt, joiden mukaan töiden arvostelu voidaan tehdä. Edellisessä osiossa esiteltiin tällaisia kriteerejä. Liitteessä 1 on viitteellisesti luonnehdittu eri tasoisten pro gradu -töiden arviointikriteereitä. Näitä kriteerejä voidaan käyttää muidenkin kirjallisten töiden arvostelussa kunhan arvosteluasteikko muutetaan sopivaksi. 12

13 KIRJALLISUUS Estola, M. (1994): Kansantaloustieteen metodologiasta, Jyväskylän yliopisto, Taloustieteen laitos, Working Paper No. 147/94. Hakala, J.T. (1999): Graduopas. Oy Yliopistokustannus, University Press Finland Ltd. Helsinki. Hirsjärvi, S., Remes, P. & Sajavaara, P. (1997): Tutki ja kirjoita. Tammer-Paino Oy, Tampere. Taimio, H. & Tammi, T. (1996): Kansantaloustieteellisten kirjoitusten laatimisohjeita. Opetusmoniste, 2. Painos. Joensuun yliopisto, Taloustieteen laitos. Tella, S. & Lavonen, J. (1994): Tutkielma - oppimisen oiva osoitus. Opas tutkielman tekoon ja raportointiin. Helsingin yliopiston opettajankoulutuslaitos. Studia Paedagogica. Helsinki: Helsingin yliopisto. Liite 1: Pro gradu -tutkimusten arvosteluperusteet Laudatur. Työ on teoreettisesti vahva ja tutkijan oman luovan työn osuus on merkittävä. Työssä esitetään uusia merkittäviä tuloksia. Kirjallisuuden käsittely on kattavaa, lähteiden käyttö huolellista, syntetisoivaa ja lähdekritiikki perusteltua. Tutkimusongelman määrittely on huolellinen ja ongelmanasettelulla on selkeä teoriaperusta. Tutkijan oma kontribuutio on kiistaton. Metodien valinnat ovat perusteltuja, tutkimusmenetelmät ovat vaativia ja niiden käyttö on huolellista ja tarkoituksenmukaista. Teksti on sujuvaa ja tyylillisesti erinomaista. Rakenne on selkeä, johdonmukainen ja ulkoasu on virheetön. Työ voidaan joko suoraan tai pienellä muokkaamisella hyväksyä lisensiaattityöksi. Eximia cum laude approbatur. Työ on teoreettisesti vahva ja tutkijan oma osuus käy selvästi ilmi. Kirjallisuuskatsaus on kattava ja lähteiden käyttö huolellista ja syntetisoivaa. Tutkimusongelman määrittely on huolellinen ja sillä on selkeä teoriaperusta. Työssä käytetyt menetelmät ovat perusteltuja ja laadukkaita. Teksti on sujuvaa, työn rakenne on selkeä ja johdonmukainen ja ulkoasu moitteeton. Vaatii laajennuksia tai parannuksia ollakseen lisensiaattityö. Magna cum laude approbatur. Teoreettisesti kypsä työ, joka osoittaa tekijän perehtyneen hyvin tutkimusongelmaansa. Kirjallisuus on kattavaa ja osoittaa hyvää aiheen hallintaa. Tutkimusongelman määrittely on selkeä. Työ on metodisesti virheetön ja siinä on selvä tutkimuksellinen ote. Teksti on sujuvaa eikä tutkimusraportin rakenteessa ole merkittäviä puutteita. Raportin ulkoasu on huoliteltu ja työssä on vain epäoleellisia virheitä. Cum laude approbatur. Työ osoittaa tekijän perehtyneen alan teorioihin ja riittävää ymmärrystä teoriaperustan keskeisistä osista. Kirjallisuuden hallinta on tyydyttävää eikä kattavuudessa ole merkittäviä puutteita. Tutkimusongelman määrittely on selkeä. Työssä ei ole merkittäviä virheitä. Teksti on asiallista, rakenteessa ei ole merkittäviä heikkouksia ja ulkoasu on moitteeton. Non sine laude approbatur. Perehtyneisyys tutkimuskirjallisuuteen on tyydyttävä. Kirjallisuuden kattavuus on riittävä mutta sen käsittelyssä on puutteita. Tutkimusongelman määrittelyssä ja 13

14 metodisessa käsittelyssä on puutteita tai epäjohdonmukaisuuksia. Teksti on välttävää ja rakenteessa on heikkouksia. Ulkoasussa ei ole olennaisia puutteita. Lubenter approbatur. Välttävä perehtyneisyys alan teoriaan. Kirjallisuus on suppea, usein vain kotimaisia lähteitä. Kirjallisuuden käsittely on mekaanista; suoraa referointia on paljon. Tutkimusongelma on puutteellisesti laadittu ja/tai epäjohdonmukainen. Metodisessa käsittelyssä on puutteita. Teksti on kankeaa ja siinä on kielioppivirheitä. Työn rakenteessa on puutteita ja ulkoasu ei ole huoliteltu. Approbatur. Heikko perehtyneisyys tutkimusaiheen kirjallisuuteen ja/tai aiheen teoriaperusta on esitetty suppeasti. Lähteitä on vähän ja käsittely on mekaanista. Tutkimusongelma on huonosti muotoiltu. Työ on metodisesti heikko, kieli on kankeaa, työn rakenne on sekava ja ulkoasu välttävä. 14