Tauno Jokinen Kirjallisten töiden arviointiohje TUOTANTOTALOUDEN OSASTO 2008
Alkusanat On oikeudenmukaista, että opiskelija tietää, miten hänen opinnäytteitään arvioidaan. Tämän ohjeen tarkoitus on yhtenäistää tuotantotalouden osaston käytäntöjä kirjallisia töitä arvioitaessa. Ohjeesta on toivottavasti apua opiskelijoille kirjallisia töitä laadittaessa, sekä annettaessa vertaisarviointipalautetta toisille opiskelijoille. Toivottavasti ohjeesta on apua myös opetushenkilökunnalle kirjallisia töitä arvioitaessa. Jokaisella kurssilla on omat erityispiirteensä. Myös eri opettajat painottavat eri asioita. Ohjeen pyrkimys ei ole rajoittaa tilannekohtaista harkintaa, vaan toimia opettajan tukena kurssikohtaisia arviointikriteerejä määritettäessä. Joka tapauksessa on hyvä opettajan tapa kertoa omat arviointikriteerinsä. Myös opiskelijoiden aktiivisuus on tärkeää. Jos arviointikriteerit jäävät epäselviksi, niitä kannattaa rohkeasti tiedustella. Ohje on vapaasti hyödynnettävissä (freeware).
Sisällysluettelo Alkusanat...1 Sisällysluettelo...2 1 Johdanto...3 2 Ulkoasun ja rakenteen tarkastelu...5 3 Oivaltavuuden arviointi...6 4 Lähdekritiikki ja teoriaan tukeutuminen...7 5 Kokonaisarviointi...8
1 Johdanto Tuotantotalouden osaston opintoihin sisältyy erilaisia kirjallisia tehtäviä, joiden tavoitteena on edistää opiskelijan oppimista ja osoittaa arvioivalle opettajalle opiskelijan hallitsevan kurssille määritellyt asiat. Arvioinnin näkökulmasta nämä kaksi tavoitetta ovat hieman ristiriitaisia. Kuva 1 hahmottaa tämän ristiriidan luonnetta. Kun opiskelija kuvaa kirjallisessa työssään teorioita, joihin hän on tutustunut ja vertaa niitä oman toimintansa kautta syntyneihin havaintoihin, opettajan on helppo arvioida kirjallisen työn oikeellisuutta. Oppimistavoitetta kuitenkin tukee paremmin se, että työ painottuu omien oivallusten syvälliseen pohdintaan. Parhaimmillaan tästä syntyy oppimiselämyksiä, jotka ovat hyvin syvällistä oppimista. Tällaisen oppimisen arviointi on opettajalle vaativampaa. Opettajan tulisi kirjallisen tekstin kautta kyetä seuraamaan opiskelijan ajatuskulkua ja päätyä sen kautta oikeudenmukaiseen tulkintaan ajatuskulun hyvyydestä. Oppimiselämys Oivallus Pohdinta Toiminta ja Teoria Kuva 1: Pohdinnan ja reflektion tasot Objektiivisuuden ongelmaa ei kirjallisten töiden arvioinnissa voi kokonaan ratkaista. Kuvaako annettu arvosana loppujen lopuksi enemmän opiskelijan kirjoittajankykyä vai oppiaineksen hallintaa? Sama ongelma on toki tenttimuotoisessa osaamisen arvioinnissa. Mitataanko todella oppiaineen osaamista vai tentistä selviytymisen taitoa. Diplomitöiden osalta voidaan ainakin todeta, että eri ohjaajien välinen arviointi käytännössä on varsin vertailukelpoista. Sama diplomityö toisen ohjaajan arvioimana saisi molemmilta saman arvosanan varsin hyvällä todennäköisyydellä. Eli vaikka arviointi ei luonteeltaan olisikaan täysin objektiivista, on se kuitenkin vähintäänkin oikeudenmukaista. Tämä oikeudenmukaisuus on saavutettu yhtenäisellä arviointikäytännöllä, joka perustuu arviointiohjeeseen. Tämän ohjeen keskeinen tavoite on saavuttaa samanlaista oikeudenmukaisuutta muidenkin kirjallisten tehtävien arviointiin. 1.1 Erilaiset kirjalliset tehtävät Kirjalliset tehtävät jakautuvat pääsääntöisesti tutkielmiin ja reflektiivisiin oppimisraportteihin. Kirjallinen raportti voi tyylilajiltaan olla myös muunlainen, kuten esimerkiksi
TUOTANTOTALOUDEN OSASTO Pl 4610 90014 OULUN YLIOPISTO liiketoimintaorientoitunut asiateksti. Tietystä yhtenevistä asioista huolimatta tavoitteet ja tyylilaji osittain poikkeavat toisistaan. Tutkielman arviointi lähtee tieteellisen kirjoittamisen tyylilajista. Tekstin on hyvä olla asiallista ja päätelmien perusteltuja ja kirjallisuuteen tukeutuvia. Tutkielmien laatiminen edistää tieteellisen ajattelutavan kehittymistä, mikä on yksi yliopisto-opintojen keskeinen tavoite ja myös työelämän vahvasti arvostama taito. Kiitettäväksi arvioitavan työn kriteeristö pohjautuu tieteellisille julkaisuille asetettuihin vaatimuksiin. Diplomitöiden kohdalla tämä merkitsee sitä, että kiitettävää diplomityötä verrataan sisällön ja käsittelyn suhteen journal-artikkeliin. Muiden tutkielmatehtävien osalta tätä vaatimustasoa suhteutetaan opintojen edistymiseen ja kirjallisen tehtävän tavoitteelliseen laajuuteen. Reflektiivinen oppimisraportti tukee oppimaan oppimisen taidon kehittymistä. Tavoitteena on teksti, joka pohjautuu opiskelijan omiin oivalluksiin ja niiden pohdintaan. Ohessa esimerkki reflektiivisestä pohdiskelusta: Kolahduspohjainen oppimistyyli mitä ihmettä? Termi ja kaaviokuva vaikutti alkuun aika naurettavalta. Sitten vielä teoria miljoonista pikkukolahduksista pään sisällä vähintäänkin outoa. Perustelujen jälkeen tosin huomasin, että ehkä tämä kolahdus-periaate toteutuu myös itsellä. Ainahan jonkun asian oivaltaminen antaa lisää draivia oppimiseen, joten ehkä tämäkin on faktaa. Asiaa voi tietysti miettiä jatkossa, että mitä siellä pään sisällä tapahtuu. Teksti poikkeaa luonteeltaan olennaisesti tieteellisestä tekstistä. Sanavalinnat edustavat pikemminkin yleiskieltä, kuin akateemista tyylilajia. Teksti ilmentää myös kirjoittajansa tunnetta, mikä poikkeaa tieteellisestä tyylilajista. Esimerkkiteksti ilmentää myös kriittisyyttä, joka on olennainen osa akateemista oppimista. Kiitettäväksi arvioitava reflektiivinen oppimisraportti ilmentää siis opiskelijan omaa pohdintaa, oivaltavaa asioiden käsittelyä ja kriittistä ajattelua. Liiketoimintaorientoitunut asiateksti on tyylilajiltaan lähellä tutkielmaa. Merkittävä ero on kuitenkin lähdeaineiston hyödyntämisessä. Tekstissä on usein konsulttimainen ote, eli tutkielmamaista teoriaan tukeutumista pidetään jopa arveluttavana ulkopuoliseen auktoriteettiin vetoamisena. Myös tyylilliset ilmaisut ovat enemmän markkinahenkisiä, kuin tieteellisen formaatin mukaisessa tekstissä. Markkinahenkisyys ei kuitenkaan saa peittää alleen pyrkimystä perustella näkökulmiaan faktatiedolla ja laskelmilla. Kiitettäväksi arvioitava liiketoimintaorientoitunut asiateksti ilmentää katu-uskottavuutta. Ulkoasu on kauttaaltaan huoliteltua ja saattaa tästä syystä poiketa myös kirjallisten töiden ohjeesta. Teksti on suunnattu päätöksentekijöille, eikä sisällä tarpeetonta jaarittelua. Teksti etenee määrätietoisesti ja tavoitteen suuntaisesti. Oppiminen on yliopisto-opiskelun perustehtävä. Tässä suhteessa reflektiivisyyttä ei pidä kokonaan sulkea pois tutkielmien ja liiketoimintaorientoituneen asiatekstin formaateista. Vähintäänkin työn pohdinnassa on aiheellista tarkastella oppimiskokonaisuutta. Tekstien erilaisen luonteen ja opettavan henkilökunnan erilaisten painotusten vuoksi onkin olennaista, että arviointikriteerit kuvataan etukäteen tapauskohtaisesti. Opiskelijan oma aktiivisuus on myös olennaista. Mikäli arviointikriteerit vaikuttavat epäselviltä, niitä kannattaa kysyä. Sekä opettajan, että opiskelijan on hyvä muistaa, että opiskelija joka uskaltaa kysyä asioita luennolla ei todennäköisesti ole ainoa epätietoinen läsnäolija. Yleisesti ottaen kirjallista työtä arvioidaan kolmen tekijän kautta: (1) Rakenne ja ulkoasu, (2) Tekstin oivaltavuus, sekä (3) Lähdekritiikki ja tukeutuminen teoriaan. Tarvittaessa opettaja voi ilmoittaa muitakin arviointikriteereitä. 4
TUOTANTOTALOUDEN OSASTO Pl 4610 90014 OULUN YLIOPISTO 2 Ulkoasun ja rakenteen tarkastelu Ulkoasun ja rakenteen osalta käytetään seuraavaa tarkistuslistaa. Työn luonteen johdosta arviointikriteerit voivat hieman vaihdella. Tämä on syytä kertoa etukäteen: Kansilehti on ohjeen 1 mukainen. Opiskelijanumeron puuttuminen on vakava puute Tiivistelmä on ohjeen mukainen Sisällysluettelo on ohjeen mukainen Johdannossa on kuvattu työn tausta Johdannossa on kuvattu tutkimuskysymykset/työn tavoitteet Johdannossa on kuvattu työn toteutus ja rakenne Teoria ja empiria ovat ohjeen mukaiset Pohdinnassa on kuvattu tiivistettynä työn keskeiset tulokset (vastaukset tutkimuskysymyksiin) Pohdinnassa arvioidaan annetun vastauksen hyvyyttä Pohdinnassa arvioidaan omaa oppimiskokemusta Pohdinnassa arvioidaan kurssin toteuttamista Kirjallisia viittauksia on käytetty ohjeen mukaan Lähdeluettelo on ohjeen mukainen Ulkoasu on kaikilta osin siisti Työn asettelu on ohjeen mukainen Tekstissä ei ole kirjoitusvirheitä Kieli on tyylillisesti hyvätasoista Vakavia puutteita Havaittavia puutteita Ei puutteita Yleisarvosanan määräytyminen ulkoasusta ja rakenteesta: 1 Työssä on merkittävässä määrin vakavia puutteita, 2 työssä on vakavia puutteita, 3 työssä on selkeästi havaittavia puutteita, 4 työssä on pieniä puutteita ja 5 työssä ei juuri ole havaittavia puutteita. 1 Ohjeella tarkoitetaan tuotantotalouden osaston kirjallisten töiden ohjetta ja opettajan kurssikohtaisesti antamia täydentäviä ohjeita. 5
TUOTANTOTALOUDEN OSASTO Pl 4610 90014 OULUN YLIOPISTO 3 Oivaltavuuden arviointi Oivaltavuuden, lähdekritiikin ja teoriaan tukeutumisen, sekä työn kokonaisarviointi pohjautuu viisiportaiseen arviointiskaalaan: 5 kiitettävä. Työ täyttää annetut vaatimukset ja tuo esiin syvällisen paneutumisen aiheeseen. 4 - erittäin hyvä. Työ on tunnollisesti tehty ohjeen mukaisesti. Työstä kuitenkin puuttuu sellainen viimeinen silaus, joka tekee tekstistä erityisen kiinnostavan. 3 hyvä. Työssä on havaittavissa selkeää pinnallisuutta ja pienehköjä puutteita. Työstä syntyy hieman keskeneräinen vaikutelma. 2 erittäin tyydyttävä. Työssä on selkeitä puutteita. Työstä kuitenkin käy ilmi, että kirjoittaja on hyvin perehtynyt kurssin ydinainekseen. 1 tyydyttävä. Työssä on selkeitä ja vakavia puutteita. Työstä käy kuitenkin ilmi, että työ pohjautuu opinto-oppaan mitoituksen mukaiseen työmäärään. Arviointi aloitetaan tarkistamalla vastaako työ arvosanan 4 kriteerejä (Kuva 2). Jos kriteerit täyttyvät, arvioidaan työtä edelleen arvosanan 5 kriteereihin. Jos arvosanan 4 kriteerit eivät täyty, verrataan työtä arvosanan 3 kriteereihin. Mikäli puutteet ovat niin selkeitä ja vakavia, ettei työ täytä arvosanan 3 kriteerejä, pohditaan ensisijaisesti työn palauttamista täydennettäväksi. Mikäli työn täydentäminen ei ole tarkoituksenmukaista, voidaan työlle antaa arvosanaksi myös 1 tai 2. Mahdollisuus täydennettäväksi palauttamiseen on rinnastettavissa tentin uusimiseen. Alku 5 Kiitettävä 4 Erittäin hyvä 3 Hyvä 2 Erittäin tyydyttävä 1 Tyydyttävä Kuva 2: Arviointikaavio Oivaltavuutta arvioitaessa keskitytään työssä ilmenevän pohdinnan hyvyyteen ja tehtyjen johtopäätelmien tasokkuuteen. Tärkeä teema on työn yhteneväisyys. Työ etenee johdonmukaisesti tutkimuskysymyksistä kohti johtopäätelmiä ilman turhia rönsyjä. 6
TUOTANTOTALOUDEN OSASTO Pl 4610 90014 OULUN YLIOPISTO 4 Lähdekritiikki ja teoriaan tukeutuminen Lähdekritiikin osalta arvioidaan käytettyjen lähteiden laatua, määrää ja valintaa. Kiitettävässä työssä määrä on vähintään ohjeen mukainen. Ei ole syytä painottaa arvioinnissa, että määrän tulisi olla ohjeistusta enemmän. Näin ollen määrän sijasta tulisi arvioinnissa korostaa laatua ja valintaa. Laadun osalta arvioidaan lähteiden hyvyyttä. Hyviä lähteitä ovat journal-julkaisut ja aiheen tunnustettujen asiantuntijoiden tunnetut julkaisut. Oppikirjoja voidaan käyttää lähteinä, jos niissä on asianmukainen käytäntö lähdeviittauksista alkuperäisteoksiin. Luentomateriaali, internet-lähteet, huonot oppikirjat ja popularisoidut teokset voivat olla täydentävinä lähteinä. Lähteiden valinnassa tulisi myös huomioida, että lähteet tulisi olla lukijan saatavilla. Korkeatasoisimmissa teksteissä (varsinaiset tiedejulkaisut) tämä saattaa tarkoittaa, että suomenkielisiä lähteitä tulisi välttää. Erityisesti laajemmissa kirjallisissa töissä lähteiden valinta on yksi keino osoittaa työskentelyn perusteellisuutta. Jokaisella alalla on keskeiset kirjoittajat. Viittaamalla keskeisiin kirjoittajiin on mahdollista osoittaa erityistä perehtyneisyyttä julkaisuihin. Toinen valinnan näkökulmasta merkittävä asia on käyttää käsiteltävän asian kannalta olennaisia lähteitä. Teoriaan tukeutumista voidaan arvioida tarkastelemalla oman tekstin ja teorian vuoropuhelua työssä. Kiitettävässä työssä näkyy selkeästi pyrkimys oivallusten etsimiseen. Kiitettävälle työlle on ominaista lähteiden käytön monipuolisuus. Parhaimmillaan työ on synteesi, jossa useiden lähteiden avulla asiaa tarkastellaan eri suunnista. Lähteiden kautta syntyvä teoreettinen kehys on kiinteästi sidottu palvelemaan empiriaa ja tutkimuksen johtopäätelmiä. Yksi arvioitava asia on jälleen kerran se johdonmukaisuus, jolla työ etenee tutkimuskysymyksistä johtopäätelmiin. 7
TUOTANTOTALOUDEN OSASTO Pl 4610 90014 OULUN YLIOPISTO 5 Kokonaisarviointi Kokonaisarviointi pohjautuu rakenteen ja ulkoasun, tekstin oivaltavuuden, sekä lähdekritiikin ja teoriaan tukeutumisen muodostamasta kokonaisuudesta. Kokonaisarviointiin luonnollisesti vaikuttaa kirjallisen työn luonne ja opettajan antamat erityisohjeet. Kokonaisarvosana ei välttämättä ole matemaattinen keskiarvo arvioitavista asioista. Kiitettävän työn osalta pienetkin puutteet ulkoasussa ja rakenteessa voivat olla riittävä perustelu määrittää arvosanaksi 4. Luonnollisesti yksittäiset kirjoitusvirheet eivät suoraviivaisesti pudota arvosanaa. Pikemminkin kyse on kokonaisuuden tarkastelusta. Kokonaisarvioinnissa työn pohdintaosuudella on suuri merkitys. Kiitettävälle työlle on tunnusomaista, että pohdinnassa kirkastetaan työn keskeiset tulokset. Tuloksia tarkastellaan sekä niiden käytännöllisen, että teoreettisen merkityksen kannalta (mikäli ylipäätään mahdollista). Empiirisesti painottuneessa työssä tämä voi tapahtua kytkemällä tehty tutkimus käytännön toimintaan liittyvän ilmiön ymmärtämiseen ja siihen liittyvän ongelman ratkaisuun. Käsitteellisessä työssä painottuu tutkimuksen positiointi aikaisempaan aiheesta tehtyyn tutkimukseen, mutta myös empiirisessä työssä tulee tehtyjen havaintojen ja päätelmien merkitystä pohtia teorian valossa. Perusta onnistuneelle pohdinnalle luodaan jo työn johdannossa. Työn tarkoituksen ja tavoitteiden tulee olla selkeästi sisäistettyjä, jotta tavoitteet voidaan ylipäätään saavuttaa. 8
Teknillinen tiedekunta Oulun yliopisto Teknillinen tiedekunta / Tuotantotalouden osasto PL 4610 90014 Oulun yliopisto tel: +359 (0)8 553 2936 fax:+359 (0)8 553 2904 www.oulu.fi