Tieteellisen tekstin kriittinen lukeminen - opponointi, evaluointi ja review

HTML
DOWNLOAD

Koko: px

Aloita esitys sivulta:

Download "Tieteellisen tekstin kriittinen lukeminen - opponointi, evaluointi ja review"

Juha-Pekka Kähkönen
9 vuotta sitten
Katselukertoja:

1 Tieteellisen tekstin kriittinen lukeminen - opponointi, evaluointi ja review Pelastusalan tutkijahautomo Kirsi Virrantaus Aalto-yliopisto, Insinööritieteiden korkeakoulu Maankäyttötieteiden laitos

2 Esitykseni sisältö Tieteellisen tutkimuksen ja julkaisutoiminnan olemus tänä päivänä Opponointi ensimmäisenä askeleena kohti kriittistä arviointia Opinnäytetyön arviointi Julkaisutoiminnan evaluointi ja oman työn evaluointi Peer review Harjoituksia

askeleena kohti kriittistä arviointia Opinnäytetyön arviointi

3 1. Tieteellisen työn muutos akateeminen maailma on muuttunut viimeisten 10 vuoden aikana kohti kovaa kilpailua akateeminen vapaus ja tutkimuksen luovuus ovat tällä hetkellä muistoja vanhoilta hyviltä ajoilta, jolloin virkamies- tai yritysmaailman sijaan hiljaisesta ja huonosti palkatusta tutkimustyöstä kiinnostuneet valitsivat tutkijanuran tällä hetkellä tutkimus on tietynlaista kilpaurheilua, siinä menestyäkseen tulee tuntea pelisäännöt ja keinot julkaisutoiminnassa vallitsee tietynlainen kirjoittamisen kulttuuri, joka tulee tuntea

ja huonosti palkatusta tutkimustyöstä kiinnostuneet valitsivat tutkijanuran tällä hetkellä tutkimus on tietynlaista kilpaurheilua,

4 Tieteellisen työn pelisääntöjä Tutkimuksesta julkaiseminen on avainsana Tutkimuksen vaikuttavuutta (=tutkijan arvoa) mitataan julkaisujen määrällä ja laadulla Määrää ja laatua kuvataan useimmin viittauksilla toisista julkaisuista Julkaisemisen A ja O on hyvä kirjallinen esitystaito, scientific writing, joka perustuu hyvään kielitaitoon (kielentarkistus on välttämätön ehto julkaisun menestykselle) Sisältö on tietysti tärkein: hyvät tiedot alan muusta tutkimuksesta ilmaistaan viittauksina

Julkaisemisen A ja O on hyvä kirjallinen esitystaito, scientific writing, joka perustuu hyvään kielitaitoon

5 Kriittinen ote Kriittinen ote opitaan jo koulun penkillä Seminaaritöiden ja lopputöiden opponointi aloittaa kriittisen reviewerin uran Myöhemmin tutkimustyössä tutkijat arvioivat toistensa julkaisuja, peer review (=vertaisarviointi) Tutkimustyön tulos kiteytyy tutkijan julkaisuluetteloon ja h-indeksiin!

tutkimustyössä tutkijat arvioivat toistensa julkaisuja, peer review

6 2. Opponointi Kriittisen otteen harjoittelu aloitetaan opponoinnilla Opponoimaan opitaan kanditöiden esityksissä seminaareissa Opponoinnin tarkoitus on oppia lukemaan & kuuntelemaan kriittisesti laajentaa tutkimuksen tekijän näkökulmaa aiheeseen synnyttää tieteellistä keskustelua auttaa tutkimuksen tekijää viimeistelemään työnsä

lukemaan & kuuntelemaan kriittisesti laajentaa tutkimuksen tekijän näkökulmaa

7 Opponoinnin keskeiset teemat Tutkimuksen rakenne ja tyyli IMRAD, asiatyyli Tutkimuksen sisältö, tavoite ja tutkimuskysymykset Tavoitteen selkeys, täsmennys tutkimuskysymyksin Lähdeaineisto, määrä ja kattavuus Lähdeluettelo, ajantasaisuus, kansainvälisyys, laatu Käytetyt menetelmät Kvalitatiiviset, kvantitatiiviset Pohdinta ja yhteenveto Reflektio (oman tutkimuksen kriittinen tarkastelu), jatkotutkimukset, toimenpide-ehdotukset, suositukset Artikkelin havainnollisuus Kuvat, taulukot

ajantasaisuus, kansainvälisyys, laatu Käytetyt menetelmät Kvalitatiiviset, kvantitatiiviset Pohdinta ja yhteenveto

8 Opponoinnin kriittisyys ja rakentavuus Tavoitteena löytää ongelmat ja puutteet pystyä esittämään rakentavaa kritiikkiä ei arvostelua tai kilpailua aikaansaada keskustelua Rakentava kritiikki kohdistuu työhön, ei tekijään erittelee havainnot ja tulkinnat sisältää kritiikkiä, mutta myös perusteltua kiitosta

aikaansaada keskustelua Rakentava kritiikki kohdistuu työhön, ei tekijään

9 Opponointi käytännössä Opiskelijat opponoivat toistensa esityksiä Esityksen kirjallinen dokumentti on saatu aikaisemmin luettavaksi Opponentti seuraa esitystä Esityksen jälkeen opponentti tekee kysymyksensä ja antaa kommenttinsa ensimmäisenä Opponentti antaa myös kirjallisen palautteen lomakkeella Opponointi on osa omaa suoritusta kurssilla

Esityksen jälkeen opponentti tekee kysymyksensä ja antaa kommenttinsa ensimmäisenä

10 3. Opinnäytetyön arviointi Opponoitu työ dokumentoidaan seminaariesitelmänä, kandityönä, lopputyönä, diplomityönä/graduna Opettaja arvioi ja antaa arvosanan Arvioinnissa voidaan käyttää apuna ohjeita tieteellisestä kirjoittamisesta Arvioinnissa kiinnitetään huomiota: Tehtäväalueen määrittelyyn ja tavoitteen asettamiseen Aihealueeseen perehtyneisyyteen Käytettyihin menetelmiin ja johtopäätöksiin Kontribuutioon ja kokonaisuuden hallintaan Esitystapaan ja kieliasuun

kirjoittamisesta Arvioinnissa kiinnitetään huomiota: Tehtäväalueen määrittelyyn ja tavoitteen asettamiseen

11 Arvosana Arvosana annetaan kunkin oppilaitoksen oman käytännön mukaan Jos skaala on 1 5, niin arvosanat tarkoittavat 5 kiitettävä 4 erittäin hyvä 3 hyvä 2 tyydyttävä 1 välttävä Aallon käytäntö on, että jos opettaja ehdottaa korkeinta arvosanaa, tulee arviointi saada myös toiselta professorilta

hyvä 2 tyydyttävä 1 välttävä Aallon käytäntö on, että jos opettaja

12 Plagiointi Plagiointi = kirjallinen tai taiteellinen varkaus Plagiointia tapahtuu valitettavasti yhä enemmän Plagiointi Webistä, toisten opinnäytteistä, muista dokumenteista, omista töistä Omaakaan työtä ei saa plagioida! Useimmat yliopistot tarkistavat kaikki opinnäytteet plagioinnin varalta Esim. HY käyttää ns. Urkund-webbiohjelmaa, joka vertaa opinnäytteen tekstiä webistä, erilaisista tietokannoista löytyvään materiaaliin

saa plagioida! Useimmat yliopistot tarkistavat kaikki opinnäytteet plagioinnin varalta Esim. HY käyttää ns.

13 4. Evaluointi Evaluoinnissa arvioidaan esimerkiksi tutkijan julkaisutuotantoa kokonaisuutena Evaluointi suoritetaan usein perustuen julkaisuluetteloon Evaluointia voi jokainen tutkija suorittaa myös itsestään, itsearviointi tässä evaluoinnilla kuitenkin tarkoitetaan muuta, kuin reflektiolla, jossa fokus on oman toiminnan kriittisessä analysoinnissa; itsearviointi on ulkoisempaa toimintaa Evaluoinnin perustana on julkaisuluettelon laajuus ja laatu Jotta tuotantoa voitaisiin hyvin evaluoida, se on esitettävä hyvin järjestettynä julkaisuluettelona

muuta, kuin reflektiolla, jossa fokus on oman toiminnan kriittisessä analysoinnissa; itsearviointi on ulkoisempaa toimintaa Evaluoinnin

14 Julkaisuluettelo Tutkijan tärkeä dokumentti Julkaisuluettelossa julkaisut järjestetään tärkeysjärjestykseen esim. seuraavasti: Kansainväliset journaaliartikkelit (peer review) Kotimaiset journaaliartikkelit (peer review) Kirjat, joissa peer review Kansainväliset konferenssit joissa full paper peer review (voi olla myös Suomessa järjestetty kv-konferenssi) Muut konferenssit Muut julkaisut Yleensä merkitystä arvioinnissa on vain vertaisarvioiduilla julkaisuilla

joissa peer review Kansainväliset konferenssit joissa full paper peer review (voi olla myös Suomessa järjestetty

15 H-indeksi Tukijoita arvioidaan erilaisin indeksein, h-indeksi lienee tunnetuin, muita mm. g-indeksi Jos esimerkiksi tutkijan h-indeksi on 4, se tarkoittaa että vähintään hänen 4 artikkeliinsa on viitattu vähintään 4 kertaa Luonnehdintaa (wikipediasta) a value for h of about 12 might be typical for advancement to tenure (associate professor) at major research universities a value of about 18 could mean a full professorship could mean a fellowship in the American Physical Society, and 45 or higher could mean membership in the United States National Academy of Sciences Todellisuus on toisenlainen!

(wikipediasta) a value for h of about 12 might be typical for advancement to tenure (associate professor) at major research universities a value of

16 Kuinka saan tietää oman h-indeksini? (tai kenen vain) Yliopistojen kirjastojen palvelut tarjoavat mahdollisuuden käyttää esimerkiksi Scopusta tai Web of Science ä Web of Science on Thomson Reutersin järjestelmä SciVerse Scopus on vastaavanlainen bibliografinen tietokanta Elsevieriltä Palvelut perustuvat kymmeniin tuhansiin abstrakteihin pääosin vertaisarvioiduista lähteistä Järjestelmästä voi nähdä mm. omiin julkaisuihin tehdyt viittaukset per artikkeli ja vuosittain

Science ä Web of Science on Thomson Reutersin järjestelmä SciVerse Scopus on vastaavanlainen bibliografinen

17 Journaalien impact factor it Mittareita, jotka kuvaavat viittausten määrää viimeaikoina julkaistuihin artikkeleihin Olennaista on se onko julkaisulla ylipäänsä impact factor, sitä ylläpidetään ja se voi vaihdella vuosittain Impact factorin merkitys on hyvin alakohtainen, perustuu viittausten määrään edellisinä vuosina IF vuonna Y = A/B ; A = vuonna Y tehtyjen viittausten määrä artikkeleihin jotka on julkaistu vuonna Y-1 ja Y-2 B = vuosina Y-1 ja Y-2 julkaistujen artikkeleiden määrä Esimerkiksi geoinformatiikan alan huippujulkaisu IJGIS 2011 Impact Factor: Thomson Reuters, 2011 Journal Citation Report

edellisinä vuosina IF vuonna Y = A/B ; A = vuonna Y tehtyjen viittausten määrä artikkeleihin jotka on julkaistu vuonna Y-1 ja Y-2 B = vuosina Y-1 ja Y-2

18 Julkaisufoorumi Tieteellisten seurojen valtuuskunnan toteuttama tietokanta, josta voi hakea tietoa julkaisuista Laatuluokitus tieteellisille lehdille, konferenssi- ja kirjasarjoille sekä kirjakustantajille eli tieteellisille julkaisukanaville Julkaisut luokiteltu kolmeen luokkaan 1:eri tieteenalojen keskeisimmät kotimaiset ja ulkomaiset lehdet ja sarjat, jotka täyttävät tieteellisen julkaisukanavan määritelmän 2:eri tieteenalojen johtavat tieteelliset lehdet ja sarjat tason 2 lehdistä ja sarjoista korkeatasoisimmiksi katsotut

1:eri tieteenalojen keskeisimmät kotimaiset ja ulkomaiset lehdet ja sarjat, jotka täyttävät tieteellisen julkaisukanavan määritelmän 2:eri

19 5. Review Review = arviointi Peer review = vertaisarviointi Blind review = anonyymi arviointi Review prosessi on useimmiten kahden arvioijan tekemä, useimmiten anonyyminä Lehdet ja julkaisut käyttävät tietokoneavusteisia sovelluksia arviointien tekoon

useimmiten kahden arvioijan tekemä, useimmiten anonyyminä

20 Review Journaali- ja konferenssiartikkeleiden arviointiprosessi Esimerkki review ohjeesta: (Cartographica) Yleinen merkitys alalla Soveltuvuus kyseiseen lehteen/julkaisuun Kirjoituksen laatu Viittausten, taulukoiden ja kuvien soveltuvuus Hyvä kieliasu, looginen rakenne, taulukoiden ja kuvien tulee sisältää merkityksellistä lisätietoa; Viittausten tulee olla tarkkoja Käsitteiden oikeellisuus

laatu Viittausten, taulukoiden ja kuvien soveltuvuus Hyvä kieliasu, looginen rakenne, taulukoiden

21 Review päätös Accept hyväksytään Ei muutostarpeita, suoraan julkaisuun; hyvin harvinaista Accept with revisions hyväksytään korjauksin Vähäisiä korjauksia, jotka tehtyään kirjoittaja voi olettaa artikkelin menevän julkaisuun Revise and resubmit korjaa ja lähetä uudestaan Merkittäviä sisällöllisiä muutostarpeita, hyväksyminen on ehdollinen ja riippuu korjatun artikkelin sisällöstä Reject hylätään Arvioijat ovat sitä mieltä, että artikkeli ei kelpaa julkaisuun

22 Hylkyä ei pidä ottaa lopullisena Aika usein tulee reject Se tarkoittaa, että artikkelissa on korjattavaa paljonkin Hyvä asia on, että hyvät reviewerit antavat usein erinomaista palautetta, jonka mukaan artikkelia voi sitten parantaa Jos juttua on tarjottu ns. hyvää lehteen, voidaan aivan hyvin tavoitetasoa hieman laskea ja submitata artikkeli johonkin, ei-niin-vaativaan lehteen; näin päästään jatkamaan tutkimusta ja ei jumituta hankalaan kohtaan

23 Kiitos! Kysymyksiä, keskustelua!

24 6. Harjoitus tieteellisen artikkelin arvioinnista Luetaan muutamia artikkeleita voidaan myös tehdä harjoitus nopeammin ja lukea abstrakti, johdanto, yhteenveto ja lähdeluettelo Arvioidaan niiden Rakennetta Kieltä Selkeyttä Uutuusarvoa Lähteitä

25 Harjoitus Julkaisufoorumin käytöstä Hakeudu Julkaisufoorumin sivulle Hae oman alasi julkaisuja Tutki julkaisujen luokitusta

Samankaltaiset tiedostot

JULKAISUT VAIKUTTAMISEN VÄLINEENÄ

JULKAISUT VAIKUTTAMISEN VÄLINEENÄ Artikkelit avoimiksi - teemana rinnakkaistallentaminen Jyväskylän yliopisto 3.2.2011 Pirjo Sutela Teknologian tutkimuskeskus VTT 2 HS 28.12.2010 3 TIETEELLISEN JULKAISEMISEN