Tieteellisen tekstin kriittinen lukeminen - opponointi, evaluointi ja review Pelastusalan tutkijahautomo 12.6.2013 Kirsi Virrantaus Aalto-yliopisto, Insinööritieteiden korkeakoulu Maankäyttötieteiden laitos
Esitykseni sisältö Tieteellisen tutkimuksen ja julkaisutoiminnan olemus tänä päivänä Opponointi ensimmäisenä askeleena kohti kriittistä arviointia Opinnäytetyön arviointi Julkaisutoiminnan evaluointi ja oman työn evaluointi Peer review Harjoituksia
1. Tieteellisen työn muutos akateeminen maailma on muuttunut viimeisten 10 vuoden aikana kohti kovaa kilpailua akateeminen vapaus ja tutkimuksen luovuus ovat tällä hetkellä muistoja vanhoilta hyviltä ajoilta, jolloin virkamies- tai yritysmaailman sijaan hiljaisesta ja huonosti palkatusta tutkimustyöstä kiinnostuneet valitsivat tutkijanuran tällä hetkellä tutkimus on tietynlaista kilpaurheilua, siinä menestyäkseen tulee tuntea pelisäännöt ja keinot julkaisutoiminnassa vallitsee tietynlainen kirjoittamisen kulttuuri, joka tulee tuntea
Tieteellisen työn pelisääntöjä Tutkimuksesta julkaiseminen on avainsana Tutkimuksen vaikuttavuutta (=tutkijan arvoa) mitataan julkaisujen määrällä ja laadulla Määrää ja laatua kuvataan useimmin viittauksilla toisista julkaisuista Julkaisemisen A ja O on hyvä kirjallinen esitystaito, scientific writing, joka perustuu hyvään kielitaitoon (kielentarkistus on välttämätön ehto julkaisun menestykselle) Sisältö on tietysti tärkein: hyvät tiedot alan muusta tutkimuksesta ilmaistaan viittauksina
Kriittinen ote Kriittinen ote opitaan jo koulun penkillä Seminaaritöiden ja lopputöiden opponointi aloittaa kriittisen reviewerin uran Myöhemmin tutkimustyössä tutkijat arvioivat toistensa julkaisuja, peer review (=vertaisarviointi) Tutkimustyön tulos kiteytyy tutkijan julkaisuluetteloon ja h-indeksiin!
2. Opponointi Kriittisen otteen harjoittelu aloitetaan opponoinnilla Opponoimaan opitaan kanditöiden esityksissä seminaareissa Opponoinnin tarkoitus on oppia lukemaan & kuuntelemaan kriittisesti laajentaa tutkimuksen tekijän näkökulmaa aiheeseen synnyttää tieteellistä keskustelua auttaa tutkimuksen tekijää viimeistelemään työnsä
Opponoinnin keskeiset teemat Tutkimuksen rakenne ja tyyli IMRAD, asiatyyli Tutkimuksen sisältö, tavoite ja tutkimuskysymykset Tavoitteen selkeys, täsmennys tutkimuskysymyksin Lähdeaineisto, määrä ja kattavuus Lähdeluettelo, ajantasaisuus, kansainvälisyys, laatu Käytetyt menetelmät Kvalitatiiviset, kvantitatiiviset Pohdinta ja yhteenveto Reflektio (oman tutkimuksen kriittinen tarkastelu), jatkotutkimukset, toimenpide-ehdotukset, suositukset Artikkelin havainnollisuus Kuvat, taulukot
Opponoinnin kriittisyys ja rakentavuus Tavoitteena löytää ongelmat ja puutteet pystyä esittämään rakentavaa kritiikkiä ei arvostelua tai kilpailua aikaansaada keskustelua Rakentava kritiikki kohdistuu työhön, ei tekijään erittelee havainnot ja tulkinnat sisältää kritiikkiä, mutta myös perusteltua kiitosta
Opponointi käytännössä Opiskelijat opponoivat toistensa esityksiä Esityksen kirjallinen dokumentti on saatu aikaisemmin luettavaksi Opponentti seuraa esitystä Esityksen jälkeen opponentti tekee kysymyksensä ja antaa kommenttinsa ensimmäisenä Opponentti antaa myös kirjallisen palautteen lomakkeella Opponointi on osa omaa suoritusta kurssilla
3. Opinnäytetyön arviointi Opponoitu työ dokumentoidaan seminaariesitelmänä, kandityönä, lopputyönä, diplomityönä/graduna Opettaja arvioi ja antaa arvosanan Arvioinnissa voidaan käyttää apuna ohjeita tieteellisestä kirjoittamisesta Arvioinnissa kiinnitetään huomiota: Tehtäväalueen määrittelyyn ja tavoitteen asettamiseen Aihealueeseen perehtyneisyyteen Käytettyihin menetelmiin ja johtopäätöksiin Kontribuutioon ja kokonaisuuden hallintaan Esitystapaan ja kieliasuun
Arvosana Arvosana annetaan kunkin oppilaitoksen oman käytännön mukaan Jos skaala on 1 5, niin arvosanat tarkoittavat 5 kiitettävä 4 erittäin hyvä 3 hyvä 2 tyydyttävä 1 välttävä Aallon käytäntö on, että jos opettaja ehdottaa korkeinta arvosanaa, tulee arviointi saada myös toiselta professorilta
Plagiointi Plagiointi = kirjallinen tai taiteellinen varkaus Plagiointia tapahtuu valitettavasti yhä enemmän Plagiointi Webistä, toisten opinnäytteistä, muista dokumenteista, omista töistä Omaakaan työtä ei saa plagioida! Useimmat yliopistot tarkistavat kaikki opinnäytteet plagioinnin varalta Esim. HY käyttää ns. Urkund-webbiohjelmaa, joka vertaa opinnäytteen tekstiä webistä, erilaisista tietokannoista löytyvään materiaaliin
4. Evaluointi Evaluoinnissa arvioidaan esimerkiksi tutkijan julkaisutuotantoa kokonaisuutena Evaluointi suoritetaan usein perustuen julkaisuluetteloon Evaluointia voi jokainen tutkija suorittaa myös itsestään, itsearviointi tässä evaluoinnilla kuitenkin tarkoitetaan muuta, kuin reflektiolla, jossa fokus on oman toiminnan kriittisessä analysoinnissa; itsearviointi on ulkoisempaa toimintaa Evaluoinnin perustana on julkaisuluettelon laajuus ja laatu Jotta tuotantoa voitaisiin hyvin evaluoida, se on esitettävä hyvin järjestettynä julkaisuluettelona
Julkaisuluettelo Tutkijan tärkeä dokumentti Julkaisuluettelossa julkaisut järjestetään tärkeysjärjestykseen esim. seuraavasti: Kansainväliset journaaliartikkelit (peer review) Kotimaiset journaaliartikkelit (peer review) Kirjat, joissa peer review Kansainväliset konferenssit joissa full paper peer review (voi olla myös Suomessa järjestetty kv-konferenssi) Muut konferenssit Muut julkaisut Yleensä merkitystä arvioinnissa on vain vertaisarvioiduilla julkaisuilla
H-indeksi Tukijoita arvioidaan erilaisin indeksein, h-indeksi lienee tunnetuin, muita mm. g-indeksi Jos esimerkiksi tutkijan h-indeksi on 4, se tarkoittaa että vähintään hänen 4 artikkeliinsa on viitattu vähintään 4 kertaa Luonnehdintaa (wikipediasta) a value for h of about 12 might be typical for advancement to tenure (associate professor) at major research universities a value of about 18 could mean a full professorship 15 20 could mean a fellowship in the American Physical Society, and 45 or higher could mean membership in the United States National Academy of Sciences Todellisuus on toisenlainen!
Kuinka saan tietää oman h-indeksini? (tai kenen vain) Yliopistojen kirjastojen palvelut tarjoavat mahdollisuuden käyttää esimerkiksi Scopusta tai Web of Science ä Web of Science on Thomson Reutersin järjestelmä SciVerse Scopus on vastaavanlainen bibliografinen tietokanta Elsevieriltä Palvelut perustuvat kymmeniin tuhansiin abstrakteihin pääosin vertaisarvioiduista lähteistä Järjestelmästä voi nähdä mm. omiin julkaisuihin tehdyt viittaukset per artikkeli ja vuosittain
Journaalien impact factor it Mittareita, jotka kuvaavat viittausten määrää viimeaikoina julkaistuihin artikkeleihin Olennaista on se onko julkaisulla ylipäänsä impact factor, sitä ylläpidetään ja se voi vaihdella vuosittain Impact factorin merkitys on hyvin alakohtainen, perustuu viittausten määrään edellisinä vuosina IF vuonna Y = A/B ; A = vuonna Y tehtyjen viittausten määrä artikkeleihin jotka on julkaistu vuonna Y-1 ja Y-2 B = vuosina Y-1 ja Y-2 julkaistujen artikkeleiden määrä Esimerkiksi geoinformatiikan alan huippujulkaisu IJGIS 2011 Impact Factor: 1.472 2012 Thomson Reuters, 2011 Journal Citation Report
Julkaisufoorumi Tieteellisten seurojen valtuuskunnan toteuttama tietokanta, josta voi hakea tietoa julkaisuista Laatuluokitus tieteellisille lehdille, konferenssi- ja kirjasarjoille sekä kirjakustantajille eli tieteellisille julkaisukanaville Julkaisut luokiteltu kolmeen luokkaan 1:eri tieteenalojen keskeisimmät kotimaiset ja ulkomaiset lehdet ja sarjat, jotka täyttävät tieteellisen julkaisukanavan määritelmän 2:eri tieteenalojen johtavat tieteelliset lehdet ja sarjat tason 2 lehdistä ja sarjoista korkeatasoisimmiksi katsotut http://www.tsv.fi/julkaisufoorumi/
5. Review Review = arviointi Peer review = vertaisarviointi Blind review = anonyymi arviointi Review prosessi on useimmiten kahden arvioijan tekemä, useimmiten anonyyminä Lehdet ja julkaisut käyttävät tietokoneavusteisia sovelluksia arviointien tekoon
Review Journaali- ja konferenssiartikkeleiden arviointiprosessi Esimerkki review ohjeesta: (Cartographica) Yleinen merkitys alalla Soveltuvuus kyseiseen lehteen/julkaisuun Kirjoituksen laatu Viittausten, taulukoiden ja kuvien soveltuvuus Hyvä kieliasu, looginen rakenne, taulukoiden ja kuvien tulee sisältää merkityksellistä lisätietoa; Viittausten tulee olla tarkkoja Käsitteiden oikeellisuus
Review päätös Accept hyväksytään Ei muutostarpeita, suoraan julkaisuun; hyvin harvinaista Accept with revisions hyväksytään korjauksin Vähäisiä korjauksia, jotka tehtyään kirjoittaja voi olettaa artikkelin menevän julkaisuun Revise and resubmit korjaa ja lähetä uudestaan Merkittäviä sisällöllisiä muutostarpeita, hyväksyminen on ehdollinen ja riippuu korjatun artikkelin sisällöstä Reject hylätään Arvioijat ovat sitä mieltä, että artikkeli ei kelpaa julkaisuun
Hylkyä ei pidä ottaa lopullisena Aika usein tulee reject Se tarkoittaa, että artikkelissa on korjattavaa paljonkin Hyvä asia on, että hyvät reviewerit antavat usein erinomaista palautetta, jonka mukaan artikkelia voi sitten parantaa Jos juttua on tarjottu ns. hyvää lehteen, voidaan aivan hyvin tavoitetasoa hieman laskea ja submitata artikkeli johonkin, ei-niin-vaativaan lehteen; näin päästään jatkamaan tutkimusta ja ei jumituta hankalaan kohtaan
Kiitos! Kysymyksiä, keskustelua! kirsi.virrantaus@aalto.fi
6. Harjoitus tieteellisen artikkelin arvioinnista Luetaan muutamia artikkeleita voidaan myös tehdä harjoitus nopeammin ja lukea abstrakti, johdanto, yhteenveto ja lähdeluettelo Arvioidaan niiden Rakennetta Kieltä Selkeyttä Uutuusarvoa Lähteitä
Harjoitus Julkaisufoorumin käytöstä Hakeudu Julkaisufoorumin sivulle Hae oman alasi julkaisuja Tutki julkaisujen luokitusta