Systemaattinen tutkimuskirjallisuuden. käsittely

Transkriptio

1 TIES501 Pro gradu -seminaari, syksy 2013 Antti-Juhani Kaijanaho TIETOTEKNIIKAN LAITOS 12. syyskuuta 2013

2 Luennoija Antti-Juhani Kaijanaho yliopistonopettaja ja tohtorikoulutettava pro gradu The formal method known as B and a sketch for its implementation joulukuussa Työn alla lisensiaatintyö työotsikolla Is it time for evidence-based programming language design? A systematic scoping study of the empirical literature 1 ja siitä jatkona toki väitöskirja. 1 Valmistuu syksyn kuluessa.

3 Kirjallisuuskatsaukset kuuluu jokaiseen opinnäytetyöhön ja tutkimusraporttiin teoriaosa related work perusteellisesti tehtynä myös itsenäinen (sekundääri)tutkimus Tehtävät: tarkastella aiheesta julkaistuja primääritutkimusraportteja muodostaa kokonaiskuva siitä, mitä aiheesta jo tiedetään tutkielmassa lisäksi osoittaa tutkielman paikka alan tietämysverkossa (esim. osoittaa aiemman tutkimuksen jättämä aukko, jonka tutkielma pyrkii täyttämään)

4 Tutkimusterminologiaa primääritutkimus Tutkimus, jonka aineisto on kerätty havainnoimalla tai mallittamalla (tms) itse ilmiötä. sekundääritutkimus Tutkimus, jonka aineistona on joukko primääritutkimuksia. tertiääritutkimus Tutkimus, jonka aineistona on joukko sekundääritutkimuksia.

5 Perinteinen kirjallisuuskatsaus kertomus, jota tuetaan lähdeviitteillä seuraavia asioita ei dokumentoida: Miksi juuri nämä lähteet? Millä tavalla lähteistä on päädytty tähän kertomukseen? Miten tekijä on varmistanut, ettei tarinasta ole jäänyt mitään olennaista pois? heikkouksia: Helppo (vahingossakin) tehdä värittynyt kertomus, joka ei vastaa todellisuutta. Lukija ei voi itsenäisesti vakuuttua johtopäätösten oikeellisuudesta.

6 Systemaattiset katsaukset engl. systematic literature review, katsausprosessi suunnitellaan, dokumentoidaan, tarkastetaan tarkoituksena selvittää ( pohjalta) vastaus johonkin käytännön kannalta relevanttiin kysymykseen

7 Tutkimuskysymykset katsauksissa yksi mahdollinen perusrakenne: 2 Saavuttaako I sovellettuna P:hen C :ssa paremmman O:n kuin C? P (population): keitä tutkittava asia koskee? I (intervention): mitä menetelmää, tekniikkaa, käytäntöä tms. tutkitaan? C (comparison): mihin interventiota verrataan? O (outcome): mitä hyvyyden/huonouden mittaria käytetään? C (context): missä yhteydessä interventiota tutkitaan? Huom! Älä yritä sovittaa PICOC-kaavaan tutkimuskysymyksiä, jotka eivät ole luonteeltaan vertailevia. 2 Barbara Kitchenham & Stuart Charters: Guidelines for performing Systematic Literature Reviews in Software Engineering. Version 2.3, guidelines/systematic-reviews-5-8.pdf, s. 11.

8 Esimerkkejä Whether, and if so when, pairing two programmers is beneficial in terms of important cost drivers such as duration, effort, and quality. 3 Do [... ] studies suggest that using robotics to teach introductory programming is effective? 4 3 Jo E. Hannay, Tore Dybå, Erik Arisholm & Dag I. K. Sjøberg: The effectiveness of pair programming: A meta-analysis. Information and Software Technology 51 (7) pp , doi: /j.infsof L. Major, T. Kyriacou & O. P. Brereton: Systematic Literature Review: Teaching Novices Programming Using Robots. Proc. 15th Annual Conference on Evaluation & Assessment in Software Engineering (EASE 2011). doi: /ic

9 Meta-analyysit Meta-analyysi on tilastollinen menetelmäperhe saman aiheen (tilastollisten) tutkimusten tulosten yhdistämiseen. Alun perin Gene V. Glass: Secondary, and Meta-Analysis of Research. Educational Researcher 5 (10), pp. 3 8, Meta-analyysiksi kutsutaan usein myös (systemaattista) katsausta, joka soveltaa meta-analyysin menetelmiä. Joskus meta-analyysiksi kutsutaan (virheellisesti) myös muunlaisia katsauksia.

10 Systemaattiset kartoitukset 6 engl. systematic mapping 5 study prosessi samankaltainen kuin systemaattisissa katsauksissa tarkoituksena selvittää nykytila tuloksena eräänlainen kartta tutkimuskirjallisuuteen 5 tai scoping 6 Ks. esim. Kai Petersen, Robert Feldt, Shahid Mujtaba & Michael Mattsson: Systematic Mapping Studies in Software Engineering. Proc. 12th International Conference on Evaluation and Assessment in Software Engineering (EASE),

11 Tutkimuskysymykset kartoituksissa Kartoituksessa tutkimuskysymyksen populaatio on tutkimuskirjallisuus. Mikä on aiheesta tehtyjen tutkimusten määrä? Minkälaisia menetelmiä aiheesta tehdyissä tutkimuksissa on käytetty? Mitä interventioita aihepiirin tutkimuksissa on tutkittu?... Huomaa, että PICOC soveltuu näiden analysointiin vain harvoin.

12 Esimerkkejä [W]hich functionalities/features/characteristics of [high-level language virtual machines] have been most investigated? 7 How much has the efficacy of particular programming language design decisions been empirically studied? 8 How has the success in teaching discrete structures courses been evaluated [in research papers on the topic]? 9 7 Vinicius H. S. Durelli, Katia R. Felizardo, and Marcio E. Delamaro: A Systematic Mapping Study on High-level Language Virtual Machines. Proc. VMIL doi: / Antti-Juhani Kaijanaho: Empirical evidence regarding programming language design issues. Systematic mapping study protocol, Thomas Whelan, Susan Bergin & James F. Power: Teaching Discrete Structures: A systematic review of the literature. Proc. SIGCSE doi: /

13 Kirjallisuushaut Haut on hyvä suunnitella tarkasti, ja pilotoida. Haut kannattaa tehdessä dokumentoida: niin tarkasti että joku toinen voisi tehdä saman haun ja saada toivottavasti saman tuloksen mistä, miten ja milloin haettiin koko tulosjoukko, jos mahdollista mahdolliset poikkeamat suunnitelmasta Selailu Avainsanahaut Lumipallohaku Saanti

14 Selailu erittäin hyvä (ja erittäin työläs) systemaattinen hakumenetelmä mennään kirjastoon (tai julkaisijan tietokantaan) ja luetaan jonkin lehden (tai proceedings-sarjan) kaikki numerot läpi yleensä tosin vain otsikot ja abstraktit perustellusta syystä voidaan rajata vain tiettyyn vuosiin Selailu Avainsanahaut Lumipallohaku Saanti

15 Avainsanahaut haetaan hakukoneella käyttäen sopivaa hakulauseketta lauseke ja käytettävät hakukoneet suunniteltava ja ehdottomasti pilotoitava! Koeta laatia haut siten, että et joudu kerralla istumaan koneella kovin pitkään. muutama sata osumaa kerralla Jos mahdollista, tallenna koko hakutulos omalle koneellesi (harvoin onnistuu). Pilotoinnissa käy läpi enintään muutama kymmenen osumaa. Varsinaisesti tehdessäsi käy koko hakutulosjoukko läpi. Selailu Avainsanahaut Lumipallohaku Saanti

16 Hakulausekkeen laatiminen lähtökohtana tutkimuskysymys valitse kysymyksen keskeiset käsitteet ja yhdistä ne JA-operaattorilla yritä löytää kullekin käsitteelle sellaiset synonyymit, joita uskoisit relevanteissa tutkimuksissa esiintyvän, ja yhdistä ne TAI-operaattorilla lähtökohtana jo tietämäsi artikkelit laadi lauseke, joka löytää ne kaikki ja jonkin verran muitakin... Pilotoinnissa tsekkaa, ettet laadi itsellesi liian isoa urakkaa! Jos näin käy, tee tutkimuskysymykseen jokin rajaus (esim. rajoita vuosia joita tarkastelet). Selailu Avainsanahaut Lumipallohaku Saanti

17 Hyviä koneita avainsanahakuun Google Scholar Scopus IEEE Xplore ACM Digital Library SpringerLink Thomson Reuters Web of Knowledge Selailu Avainsanahaut Lumipallohaku Saanti

18 Lumipallohaku Etsi jo löytämiesi relevanttien artikkeleiden lähdeluettelosta relevantteja artikkeleita. Hae ACM Digital Librarysta, Google Scholarista tai Scopuksesta relevantteja artikkeleita, jotka viittaavat jo löytämiisi artikkeleihin. Toista kunnes et enää löydä lisää relevantteja artikkeleita (tai kunnes on aika siirtyä eteenpäin). Selailu Avainsanahaut Lumipallohaku Saanti

19 Kokoteksti Kokotekstin saa yleensä suoraan netistä. Kannattaa käyttää julkaisijan palvelua jos mahdollista. Nelli-portaali katso myös tekijän kotisivuilta Tallenna kopio itsellesi tai ota tuloste. Jos ei ole netissä: JYKDOK MELINDA WorldCat kaukolainatilaus (maksullinen) Selailu Avainsanahaut Lumipallohaku Saanti

20 Haut ja kokoteksti yliopiston ulkopuolella yliopiston VPN yliopiston EZproxy Selailu Avainsanahaut Lumipallohaku Saanti

21 hakutuloksissa paljon asiaan liittymätöntä valintakriteerit hyväksyntäkriteerit (inclusion criteria) hylkäyskriteerit (exclusion criteria) pilotoi dokumentoi hylkäykset

22 Hyväksyntäkriteerit Primary studies [... ] in the form of experiments, surveys, case studies, experience reports and observation papers, representing empirical analysis of aspects of the UML. 10 Primary studies that attempt to determine the efficacy of a programming language design decision D. Budgen, A. J. Burn, O. P. Brereton, B. A. Kitchenham & R. Pretorius: Empirical evidence about the UML: a systematic literature review. Software Practice and Experience 41 pp , doi: /spe Kaijanaho

23 Hylkäyskriteerit Letters, editorials and position papers 12 Primary studies that attempt to determine the efficacy of a programming language design decision 13 Studies that focused on single techniques or practices [of agile development], such as pair programming, unit testing, or refactoring Major ym Kaijanaho Tore Dybå & Torgeir Dingsøyr: Empirical studies of agile software development: A systematic review. Information and Software Technology 50 pp , doi: /j.infsof

24 prosessi määriteltävä, hyvä pilotoida Parasta olisi, jos valinnan tekisi vähintään kaksi tutkijaa toisistaan riippumatta. Graduvaiheessa voi antaa satunnaisotoksen ohjaajalle riippumatonta valintapäätöstä varten. Lasketaan ja dokumentoidaan κ 15 Eriävät päätökset ratkaistaan neuvottelemalla. 15 Ks.

25 Tiedonkeruu suunnittele ja pilotoi Kerää riittävästi tietoa, jotta voit vastata tutkimuskysymyksiisi. Myös tiedonkeruussa on hyvä käyttää kahden tutkijan (tai satunnaisotannan ja ohjaajan) menetelmää. Ks. Kitchenham & Charters 2007 s

26 Synteesi miten kerätystä tiedosta johdetaan vastaukset tutkimuskysymyksiin kannattaa suunnitella (yhdessä tiedonkeruun kanssa) ja pilotoida Menetelmiä on paljon, mm. perinteinen kertomussynteesi tilastollinen visualisointi tilastollinen meta-analyysi meta-etnografia 16 grounded theory Ks. mm. Daniela S. Cruzes & Tore Dybå: Research synthesis in software engineering: A tertiary study. Information and Software Technology 53 pp , doi: /j.infsof Ks. esim. Dybå ym

27 Yksi vaihtoehto: Temaattinen synteesi Daniela S. Cruzes & Tore Dybå: Recommended Steps for Thematic Synthesis in Software Engineering. Proc ESEM doi: /esem Kuusi vaihetta: 1. Lue kaikki mukaan valitut lähteet ennen kuin jatkat seuraavaan vaiheeseen. 2. Kirjoita ylös joka lähteestä sen raportoiman tutkimuksen tavoitteet, tutkimuskonteksti ja tulokset (suorina lainauksina). 3. Koodaa ylös kirjoittamasi tiedot eli anna niille kategorisoivia, yhteen vetäviä tai selittäviä nimiä. 4. Etsi koodaamistasi tiedoista yhdistäviä tai tulkitsevia teemoja. Kuviot ovat kivoja tässä. 5. Palaa tutkimuskysymyksiisi ja luo teemoista malli, joka auttaa vastaamaan kysymyksiisi. 6. Arvioi synteesisi luotettavuus. 17 Jos aiot oikeasti soveltaa temaattista synteesiä, lue ko. lähde ensin!

28 raportti on esim. gradu tai sen osa sisältää: taustaa menetelmät mitä suunnitelman mukaan piti tehdä mitä oikeasti tehtiin (poikkeamat suunnitelmasta) tilastotietoa prosessista tulokset suunnitellun synteesin esitys pohdinta vastaukset tutkimuskysymyksiin työn onnistumisen arviointi vähän voi spekuloidakin raportin liitteeksi (tai vähintään arkistoi erikseen) luettelo hylätyistä ehdokasartikkeleista hylkäyssyineen suunnitelma sellaisenaan

29 Prosessin dokumentointi gradussa kaikki tutkimusprosessissa kertyneet muistiinpanot eivät kuulu graduun (kuin korkeintaan liitteeksi) Kerro mitä teit ja miksi sekä anna tilastotietoja prosessista. Laita raporttiin näytteitä prosessisi aikana kertyneistä muistiinpanoista, jos se parantaa työn läpinäkyvyyttä. Talleta muistiinpanosi ja kertyneet välivaiheen datat luotettavasti. vrt. dosentti Bäckmanin väitöskirjasta vuosi sitten noussut kohu

30 Varo plagiointia Kun käytät lähdettä: Muista aina antaa tarkka lähdeviite. Merkitse suorat ja vähän muokatut lainaukset lainausmerkeillä. Merkitse mahdolliset muokkaukset.

31 Sääntö Jos käytät samoja sanoja kuin lähteesi, kyse on (suorasta) lainauksesta. Käytä lainausmerkkejä Tämän ja muutaman seuraavan kalvon osalta ks. Jukka K. Korpelan Nykyajan kielenopas, osa Lainausten esittäminen,

32 Esimerkki 1. Yhteisötilaaja saa käsitellä tunnistamistietoja automaattisen hakutoiminnon avulla, joka voi perustua viestien kokoon, yhteenlaskettuun kokoon, tyyppiin, määrään, yhteystapaan tai kohdeosoitteisiin Even at this date, computing was not the sole domain of women. It was really the job of the dispossessed, the opportunity granted to those who lacked the financial or societal standing to pursue a scientific career Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 mom sellaisena kuin se on laissa 125/ David Alan Grier: When Computers Were Human. Princeton University Press, Page 276.

33 Sääntö Jos jätät lainauksen keskeltä pois sanoja, merkitse tämä suomenkielisessä tekstissä kahdella peräkkäisella ajatusviivalla ja englanninkielisessä tekstissä hakasulkeisiin laitetulla ellipsillä (kolme pistettä). Esimerkki 1. Yhteisötilaaja saa käsitellä tunnistamistietoja automaattisen hakutoiminnon avulla, joka voi perustua kohdeosoitteisiin Even at this date, computing [... ] was really the job of [... ] those who lacked the financial or societal standing to pursue a scientific career Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 mom sellaisena kuin se on laissa 125/ David Alan Grier: When Computers Were Human. Princeton University Press, Page 276.

34 Sääntö Jos (esimerkiksi lainauksen ymmärrettävyyden vuoksi) vaihdat sanan tai fraasin toiseksi taikka lisäät sanoja, merkitse tämä käyttämällä hakasulkeita. Esimerkki 1. Yhteisötilaaja saa käsitellä tunnistamistietoja automaattisen hakutoiminnon avulla, joka voi perustua [mm.] yhteystapaan tai kohdeosoitteisiin Even at this date, computing was [... ] [an] opportunity granted to those who lacked the financial or societal standing to pursue a scientific career Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 mom sellaisena kuin se on laissa 125/ David Alan Grier: When Computers Were Human. Princeton University Press, Page 276.

35 Sääntö Jos lainaat vieraskielistä tekstiä suomennettuna, käytä lainausmerkkejä. Käytä julkaistua suomennosta (ja merkitse se tällöin lähteeksi), kun se on mahdollista. Jos suomensit itse, mainitse siitä lähdeviitteen yhteydessä (esim. suomennos minun ). Esimerkki Edes tuolloin laskenta ei ollut pelkästään naisten valtakunta. Se oli oikeastaan syrjäytyneiden työ, sellaisille annettu tilaisuus, joilta puuttui rahaa tai sosiaalista statusta tieteellisen uran valitsemiseen. (Grier 2005, sivu 276, suomennos minun) David Alan Grier: When Computers Were Human. Princeton University Press, 2005.

36 Sääntö Jos sanot saman asian kuin lähde mutta et käytä samoja sanoja (eli kirjoitat sen ns. omin sanoin), kyse on parafraasista. 26 Älä silloin käytä lainausmerkkejä. Muista kuitenkin tarkka lähdeviite. Esimerkki Grierin (2005, sivu 276) 27 mukaan 1940-luvun puolivälin aikoihin computer-ammattiin päätyivät monet tieteelliseltä uralta olosuhteiden vuoksi syrjäytynet. 26 Yleensä parafraasi on parempi valinta kuin suora lainaus. Joskus lähteen sanavalinta on kuitenkin niin osuva tai tarkat sanavalinnat ovat niin tärkeitä, että suora lainaus on paikallaan. 27 David Alan Grier: When Computers Were Human. Princeton University Press, 2005.

37 Sääntö Jos vetoat lähteeseen muulla tavoin, muista lähdeviite. Esimerkki 1. Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 momentissa annettu lupa on tässä tutkielmassa tarkasteltavan ohjelmiston laillisen käytön kannalta välttämätön. 2. Englannin kielen sana computer oli ennen tietokoneiden tuloa ammattinimike (Grier, 2005) David Alan Grier: When Computers Were Human. Princeton University Press, 2005.

38 Plagioinnin ja muun vilpin mahdolliset seuraukset plagiointia sisältävää tutkielmaa ei hyväksytä varoitus (rehtorin päätöksellä) erottaminen määräajaksi yliopistosta (hallituksen päätöksellä)

39 Lisämateriaalia plagioinnin välttämisestä Rehtorin päätös (Menettelytapaohjeet vilpin ja plagioinnin ehkäisemiseksi opiskelussa sekä vilppi- ja plagiointitapausten käsittelemiseksi) liitteineen https: // Helsingin yliopiston Älä kopsaa -sivusto Ohjeita Purduen yliopistosta englanniksi resource/589/1/ resource/563/1/

40 ym gradussa tai graduna voi olla yksinään gradu! -menetelmää voi myös käyttää gradun teoriaosan laatimisen apuna. katsaus tai kartoitus on kunnolla tehtynä erittäin työläs. oma työni: suunnittelu alkoi lokakuussa 2010 toteutus alkoi joulukuussa 2010 nyt synteesiä tekemässä toki on ollut opetuksesta ja lomista johtuvia taukoja Tekniikoita voi käyttää gradussa, mutta protokollaa laatiessa pitää kiinnittää erityinen huomio työmäärän rajoittamiseen. Esim: Rajataan tarkastelu vain esim. viimeiseen 5 vuoteen. Tehdään ja raportoidaan pelkkä pilotointi.

41 Luettavaa Alaviitteinä olleet lähteet. Lisäksi: Andy Oram & Greg Wilson (eds): Making Software: What Really Works, and Why We Believe It. O Reilly Gordon C. S. Smith & Jill P. Pell: Hazardous journeys: Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ 327:1459, doi: /bmj John P. A. Ioannidis: Why Most Published Research Findings Are False. PLoS Medicine 2 (8) e124, doi: /journal.pmed