TIES501 Pro gradu -seminaari, syksy 2013 Antti-Juhani Kaijanaho TIETOTEKNIIKAN LAITOS 12. syyskuuta 2013
Luennoija Antti-Juhani Kaijanaho yliopistonopettaja ja tohtorikoulutettava pro gradu The formal method known as B and a sketch for its implementation joulukuussa 2002 http://users.jyu.fi/~antkaij/gradu.pdf Työn alla lisensiaatintyö työotsikolla Is it time for evidence-based programming language design? A systematic scoping study of the empirical literature 1 ja siitä jatkona toki väitöskirja. 1 Valmistuu syksyn kuluessa.
Kirjallisuuskatsaukset kuuluu jokaiseen opinnäytetyöhön ja tutkimusraporttiin teoriaosa related work perusteellisesti tehtynä myös itsenäinen (sekundääri)tutkimus Tehtävät: tarkastella aiheesta julkaistuja primääritutkimusraportteja muodostaa kokonaiskuva siitä, mitä aiheesta jo tiedetään tutkielmassa lisäksi osoittaa tutkielman paikka alan tietämysverkossa (esim. osoittaa aiemman tutkimuksen jättämä aukko, jonka tutkielma pyrkii täyttämään)
Tutkimusterminologiaa primääritutkimus Tutkimus, jonka aineisto on kerätty havainnoimalla tai mallittamalla (tms) itse ilmiötä. sekundääritutkimus Tutkimus, jonka aineistona on joukko primääritutkimuksia. tertiääritutkimus Tutkimus, jonka aineistona on joukko sekundääritutkimuksia.
Perinteinen kirjallisuuskatsaus kertomus, jota tuetaan lähdeviitteillä seuraavia asioita ei dokumentoida: Miksi juuri nämä lähteet? Millä tavalla lähteistä on päädytty tähän kertomukseen? Miten tekijä on varmistanut, ettei tarinasta ole jäänyt mitään olennaista pois? heikkouksia: Helppo (vahingossakin) tehdä värittynyt kertomus, joka ei vastaa todellisuutta. Lukija ei voi itsenäisesti vakuuttua johtopäätösten oikeellisuudesta.
Systemaattiset katsaukset engl. systematic literature review, katsausprosessi suunnitellaan, dokumentoidaan, tarkastetaan tarkoituksena selvittää ( pohjalta) vastaus johonkin käytännön kannalta relevanttiin kysymykseen
Tutkimuskysymykset katsauksissa yksi mahdollinen perusrakenne: 2 Saavuttaako I sovellettuna P:hen C :ssa paremmman O:n kuin C? P (population): keitä tutkittava asia koskee? I (intervention): mitä menetelmää, tekniikkaa, käytäntöä tms. tutkitaan? C (comparison): mihin interventiota verrataan? O (outcome): mitä hyvyyden/huonouden mittaria käytetään? C (context): missä yhteydessä interventiota tutkitaan? Huom! Älä yritä sovittaa PICOC-kaavaan tutkimuskysymyksiä, jotka eivät ole luonteeltaan vertailevia. 2 Barbara Kitchenham & Stuart Charters: Guidelines for performing Systematic Literature Reviews in Software Engineering. Version 2.3, 9.7.2007. http://www.dur.ac.uk/ebse/resources/ guidelines/systematic-reviews-5-8.pdf, s. 11.
Esimerkkejä Whether, and if so when, pairing two programmers is beneficial in terms of important cost drivers such as duration, effort, and quality. 3 Do [... ] studies suggest that using robotics to teach introductory programming is effective? 4 3 Jo E. Hannay, Tore Dybå, Erik Arisholm & Dag I. K. Sjøberg: The effectiveness of pair programming: A meta-analysis. Information and Software Technology 51 (7) pp. 1110 1122, 2009. doi:10.1016/j.infsof.2009.02.001 4 L. Major, T. Kyriacou & O. P. Brereton: Systematic Literature Review: Teaching Novices Programming Using Robots. Proc. 15th Annual Conference on Evaluation & Assessment in Software Engineering (EASE 2011). doi:10.1049/ic.2011.0003
Meta-analyysit Meta-analyysi on tilastollinen menetelmäperhe saman aiheen (tilastollisten) tutkimusten tulosten yhdistämiseen. Alun perin Gene V. Glass: Secondary, and Meta-Analysis of Research. Educational Researcher 5 (10), pp. 3 8, 1976. Meta-analyysiksi kutsutaan usein myös (systemaattista) katsausta, joka soveltaa meta-analyysin menetelmiä. Joskus meta-analyysiksi kutsutaan (virheellisesti) myös muunlaisia katsauksia.
Systemaattiset kartoitukset 6 engl. systematic mapping 5 study prosessi samankaltainen kuin systemaattisissa katsauksissa tarkoituksena selvittää nykytila tuloksena eräänlainen kartta tutkimuskirjallisuuteen 5 tai scoping 6 Ks. esim. Kai Petersen, Robert Feldt, Shahid Mujtaba & Michael Mattsson: Systematic Mapping Studies in Software Engineering. Proc. 12th International Conference on Evaluation and Assessment in Software Engineering (EASE), 2008. http://www.bcs.org/content/conwebdoc/19543
Tutkimuskysymykset kartoituksissa Kartoituksessa tutkimuskysymyksen populaatio on tutkimuskirjallisuus. Mikä on aiheesta tehtyjen tutkimusten määrä? Minkälaisia menetelmiä aiheesta tehdyissä tutkimuksissa on käytetty? Mitä interventioita aihepiirin tutkimuksissa on tutkittu?... Huomaa, että PICOC soveltuu näiden analysointiin vain harvoin.
Esimerkkejä [W]hich functionalities/features/characteristics of [high-level language virtual machines] have been most investigated? 7 How much has the efficacy of particular programming language design decisions been empirically studied? 8 How has the success in teaching discrete structures courses been evaluated [in research papers on the topic]? 9 7 Vinicius H. S. Durelli, Katia R. Felizardo, and Marcio E. Delamaro: A Systematic Mapping Study on High-level Language Virtual Machines. Proc. VMIL 2010. doi:10.1145/1941054.1941058 8 Antti-Juhani Kaijanaho: Empirical evidence regarding programming language design issues. Systematic mapping study protocol, 2010 2013. 9 Thomas Whelan, Susan Bergin & James F. Power: Teaching Discrete Structures: A systematic review of the literature. Proc. SIGCSE 2011. doi:10.1145/1953163.1953247
Kirjallisuushaut Haut on hyvä suunnitella tarkasti, ja pilotoida. Haut kannattaa tehdessä dokumentoida: niin tarkasti että joku toinen voisi tehdä saman haun ja saada toivottavasti saman tuloksen mistä, miten ja milloin haettiin koko tulosjoukko, jos mahdollista mahdolliset poikkeamat suunnitelmasta Selailu Avainsanahaut Lumipallohaku Saanti
Selailu erittäin hyvä (ja erittäin työläs) systemaattinen hakumenetelmä mennään kirjastoon (tai julkaisijan tietokantaan) ja luetaan jonkin lehden (tai proceedings-sarjan) kaikki numerot läpi yleensä tosin vain otsikot ja abstraktit perustellusta syystä voidaan rajata vain tiettyyn vuosiin Selailu Avainsanahaut Lumipallohaku Saanti
Avainsanahaut haetaan hakukoneella käyttäen sopivaa hakulauseketta lauseke ja käytettävät hakukoneet suunniteltava ja ehdottomasti pilotoitava! Koeta laatia haut siten, että et joudu kerralla istumaan koneella kovin pitkään. muutama sata osumaa kerralla Jos mahdollista, tallenna koko hakutulos omalle koneellesi (harvoin onnistuu). Pilotoinnissa käy läpi enintään muutama kymmenen osumaa. Varsinaisesti tehdessäsi käy koko hakutulosjoukko läpi. Selailu Avainsanahaut Lumipallohaku Saanti
Hakulausekkeen laatiminen lähtökohtana tutkimuskysymys valitse kysymyksen keskeiset käsitteet ja yhdistä ne JA-operaattorilla yritä löytää kullekin käsitteelle sellaiset synonyymit, joita uskoisit relevanteissa tutkimuksissa esiintyvän, ja yhdistä ne TAI-operaattorilla lähtökohtana jo tietämäsi artikkelit laadi lauseke, joka löytää ne kaikki ja jonkin verran muitakin... Pilotoinnissa tsekkaa, ettet laadi itsellesi liian isoa urakkaa! Jos näin käy, tee tutkimuskysymykseen jokin rajaus (esim. rajoita vuosia joita tarkastelet). Selailu Avainsanahaut Lumipallohaku Saanti
Hyviä koneita avainsanahakuun Google Scholar http://scholar.google.com Scopus http://www.scopus.com/ IEEE Xplore http://ieeexplore.ieee.org/ ACM Digital Library http://dl.acm.org/ SpringerLink http://www.springerlink.com/ Thomson Reuters Web of Knowledge http://apps.webofknowledge.com/ Selailu Avainsanahaut Lumipallohaku Saanti
Lumipallohaku Etsi jo löytämiesi relevanttien artikkeleiden lähdeluettelosta relevantteja artikkeleita. Hae ACM Digital Librarysta, Google Scholarista tai Scopuksesta relevantteja artikkeleita, jotka viittaavat jo löytämiisi artikkeleihin. Toista kunnes et enää löydä lisää relevantteja artikkeleita (tai kunnes on aika siirtyä eteenpäin). Selailu Avainsanahaut Lumipallohaku Saanti
Kokoteksti Kokotekstin saa yleensä suoraan netistä. Kannattaa käyttää julkaisijan palvelua jos mahdollista. Nelli-portaali http://www.nelliportaali.fi/ katso myös tekijän kotisivuilta Tallenna kopio itsellesi tai ota tuloste. Jos ei ole netissä: JYKDOK MELINDA http://melinda.kansalliskirjasto.fi/ WorldCat http://www.worldcat.org/ kaukolainatilaus (maksullinen) Selailu Avainsanahaut Lumipallohaku Saanti
Haut ja kokoteksti yliopiston ulkopuolella yliopiston VPN yliopiston EZproxy http://ezproxy.jyu.fi/ Selailu Avainsanahaut Lumipallohaku Saanti
hakutuloksissa paljon asiaan liittymätöntä valintakriteerit hyväksyntäkriteerit (inclusion criteria) hylkäyskriteerit (exclusion criteria) pilotoi dokumentoi hylkäykset
Hyväksyntäkriteerit Primary studies [... ] in the form of experiments, surveys, case studies, experience reports and observation papers, representing empirical analysis of aspects of the UML. 10 Primary studies that attempt to determine the efficacy of a programming language design decision 11 10 D. Budgen, A. J. Burn, O. P. Brereton, B. A. Kitchenham & R. Pretorius: Empirical evidence about the UML: a systematic literature review. Software Practice and Experience 41 pp. 363 392, 2011. doi:10.1002/spe.1009 11 Kaijanaho 2010 2013.
Hylkäyskriteerit Letters, editorials and position papers 12 Primary studies that attempt to determine the efficacy of a programming language design decision 13 Studies that focused on single techniques or practices [of agile development], such as pair programming, unit testing, or refactoring 14 12 Major ym. 2011 13 Kaijanaho 2010 2013 14 Tore Dybå & Torgeir Dingsøyr: Empirical studies of agile software development: A systematic review. Information and Software Technology 50 pp. 833 859, 2008. doi:10.1016/j.infsof.2008.01.006
prosessi määriteltävä, hyvä pilotoida Parasta olisi, jos valinnan tekisi vähintään kaksi tutkijaa toisistaan riippumatta. Graduvaiheessa voi antaa satunnaisotoksen ohjaajalle riippumatonta valintapäätöstä varten. Lasketaan ja dokumentoidaan κ 15 Eriävät päätökset ratkaistaan neuvottelemalla. 15 Ks. http://en.wikipedia.org/wiki/kappa_statistics
Tiedonkeruu suunnittele ja pilotoi Kerää riittävästi tietoa, jotta voit vastata tutkimuskysymyksiisi. Myös tiedonkeruussa on hyvä käyttää kahden tutkijan (tai satunnaisotannan ja ohjaajan) menetelmää. Ks. Kitchenham & Charters 2007 s. 29 34.
Synteesi miten kerätystä tiedosta johdetaan vastaukset tutkimuskysymyksiin kannattaa suunnitella (yhdessä tiedonkeruun kanssa) ja pilotoida Menetelmiä on paljon, mm. perinteinen kertomussynteesi tilastollinen visualisointi tilastollinen meta-analyysi meta-etnografia 16 grounded theory Ks. mm. Daniela S. Cruzes & Tore Dybå: Research synthesis in software engineering: A tertiary study. Information and Software Technology 53 pp. 440 455, 2011. doi:10.1016/j.infsof.2011.01.004 16 Ks. esim. Dybå ym. 2008.
Yksi vaihtoehto: Temaattinen synteesi Daniela S. Cruzes & Tore Dybå: Recommended Steps for Thematic Synthesis in Software Engineering. Proc ESEM 2011. doi:10.1109/esem.2011.36 17 Kuusi vaihetta: 1. Lue kaikki mukaan valitut lähteet ennen kuin jatkat seuraavaan vaiheeseen. 2. Kirjoita ylös joka lähteestä sen raportoiman tutkimuksen tavoitteet, tutkimuskonteksti ja tulokset (suorina lainauksina). 3. Koodaa ylös kirjoittamasi tiedot eli anna niille kategorisoivia, yhteen vetäviä tai selittäviä nimiä. 4. Etsi koodaamistasi tiedoista yhdistäviä tai tulkitsevia teemoja. Kuviot ovat kivoja tässä. 5. Palaa tutkimuskysymyksiisi ja luo teemoista malli, joka auttaa vastaamaan kysymyksiisi. 6. Arvioi synteesisi luotettavuus. 17 Jos aiot oikeasti soveltaa temaattista synteesiä, lue ko. lähde ensin!
raportti on esim. gradu tai sen osa sisältää: taustaa menetelmät mitä suunnitelman mukaan piti tehdä mitä oikeasti tehtiin (poikkeamat suunnitelmasta) tilastotietoa prosessista tulokset suunnitellun synteesin esitys pohdinta vastaukset tutkimuskysymyksiin työn onnistumisen arviointi vähän voi spekuloidakin raportin liitteeksi (tai vähintään arkistoi erikseen) luettelo hylätyistä ehdokasartikkeleista hylkäyssyineen suunnitelma sellaisenaan
Prosessin dokumentointi gradussa kaikki tutkimusprosessissa kertyneet muistiinpanot eivät kuulu graduun (kuin korkeintaan liitteeksi) Kerro mitä teit ja miksi sekä anna tilastotietoja prosessista. Laita raporttiin näytteitä prosessisi aikana kertyneistä muistiinpanoista, jos se parantaa työn läpinäkyvyyttä. Talleta muistiinpanosi ja kertyneet välivaiheen datat luotettavasti. vrt. dosentti Bäckmanin väitöskirjasta vuosi sitten noussut kohu
Varo plagiointia Kun käytät lähdettä: Muista aina antaa tarkka lähdeviite. Merkitse suorat ja vähän muokatut lainaukset lainausmerkeillä. Merkitse mahdolliset muokkaukset.
Sääntö Jos käytät samoja sanoja kuin lähteesi, kyse on (suorasta) lainauksesta. Käytä lainausmerkkejä. 18 18 Tämän ja muutaman seuraavan kalvon osalta ks. Jukka K. Korpelan Nykyajan kielenopas, osa Lainausten esittäminen, http://www.cs.tut.fi/~jkorpela/kielenopas/4.6.html.
Esimerkki 1. Yhteisötilaaja saa käsitellä tunnistamistietoja automaattisen hakutoiminnon avulla, joka voi perustua viestien kokoon, yhteenlaskettuun kokoon, tyyppiin, määrään, yhteystapaan tai kohdeosoitteisiin. 19 2. Even at this date, computing was not the sole domain of women. It was really the job of the dispossessed, the opportunity granted to those who lacked the financial or societal standing to pursue a scientific career. 20 19 Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 mom sellaisena kuin se on laissa 125/2009. 20 David Alan Grier: When Computers Were Human. Princeton University Press, 2005. Page 276.
Sääntö Jos jätät lainauksen keskeltä pois sanoja, merkitse tämä suomenkielisessä tekstissä kahdella peräkkäisella ajatusviivalla ja englanninkielisessä tekstissä hakasulkeisiin laitetulla ellipsillä (kolme pistettä). Esimerkki 1. Yhteisötilaaja saa käsitellä tunnistamistietoja automaattisen hakutoiminnon avulla, joka voi perustua kohdeosoitteisiin. 21 2. Even at this date, computing [... ] was really the job of [... ] those who lacked the financial or societal standing to pursue a scientific career. 22 21 Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 mom sellaisena kuin se on laissa 125/2009. 22 David Alan Grier: When Computers Were Human. Princeton University Press, 2005. Page 276.
Sääntö Jos (esimerkiksi lainauksen ymmärrettävyyden vuoksi) vaihdat sanan tai fraasin toiseksi taikka lisäät sanoja, merkitse tämä käyttämällä hakasulkeita. Esimerkki 1. Yhteisötilaaja saa käsitellä tunnistamistietoja automaattisen hakutoiminnon avulla, joka voi perustua [mm.] yhteystapaan tai kohdeosoitteisiin. 23 2. Even at this date, computing was [... ] [an] opportunity granted to those who lacked the financial or societal standing to pursue a scientific career. 24 23 Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 mom sellaisena kuin se on laissa 125/2009. 24 David Alan Grier: When Computers Were Human. Princeton University Press, 2005. Page 276.
Sääntö Jos lainaat vieraskielistä tekstiä suomennettuna, käytä lainausmerkkejä. Käytä julkaistua suomennosta (ja merkitse se tällöin lähteeksi), kun se on mahdollista. Jos suomensit itse, mainitse siitä lähdeviitteen yhteydessä (esim. suomennos minun ). Esimerkki Edes tuolloin laskenta ei ollut pelkästään naisten valtakunta. Se oli oikeastaan syrjäytyneiden työ, sellaisille annettu tilaisuus, joilta puuttui rahaa tai sosiaalista statusta tieteellisen uran valitsemiseen. (Grier 2005, sivu 276, suomennos minun) 25 25 David Alan Grier: When Computers Were Human. Princeton University Press, 2005.
Sääntö Jos sanot saman asian kuin lähde mutta et käytä samoja sanoja (eli kirjoitat sen ns. omin sanoin), kyse on parafraasista. 26 Älä silloin käytä lainausmerkkejä. Muista kuitenkin tarkka lähdeviite. Esimerkki Grierin (2005, sivu 276) 27 mukaan 1940-luvun puolivälin aikoihin computer-ammattiin päätyivät monet tieteelliseltä uralta olosuhteiden vuoksi syrjäytynet. 26 Yleensä parafraasi on parempi valinta kuin suora lainaus. Joskus lähteen sanavalinta on kuitenkin niin osuva tai tarkat sanavalinnat ovat niin tärkeitä, että suora lainaus on paikallaan. 27 David Alan Grier: When Computers Were Human. Princeton University Press, 2005.
Sääntö Jos vetoat lähteeseen muulla tavoin, muista lähdeviite. Esimerkki 1. Sähköisen viestinnän tietosuojalain (516/2004) 13 e 1 momentissa annettu lupa on tässä tutkielmassa tarkasteltavan ohjelmiston laillisen käytön kannalta välttämätön. 2. Englannin kielen sana computer oli ennen tietokoneiden tuloa ammattinimike (Grier, 2005). 28 28 David Alan Grier: When Computers Were Human. Princeton University Press, 2005.
Plagioinnin ja muun vilpin mahdolliset seuraukset plagiointia sisältävää tutkielmaa ei hyväksytä varoitus (rehtorin päätöksellä) erottaminen määräajaksi yliopistosta (hallituksen päätöksellä)
Lisämateriaalia plagioinnin välttämisestä Rehtorin päätös 13.6.2013 (Menettelytapaohjeet vilpin ja plagioinnin ehkäisemiseksi opiskelussa sekä vilppi- ja plagiointitapausten käsittelemiseksi) liitteineen https: //www.jyu.fi/hallinto/rehtori/intra Helsingin yliopiston Älä kopsaa -sivusto http://blogs.helsinki.fi/alakopsaa/ Ohjeita Purduen yliopistosta englanniksi http://owl.english.purdue.edu/owl/ resource/589/1/ http://owl.english.purdue.edu/owl/ resource/563/1/
ym gradussa tai graduna voi olla yksinään gradu! -menetelmää voi myös käyttää gradun teoriaosan laatimisen apuna. katsaus tai kartoitus on kunnolla tehtynä erittäin työläs. oma työni: suunnittelu alkoi lokakuussa 2010 toteutus alkoi joulukuussa 2010 nyt synteesiä tekemässä toki on ollut opetuksesta ja lomista johtuvia taukoja Tekniikoita voi käyttää gradussa, mutta protokollaa laatiessa pitää kiinnittää erityinen huomio työmäärän rajoittamiseen. Esim: Rajataan tarkastelu vain esim. viimeiseen 5 vuoteen. Tehdään ja raportoidaan pelkkä pilotointi.
Luettavaa Alaviitteinä olleet lähteet. Lisäksi: Andy Oram & Greg Wilson (eds): Making Software: What Really Works, and Why We Believe It. O Reilly 2011. Gordon C. S. Smith & Jill P. Pell: Hazardous journeys: Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ 327:1459, 2003. doi:10.1136/bmj.327.7429.1459 John P. A. Ioannidis: Why Most Published Research Findings Are False. PLoS Medicine 2 (8) e124, 2005. doi:10.1371/journal.pmed.0020124