10. Luento Käsiteltävä tieto

Transkriptio

1 10. Luento Käsiteltävä tieto Kari Systä JOTU 2013 / Kari Systä 1

2 Alustava luentoaikataulu 26.8: Johdanto + historiaa, mitä on ohjelmistotuotanto 2.9: Ohjelmistojen roolista ja ohjelmistotyön määrästä, ohjelmistotyypit 9.9: Miten ohjelmistotyö organisoidaan (vaihejako ja prosessi-mallit) 16.9: vaatimusmäärittelyt 23.9: projektitoiminta 30.9: Yleiset notaatiot erityisesti UML 7.10: Esimerkkiprojekti (vierailuluento esillä ihan oikea projekti) 10/21/2013 JOTU2013/Kari Systä 21.10: Asiakasroolista 28.10: Käyttäjä ja käyttäjäkokemus ohjelmistoprojektissa (Kati Kuusinen) 4.11: Tiedon mallintaminen 11.11: Ohjelmisto osana laitetta : Ohjelmisto osana laitetta : IPR, sopimukset, open source 2.12: Kertausta 2

3 Sisältöä Mitä tietoa järjestelmä käsittelee käsitteellinen mallinnus Tiedon yksityiskohtien määritteleminen Tiedon esitys- ja välitystavoista - mm. XML Mitä se Big Data on JOTU 2013 / Kari Systä 3

4 Järjestelmää suunniteltaessa on tärkeää miettiä tallennettavaa tietoa Tiedon tyyppi, arvoalueet ja rajoitteet Vrt Arien kantoraketti Tietojen väliset yhteydet ja riippuvuudet Valittu tiedon rakenne vaikuttaa järjestelmän toimintoihin ja tehokkuuteen Järjestelmien välinen tiedon siirto Myös siirto vanhasta uuteen JOTU 2013 / Kari Systä 4

5 Suunnitteluprosessi Määrittely 1. Käsitteellinen mallintaminen 2. Tiedon esitysmuodot ja tallentaminen Tietokanta 3. Tiedon siirto ja vaihto 2. Järjestelmä JOTU 2013 / Kari Systä 5

6 Muita kursseja OtuPK JohTiKa TiKaSu JOTU 2013 / Kari Systä 6

7 TIE Johdatus tietokantoihin Kurssin tavoitteena on, että kurssin suoritettuaan opiskelijan pitäisi ymmärtää tietokantojen ja tietokantajärjestelmien perusajatukset, tuntea alueen terminologia, osata käyttää relaatiotietokannan hallintajärjestelmää, luoda valmiiksi kuvattu tietokanta sekä tehdä ei-triviaaleja tietokantahakuja SQL-kieltä käyttäen. Kurssi koostuu luennoista ja viikkoharjoituksista. Suoritusvaatimuksina ovat hyväksytysti suoritetut harjoitustehtävät ja tentti. Ks. kurssin arvostelu. Kurssin vastuuhenkilö on Jari Peltonen (jari.peltonen(at)tut.fi) jatkossa Timo Aaltonen (timo.aaltonen (at) tut.fi) JOTU 2013 / Kari Systä 7

8 TIE Tietokantojen suunnittelu Kurssin tavoitteena on, että kurssin suoritettuaan opiskelija osaa käyttää rutiininomaisesti relaatiotietokannan hallintajärjestelmää sekä osaa suunnitella ja toteuttaa alusta loppuun suorituskykyisen, turvallisen ja ei-triviaalin relaatiotietokannan käyttäen kurssilla opetettua prosessia. Hän osaa myös käyttää relaatiotietokantaa sekä ohjelmallisesti että SQL-kielellä rutiininomaisesti. Opiskelija myös tietää mitä liittyy sellaisten järjestelmien määrittelyyn, suunnitteluun, toteutukseen ja ylläpitoon, missä olennaisena osana on tietokanta sekä osaa käyttää tätä tietoa vaihtoehtojen harkinnan ja lisätietojen hankinnan tukena. Kurssi koostuu luennoista, viikkoharjoituksista ja harjoitustyöstä. Suoritusvaatimuksina ovat hyväksytysti suoritetut harjoitustehtävät, harjoitustyö ja tentti. Ks. kurssin arvostelu. Kurssin vastuuhenkilö on Jari Peltonen (jari.peltonen(at)tut.fi) jatkossa Timo Aaltonen (timo.aaltonen (at) tut.fi). JOTU 2013 / Kari Systä 8

9 Käsitteellinen mallintaminen (lainaus kurssin tietokantojen suunnittelu luentomateriaalista) Kuvataan maailmaa (kohdealue) siellä olevien käsitteiden, niiden ominaisuuksien ja suhteiden avulla. Näiden tilat voivat muuttua ajoittain tapahtumien vaikutuksesta. Ollaan kiinnostuneita maailman tilasta menneisyydessä, nyt ja tulevaisuudessa. Käsitteellinen malli = kohdealueen vääristymätön ja täydellinen esitys (, jossa mahdolliset toteutusnäkökohdat jätetään huomioimatta.) JOTU 2013 / Kari Systä 9

10 Esitetään useimmiten graafisesti Oliokaavio Luokkakaavio (UML) ER-kaavio (entity-relationship kaavio) Tietoyhteyskaavio Käsitekaavio Kohdekaavio JOTU 2013 / Kari Systä 10

11 Käsitekaavio (UML:n luokkakaavio) Nimi Ominaisuudet lkm nimi lkm Nimi Ominaisuudet Metodit Metodit JOTU 2013 / Kari Systä 11

12 Esimerkki Navigointisuunta JOTU 2013 / Kari Systä 12

13 Kooste/muodoste Kooste (aggregation) Olio on toisen osa / komponentti Muodoste (composition) Kiinteä riippuvuus Usein elinikäinen riippuvuus JOTU 2013 / Kari Systä 13

14 Muodoste/kooste Kooste: Muodoste: JOTU 2013 / Kari Systä 14

15 Yleistäminen Olio-ohjelmoinnin kurssilla puhutaan sitten periytymisestä JOTU 2013 / Kari Systä 15

16 Muut notaatiot: Chenin notaatio (kuva 6.11) opiskelija 1:N osallis- tuu 0:N kurssi 0:N <-kuvaa 1:1 opintojakso 0:N 1:1 0:N 0:N suorittaa 0:N tentti kuuluu luennoi 0:1 suoritus opettaja JOTU 2013 / Kari Systä 16

17 Muut notaatiot: Martinin kohdekaaviot (kuva 6.12) opiskelija osallistuu kurssi kuvaa opintojakso luennoi kuuluu suoritus tentti opettaja JOTU 2013 / Kari Systä 17

18 Vinkkejä ja neuvoja Assosiaatio-yhteys voi olla joko kaksisuuntainen tai yksisuuntainen. Ns navigointisuunta Tarvittaessa merkitse (UML:ssä nuolella) Luokkakaaviossa tiedon tyyppejä (luokkia) Olio-ohjelmoinnissa mennään syvemmälle olioiden ja luokkien ihmeelliseen maailmaan Lukumääräsuhteiden oikeellisuuteen kannattaa kiinnittää huomiota, sillä ne ohjaava järjestelmän suunnittelua. Raja assosiaation, muodosteen ja koosteen välillä on usein häilyvä JOTU 2013 / Kari Systä 18

19 Etevä suunnittelija käsittää käsitteet Tietojärjestelmän tekijän täytyy ensin itse ymmärtää, mistä on kyse, ja tunnistaa asiaan liittyvät käsitteet. Käsitteet ovat sellaisia, joita järjestelmää käyttävä ihminen tuntee. Käsitteellinen mallintaminen on eri asia kuin järjestelmän käytettävyys, joskin mallintamisen puute saattaa heijastua myös järjestelmän käytettävyyteen. Jos käsitteellistä mallintamista ei ole suunnitteluvaiheessa tehty tai se on tehty huonosti, niin järjestelmästä alkaa usein paljastua asioita, jotka eivät toimi niin kuin suunnittelija on kuvitellut. Järjestelmään tulee virheitä, joita ei ehkä helposti pystytä paljastamaan. Tietojärjestelmän rakentaminen kuulostaa arkiselta työltä, mutta käsitteellisessä mallintamisessa tarvitaan filosofian oppeja tiedon sisällöstä ja käsitteistä. JOTU 2013 / Kari Systä 19

20 Eräs tunnettu kömmähdys Vaalitulospalvelu eduskuntavaaleissa 1970 JOTU 2013 / Kari Systä 20

21 Mitä tapahtui SMP oli saamassa murskavoittoa ja 18 kansanedustajaa Mutta tulospalvelu ennusti jatkuvasti vain n. 8 edustajaa. SMP:n legendaarinen poliitikko Eino Poutiainen laski omia ennusteitaan klubiaskin kanteen ja oli kokoajan oikeassa. JOTU 2013 / Kari Systä 21

22 Eino Poutiaisen muistelmista Tietokonekaan ei vaalien jälkeisenä yönä tulosten laskennassa ruvennut uskomaan tosiasioita. [...] Joten herrojen henki oli tarttunut tietokoneeseenkin, joka sitten ällisteli ja ihmetteli. [...] Eniten kiinnitti huomiotani, kun televisiossa ilmoitettiin Oulun vaalipiirin äänistä lasketuksi noin 30 % ja meille sanottiin ääniä tulleen vain 0,5 %. Silloin huomasin, että kyllä tohtori Sänkiahon rokkatoosa joutaisi heittää Suomenlahteen, koska hörisee niin kuin vanha tamma, jolle syötetään ruisjauhoapetta. JOTU 2013 / Kari Systä 22

23 Prof. Sänkiahon kuvaus erään laskennassa tarvittavan kertoimen arvo määriteltiin yhdellä kokonaisluvulla ja kahdella desimaalilla. Kone "luki Arvon arvoksi 2.34 ja ollen kertoimena niin tulokset olivat vähän pielessä useissa vaalipiireissä eli siellä missä SMP:n kannatus lisääntyi yli kymmenkertaiseksi. PS. Cobol kielessä on tapana käyttää desimaalilukuja liukulukujen sijaan JOTU 2013 / Kari Systä 23

24 Tiedon rakenteen määrittely Tarkennetaan käsitteellisen mallinnuksen tulosta Useimmiten vastuu toimittajalla, mutta vain tilaaja tietää oikeat vastaukset Tässä opetellaan kieltä jolla keskustella JOTU 2013 / Kari Systä 24

25 Bachus-Naur Form (Lauseke) 1: <lauseke> ::= <kertolauseke> <kertolauseke> <ynnäoper> <lauseke> 2: <kertolauseke> ::= <sulkulauseke> <sulkulauseke> <kerto-oper> <kertolauseke> 3: <sulkulauseke> ::= <termi> ( <lauseke> ) 4: <termi> ::= <numeerinen_vakio> <muuttuja> 5: <ynnäoper> ::= + - 6: <kerto-oper> ::= * / JOTU 2013 / Kari Systä 25

26 (a+b)*c Luennoilla käydään läpi tarkistus sääntöjen avulla kuten kirjassa Jos aikaa, myös tietokoneen (esim kääntäjän tapa) joka seuraavilla kalvoilla JOTU 2013 / Kari Systä 26

27 (a+b)*c <tyhjä> (a+b)*c ( (a+b)*c (a (a+b)*c (muuttuja (a+b)*c (termi (a+b)*c (kertolauseke (a+b)*c (kertolauseke+ (a+b)*c (kertolauseke ynnäop (a+b)*c (kertolauseke ynnäop b (a+b)*c (kertolauseke ynnäop lauseke (a+b)*c (kertolauseke ynnäop lauseke ) (a+b)*c (lauseke) JOTU 2013 / Kari Systä 27

28 (a+b)*c lauseke * (a+b)*c lauseke kerto-op (a+b)*c lauseke kerto-op c (a+b)*c lauseke kerto-op kertolauseke (a+b)*c kertolauseke (a+b)*c lauseke JOTU 2013 / Kari Systä 28

29 Testataan hieman (a+b)+c? kertolauseke + lauseke a+b*c a+sulkulauseke*c a+kertolauseke a+lauseke kertolauseke+lauseke JOTU 2013 / Kari Systä 29

30 Tietohakemistonotaatio merkki merkitys + ja () optionaalinen (voi puuttua) {} toisto (0-N kertaa) n{}m toisto n-m kertaa [] vaihtoehtoja vaihtoehtojen avainkenttä * kommentti JOTU 2013 / Kari Systä 30

31 Esimerkkejä henkilötiedot = nimi + aviosääty + lapset nimi = 1{etunimi}3 + sukunimi aviosääty = [naimaton naimisissa eronnut leski] osoite = (toimitusosoite) + (laskutusosoite) osoite = [toimitusosoite laskutusosoite toimitusosoite + laskutusosoite] osoite = toimitusosoite + (laskutusosoite) luottoraja = *asiakkaalle myönnettävän luoton enimmäismäärä markkoina* luottoraja_ilmoitus = *vastaus luottorajan muutosyritykseen* ["Tuntematon asiakas" "Virheellinen luottoraja" "Uudeksi luottorajaksi on muutettu xxx markkaa"] JOTU 2013 / Kari Systä 31

32 Esimerkkejä suoritustietokanta= * Relaatiokanta, joka kuvaa opiskelijat, kurssit ja suoritukset. Se koostuu tauluista opiskelijat, suoritukset ja opintojaksot.* opiskelijat = {@op_nro + nimi + osoite +...} suoritukset = {@suor_nro + op_nro + oj_nro+ pvm + ov_määrä + arvosana + opettaja} opintojaksot ={@oj_nro+oj_nimi+kuvaus} op_nro nimi os 777 Ahto S. 222 Teemu T. suor_nro op_nro oj_nro pvm ov_määrä arvosana opettaja ijh ijh tensu JOTU 2013 / Kari Systä oj_nro oj_nimi kuvaus otupk otm 32

33 Lauseke tietohakemistonotaatiolla lauseke = [kertolauseke kertolauseke + ynnäop + lauseke] kertolauseke = [sulkulauseke sulkulauseke + kerto-op + kertolauseke] sulkulauseke = [termi ( lauseke ) ] termi = [numeerinen_vakio muuttuja] JOTU 2013 / Kari Systä 33

34 Pieni sormiharjoitus Pieni sormiharjoitus: esitä tietohakemistonotaatio desimaalilukujen esittämiseksi. Sallittuja lukuja ovat esimerkiksi "-.123", "123", " ", ".123", "+123" ja "-123". Kiellettyjä ovat mm. "++123" ja "123.". LUKU = (ETUM) + ARVO ETUM = [ '+' '-' ] ARVO = [ KOK_LUKU + ('.' + KOK_LUKU) '.' + KOK_LUKU ] KOK_LUKU = 1{NUMERO}N NUMERO = ['0' '1' '2' '3' '4' '5' '6' '7' '8' '9'] JOTU 2013 / Kari Systä 34

35 Suunnitteluprosessi Määrittely 1. Käsitteellinen mallintaminen 2. Tiedon esitysmuodot ja tallentaminen Tietokanta 3. Tiedon siirto ja vaihto 2. Järjestelmä JOTU 2013 / Kari Systä 35

36 Tiedonvälitysformaatteja Tarvitaan kun järjestelmät keskustelevat keskenään Vakiotavat ja standardit helpottavat JOTU 2013 / Kari Systä 36

37 Muita tiedon rakenteen ja esitystavan Merkkauskielet HTML SGML määrittelytapoja XML (ja siihen liittyvät standardit: DTD, XML Schema) ASN.1: tietoliikenteen sanomarakenteet JOTU 2013 / Kari Systä 37

38 XML, DTD ja Schema A XML doku B DTD/ schema JOTU 2013 / Kari Systä 38

39 DTD ja Schema DTD Document Type Definition Yksinkertainen Voi olla erillinen tai osa tiedostoa XML Schema Monipuolisempi Aito XML-dokumentti JOTU 2013 / Kari Systä 39

40 XML:n dokumenttityypin rakenteen määrittely: DTD (Document Type Definition). Tiedon rakenteen kuvaaminen. <!DOCTYPE postitilaus [ <!ELEMENT postitilaus (vastaanottaja, tavara*) <!ELEMENT vastaanottaja (nimi, osoite)> <!ELEMENT tavara (nimeke, määrä, hinta)> <!ELEMENT nimi (#PCDATA)> <!ELEMENT osoite (#PCDATA)> <!ELEMENT nimeke (#PCDATA)> <!ELEMENT määrä (#PCDATA)> <!ELEMENT hinta (#PCDATA)> ]> JOTU 2013 / Kari Systä 40

41 XML-dokumentti (joka on well-formed, mutta edellä esitetyn DTDkuvauksen mukaan ei valid ) <?xml version="1.0"?> <postitilaus> <vastaanottaja> <nimi>ahto Simakuutio</nimi> <osoite>hermiankatu 99, Tampere</osoite> </vastaanottaja> <tavarat> <tavara> <nimeke>muistipiiri 256MX</nimeke> <maara>2</maara> <hinta>100</hinta> </tavara> <tavara> <nimeke>nokia Lumia 920</nimeke> <maara>1</maara> <hinta>750</hinta> </tavara> </tavarat> </postitilaus> Jos dokumentti ei ole XML:ää, se ei ole well formed XML-standardin mukaiset dokumentit ovat well formed Tietyn DTD-kuvauksen tai scheman mukaiset kuvaukset ovat valid XML-syntaksin mukainen dokumentti voi siis olla well formed, well formed but not valid tai well formed and valid JOTU 2013 / Kari Systä 41

42 ja vastaava XML Schema <xsd:schema xmlns:xsd=" <xsd:element name="postitilaus" type="tilaus"/> <xsd:complextype name="tilaus"> <xsd:element name="vastaanottaja" type="osoitetiedot"/> <xsd:element name="tavarat" type="tavaroidentiedot"/> </xsd:complextype> <xsd:complextype name="osoitetiedot"> <xsd:element name="nimi" type="xsd:string"/> <xsd:element name= osoite" type="xsd:string"/> </xsd:complextype> <xsd:complextype name="tavaroidentiedot"> <xsd:element name="tavara" type="tavaratiedot" maxoccurs= *"/> </xsd:complextype> <xsd:complextype name="tavaratiedot"> <xsd:element name= nimeke" type="xsd:string"/> <xsd:element name="maara" type="xsd:positiveinteger"/> <xsd:element name="hinta" type="xsd:decimal"/> </xsd:complextype> </xsd:schema> JOTU 2013 / Kari Systä 42

43 Toinen esimerkki <?xml version="1.0" encoding="utf-8"?> <kml xmlns=" <Document> <Placemark> <name>new York City</name> <description>new York City</description> <Point> <coordinates> , ,0</coordinates> </Point> </Placemark> </Document> </kml> JOTU 2013 / Kari Systä 43

44 JOTU 2013 / Kari Systä 44

45 XML:n etuja ja haittoja Yleinen Myös ihmisen luettava Eriäviäkin mielipiteitä on Joustava ja dynaaminen Esim uusi kenttä ei välttämättä riko vastaanottajaa Raskas ja monimutkainen JOTU 2013 / Kari Systä 45

46 Tutoriaaleja Esimerkiksi nämä on ok JOTU 2013 / Kari Systä 46

47 Suunnitteluprosessi Määrittely 1. Käsitteellinen mallintaminen 2. Tiedon Toteutus Järjestelmä JOTU 2013 / Kari Systä 47

48 Big data mikä kumma se on JOTU 2013 / Kari Systä 48

49 HYPE Paljon palstatilaa lehdissä Määritelmät epämääräisiä ja erilaisia Paljon odotuksia paljon konsutteja JOTU 2013 / Kari Systä 49

50 Google statistiikkaa ( JOTU 2013 / Kari Systä 50

51 Yksi määritelmä "Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization." Gartner, 2012 JOTU 2013 / Kari Systä 51

52 Volume, velocity, variety Volume Tietoa on PALJON Velocity Uutta tietoa syntyy koko ajan Variety Tiedon esitystavat ovat moninaiset ja saattavat jopa muuttua JOTU 2013 / Kari Systä 52

53 Big Datan haasteet Ohjelmointi Analyysi Business, Domain, Laki Uudet matemaattiset menetelmät Tallennus Esim. MapReduce(HADOOP) Esim. NoSQL tietokannat JOTU 2013 / Kari Systä 53