Paikkatiedon hallinnan perusteet. Jari Reini Johtaja, Paikkatietokeskus, Maanmittauslaitos

Transkriptio

1 Paikkatiedon hallinnan perusteet Jari Reini Johtaja, Paikkatietokeskus, Maanmittauslaitos

2 Luennoitsija Jari Reini, DI, ohjelmistotekniikka

3 Kurssin ohjelma

4 Sisältö Yleistä paikkatiedosta Tiedonhallinta UML Paikkatiedon mallintaminen Tietokantasuunnittelu

5 Paikkatiedoista Paikkatiedot ovat digitaalisia kartta- ja rekisteritietoja, jotka kuvaavat mm. luonnonvaroja, maan pinnanmuotoja, maankäyttöä ja sen suunnitelmia, maanomistusta, asutusta ja elinkeinotoimintaa, liikenneja yhdyskuntahuollon verkkoja sekä ympäristön tilaa. Paikkatietojen käyttö säästää monissa optimointi-, suunnittelu- ja seurantatehtävissä huomattavasti aikaa ja kustannuksia. Paikkatietotekniikan hyödyntäminen kasvaa nopeasti ja sen työllistävä vaikutus on nykyyhteiskunnassa suuri.

6 Paikkatietojärjestelmä ja sen ominaisuuksia (A. Jolma) Geospatiaalisen tiedon tuottaminen tallennus muokkaus Geospatiaaliset analyysit Geospatiaalinen visualisointi kartantuotanto Päätöksenteon tuki esim. navigointi, toimintojen sijoittelu Page 6

7 Trendejä

8 Web-GIS Avoimet rajapinnat ja standardit Paikkatietoinfrastruktuuri Yhteisöllisyys Aineiston jakaminen

9 Aineistot HERE, TomTom, Karttakeskus, Maanmittauslaitos OpenStreetMap Jne OpenStreetMap MapShare

10 Paikkatiedon viitearkkitehtuuri

11 Palvelualusta Liikenne Sää Points of Interest Muut Sovellus palvelin Kartta tietokanta Geocoding OGC Web Map Service Routing Web Service OGC Web Feature Service Style Style Style Geokoodattu osoite XML Vectorikartta GML <GeocodedAddress> <gml:point> <gml:pos dimension="2"> </gml:pos> </gml:point> <Address countrycode="us"> <StreetAddress> <Building number="2799" buildingname=""/> <Street directionalprefix="" typeprefix="ave" officialname="44th" typesuffix="" directionalsuffix=""></street> </StreetAddress> <Place type="municipality">san FRANCISCO</Place> <Place type="municipalitysubdivision"></place> <Place type="countrysubdivision">ca</place> <PostalCode>94116</PostalCode> </Address> <GeocodeMatchCode matchtype="2" accuracy="0.0"/> </GeocodedAddress> Rendered maps, e.g. JPEG,... <RoutingRequest xmlns:gml=" " version="1.0"> <OptionList> <Option type="routepreference">fastest</option> </OptionList> <LocationList> <StartLocation> <Edge> </Edge> <Edge> </Edge> </EndLocation> </LocationList> </RoutingRequest> [ ] <ta:rdcond>1</ta:rdcond> <ta:stubble>0</ta:stubble> <ta:privaterd>0</ta:privaterd> <ta:oneway>ft</ta:oneway> <ta:f_bp>0</ta:f_bp> <ta:t_bp>0</ta:t_bp> <ta:f_elev>0</ta:f_elev> <ta:t_elev>0</ta:t_elev> <ta:kph>75</ta:kph> <ta:minutes>0.138</ta:minutes> <ta:posaccur>2</ta:posaccur> <ta:lanes>0</ta:lanes> <ta:geom> <gml:linestring srsname=" 6"> <gml:coordinates decimal="." cs="," ts=" "> , , , , </gml:coordinates> </gml:linestring> </ta:geom> </ta:mn_nw> </gml:featuremember> </wfs:featurecollection> Sovellus tai palvelu X Style Style Sovellus tai palvelu Y Asiakkaat

12 Tiedonkeruu - Mobile Mapping Vans

13 Tietolähteet ja jakaminen Data Sourcing Editing Conversion Products Public Comm unity upload Database Delivery Server Other Rule engine Pre-filter Specs Quality checks

14 INSPIRE-direktiivi metatiedot paikkatietoaineistot, -tuotteet ja -palvelut verkkopalvelut (haku-, katselu-, lataus- ja muunnospalvelut) tietojen yhteiskäyttö sekä saatavuutta ja käyttöä koskevat sopimukset raportointi ja seuranta

15

16 Paikkatietojärjestelmän kriittiset menestystekijät Yhteiskäyttö Käyttäjä- ja käyttövaltuushallinta Aineiston laadunhallinta Metadata Aineiston rakenne Aineiston tietomallit Aineiston päivitys Järjestelmän modulaarisuus Järjestelmän laajennettavuus

17 Kansallinen paikkatietoinfrastruktuuri

18 Visio Paikkatietojen sujuva käyttö tehostaa toimintaa ja päätöksentekoa sekä tuottaa uusia ja monipuolisia palveluja. Helposti hyödynnettävä ja luotettava paikkatieto lisää osallistumismahdollisuuksia sekä parantaa turvallisuutta ja kilpailukykyä.

19 Paikkatiedon mallintaminen

20 Tietotuoteseloste Yleistietoa tietotuotteen määrittelystä (P) Määritellyn tietotuotteen soveltamisala (P) Tuotteen tunnistamistiedot (P) Tietosisällön ja rakenteen kuvailu (P) Vertausjärjestelmiä koskevat tiedot (P) Tiedon laatuun liittyvät tiedot (P) Tiedon keruuseen liittyvät tiedot (V) Ylläpitotiedot (V) Esitystapaa koskevat tiedot (V) Jakelutiedot (P) Muut tiedot (V) Viittaus metatietoihin (P)

21 Tietotuotteita - Inspire

22 Paikkatietojen mallintaminen siirrettävyys ja uusiokäyttö edellyttävät sovellettavilta tietomalleilta jonkinasteista yhdenmukaisuutta Euroopan yhteisön paikkatietoinfrastruktuurin toteuttamiseen tähtäävä INSPIRE-direktiivi reaalimaailman kohteita vastaavina objekteina, joihin voidaan liittää kohteita kuvaavia ominaisuustietoja

23 Mallintamisen eri tasot Esim. Rakennus (tarkasta epätarkempaan) - Suunnittelujärjestelmä - Suurimittaiset kartat - Valtakunnallinen maastotietokanta - Väestötietojärjestelmä

24

25 Harmonisoinnin hyödyt

26 Yhteensopivuuden tarkastelutasot

27 Harmonisoinnin määrittely geometrinen (sijainnin) yhteensopivuus (Geometric interoperability) tietosisällön yhteensopivuus (Semantic interoperability) tekninen yhteentoimivuus (Interoperability)

28 Tietosisällön mallinnuksen paikkatietostandardit

29 Paikkatietojen mallinnuksen standardeja

30 Mallintamisen perusteet Käsitemalli määrittelee yleisellä tasolla ja vapaamuotoisesti tarkastelun kohteena olevat kohdemaailman käsitteet ja niiden väliset suhteet. Käsiteskeema on puolestaan käsitemallin määrämuotoinen esitys, joka nykyisin yleensä tehdään UML-mallinnuskielellä. Sovellusskeema on käsiteskeema, joka on tehty kuvaamaan yhden tai useamman sovellusalan tarvitsemaa tietoa. Sovellusskeeman kieli valitaan käyttötarkoituksen mukaan, esim. UML- tai XML- Schema.

31 Yhteinen sovellusskeema

32 Kohdeluokka Reaalimaailman kohde tai ilmiö mallinnetaan kohdeluokkana, jolle yleensä annetaan kuvattavan kohteen tai ilmiön nimi. Kohdeluokan tietosisältö määritellään kohdetyypissä. Attribuutit Operaatiot Suhderoolit Esim. kohdeluokka Katu. Kohdeluokan Katu attribuutteja ovat temaattiset ominaisuudet katunumero (kokonaisluku), leveys (desimaaliluku) ja pintamateriaali (luokiteltu arvo) sekä sijaintiominaisuudet keskilinja (viivamainen geometria) ja katualue (aluemainen geometria).

33 Suhteet Tieaineistossa kohteella Katu on suhde kohdeluokkaan Pysakki. Tämä ilmaistaan tietomallissa määrittelemällä kohdeluokalle Katu ominaisuus (suhderooli), jonka nimi on liitannaisalue ja tietotyyppi Pysakki.

34 Mallin esittäminen UML graafinen kieli ja se soveltuu sekä käsite- että sovellusskeemojen mallinnukseen XML XML Schema on tarkoitettu yksityiskohtaisiin tietomäärittelyihin ja sitä käytetään enimmäkseen tiedonsiirtoon tarkoitettujen sovellusskeemojen esittämiseen

35 UML esimerkki

36 XML-skeema - esimerkki <?xml version="1.0" encoding="utf-8"?> <xsd:schema xmlns:jhs=" xmlns:xsd=" xmlns:gml=" xmlns:gmlsf=" targetnamespace=" elementformdefault="qualified" version="1.0.0"> <xsd:annotation> <xsd:appinfo source=" sflevels.xsd"> <gmlsf:compliancelevel>0</gmlsf:compliancelevel> <gml:gmlprofileschema> </gml:gmlprofileschema> </xsd:appinfo> </xsd:annotation> <!-- Kohdejoukko: EsimerkkiAineisto --> <xsd:element name="esimerkkiaineisto" type="jhs:esimerkkiaineistotype" substitutiongroup="gml:abstractgml"/> <xsd:complextype name="esimerkkiaineistotype"> <xsd:complexcontent> <xsd:extension base="gml:abstractfeaturetype"> <xsd:sequence minoccurs="0" maxoccurs="unbounded"> <xsd:element name="featuremember"> <xsd:complextype> <xsd:sequence> <xsd:element ref="gml:abstractfeature"/> </xsd:sequence> </xsd:complextype> </xsd:element> </xsd:sequence> </xsd:extension> </xsd:complexcontent> <xsd:import namespace=" schemalocation="

37 Itse data XML:nä <?xml version= 1.0 encoding= UTF-8?> <test:topographicdata xmlns:test= xmlns:gml= > <test:topofeature> <test:road> <test:centerline> <gml:linestring> <gml:poslist> </gml:poslist> </gml:linestring> </test:centerline> <test:class>iiia</test:class> <test:number>129</test:number> <test:width>6,0</test:width> </test:road> </test:topofeature> </test:topographicdata>

38 Paikkatietotuotteen määrittely Paikkatietoa hallinnoivat viranomaiset ovat perinteisesti määritelleet tietotuotteensa itse ja kuvailleet saatavilla olevia tuotteita varsin vaihtelevilla käytännöillä Paikkatietojen eurooppalaiset tietotuotteet ovat joukko harmonisoituja XML-skeemoja, jotka muodostavat paikkatietotuotteiden tietotyyppien kirjaston

39 Esimerkki tietotuoteselosteesta - yleiskuvaus

40

41 Tietomalli geometrioille Page 41 OpenGIS Implementation Specification for Geographic information - Simple feature access - Part 1: Common architecture

42 UML

43 Käsitteellinen mallinnus TIETOSISÄLTÖ Sovellusskeema (UML) Käsitteellinen taso Sääntöpohjaisesti ISO 19136, ISO Toiminnallinentaso Tietokantaskeema (ER) Tietopalveluskeema (WSDL) Tiedonsiirtoskeema (XML) Toteutustaso DB a DB b P a P b T a T b

44 UML-mallinnus Laajasti käytetty mallinnusmetodi Paljon työkaluja ISO/CEN:n mukaan paikkatietojen mallinnuskieli ISO/CEN standardit määritelty UML:n avulla Pääsääntöisesti sovellettu ohjelmistojen ja tietokantojen suunnitteluun

45 Unified Modeling Language Graafinen notaatiostandardi Paperi ja kynä / Rational Rose Rumbaugh/Jacobson/Booch, Versio , version , Objekti-orientoitunut ohjelmistosuunnittelu Tietorakenteiden suunnittelu Luokkakaaviotekniikka Kaaviot voidaan tehdä halutulla tarkkuustasolla Käsitteellinen suunnittelu -> tekninen suunnittelu

46

47 UML:n osa-alueita Käyttötapauskaavio (Use case diagram) Sekvenssikaavio (Sequence diagram) Yhteistyökaavio (Collaboration diagram) Ajoituskaavio (Timing diagram) Interaktiokaavio (Interaction overview diagram) Tilakaavio (Statechart diagram) Aktiviteettikaavio (Activity diagram) Oliokaavio (Object diagram) Luokkakaavio (Class diagram) Komponenttikaavio (Component diagram) Sijoittelukaavio (Deployment diagram) Ryhmittelykaavio (Package diagram) Koostumuskaavio (Composite structure diagram) käyt. rak. muu

48 ISO Conceptual schema language Käsitemallintamisen kieli

49 19103 Conceptual schema language Määrittelee UML:n paikkatietojen mallinnuskieleksi Listaa joukon tietomalleissa käytettäviä perustietotyyppejä Antaa ohjeita UML:n soveltamisesta paikkatietojen mallintamiseen Kiinnittää mallien tarkkuustason Antaa nimeämiskonventioita Selostaa pakettien käyttöä Antaa ohjeita graafisesta ulkoasusta ja mallien dokumentoinnista

50 19109 Rules for application schema

51 Yleistä Määrittelee abstraktin mallin paikkatietokohteelle General Feature Model (GFM) Kohdeluokka koostuu joukosta ominaisuuksia Attribuutit, operaatiot ja suhderoolit Myös sijainti on ominaisuus (sijaintiominaisuus); tietotyypit: ISO Spatial Schema Kohdeluokkien välillä voi olla suhteita suhde, perintäsuhde, koostumussuhde

52 <<featuretype>> Vesistö <<featuretype>> Vesialue <<featuretype>> Vesiuoma <<featuretype>> Meri <<featuretype>> Järvi <<featuretype>> Joki <<featuretype>> Puro

53 <<featuretype>> Vesistö + tunnus : CharacterString <<featuretype>> Vesialue + pinta-ala : Area + alue : GM_Polygon <<featuretype>> Vesiuoma + pituus : Length + keskilinja : GM_Curve <<featuretype>> Meri + suolaisuus : Real <<featuretype>> Joki + analysoi

54 <<featuretype>> Vesistö <<featuretype>> Vesialue <<featuretype>> Vesiuoma <<featuretype>> Meri <<featuretype>> Järvi <<featuretype>> Joki <<featuretype>> Puro

55 UML paketti <<applicationschema>> OmaSkeema <<applicationschema>> ToinenOmaSkeema ISO19100

56 codelist, datatype <<featuretype>> Liikenneväylä + ID : Integer <<codelist>> KatuTyyppi + pääkatu = 1 + kokoojakatu = 2 + sivukatu = 3 + pihakatu = 4 <<featuretype>> Katu + leveys : Length + tyyppi [0..1] : KatuTyyppi + vastuuorg : Organisaatio + sijainti : GM_Surface <<datatype>> Organisaatio + nimi : CharacterString + osoite : CharacterString

57

58 Tietokannat

59 Arkkitehtuurivaihtoehtoja tallentaminen ja jakaminen Työasema Client-Server Internet Tietokanta Sovelluspalvelin Tietokanta

60 Tietokanta Taulu Rivi Sarake Vrt. MS Excel Kokoelma tietoja, joilla on yhteys toisiinsa Kuvauskielenä esim UML Kyselykieli (SQL)

61 Tietokanta (A. Jolma) Mitä tietoa? Minkälaisessa muodossa? Toiminnallisuus? Tiedon tarpeen luonne? reaaliaikaisuus / strateginen Rooli koko järjestelmässä? keskitetty / hajautettu Laitteistot? Ohjelmistot?

62 Geospatiaalisen tiedon luonteesta (A. Jolma) Kohde -ajattelu rajattu alue selkeä luokka (esim. talo) ominaisuuksia saattaa liittyä toisiin kohteisiin jotenkin (esim. katu liittyy toiseen katuun) geometrinen esitysmuoto piste, käyrä, murtoviiva, ympyrä, polygoni, näiden yhdistelmä tms.

63 Mikä on paikkatietokanta? Tietokanta, joka Tallentaa paikkatietokohteita Muokkaa paikkatietokohteita samoin kuin mitä tahansa kohteita tietokannassa

64 Mitä on paikkatietoaineisto? Aineistoa joka kuvaa joko paikkaa tai muotoa Esim. Tie, joki, putkilinja, metsä, kunta, järvi, maa Tietoteknisesti Piste, viiva tai alue

65 Tiet viivoja, postilaatikot pisteitä

66 Tieto tietokannassa WKT (tai WKB) POINT(0 0) LINESTRING(0 0,1 1,1 2) POLYGON((0 0,4 0,4 4,0 4,0 0),(1 1, 2 1, 2 2, 1 2,1 1)) MULTIPOINT(0 0,1 2) MULTILINESTRING((0 0,1 1,1 2),(2 3,3 2,5 4)) MULTIPOLYGON(((0 0,4 0,4 4,0 4,0 0),(1 1,2 1,2 2,1 2,1 1)), ((-1-1,-1-2,-2-2,-2-1,-1-1))) GEOMETRYCOLLECTION(POINT(2 3),LINESTRING((2 3,3 4)))

67 Funktioita SQL/MM3

68 Käsittelyä kooditasolla

69 Esimerkki

70 Tietokantakysely???????? SELECT gid, the_geom FROM waterbodies WHERE gid = 2; gid the_geom E E CB8FC170C65DC06200F8D0E7B C65DC0DE898BCAE7B B1A6FC65DC E7E6B BAFCB6EC65DC 07815C607E6B B64A66EC65DC0D0D11854E4B34140CA783CC66EC65DC091477CD7E2B341 40FD8B372B6FC65DC02D75F091E1B F1756FC65DC02C1C7C06E0B34140A0CBF8846FC65 DC01B057AC2DEB34140BD6BDE586FC65DC036C25B1ADEB34140E73E8FBC6EC65DC051B6DE2DD DB EFA3B86DC65DC0A6E75E4DDCB34140EECF5AF16CC65DC DBB E1D 16CC65DC0C653541FDAB34140B352AB826CC65DC06800DD22D9B34140FDECCB8C6CC65DC0A8D8 188ED7B DA62606DC65DC03020AA9DD5B D79D6EC65DC045CF8743D5B B FF5A56FC65DC071F2D61AD6B34140D4391F4E70C65DC01F041E4CD7B34140FD50463A70C65DC A5D8B FB5FFA6FC65DC0C436FF22DAB BF83B46FC65DC05EEC9961DBB F69BC6FC65DC0E74915C3DCB34140DCCD550170C65DC022859B35DEB34140A929A59870C65DC 014E6EA42DFB34140D7388A8E70C65DC0B2B22CD4DFB341405EA0F73270C65DC0E92146C4E0B EC4B3DE6FC65DC066AD87D3E1B B732D26FC65DC0583D9907E3B F8104E70C65 DC07C37AB39E4B341404DFB09DA70C65DC0AB6838C7E4B341404E376F4871C65DC0D88F88EAE4B 34140E290F4CC71C65DC04318C2B1E4B34140B2B C65DC001CD36A7E3B CBD72 C65DC032BF27F1E2B D1E3773C65DC053E9A4C1E2B34140B247EEC273C65DC03C50B08FE 3B34140EFFF2CD573C65DC0849F2D84E4B34140BB03E9A973C65DC0D397181FE5B B7 3C65DC0103A5EA9E5B34140B2EB752172C65DC0E72BDC89E5B E39771C65DC0978C430B E6B34140AAE00CA471C65DC0E6C241AEE6B341405DD5367B71C65DC E7B CB8FC 170C65DC06200F8D0E7B34140

71 Tietokantakysely, hieman selkeämpi SELECT gid, astext(the_geom) AS Geometry FROM waterbodies WHERE gid = 2; gid geometry MULTIPOLYGON((( , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , )))

72 Suhteet tietojen välillä (spatial relationships) Pelkkä sijainti ei ole aina kiinnostavaa vaan kohteiden väliset suhteet Yleisimpiä kiinnostuksen kohteita ovat etäisyys suhteet : touching and connectivity topologia : inside/overlapping

73 Spatial Relationships Etäisyys kaatopaikan ja tontin välillä, jonka ajattelit ostaa.

74 Spatial Relationships Lähimmät kaupat kodistani

75 Spatial Relationships Kaikki naapurini

76 Paikkatietokannan etuja (vs tiedostot) Varmuuskopionti Eheyden tarkistus Päällekkäisyyksien poisto Yhtenäinen tiedon hallinnointi Useiden käyttäjien tuki Tietoturva/pääsyn valvonta Lukitus Toiminnallisuus (funktiot ja operaatiot) Vähentävät sovelluskehityksen tarvetta

77 Spatiaalisia operaatioita No September 2015 Paikkatiedonhallinta ja tietokannat

78 Esimerkkejä Original Polygons Intersection Union

79 Joki Joki bufferilla

80 Eri malleja INSPIRE KuntaGML CityGML LandXML LCML (Land Cover Meta Language) JHS-suositukset

81 Esim. KuntaGML Asemakaavan mallinnus ja tiedonsiirto Kantakartan mallinnus ja tiedonsiirto

82 Formaattimuunnokset Ogr2ogr ogr2ogr -f "ESRI Shapefile" mydata.shp mydata.tab ogr2ogr -f "PostgreSQL" PG:"host=myhost user=myloginname dbname=mydbname password=mypassword" mytabfile.tab Safe FME (Feature Manipulation Engine)

83

84 Tästä eteenpäin Mitä dataa on tarjolla? Miten tietoja jaetaan (arkkitehtuurit)? Kolmiulotteisuus INSPIREn palvelut Metatieto, katselu- ja latauspalvelut Metatiedot tarkemmin Tietokantasuunnittelua Tietntuottajien esimerkkejä

85

86 class INSPIRE Base Types «featuretype» SpatialDataSet + identifier: Identifier «voidable» + metadata: MD_Metadata «codelist» VoidReasonValue + Unknown + Unpopulated AbstractGML «FeatureType» feature::abstractfeature + boundedby: GM_Envelope [0..1] +member «version» 0..* 0..* «codelist» ConditionOfFacilityValue + disused + functional + projected + underconstruction «datatype» Identifier + localid: CharacterString + namespace: CharacterString «lifecycleinfo, voidable» + versionid: CharacterString [0..1] constraints {Allowed characters for localid and namespace} Allowed characters for localid and namespace /*The localid and the namespace shall only use the following set of characters: { A Z, a z, 0 9, _,., - }, that is only letters from the Latin alphabet, digits, underscore, point, and dash are allowed.*/ inv: let allowedchar : Set {'A'..'Z', 'a'..'z', '0'..'9', '_', '.', '-'} in ( namespace.element->forall( char allowedchar->exists( char ) and localid.element->forall( char allowedchar->exists( char ) )) «enumeration» VerticalPositionValue ongroundsurface suspendedorelevated underground «codelist» CountryCode + AT + BE + BG + CY + CZ + DE + DK + EE + EL + ES + FI + FR + HR + HU + IE + IT + LT + LU + LV + MT + NL + PL + PT + RO + SE + SI + SK + TR + UK

87

88 class Figure E.1 - View of comprehensiv e dataset metadata profile Data quality information:: DQ_DataQuality +dataqualityinfo 0..* +metadataconstraints 0..* Constraint information:: MD_Constraints Constraint information:: MD_LegalConstraints Constraint information:: MD_SecurityConstraints Identification information:: MD_Identification +identificationinfo 1..* +referencesysteminfo 0..* Reference system information:: MD_ReferenceSystem Reference system information:: MD_CRS Identification information:: MD_DataIdentification Portrayal catalogue information:: MD_PortrayalCatalogueReference +portrayalcatalogueinfo 0..* Metadata entity set information:: MD_Metadata +contentinfo 0..* Content information:: MD_ContentInformation Maintenance information:: MD_MaintenanceInformation +metadatamaintenance 0..1 Application schema information:: MD_ApplicationSchemaInformation 0..* Metadata extension information:: MD_MetadataExtensionInformation +applicationschemainfo 0..* +spatialrepresentationinfo 0..* Spatial representation information:: MD_SpatialRepresentation Spatial representation information:: MD_GridSpatialRepresentation Content information:: MD_Cov eragedescription Content information:: MD_FeatureCatalogueDescription +metadataextensioninfo +distributioninfo 0..1 Distribution information:: MD_Distribution Spatial representation information:: MD_VectorSpatialRepresentation