Paikkatiedon käsittely

Transkriptio

1 HELSINGIN YLIOPISTO HELSINGFORS UNIVERSITET UNIVERSITY OF HELSINKI Paikkatiedon käsittely Antti Leino Tietojenkäsittelytieteen laitos

2 Yleiskuvaus Kurssilla käsitellään tiedon hallinnan ja louhinnan erityiskysymyksiä, kun käsiteltävä aineisto sisältää paikkatietoa: Paikkatiedon käsittely relaatiotietokannassa Tarvittavat relaatiomallin ja SQL-kyselykielen laajennokset Paikkatiedon indeksointi tietokannassa Paikkatiedon klusterointi Assosiaatiosääntöjen etsintä paikkatiedosta

3 Yleiskuvaus Tällä kurssilla ei käsitellä Kartografiaa Paikkatietoaineistojen tuottamista Paikkatietojärjestelmien käyttöä Maantieteellistä analyysiä Paikkatiedon tilastollista analyysiä mitenkään tyhjentävästi Tämänsukuisiin aiheisiin voi perehtyä esimerkiksi kursseilla Geoinformatiikan peruskurssi (maantieteen laitos) Spatiaalinen tilastotiede (matematiikan ja tilastotieteen laitos)

4 Kevät 2007 Luennot , ma,to klo C222 Harjoitukset to klo BK106, LuK Ari Meriläinen Kurssikoe to klo Harjoitustyö mennessä Kurssin kotisivu

5 Luento-ohjelma Viikko Päivä Asiat Kurssin aloitus Johdatus paikkatietoon ja -kantoihin Relaatiomallin paikkatietolaajennokset Kyselyt paikkatietokannasta Paikkatiedon indeksointi ja approksimointi 1.2. Kyselyn käsittely Johdatus tiedon louhintaan 8.2. Erityyppisiä paikkatietoaineistoja Spatiaalinen riippuvuus Yhteisesiintymäsäännöt Paikkatiedon klusterointi Yhteenveto

6 HELSINGIN YLIOPISTO HELSINGFORS UNIVERSITET UNIVERSITY OF HELSINKI Paikkatiedon käsittely 1. Johdanto Antti Leino Tietojenkäsittelytieteen laitos

7 Mitä paikkatieto on? Paikkatieto (spatial data): kaksi komponenttia Sijaintitieto Koordinaatit: järven (likimääräinen) keskipiste Geometria: järven reunaviiva Topologia: kummalla puolella rantaviivaa vesi on Ominaisuustieto Yksilöivää: järven nimi, 1 tilan rekisterinumero Paikantavaa: katuosoite Ajoittavaa: rakennuksen rakennusvuosi Kuvailevaa: rakennuksen käyttötarkoitus, järven pinta-ala, metsätyyppi,... 1 Kuitenkin vain n. 3 1 Suomen järvistä yksikäsitteinen nimi!

8 Sijaintitieto Sijaintitieto käsitetään useimmiten 2-ulotteiseksi Todellisuudessa ulottuvuuksia on ulotteiset X Y / I P Korkeus Z Joskus myös aika T Korkeutta ja aikaa käsitellään usein ominaisuustietona Toisaalta joskus tarpeen ottaa myös korkeus sijaintitietoihin, toisinaan jopa aika

9 Ominaisuustieto Se osa tiedosta, joka ei liity sijaintiin (paikkatietojärjestelmän suoraan ymmärtämässä muodossa) Erilaisia mitta-asteikkoja: Asteikko Tulkinta Esimerkkejä Luokka-asteikko (nominal scale) Vain luokkatunnisteita sukupuoli, rakennustyyppi Järjestysasteikko Lukujen (tms.) välillä soveltuvuus- järjestyssuhde Lukujen erotuksella mielekäs tulkinta Suhdeasteikko (ratio scale) Diskreetti vs. jatkuva tieto Lukujen suhteilla mielekäs tulkinta (ordinal scale) Välimatkaasteikko (interval scale) luokat Celsiusasteikko, rakennusvuosi Kelvin-asteikko, lukumäärä

10 Tiedon louhinta Perustehtävä:»kerro jotain mielenkiintoista tästä aineistosta» Suuri ja niukasti jäsennelty aineisto Vähän ennakko-odotuksia Kumpikaan näistä ei ole aivan ehdoton Sukua tilastotieteelle mutta vain sukua Ei niinkään ilmiöiden olemassaolon osoittamista kuin uusien etsimistä Yleensä tilastomenetelmät vaikeuksissa, kun muuttujien määrä kasvaa

11 Paikkatiedon louhinta Esimerkki: järvinimien komponenttianalyysi 1492 yleisintä vedenkokoumannimeä Aluejako 40x40 km ruutuihin Pääkomponenttianalyysi (tässä 2. komponentti) Vertailun vuoksi rautakautiset linnavuoret

12 Paikkatiedon louhinta Assosiaatiosääntö kahden nimen esiintymien välillä Ahvenlampi Haukilampi Tilastollisesti merkitsevä jo alle 1km etäisyyksillä Vastaavia sääntöjä löytyy paljon Ahvenlampi => Haukilampi: + At 1 km found 20; p(n<20) = (corrected 1.00) + At 2 km found 40; p(n<40) = (corrected 1.00) + At 3 km found 51; p(n<51) = (corrected 0.99) + At 4 km found 75; p(n<75) = (corrected 1.00) + At 5 km found 92; p(n<92) = (corrected 0.97) + At 6 km found 116; p(n<116) = (corrected 0.98) + At 7 km found 137; p(n<137) = (corrected 0.95) + At 8 km found 170; p(n<170) = (corrected 1.00) + At 9 km found 181; p(n<181) = (corrected 0.96) + At 10 km found 204; p(n<204) = (corrected 0.98)

13 Paikkatietojärjestelmä Paikkatietojärjestelmä (geographical information system) Paikkatiedon visualisointi teemakartat karttatasot Paikkatiedon analysointi karttatasojen yhdistely korkeus- ja maastomallit reittioptimointi Kulloinkin tarvittava tieto voidaan yleensä pitää kokonaisuudessaan käsillä Paljolti tämän kurssin aiheen ulkopuolella

14 Paikkatietojärjestelmä

15 Paikkatieto tietokannassa Lähtökohta: tietoa on paljon Kaikki ei mahdu keskusmuistiin Huomiota on kiinnitettävä tallennusmenetelmiin hakumenetelmiin ja kyselyn optimointiin tiedon eheyteen Normaaliratkaisuna tietokannanhallintajärjestelmä Näissä perinteisesti yksinkertaisia tietotyyppejä Entäpä paikkatieto?

16 Paikkatieto tietokannassa Table "public.kunnat01" Column Type Modifiers kuntakoodi character(3) not null nimi character(25) not null laani integer maakunta integer miehet integer naiset integer yht integer ulkom_miehet integer ulkom_naiset integer ulkom_yht integer muutos00 integer wkb_geometry geometry Indexes: "kunnat01_2_pkey" primary key, btree (kuntakoodi) "kunnat01_geom" gist (wkb_geometry) Check constraints: "enforce_srid_wkb_geometry" CHECK (srid(wkb_geometry) = 2393) "enforce_dims_wkb_geometry" CHECK (ndims(wkb_geometry) = 2)

17 Paikkatieto tietokannassa Paikkatietokannan hallintajärjestelmä (spatial database management system): tietokannan hallintajärjestelmä, jossa tietomalli sisältää paikkatietoon soveltuvat tietotyypit kyselykieli sisältää tarvittavat operaatiot tehokkaat algoritmit ja hakemistorakenteet paikkatieto-operaatioille Paikkatietokantajärjestelmä (spatial database system): paikkatietokannan hallintajärjestelmä ja sillä toteutettu tietokanta

18 Paikkatietotyyppien lisäys tietokannanhallintajärjestelmään Periaatteessa mahdollista mallintaa yksinkertaisten tietotyyppien avulla Piste koostuu kahdesta numerosta jne. Tehotonta ja pitkästyttävää Parempia vaihtoehtoja ad hoc -arkkitehtuuri: säädetään ja viritetään hybridiarkkitehtuuri: käsitellään ominaisuusja sijaintitietoja eri tavalla integroitu arkkitehtuuri: toteutetaan paikkatietotyypit suoraan tietokantaan

19 Hybridiarkkitehtuuri Sijainti- ja ominaisuustiedon hallinta erikseen Integrointikerros tarjoaa yhtenäisen näkymän Integrointikerros Relaatiotietokanta Sijaintitiedon ominaisuustiedolle hallintajärjestelmä Useimmat kaupalliset paikkatietojärjestelmät tällaisia Ongelmia Kaksi erillistä tietomallia ongelmia mallinnuksessa ja kyselyiden yhdistämisessä Yhdistettyjen operaatioiden toteuttaminen hankalaa

20 Integroitu arkkitehtuuri Relaatiotietokannanhallintajärjestelmään lisätään paikkatietotyypit SQL-kyselykieltä laajennetaan paikkatieto-operaatioilla Kyselyiden optimointi mahdollista Useimmissa relaatiotietokantajärjestelmissä nykyisin myös paikkatiedon käsittelymahdollisuus Jatkossa keskitytään nimenomaan integroituun lähestymistapaan Esimerkeissä PostgreSQL

21 Mitä paikkatieto vaatii tietokannanhallintajärjestelmältä? Tiedon loogisen esitystavan on sovelluttava geometriatiedon esittämiseen mutta tietoalkioiden itsenäisyys on säilytettävä tiedon on sovittava yhteen käyttäjän todellisuuskäsitysten kanssa Kyselykieleen on lisättävä maantieteellisiä suhteita ym. kuvaavat funktiot Liitokset ym. operaatiot on toteutettava paikkatiedolle Tiedon fyysinen esitystapa ja tietokantahaut on saatava tehokkaaksi

22 Paikkatiedon esittäminen Oliopohjainen lähestymistapa Data tulkitaan koostuvaksi itsenäisistä olioista, joilla on muoto ja sijainti sekä ominaisuuksia Kukin olio esitetään erikseen Tilapohjainen lähestymistapa Kuhunkin (rasteroidun) avaruuden pisteeseen liittyy suoraan ominaisuustieto Erillisiä olioita ei ole, sen sijaan kuvattava maailma voidaan jakaa alueiksi Sopii maantieteellisesti jatkuvan ominaisuustiedon esittämiseen

23 Eriulotteisia paikkaolioita Piste Murtoviiva Monikulmio (Point) (Linestring) (Polygon) Pistejoukko Viivajoukko Monikulmiojoukko (Multipoint) (Multilinestring) (Multipolygon) Kohdejoukko (Geometrycollection)

24 Eriulotteisia paikkaolioita 0-ulotteiset: piste ja pistejoukko Kohteita, joiden muodolla / koolla ei ole merkitystä tarkastelumittakaavassa 1-ulotteiset: murtoviiva ja viivajoukko Äärellinen joukko kahden pisteen välisiä janoja Murtoviivan päätepistettä lukuun ottamatta kukin pisteistä on kahden janan päätepiste 2-ulotteiset monikulmio: suljetun murtoviivan rajaama alue monikulmiojoukko: useita monikulmioita kohdejoukko: useita 0-2-ulotteisia olioita

25 Eriulotteisia paikkaolioita OpenGIS Simple Features Specification esittää paikkatieto-olioiden esitykseen tällaisen luokkahierarkian:

26 Erilaisia murtoviivoja Suljettu (closed): päättyy lähtöpisteeseensä Yksinkertainen (simple): janat eivät leikkaa toisiaan (paitsi peräkkäiset yhteisessä päätepisteessään) vs. Suoran L suhteen monotoninen (monotone): kukin suoraa vastaan kohtisuora viiva leikkaa murtoviivan korkeintaan kerran vs.

27 2-ulotteiset oliot yksinkertainen: reunaviiva yksinkertainen ei kupera (convex): monikulmion pisteiden välinen jana kuuluu aina monikulmioon monotoninen: reunaviiva voidaan jakaa täsmälleen kahdeksi monotoniseksi murtoviivaksi reiällinen

28 Olioiden väliset sijaintisuhteet Topologiset suhteet esim. sisällä, erillään Suuntasuhteet esim. yläpuolella, pohjoiseen Etäisyyssuhteet esim. < 100 km päässä

29 Etäisyyssuhteet Perustuvat lyhimpään etäisyyteen olioiden välillä Tarkka etäisyys usein työläs laskea Kyselyissä apuna indeksirakenteet Käytössä normaalit vertailuoperaatiot, kuten <=>

30 Suuntasuhteet Likimääräisiä, yleensä pääilmansuuntien mukaan pohjoiseen / etelään / itään / länteen väli-ilmansuunnat johdettavissa Laskennallisesti melko helppoja

31 Topologiset suhteet Kahden monikulmion A ja B välillä kuusi erilaista Erilliset Sivuavat Samat disjoint (A, B) touches (A, B) equals (A, B) Peittää Sisältää Leikkaavat contains (A, B) overlaps (A, B) within (B, A)

32 Topologisia peruskäsitteitä Monikulmiolla A on 2-ulotteinen sisusta (interior) A 1-ulotteinen reuna (boundary) A Murtoviivalla B on 1-ulotteinen sisusta (interior) B 0-ulotteinen reuna (boundary) B Molemmilla on lisäksi ulkopuoli A

33 Monikulmioiden topologiset suhteet Suhteet voidaan määritellä monikulmioiden reunan ja sisustan leikkausten avulla Suhde A B A B A B A B Erilliset Sivuavat Samat Peittää Sisältää Leikkaavat

34 OpenGIS-määritysten mukaiset suhteet OpenGIS-määrityksissä topologiset suhteet hiukan eri lailla Ei erontekoa peittämis- ja sisältämissuhteiden välillä Leikkaussuhde (overlap) määritelty eri tavalla: A ja B leikkaavat, kun A B ei ole kumpikaan kohteista, mutta se on yhtämoniulotteinen kuin ne. Lisäksi toinen leikkaussuhde (intersect): kohteet eivät ole erilliset

35 Janojen topologiset suhteet Vastaavat kuin monikulmioiden välillä Erilliset Sivuavat Samat disjoint (A, B) touches (A, B) equals (A, B) Peittää Sisältää Leikkaavat contains (A, B) overlaps (A, B) within (B, A) Risteävät crosses (A, B)

36 Janojen topologiset suhteet Suhteet voidaan jälleen määritellä reunan ja sisustan leikkausten avulla Suhde A B A B A B A B Erilliset Sivuavat Samat Peittää Sisältää Leikkaavat Risteävät

37 Muut topologiset suhteet Kaksi pistettä voivat olla vain samat tai erilliset Ulottuvuudeltaan erilaisten kohteiden suhteet samantapaisesti kuin edellä monikulmio jana monikulmio piste jana piste Usean olion muodostamat kohteet monimutkaisempia, mutta määriteltävissä

38 Oliojoukkojen geometria Kolme pääasiallista esitystapaa Spagettimalli (spaghetti model) Verkkomalli (network / graph model) Topologinen malli (topological model / partition)

39 Spaghettimalli Kukin joukkoon kuuluva olio esitetään toisista riippumatta Topologiset suhteet on laskettava aina tarvittaessa Yhteiset pisteet ja reunaviivat esitettävä useaan kertaan Yksinkertainen Uusien olioiden lisääminen helppoa

40 Verkkomalli Pisteiden ja murtoviivojen väliset topologiset suhteet valmiiksi talletettuina solmu: piste, joka yhdistää kaaria kaari: murtoviiva, joka alkaa solmusta ja päättyy solmuun Yhtenäisyys ja polut helposti selvitettävissä 2-ulotteiset topologiset suhteet laskettava

41 Topologinen malli Kuten verkkomalli, mutta lisärajoitus: tasoverkko, ts. jokainen murtoviivojen leikkauspiste on solmu Kuvattava alue jaettu vierekkäisiin monikulmioihin Kaikki monikulmiot eivät välttämättä ole maantieteellisesti mielekkäitä kohteita Topologiset kyselyt helppoja Karttanäkymän vaihto raskasta Uusien kohteiden lisääminen raskasta