Graph analyses. Kirsi Virrantaus. Maa Theories and Techniques in Geoinformatics Maa Geoinformatics for Real Estate Economics

Transkriptio

1 Graph analyses Kirsi Virrantaus Maa Theories and Techniques in Geoinformatics Maa Geoinformatics for Real Estate Economics

2 Verkkoanalyysit Kirsi Virrantaus Maa Theories and Techniques in Geoinformatics Maa Geoinformatics for Real Estate Economics

3 Contents of the lecture Introduction to graphs and graph concepts Introduction to graph optimization problems Introduction to graph analysis by using theories from social networks Reading material: Wise,S., Chapter 11

4 Introduction Johdanto

5 Introduction we can model several things as networks 80% of real world problems that can be modeled as mathematical models can be modeled as graphs(taha) in most cases we think, however, physical networks like roads, water routes and utility networks TransportationGIS Intelligent traffic

6 Johdantoa verkon muotoon voidaan mallintaa monia asioita 80% reaalimaailman matemaattisesti mallinnettavista ongelmista voidaan mallintaa verkon muotoon (Taha) useimmiten ajatellaan kuitenkin fyysisiä verkkoja kuten tiestö, vesireitit, johtoverkot kuljetusgis älyliikenne

7 Network-GIS applications (pp in the text book) road/street network GIS-T transportation, urban planning, location, traffic forecasts routing, address finding, goods transportation, location of accidents Intelligent traffic; traffic control engineering design, bridge and road maintenance utility network GIS AM/FM/GIS mapping, utility management, custom service telecommunication network GIS network planning and maintenance

8 VerkkoGIS sovellusalueita (ss oppikirjassa) tieverkkoon liittyvät GIS-T kuljetus, sijoittelu, liikenne-ennusteet reititys, osoitehaku, tavarantoimitus, onnettomuuksien paikannus älyliikenne: liikenteen ohjaus tekninen suunnittelu, silta- ja katukunnossapito johtoverkkoihin liittyvät AM/FM/GIS kartoitus, verkostojen hallinta, asiakaspalvelu televerkkoihin liittyvät televerkon suunnittelu ja ylläpito

9 Transportation GIS transportation GIS, GIS-T is more and more important conferences, journals spcialized consultants specialized software in the background operations research, network algorithms applications and modules on GIS platforms transporting and transportation networks are expensive new technology software and equipment

10 KuljetusGIS transportation GIS, GIS-T tullut viime vuosina yhä tärkeämmäksi konferensseja, aikakausijulkaisuja konsultteja ja yrityksiä, jotka spesialisoituneet ohjelmistoja, jotka erikoistuneet taustalla operaatiotutkimus, verkkoalgoritmit sovellukset ja GIS-alustoille tehdyt moduulit kuljetus on kallista, kuljetusverkot ovat kalliita uutta teknologiaa ohjelmistoja ja laitteita

11 Digiroad national street and road database all vehicle accessible city streets, public roads, rural roads, forest roads and private roads ( km) most important attribute data for route planning, navigation, traffic guidance and traffic-telematic applications funded by the Ministry of Transport and Communication, managed by Finnish Road Administration; others NLS, Assoc of Finnish Local and National Author., Helsinki Metr.Area Council... Oracle 9i, ArcInfo;

12 Digiroad kansallinen tie- ja katutietokanta kaikki ajoneuvokelpoiset kaupunkikadut, yleiset tiet, haja-as.aluetiet, metsätiet, yksityiset tiet ( km) tärkeimmät ominaisuustiedot reitinsuunnitteluun, navigointiin, turismiin,liikenteen telematiikkaan Liikenne- ja viestintäministeriön rahoittama, Tielaitoksen hallinnoima; muita MML, YTV, Kuntaliitto, Teoll. ja työnant. kl., FiCom Oracle 9i, ArcGIS

13 About data model and transfer model Digiroad has been modeled by using so-called dynamic segmentation Road geometry is represented by the center line The line (chain) is divided into small pieces (segments) according to the attributes, so that each segment has defined attribute values Digiroad is in EUREF-FIN or YKJ (old) coordinate systems Digiroad is in ESRI-shape file format, XML (GML)

14 Digiroadin tietomalli ja tiedonsiirto Digiroad on mallinnettu käyttäen ns. dynaamista segmentointia Tienosat jakautuvat viivanpalasiin ja niistä muodostuu ketju Jokaisella viivanpalasella on yhtenäiset ominaisuudet; ominaisuustietojen arvot muuttuvat vain viivanpalasten päätepisteissä Digiroad on EUREF-FIN ja YKJ-koordinaatistossa Digiroad toimitetaan ESRI-shape tiedostomuodossa; XML,GML

15 Basic concepts of graphs Verkon peruskäsitteitä

16 Line concepts line object length, direction connectivity topology lines make a graph, network nodes, edges graph theories traditional and social network analysis measures

17 Viivan käsitteet viivakohteella pituus ja suunta yhdistävyys -topologia viivat muodostavat verkon solmut, kaaret/sivut verkkoteoriat perinteinen ja sosiaalisten verkostojen analyysi

18 Specialities in network modeling alternative solutions in data coding topological graph modeling; 2d planar or 3d graph linear referencing: starting point and distance coordinate based coding address coding cross street matching, segments as differences between nodes

19 Verkon mallinnuksen erityisominaisuuksia tiedonkoodauksen vaihtoehtoja topologisen verkon mallinnus: tasoverkko tai 3d verkko lineaarinen koodaus: lähtöpiste ja etäisyys pelkkiin koordinaatteihin perustuva koodaus osoitekoodaus segmenttien (kadunosien) määrittely solmujen (risteysten) erotuksena

20 segmenting the egdes of the graph according to the attributes when attribute values are updated, a new node is created data is on layers, several graphs dynamic segmenting in which the segmenting is based on measuring the distance from some starting point

21 verkon osien, sivujen/kaarien segmentointi ominaisuuksien mukaan uusi solmu aina kun ominaisuusyhdistelmä muuttuu aineisto jaotellaan tasoille ja syntyy useita verkkoja ns. dynaaminen segmentointi, jossa perusverkkoa segmentoidaan ominaisuuksien mukaan, jostain lähtöpisteestä lasketun etäisyyden (ei koordinaattien) avulla

22 Graph theory Euler 1700, the bridge of Königsberg since the 50 s draftsman s map coloring problem (Appel ja Haken, 1976) the polygons of an arbitrary map can be coloured by using four colours so that no neighbouring polygons have equal colour

23 Verkkoteoriasta verkkoteorian perusteoreemoja esitti jo Euler luvulla, Königsbergin silta kehitys nopeaa 50 -luvulta lähtien kuuluisa verkko-ongelma: kartanpiirtäjän neliväriongelma (Appel ja Haken, 1976) mielivaltaisen tasokartan polygonit voidaan värittää neljää väriä käyttäen, niin ettei viereiset polygonit ole samaa väriä

24 The Bridges of Königsberg htm

25 htm The problemd modeled as a graph. Each separate piece of land is represented by a node. Arcs represent bridges.

26 military applications, commercial applications graph problems in the text books of quantitative geography spatial analysis (Haggett) GIS software, Network -modules

27 sotilassovellukset (!), kaupalliset sovellukset verkko-ongelmat esiintyvät maantieteen menetelmäkirjoissa - ns. spatiaalisen analyysin otsikon alla (mm. Haggett) GIS -ohjelmistoihin verkko-ongelmat tulleet maantieteen kautta, ns. Network -moduulit

28 Graph characteristics (Taha, 216 ) graph consists of nodes and arcs (edges) graph is described (N,A) N= 1,2,3,4,5}, A={(1,3), (1,2) (3,5),(4,5)} directed, oriented: allows positive flow to one direction path: joins two nodes regardless of the direction of flow loop/cycle: connects a node to iself; directed loop connected graph: all nodes are connected at least by one path spanning tree: sp links all nodes with no loops cut vertex: if a cut vertex is removed from a connected graph the graph will become disconnected

29 Verkon ominaisuuksia verkko koostuu solmuista ja kaarista/sivuista verkon merkintä (N,A) N= 1,2,3,4,5}, A={(1,3), (1,2) (3,5),(4,5)} suunnattu verkko: positiivinen virtaus yhteen suuntaan polku (yhdistää kaksi solmua riippumatta sivujen suunnasta) sykli, suunnattu sykli yhdistetty verkko: kaikki solmut yhdistetty vähintään yhdellä polulla virittävä puu: yhdistää kaikki solmut ilman syklejä cut -solmu: jos cut-solmu positetaan yhdistetystä verkosta, tuloksena on ei-yhdistetty verkko

30 Laurini,1992)

31 Peruskäsitteitä Basic concepts SOLMU (node, vertex) PÄÄTESOLMU - asteluku 1 (end node) SIVU (edge, link) SUUNNATTU VERKKO (directed, oriented, digraph ) - linkeillä suunta SUUNTAMATON VERKKO (undirected, unoriented) - linkit kaksisuuntaisia (links have two directions)

32 NUOLI, SUUNNATTU VÄLI (arc) HAARA (branch) - päätyy päätesolmuun SILMUKKA (circuit) VIRTAUS (flow) KAPASITEETTI (capacity) YHTENÄINEN VERKKO (connected) TÄYDELLINEN VERKKO (complete)

33 NOLLAVERKKO (null graph) - ei linkkejä PUU (tree) - hierarkkinen verkko KETJU (chain) -peräkkäisten linkkien jono VIRITTÄJÄPUU (spanning tree) - yksi ketju kunkin solmuparin välillä ISOMORFISET VERKOT - sama topologia 2D- JA 3D-VERKOT - taso-, avaruusverkot

34 solmujen välinen ETÄISYYS (distance) verkon KESKUS (the distance from the furthest node is shortest) (etäisyys kauimmaisesta solmusta keskukseen on lyhin) verkon HALKAISIJA (diameter) verkon MEDIAANI (etäisyyksien summa on pienin) (median, the sum of all distances to the median is shortest) PAINOTETTU verkko (weighthed graph)

35 (Laurini, 1992)

36 Laurini,1992)

37 Data structures (pp ) traditionally as a matrix node-node adjacency matrix nodes as rows and columns value 1 if adjacent, 0 if not adjacent shows the accessibility node-node distance matrix the value represents the geographical distance attributes describing the quality of the road can be added

38 Verkon kuvaaminen tietorakentein (ss ) perinteisesti matriisina yhteysmatriisi, node-node adjacency matrix solmut taulukon riveinä ja sarakkeina taulukon arvot 1 jos viereinen, 0 jos ei viereinen voidaan arvioida karkeasti ns. saavutettavuutta node-node etäisyysmatriisi alkion arvo kertoo maantieteellisen etäisyyden voidaan lisätä attribuutteja, jotka kuvaavat välin laatua

39 node-arc incidence matrix for every node a row for every link a column as a list adjacency -list for every node a linked list of adjacent nodes

40 vastaavuusmatriisi, node-arc incidence matrix jokaista solmua vastaa taulukon rivi jokaista väliä vastaa taulukon sarake listarakenteena adjacency -list jokaista solmua vastaa viereisten solmujen linkitetty lista

41 Cormen et al., 2001)

42 in a GIS data base topological relationships directed graph, digraph undirected graph examples ArcINFO data model (coverage model) TIN -model DIME coding (TIGER)

43 paikkatietokannassa käyttäen topologisia relaatioita ja paikkatietoohjelmistoille tyypillisiä tietorakenteita suunnatun verkon kuvaaminen perusmuoto suuntaamattoman verkon kuvaaminen pm. esimerkkejä ArcINFOn tietomalli TIN -malli DIME -koodaus

44 Laurini, 1992)

45 Graph optimization Verkko-optimointi

46 Network optimization Problems types (Lukka,A.) shortest/fastest/cheapest path minimum spanning tree Chinese postman travelling salesman maximum flow minimum cost flow

47 Verkko-optimointi Ongelmatyyppejä (Lukka,A.) lyhimmän/nopeimman/halvimman tien ongelma verkon virittävän minimikustannuksisen puun haku kiinalaisen postinkantajan ongelma kauppamatkustajan ongelma maksimivirtausongelma minimikustannuksiset virtausongelmat

48 matching problems (dinner table) scheduling problems location problems project planning problems (Pert-CPM); critical path different routing problems

49 ns. matching -ongelmat - kutsujen istumajärjestys töiden järjestely- ja aikatauluongelmat sijainninvalintaongelmat projektin suunnitteluongelmat (Pert-CPM); ns. kriittisen polun ongelma erilaiset reititysongelmat

50 Shortest path and travelling salesman shortest path: we are looking for the shortest (cost or time can also be the weight) path from node A to node B travelling salesman: we are trying to visit several specified nodes of the network by minimum cost (time, distance) once and only once and then return to the start node heuristic solution: visit always the closest non-visited node (greedy algorithm) has not always a solution

51 Lyhin polku ja kauppamatkustajan ongelma lyhin polku: haetaan lyhin (halvin, nopein) polku solmusta A solmuun B kauppamatkustajan ongelma: haetaan edullisin reitti, joka kulkee verkon annettujen solmujen kautta kerran ja vain kerran ja palaa alkusolmuun heuristinen ratkaisu: mennään aina lähimpään solmuun, jossa ei ole vielä käyty (ahne algoritmi) kasvaa nopeasti sellaiseksi, jolle ei ratkaisua

52 Shortest path and travelling salesman in GIS emergency, rescue, taxi tourist route planning schoolchildren transportation, food service for elderly people

53 Lyhimmän reitin ja k.m.:n ongelman esimerkkejä GIS -sovellusalueilta pelastuspalvelujärjestelmän, taksijärjestelmän tms. reitinlaskenta turistin reitinsuunnittelu koululaiskuljetusten tai vanhusten kotipalveluiden reitinlaskenta

54 Location problem (s. 315) a service or a commercial unit has to be placed in a network so that either the travelling time of all potential users is minimized median problem or the travelling time of the client in the furthest node is minimized center problem

55 Sijoitteluongelma (s. 315) on sijoitettava joko kaupallinen tai julkinen palvelu verkkoon siten, että kaikkien asiakkaiden yhteenlaskettu matka palvelupisteenseen minimoituu (mediaaniongelma) tai kauimmaisena asuvan asiakkaan matka palvelupisteeseen minimoituu (keskipiste)

56 Location problems is GIS social services, health centers public transportation commercial services, a new supermarket

57 Sijoitteluongelman esimerkkejä GIS - sovellusalueilta julkisten palveluiden esim. terveyskeskuspalveluiden suunnittelujärjestelmä julkisen liikenteen suunnittelu kaupallisten palveluiden esim. kauppaketjun uuden toimipisteen sijoittaminen

58 Flow problems maximum flow through the network from start node to the target node, the capacity of the network is now critical minimum cost flow from several start nodes to several targets

59 Virtausongelmat maksimivirtausongelma: haluataan maksimoida lähtöpisteestä päätepisteseen tapahtuva virtaus kapasiteetiltaan tunnetussa verkossa minimikustannuksinen virtaus: halutaan minimoida kustannukset tietyistä lähtöpisteistä tiettyihin päätepisteisiin tapahtuvaan kuljetukseen

60 Flow problems in GIS evacuation planning from the emergency area to safe place by using all possible transportation networks timber transportation, Enso, Metsäliitto; transportation of goods from the factories to retailers (several factories, several retailers) tailored models, GIS in positioning, data base management and visualization, navigation

61 Virtausongelman esimerkkejä GIS - sovellusalueilta evakuointisuunnitelman laatiminen onnettomuusalueelta kaikkia mahdollisia kuljetusverkkoja käyttäen turvalliselle alueelle puunkuljetuksen ongelmat, Enso, Metsäliitto; tavaroiden kuljetus tehtailta myyjille (useita tehtaita, useita myyjiä) räätälöidyt mallit, GIS -ohjelmiston käyttö paikannukseen, tiedonhallintaan ja visualisointiin, navigointiin

62 Spanning tree spanning tree connects all nodes so that there is only one chain between each pair of connected nodes minimum spanning tree connects all nodes by minimum costs

63 Virittäjäpuu virittäjäpuu yhdistää kaikki solmut niin, että kunkin solmuparin välillä on vain yksi ketju minimaalinen virittäjäpuu luo virittäjäpuun minimikustannuksin

64 Virittävän puun esimerkkejä GISsovellusalueilta kevyen liikenteen tieverkoston suunnitteluongelma taajamien välille - haetaan minimikustannuksinen virittävä puu (Taha) kaapelitv -verkon suunnittelu asuntoalueelle - haetaan minimikustannuksinen virittävä puu rakennusten välille (Taha)

65 Spanning tree in GIS pedestrian road network planning (Taha) cabel-tv network in a residential area - (Taha)

66 GIS software in network problems traditionally distances have been calculated as the crow flies, without spatial data - GIS databases offer more accurate distance data based on coordinates GIS software have good user interface for data collection, editing and searching visualization capabilities of GIS software

67 GIS -ohjelmistojen käyttö verkkooptimoinnissa (Lukka,A.) perinteisesti etäisyydet laskettu koordinaateista linnuntie-etäisyyksinä - GIS tietokannat tarjoavat tarkempaa etäisyysdataa GIS -ohjelmistoissa hyvä käyttöliittymä tiedon keruuseen, tallennukseen, editointiin jan hakuun GIS -ohjelmistojen visualisointi

68 we can utilize the GIS-RDBMS relationship a lot of additional background information address link programming in GIS environments is heavy

69 GIS -ohjelmistojen relaatiokantaliityntää voidaan hyödyntää ja hoitaa tiedonhallinta GIS -ohjelmiston kautta GIS -tietokannat tarjoavat paljon lisädataa GIS -tietokannat tarjoavat osoiteyhteyden yleisesti kuitenkin GIS -ohjelmistot eivät ole valmiita verkkosovelluksiin ja ohjelmointi on työlästä

70 in practical, everyday problems a suitable solution is enough, ready-made applications can be used, even when they did not guarantee the optimum in serious optimization problems a tailored model, GIS software only for datamanagement and visualization, data collection

71 kevyisiin, pieniin käyvän ratkaisun haku -sovelluksiin voidaan käyttää GIS -ohjelmistojen valmiita malleja raskaan sarjan optimointeihin oma malli ja sen toteutus, GIS -ohjelmisto tiedonhankintaan, hallintaan ja visualisointiin sekä mm. GPS -liityntään

72 Graph analysis based on social networks theory Sosiaalisten verkostojen teriaan perustuva verkkoanalyysi

73 Social Network Analysis in social networks a human being is a node and links represent the social connection between human beings applications for example to epidemiology how HIV spreads, rumor spreading evolution of social networks has been simulated by agent based programming small world phenomenon is a hypothesis that tells that the route to connect one single person to anybody else in the world is relatively short

74 six degrees of separation Milgram s experiments show that every two person in US are connected in average with a path of 6 other people experiment based on empirical test, sending letters to people in a specified area and asking whether they knew mentioned persons See for example in Wikipedia

75 Analysis and Measures/metrics for Social Networks in a social network the human being is a node and arcs represent his/her connections to other human beings betweennes closeness centrality/degree network analytic software: for example Pajeck

76 Sosiaalisten verkostojen analyysi ja mittareita sosiaalisessa verkostossa henkilö on solmu ja hänen yhteytensä muihin henkilöihin ovat linkkejä betweennes closeness centrality/degree analyysiohjelmisto: esim. Pajeck

77 Betweenness kyseisen solmun kautta kulkevien lyhimpien reittien määrä suhteessa kaikkiin lyhimpiin reitteihin verkossa kuvaa kyseisen verkon osan tärkeyttä verkon yhdistävyyden kannalta

78 Betweenness proportion of shortest path through v against all shortest paths somehow describes the importance of the node from the connectivity point of view

79 Closeness lyhin etäisyys solmusta v muihin solmuihin radiaalinen mitta kuvastaa solmun paikallista keskeisyyttä

80 Closeness the shortest distance of v to all other vertices radial measure identified local centres

81 Degree välittömien naapurisolmujen määrä välitön naapuruus

82 Degree number of immediate neighbours describes the immediate neighbourhood

83 Clustering coefficient shows the how strongly the nodes seem to cluster together global and local clustering proportion of actual connections of v between neighbours of v against all possible connections the neighbours the local clustering coefficient of a vertex in a graph is how close its neighbours are from being a complete graph, see for example

84 Klusteroitumiskerroin osoittaa solmujen klusteroitumistaipumusta globaali tai lokaali mittari yleisesti: solmun yhteyksien lukumäärä naapurustossa suhteessa mahdollisten yhteyksien lukumäärään lokaali klusteroitumiskerroin: kuinka lähellä solmun naapurusto on täydellisesti yhdistettyä verkkoa

85 Results Cut vertices Red = road segments that correspond to cut vertices in the line graph. Demsar

86 Results Betweenness red = high betweenness turquoise = medium betweenness Demsar blue = low betweenness

87 Results Clustering coefficient blue = high clustering coefficient orange & turquoise = medium clustering coef. red = low clustering coefficient Demsar

88 Kirjallisuusviittaukset Longley et al., (text book), Chapter 14.3 Wise, S., GIS Basics, Chapter 11 Taha,H., Operations Research - An Introduction,1997. Lukka,Anita, artikkelit: Reitinoptimointi logistiikassa, Network Optimization Models and GIS, pidettyjä esitelmiä aiemmilla DIPOLIn kursseilla, 90 -luvun aikana Ilkka, S., Diskreettiä matematiikkaa, Otatieto, 524 Waters,N.M., Transportation GIS:GIS-T, in Longley et al., GIS vol2 Clements,R.R., Mathematical Modelling, A case study approach, 1989 Haggett,P., Chorley,R., Network Analysis in Geography Positio -lehden artikkeleja, GISEurope -lehden artikkeleja