Graph analyses Kirsi Virrantaus Maa-123.1310 Theories and Techniques in Geoinformatics Maa-123.1320 Geoinformatics for Real Estate Economics
Verkkoanalyysit Kirsi Virrantaus Maa-123.1310 Theories and Techniques in Geoinformatics Maa-123.1320 Geoinformatics for Real Estate Economics
Contents of the lecture Introduction to graphs and graph concepts Introduction to graph optimization problems Introduction to graph analysis by using theories from social networks Reading material: Wise,S., Chapter 11
Introduction Johdanto
Introduction we can model several things as networks 80% of real world problems that can be modeled as mathematical models can be modeled as graphs(taha) in most cases we think, however, physical networks like roads, water routes and utility networks TransportationGIS Intelligent traffic
Johdantoa verkon muotoon voidaan mallintaa monia asioita 80% reaalimaailman matemaattisesti mallinnettavista ongelmista voidaan mallintaa verkon muotoon (Taha) useimmiten ajatellaan kuitenkin fyysisiä verkkoja kuten tiestö, vesireitit, johtoverkot kuljetusgis älyliikenne
Network-GIS applications (pp. 45-51 in the text book) road/street network GIS-T transportation, urban planning, location, traffic forecasts routing, address finding, goods transportation, location of accidents Intelligent traffic; traffic control engineering design, bridge and road maintenance utility network GIS AM/FM/GIS mapping, utility management, custom service telecommunication network GIS network planning and maintenance
VerkkoGIS sovellusalueita (ss. 45-51 oppikirjassa) tieverkkoon liittyvät GIS-T kuljetus, sijoittelu, liikenne-ennusteet reititys, osoitehaku, tavarantoimitus, onnettomuuksien paikannus älyliikenne: liikenteen ohjaus tekninen suunnittelu, silta- ja katukunnossapito johtoverkkoihin liittyvät AM/FM/GIS kartoitus, verkostojen hallinta, asiakaspalvelu televerkkoihin liittyvät televerkon suunnittelu ja ylläpito
Transportation GIS transportation GIS, GIS-T is more and more important conferences, journals spcialized consultants specialized software in the background operations research, network algorithms applications and modules on GIS platforms transporting and transportation networks are expensive new technology software and equipment
KuljetusGIS transportation GIS, GIS-T tullut viime vuosina yhä tärkeämmäksi konferensseja, aikakausijulkaisuja konsultteja ja yrityksiä, jotka spesialisoituneet ohjelmistoja, jotka erikoistuneet taustalla operaatiotutkimus, verkkoalgoritmit sovellukset ja GIS-alustoille tehdyt moduulit kuljetus on kallista, kuljetusverkot ovat kalliita uutta teknologiaa ohjelmistoja ja laitteita
Digiroad national street and road database all vehicle accessible city streets, public roads, rural roads, forest roads and private roads (483 000 km) most important attribute data for route planning, navigation, traffic guidance and traffic-telematic applications funded by the Ministry of Transport and Communication, managed by Finnish Road Administration; others NLS, Assoc of Finnish Local and National Author., Helsinki Metr.Area Council... Oracle 9i, ArcInfo; www.digiroad.fi
Digiroad kansallinen tie- ja katutietokanta kaikki ajoneuvokelpoiset kaupunkikadut, yleiset tiet, haja-as.aluetiet, metsätiet, yksityiset tiet (483 000 km) tärkeimmät ominaisuustiedot reitinsuunnitteluun, navigointiin, turismiin,liikenteen telematiikkaan Liikenne- ja viestintäministeriön rahoittama, Tielaitoksen hallinnoima; muita MML, YTV, Kuntaliitto, Teoll. ja työnant. kl., FiCom Oracle 9i, ArcGIS www.digiroad.fi
About data model and transfer model Digiroad has been modeled by using so-called dynamic segmentation Road geometry is represented by the center line The line (chain) is divided into small pieces (segments) according to the attributes, so that each segment has defined attribute values Digiroad is in EUREF-FIN or YKJ (old) coordinate systems Digiroad is in ESRI-shape file format, XML (GML)
Digiroadin tietomalli ja tiedonsiirto Digiroad on mallinnettu käyttäen ns. dynaamista segmentointia Tienosat jakautuvat viivanpalasiin ja niistä muodostuu ketju Jokaisella viivanpalasella on yhtenäiset ominaisuudet; ominaisuustietojen arvot muuttuvat vain viivanpalasten päätepisteissä Digiroad on EUREF-FIN ja YKJ-koordinaatistossa Digiroad toimitetaan ESRI-shape tiedostomuodossa; XML,GML
Basic concepts of graphs Verkon peruskäsitteitä
Line concepts line object length, direction connectivity topology lines make a graph, network nodes, edges graph theories traditional and social network analysis measures
Viivan käsitteet viivakohteella pituus ja suunta yhdistävyys -topologia viivat muodostavat verkon solmut, kaaret/sivut verkkoteoriat perinteinen ja sosiaalisten verkostojen analyysi
Specialities in network modeling alternative solutions in data coding topological graph modeling; 2d planar or 3d graph linear referencing: starting point and distance coordinate based coding address coding cross street matching, segments as differences between nodes
Verkon mallinnuksen erityisominaisuuksia tiedonkoodauksen vaihtoehtoja topologisen verkon mallinnus: tasoverkko tai 3d verkko lineaarinen koodaus: lähtöpiste ja etäisyys pelkkiin koordinaatteihin perustuva koodaus osoitekoodaus segmenttien (kadunosien) määrittely solmujen (risteysten) erotuksena
segmenting the egdes of the graph according to the attributes when attribute values are updated, a new node is created data is on layers, several graphs dynamic segmenting in which the segmenting is based on measuring the distance from some starting point
verkon osien, sivujen/kaarien segmentointi ominaisuuksien mukaan uusi solmu aina kun ominaisuusyhdistelmä muuttuu aineisto jaotellaan tasoille ja syntyy useita verkkoja ns. dynaaminen segmentointi, jossa perusverkkoa segmentoidaan ominaisuuksien mukaan, jostain lähtöpisteestä lasketun etäisyyden (ei koordinaattien) avulla
Graph theory Euler 1700, the bridge of Königsberg since the 50 s draftsman s map coloring problem (Appel ja Haken, 1976) the polygons of an arbitrary map can be coloured by using four colours so that no neighbouring polygons have equal colour
Verkkoteoriasta verkkoteorian perusteoreemoja esitti jo Euler 1700 -luvulla, Königsbergin silta kehitys nopeaa 50 -luvulta lähtien kuuluisa verkko-ongelma: kartanpiirtäjän neliväriongelma (Appel ja Haken, 1976) mielivaltaisen tasokartan polygonit voidaan värittää neljää väriä käyttäen, niin ettei viereiset polygonit ole samaa väriä
The Bridges of Königsberg http://www.jcu.edu/math/vignettes/bridges. htm
http://www.jcu.edu/math/vignettes/bridges. htm The problemd modeled as a graph. Each separate piece of land is represented by a node. Arcs represent bridges.
military applications, commercial applications graph problems in the text books of quantitative geography spatial analysis (Haggett) GIS software, Network -modules
sotilassovellukset (!), kaupalliset sovellukset verkko-ongelmat esiintyvät maantieteen menetelmäkirjoissa - ns. spatiaalisen analyysin otsikon alla (mm. Haggett) GIS -ohjelmistoihin verkko-ongelmat tulleet maantieteen kautta, ns. Network -moduulit
Graph characteristics (Taha, 216 ) graph consists of nodes and arcs (edges) graph is described (N,A) N= 1,2,3,4,5}, A={(1,3), (1,2) (3,5),(4,5)} directed, oriented: allows positive flow to one direction path: joins two nodes regardless of the direction of flow loop/cycle: connects a node to iself; directed loop connected graph: all nodes are connected at least by one path spanning tree: sp links all nodes with no loops cut vertex: if a cut vertex is removed from a connected graph the graph will become disconnected
Verkon ominaisuuksia verkko koostuu solmuista ja kaarista/sivuista verkon merkintä (N,A) N= 1,2,3,4,5}, A={(1,3), (1,2) (3,5),(4,5)} suunnattu verkko: positiivinen virtaus yhteen suuntaan polku (yhdistää kaksi solmua riippumatta sivujen suunnasta) sykli, suunnattu sykli yhdistetty verkko: kaikki solmut yhdistetty vähintään yhdellä polulla virittävä puu: yhdistää kaikki solmut ilman syklejä cut -solmu: jos cut-solmu positetaan yhdistetystä verkosta, tuloksena on ei-yhdistetty verkko
Laurini,1992)
Peruskäsitteitä Basic concepts SOLMU (node, vertex) PÄÄTESOLMU - asteluku 1 (end node) SIVU (edge, link) SUUNNATTU VERKKO (directed, oriented, digraph ) - linkeillä suunta SUUNTAMATON VERKKO (undirected, unoriented) - linkit kaksisuuntaisia (links have two directions)
NUOLI, SUUNNATTU VÄLI (arc) HAARA (branch) - päätyy päätesolmuun SILMUKKA (circuit) VIRTAUS (flow) KAPASITEETTI (capacity) YHTENÄINEN VERKKO (connected) TÄYDELLINEN VERKKO (complete)
NOLLAVERKKO (null graph) - ei linkkejä PUU (tree) - hierarkkinen verkko KETJU (chain) -peräkkäisten linkkien jono VIRITTÄJÄPUU (spanning tree) - yksi ketju kunkin solmuparin välillä ISOMORFISET VERKOT - sama topologia 2D- JA 3D-VERKOT - taso-, avaruusverkot
solmujen välinen ETÄISYYS (distance) verkon KESKUS (the distance from the furthest node is shortest) (etäisyys kauimmaisesta solmusta keskukseen on lyhin) verkon HALKAISIJA (diameter) verkon MEDIAANI (etäisyyksien summa on pienin) (median, the sum of all distances to the median is shortest) PAINOTETTU verkko (weighthed graph)
(Laurini, 1992)
Laurini,1992)
Data structures (pp. 189 194) traditionally as a matrix node-node adjacency matrix nodes as rows and columns value 1 if adjacent, 0 if not adjacent shows the accessibility node-node distance matrix the value represents the geographical distance attributes describing the quality of the road can be added
Verkon kuvaaminen tietorakentein (ss. 189-194) perinteisesti matriisina yhteysmatriisi, node-node adjacency matrix solmut taulukon riveinä ja sarakkeina taulukon arvot 1 jos viereinen, 0 jos ei viereinen voidaan arvioida karkeasti ns. saavutettavuutta node-node etäisyysmatriisi alkion arvo kertoo maantieteellisen etäisyyden voidaan lisätä attribuutteja, jotka kuvaavat välin laatua
node-arc incidence matrix for every node a row for every link a column as a list adjacency -list for every node a linked list of adjacent nodes
vastaavuusmatriisi, node-arc incidence matrix jokaista solmua vastaa taulukon rivi jokaista väliä vastaa taulukon sarake listarakenteena adjacency -list jokaista solmua vastaa viereisten solmujen linkitetty lista
Cormen et al., 2001)
in a GIS data base topological relationships directed graph, digraph undirected graph examples ArcINFO data model (coverage model) TIN -model DIME coding (TIGER)
paikkatietokannassa käyttäen topologisia relaatioita ja paikkatietoohjelmistoille tyypillisiä tietorakenteita suunnatun verkon kuvaaminen perusmuoto suuntaamattoman verkon kuvaaminen pm. esimerkkejä ArcINFOn tietomalli TIN -malli DIME -koodaus
Laurini, 1992)
Graph optimization Verkko-optimointi
Network optimization Problems types (Lukka,A.) shortest/fastest/cheapest path minimum spanning tree Chinese postman travelling salesman maximum flow minimum cost flow
Verkko-optimointi Ongelmatyyppejä (Lukka,A.) lyhimmän/nopeimman/halvimman tien ongelma verkon virittävän minimikustannuksisen puun haku kiinalaisen postinkantajan ongelma kauppamatkustajan ongelma maksimivirtausongelma minimikustannuksiset virtausongelmat
matching problems (dinner table) scheduling problems location problems project planning problems (Pert-CPM); critical path different routing problems
ns. matching -ongelmat - kutsujen istumajärjestys töiden järjestely- ja aikatauluongelmat sijainninvalintaongelmat projektin suunnitteluongelmat (Pert-CPM); ns. kriittisen polun ongelma erilaiset reititysongelmat
Shortest path and travelling salesman shortest path: we are looking for the shortest (cost or time can also be the weight) path from node A to node B travelling salesman: we are trying to visit several specified nodes of the network by minimum cost (time, distance) once and only once and then return to the start node heuristic solution: visit always the closest non-visited node (greedy algorithm) has not always a solution
Lyhin polku ja kauppamatkustajan ongelma lyhin polku: haetaan lyhin (halvin, nopein) polku solmusta A solmuun B kauppamatkustajan ongelma: haetaan edullisin reitti, joka kulkee verkon annettujen solmujen kautta kerran ja vain kerran ja palaa alkusolmuun heuristinen ratkaisu: mennään aina lähimpään solmuun, jossa ei ole vielä käyty (ahne algoritmi) kasvaa nopeasti sellaiseksi, jolle ei ratkaisua
Shortest path and travelling salesman in GIS emergency, rescue, taxi tourist route planning schoolchildren transportation, food service for elderly people
Lyhimmän reitin ja k.m.:n ongelman esimerkkejä GIS -sovellusalueilta pelastuspalvelujärjestelmän, taksijärjestelmän tms. reitinlaskenta turistin reitinsuunnittelu koululaiskuljetusten tai vanhusten kotipalveluiden reitinlaskenta
Location problem (s. 315) a service or a commercial unit has to be placed in a network so that either the travelling time of all potential users is minimized median problem or the travelling time of the client in the furthest node is minimized center problem
Sijoitteluongelma (s. 315) on sijoitettava joko kaupallinen tai julkinen palvelu verkkoon siten, että kaikkien asiakkaiden yhteenlaskettu matka palvelupisteenseen minimoituu (mediaaniongelma) tai kauimmaisena asuvan asiakkaan matka palvelupisteeseen minimoituu (keskipiste)
Location problems is GIS social services, health centers public transportation commercial services, a new supermarket
Sijoitteluongelman esimerkkejä GIS - sovellusalueilta julkisten palveluiden esim. terveyskeskuspalveluiden suunnittelujärjestelmä julkisen liikenteen suunnittelu kaupallisten palveluiden esim. kauppaketjun uuden toimipisteen sijoittaminen
Flow problems maximum flow through the network from start node to the target node, the capacity of the network is now critical minimum cost flow from several start nodes to several targets
Virtausongelmat maksimivirtausongelma: haluataan maksimoida lähtöpisteestä päätepisteseen tapahtuva virtaus kapasiteetiltaan tunnetussa verkossa minimikustannuksinen virtaus: halutaan minimoida kustannukset tietyistä lähtöpisteistä tiettyihin päätepisteisiin tapahtuvaan kuljetukseen
Flow problems in GIS evacuation planning from the emergency area to safe place by using all possible transportation networks timber transportation, Enso, Metsäliitto; transportation of goods from the factories to retailers (several factories, several retailers) tailored models, GIS in positioning, data base management and visualization, navigation
Virtausongelman esimerkkejä GIS - sovellusalueilta evakuointisuunnitelman laatiminen onnettomuusalueelta kaikkia mahdollisia kuljetusverkkoja käyttäen turvalliselle alueelle puunkuljetuksen ongelmat, Enso, Metsäliitto; tavaroiden kuljetus tehtailta myyjille (useita tehtaita, useita myyjiä) räätälöidyt mallit, GIS -ohjelmiston käyttö paikannukseen, tiedonhallintaan ja visualisointiin, navigointiin
Spanning tree spanning tree connects all nodes so that there is only one chain between each pair of connected nodes minimum spanning tree connects all nodes by minimum costs
Virittäjäpuu virittäjäpuu yhdistää kaikki solmut niin, että kunkin solmuparin välillä on vain yksi ketju minimaalinen virittäjäpuu luo virittäjäpuun minimikustannuksin
Virittävän puun esimerkkejä GISsovellusalueilta kevyen liikenteen tieverkoston suunnitteluongelma taajamien välille - haetaan minimikustannuksinen virittävä puu (Taha) kaapelitv -verkon suunnittelu asuntoalueelle - haetaan minimikustannuksinen virittävä puu rakennusten välille (Taha)
Spanning tree in GIS pedestrian road network planning (Taha) cabel-tv network in a residential area - (Taha)
GIS software in network problems traditionally distances have been calculated as the crow flies, without spatial data - GIS databases offer more accurate distance data based on coordinates GIS software have good user interface for data collection, editing and searching visualization capabilities of GIS software
GIS -ohjelmistojen käyttö verkkooptimoinnissa (Lukka,A.) perinteisesti etäisyydet laskettu koordinaateista linnuntie-etäisyyksinä - GIS tietokannat tarjoavat tarkempaa etäisyysdataa GIS -ohjelmistoissa hyvä käyttöliittymä tiedon keruuseen, tallennukseen, editointiin jan hakuun GIS -ohjelmistojen visualisointi
we can utilize the GIS-RDBMS relationship a lot of additional background information address link programming in GIS environments is heavy
GIS -ohjelmistojen relaatiokantaliityntää voidaan hyödyntää ja hoitaa tiedonhallinta GIS -ohjelmiston kautta GIS -tietokannat tarjoavat paljon lisädataa GIS -tietokannat tarjoavat osoiteyhteyden yleisesti kuitenkin GIS -ohjelmistot eivät ole valmiita verkkosovelluksiin ja ohjelmointi on työlästä
in practical, everyday problems a suitable solution is enough, ready-made applications can be used, even when they did not guarantee the optimum in serious optimization problems a tailored model, GIS software only for datamanagement and visualization, data collection
kevyisiin, pieniin käyvän ratkaisun haku -sovelluksiin voidaan käyttää GIS -ohjelmistojen valmiita malleja raskaan sarjan optimointeihin oma malli ja sen toteutus, GIS -ohjelmisto tiedonhankintaan, hallintaan ja visualisointiin sekä mm. GPS -liityntään
Graph analysis based on social networks theory Sosiaalisten verkostojen teriaan perustuva verkkoanalyysi
Social Network Analysis in social networks a human being is a node and links represent the social connection between human beings applications for example to epidemiology how HIV spreads, rumor spreading evolution of social networks has been simulated by agent based programming small world phenomenon is a hypothesis that tells that the route to connect one single person to anybody else in the world is relatively short
six degrees of separation Milgram s experiments show that every two person in US are connected in average with a path of 6 other people experiment based on empirical test, sending letters to people in a specified area and asking whether they knew mentioned persons See for example in Wikipedia
Analysis and Measures/metrics for Social Networks in a social network the human being is a node and arcs represent his/her connections to other human beings betweennes closeness centrality/degree network analytic software: for example Pajeck
Sosiaalisten verkostojen analyysi ja mittareita sosiaalisessa verkostossa henkilö on solmu ja hänen yhteytensä muihin henkilöihin ovat linkkejä betweennes closeness centrality/degree analyysiohjelmisto: esim. Pajeck
Betweenness kyseisen solmun kautta kulkevien lyhimpien reittien määrä suhteessa kaikkiin lyhimpiin reitteihin verkossa kuvaa kyseisen verkon osan tärkeyttä verkon yhdistävyyden kannalta
Betweenness proportion of shortest path through v against all shortest paths somehow describes the importance of the node from the connectivity point of view
Closeness lyhin etäisyys solmusta v muihin solmuihin radiaalinen mitta kuvastaa solmun paikallista keskeisyyttä
Closeness the shortest distance of v to all other vertices radial measure identified local centres
Degree välittömien naapurisolmujen määrä välitön naapuruus
Degree number of immediate neighbours describes the immediate neighbourhood
Clustering coefficient shows the how strongly the nodes seem to cluster together global and local clustering proportion of actual connections of v between neighbours of v against all possible connections the neighbours the local clustering coefficient of a vertex in a graph is how close its neighbours are from being a complete graph, see for example http://en.wikipedia.org/wiki/clustering_coefficient
Klusteroitumiskerroin osoittaa solmujen klusteroitumistaipumusta globaali tai lokaali mittari yleisesti: solmun yhteyksien lukumäärä naapurustossa suhteessa mahdollisten yhteyksien lukumäärään lokaali klusteroitumiskerroin: kuinka lähellä solmun naapurusto on täydellisesti yhdistettyä verkkoa
Results Cut vertices Red = road segments that correspond to cut vertices in the line graph. Demsar
Results Betweenness red = high betweenness turquoise = medium betweenness Demsar blue = low betweenness
Results Clustering coefficient blue = high clustering coefficient orange & turquoise = medium clustering coef. red = low clustering coefficient Demsar
Kirjallisuusviittaukset Longley et al., (text book), Chapter 14.3 Wise, S., GIS Basics, Chapter 11 Taha,H., Operations Research - An Introduction,1997. Lukka,Anita, artikkelit: Reitinoptimointi logistiikassa, Network Optimization Models and GIS, pidettyjä esitelmiä aiemmilla DIPOLIn kursseilla, 90 -luvun aikana Ilkka, S., Diskreettiä matematiikkaa, Otatieto, 524 Waters,N.M., Transportation GIS:GIS-T, in Longley et al., GIS vol2 Clements,R.R., Mathematical Modelling, A case study approach, 1989 Haggett,P., Chorley,R., Network Analysis in Geography Positio -lehden artikkeleja, GISEurope -lehden artikkeleja